Token
它的極限與風險AI 計算文字量的單位。中文大約一到兩個字算一個。
就像
像計程車的跳表單位。你關心的通常不是它怎麼跳,而是「這趟大概多少」。
大家常常誤會
以為一個字就是一個 token。中英文、標點、空白的算法都不一樣。
所以呢
它跟兩件事直接相關:費用,以及一次能塞多少內容。檔案太大處理不了時,多半是撞到這個。
AI 計算文字量的單位。中文大約一到兩個字算一個。
像計程車的跳表單位。你關心的通常不是它怎麼跳,而是「這趟大概多少」。
以為一個字就是一個 token。中英文、標點、空白的算法都不一樣。
它跟兩件事直接相關:費用,以及一次能塞多少內容。檔案太大處理不了時,多半是撞到這個。