LLM（大規模言語モデル）は文章を文字単位ではなくトークン（Token）という塊で処理します。1 トークンはおよそ英語 4 文字・日本語 1〜2 文字が目安で、処理量と料金の計算単位です。
バイブ特有
428
Token
トークン
体験区分：調査ベース
推奨読者レベル：Level 2
何をしてくれるか
どこで出会うか
API の利用ダッシュボードで「X tokens used」と表示されるのが初対面です。Context Window の上限も「〇〇K トークン」と表記されるため、長い会話や大量ファイルを扱うときに意識します。
Before / After
2026.04·ready
「日本語は英語より同じ文章でもトークン数が多くなりがちですよね。」
Tokenの見方
429
この用語の見どころ
1
役割
LLM が処理する情報量を数える最小単位です。
2
うれしさ
トークン数を意識すると、Context の使い方と費用を見通せます。
3
注意点
日本語は英語より同文でもトークン数が多くなることがあります。
4
どこで役立つか
長文処理や多ファイル読込で Context が詰まる前に気づけます。
5
はじめに
「1 トークン ≒ 英語 4 文字・日本語 1〜2 文字」という感覚を掴むことです。
6
深掘り先
Context Window、Prompt Engineering、料金プラン（B-50〜52）。
非エンジニアのつまずき
- パケットみたいなものだとは思うけど、何の単位かが分かりづらいです。
- 英語と日本語で消費が違い、裏で Thinking が動くトークンもあります。
- 量も単価も分からず、いくらかかるかの価格感が掴めません。
私のコメント
- 第一印象:LLM のパケットみたいなもの。触れば必ず出てくるやつです。
- 良い点:「いくら使った」を測る通貨的な単位として使えます。
- ダメな点:Prompt Caching も絡んで値段が読みにくいです。
- 誰向けか:AI を触る人なら全員押さえておきたい単位です。
開発フローでの位置
入力を準備する
トークン数を確認する
LLM に送る
出力を受け取る
関連用語
G-02·term_llm
バイブコーディング図鑑