トークン
とーくん生成AIの文脈でいうトークンは、言語モデルが文章を処理するときの最小単位。単語そのもののこともあるが、単語の一部（サブワード）や文字、バイト単位のこともあり、どう区切るかはモデルごとのトークナイザーが決める。Anthropicの用語集では…
意味・読み
| 読み | とーくん |
|---|---|
| カテゴリ | テクノロジー |
トークンの読み方は「とーくん」です。
生成AIの文脈でいうトークンは、言語モデルが文章を処理するときの最小単位。単語そのもののこともあるが、単語の一部（サブワード）や文字、バイト単位のこともあり、どう区切るかはモデルごとのトークナイザーが決める。Anthropicの用語集では、Claude の場合1トークンが英語で約3.5文字に相当すると説明されている。人が文章を打つときには見えない単位だが、コンテキストウィンドウの上限もAPIの料金も、この単位で数えられるため、実務では必ず意識することになる。
経緯・背景
トークン化（トークナイゼーション）は言語モデルの学習の最初の手順にあたる。Microsoftの公式ドキュメントは、単語単位・文字単位・サブワード単位という代表的な区切り方を挙げ、OpenAIのGPT系はサブワード方式の Byte-Pair Encoding（BPE）を使うと説明している。区切りを細かくすれば未知の単語や誤字に強くなるが、同じ文章がより多くのトークンに分かれて計算量が増え、上限内に収まる文章量が減る。逆に粗くすれば効率は上がるが語彙が膨らむ。モデルには入力と出力を合わせたトークンの上限があり、これがコンテキストウィンドウとして表される。生成AIサービスの課金はこのトークン数に基づき、入力と出力で単価が異なることが一般的で、1分あたりのトークン数（TPM）による速度制限も設けられている。
なぜ話題になったのか
生成AIを個人で試すだけなら意識しなくても済むが、業務に組み込んで費用を見積もる段階になると、トークンは避けて通れない単位になる。文字数でも単語数でもない中間的な単位なので直感が働きにくく、そのぶん解説の需要が大きい。特に日本語は英語向けに作られたトークナイザーの下でトークン効率が低くなりやすく、同じ内容でも消費が増えやすい。そのため「日本語は割高になる」という実感とともに、この語が語られる場面が増えている。
人気ポスト・反応
人気ポストの概要
「思ったより料金がかかった」「入力を短くしたら安くなった」といった費用の話題で最も多く登場する語。日本語は英語よりトークンを多く消費するという指摘や、長い履歴を毎回送ると入力トークンが積み上がるという運用上の注意もよく共有されている。
※ 上記は実際に見られる反応の傾向をまとめたものです。特定の投稿を再現・引用したものではありません。
「トークン」に関するXの人気ポスト（話題の投稿）は、以下のリンクからXの検索結果でご覧いただけます。
※ リンク先はX（旧Twitter）の検索・該当ページです。表示内容は時期により変動します。
関連するサイト
この話題に近いことを扱っている姉妹サイトのページです。あわせてどうぞ。
関連する商品
以下はAmazonの検索リンクです。当サイトはAmazonアソシエイトとして、適格販売により収入を得ています。
よくある質問
- トークンとは何ですか？
- 生成AIの文脈でいうトークンは、言語モデルが文章を処理するときの最小単位。
- トークンの読み方は？
- トークンは「とーくん」と読みます。
- トークンはなぜ話題になったのですか？
- 生成AIを個人で試すだけなら意識しなくても済むが、業務に組み込んで費用を見積もる段階になると、トークンは避けて通れない単位になる。
- トークンの元ネタ・由来は？
- トークン化（トークナイゼーション）は言語モデルの学習の最初の手順にあたる。
出典・関連ページ
「トークン」を調べるときに参考にした、実際に開けることを確認したページです。画像と見出しはリンク先のものです。
