トークン

大規模言語モデルが処理するテキストの基本単位（およそ4文字、または0.75語）

自然言語処理と生成AIにおいて、トークンとはモデルが処理するデータの基本単位である。これは厳密には1つの単語に対応するものではなく、文字やサブワードの一般的な並びを表す。英語では、100トークンが約75語に相当するという経験則が役立つ。 人工知能経済を追跡する投資家にとって、トークンは収益化とコストの主要な通貨である。基盤モデルプロバイダーは、処理された入力トークン（プロンプト）と出力トークン（生成）の量に基づいて開発者や企業に課金する。したがって、トークン量は実際のソフトウェア使用量と需要の重要な代理指標として機能する。 トークン価格の動向と100万トークン生成にかかるコストを分析することは、投資家がソフトウェア企業の単位経済性、モデル開発者の価格決定力、そしてクラウドインフラ層における全体的な需要成長を評価するのに役立つ。トークン価格の急速な下落はモデルプロバイダー間の激しい競争を示唆する一方、トークン量の増加は企業導入の拡大を示している。

エンタープライズソフトウェア企業が、75,000語を含む文書を処理します。標準的な業界換算を用いると、これは約100,000トークンに相当します（75,000語 / 0.75語 per token）。APIプロバイダーが1,000トークンあたり$0.015を請求する場合、この文書を処理する総コストは次のように計算されます：（100,000トークン / 1,000） $0.015 = $1.50。