トークン

まずこれだけ

トークンは、場面によって意味が変わる言葉です。AIの話では「文章を細かく数える単位」、APIやログインの話では「認証に使う秘密のしるし」を指すことがあります。

身近な例

AIに長い文章を入れるとき、「トークン数が多い」と言うことがあります。これはAIが処理する文章量の話です。一方で、APIの設定では秘密の文字列をトークンと呼ぶことがあります。

つまずきやすいところ

同じ「トークン」でも、文章量の話なのか、認証の話なのかで意味が違います。文脈を見て判断します。

研究会では

AIの文章量の話では LLM や プロンプト、認証の話では APIキー と一緒に出てきます。