トークン

まずこれだけ

トークンは、場面によって意味が変わる言葉です。AIの話では、文章を細かく区切って数える単位を指します。一方、API（エーピーアイ） やログインの話では、利用を許可された相手であることを示す秘密の文字列を指すことがあります。同じ言葉でも「文章量の単位」なのか「認証の鍵」なのかで扱いがまったく違うため、文脈を確認することが大切です。

どこで見かけるか

LLM（エルエルエム）、プロンプト、AI API（エーアイ エーピーアイ）の料金表、チャット履歴の長さ、ログイン連携、GitHub（ギットハブ）のアクセストークン、外部サービスの認証設定で見かけます。「最大トークン数」「入力トークン」「出力トークン」とあれば文章量の話です。「access token（アクセストークン）」「personal token（パーソナルトークン）」「bearer token（ベアラートークン）」とあれば、秘密情報として扱う認証用の文字列である可能性が高いです。

具体例

AIに長い議事録を渡すと、AIは文章をトークンに分けて処理します。文章が長すぎると、料金が増えたり、一度に扱える上限を超えたりします。別の例として、GitHubや外部サービスのAPIを使うときに発行するトークンは、API（エーピーアイ）キー に近い秘密のしるしです。これを持つプログラムは、許可された操作を実行できる場合があります。

つまずきやすいところ

認証用トークンは、人に見せてはいけません。チャット、スクリーンショット、README（リードミー）、公開リポジトリに貼ると、他人に使われる危険があります。漏れた可能性があれば、削除するだけでなく無効化して作り直します。AIの文章量としてのトークンは秘密ではありませんが、入力する文章の中に個人情報や秘密情報が含まれていないかは別に確認が必要です。

研究会では

AIの文章量の話では LLM（エルエルエム） や プロンプト、認証の話では API（エーピーアイ）キー と一緒に出てきます。「このトークンは数えるものか、隠すものか」と確認するだけで、多くの混乱を避けられます。特に開発やWeb（ウェブ）公開では、認証用トークンをどこに置くかを先に決めてから作業します。