生成 AI は、文章をそのまま扱うのではなく、トークンと呼ぶ小さな単位に分けて読み、トークンを 1 つずつ予測しながら文章を作ります。日本語では、1 文字が 1 トークンになることもあれば、いくつかの文字で 1 トークンになることもあり、数え方は AI の種類によって違います。
トークンは、料金と、AI が一度に読める量の両方にかかわります。API で AI を使うときの料金は、読ませたトークンと書かせたトークンの数で決まることが多く、長い資料を何度も読ませると費用が増えます。一度に読める量にも上限があり（コンテキストウィンドウ）、上限を超えた分は読まれません。
社長が細かい数え方まで覚える必要はありません。長い資料ほど費用がかかり、読める量にも限りがある、と押さえておけば、資料を必要な部分に絞って渡す理由が分かります。研修でこうした言葉をどこまで説明するかは、1 日の AI研修の記事に書きました。