GPU は Graphics Processing Unit の略で、もとは画面に絵を描くための部品です。パソコンの中心で動く CPU は、いろいろな処理を順に素早くこなします。GPU は、大きな計算を何千、何百万もの小さな計算に分けて、同時に片づけます。AI の学習や、AI が答えを作るときの計算は、同じ形の計算を大量に繰り返すので、GPU が受け持ちます。
手元で AI を動かすとき、どの大きさのモデルを動かせるかは、主に GPU が使えるメモリの量で決まります。モデルの大きさは、中に持っている数値（パラメータ）の数で表し、数が多いほどメモリを使います。Google は Gemma 4 の説明で、要るメモリの目安を示しています。310 億のパラメータのモデルなら、そのままで約 70 GB、数値を 4 ビットに縮めると約 17.5 GB です。渡す文章が長くなるほど、さらにメモリを使います。追加の学習（ファインチューニングなど）には、動かすだけのときよりずっと多くのメモリが要ります。
机の上に置ける AI 向けの機械もあります。NVIDIA の説明では、DGX Spark はメモリ 128 GB の構成で、2,000 億のパラメータまでのモデルを動かして試せます。64 GB の構成では 1,000 億までです。
社内で ChatGPT や Claude を使うだけなら、GPU を買う必要はありません。計算は提供元のサーバーで行われるからです。GPU が要るのは、社外に出せない情報を扱うために AI を自社の機械で動かすときや、自社でモデルに追加の学習をさせるときです。その場合も、動かしたいモデルと必要なメモリを作り手の説明で先に確かめてから、機材を選びます。