ローカル LLM は、文章を読み書きする AI のモデル（LLM）を、自社のパソコンやサーバーに入れて動かす使い方です。ChatGPT や Claude のようなサービスでは、入力した文章は提供元のサーバーに送られて処理されます。ローカル LLM では手元の機械で計算するので、入力した内容を社外に送らずに済みます。
動かすには、モデルのファイルと、それを動かすアプリが要ります。アプリには LM Studio や Ollama などがあり、どちらも Windows・Mac・Linux で使えます。LM Studio の案内では、モデルを取り込めば、ネットにつながなくても動きます。チャットに入力した内容は、手元の機械から出ないとしています。一方で Ollama は、提供元のサーバーで動くクラウドのモデルも用意しています。手元のモデルだけを使うなら、クラウドの機能を切るよう案内しています。アプリを入れただけで、すべてが手元で動くとは限りません。
機材で大事なのはメモリの量です。LM Studio は 16 GB 以上のメモリを勧めています。大きなモデルほど、多くのメモリと、AI の計算を受け持つ部品（GPU）が要ります。ふつうのパソコンで動くのは、小さめのモデルが中心です。提供元のサーバーで動く大きなモデルより、できることが限られる場合があります。モデルの入れ替えや機械の管理、動かなくなったときの対応も、自社で受け持ちます。
検討するのは、AI で扱いたい情報の中に、社外のサーバーに送らないと決めているものがあるときです。お客様との契約で持ち出しを禁じられた図面や、社員の健康診断の結果（要配慮個人情報）などです。その前に、入力を学習に使わない法人向けの契約で足りないかを確かめます（AI の選び方と契約の記事）。