AI活用
読了 11分

RTX 3060でOllama+Gemma4を動かす完全ガイド【2026年版】

目次

月額費用ゼロ、データは手元のPCから一切出ない——そんなAI環境が、今やRTX 3060（12GB VRAM）一枚で現実になっています。この記事では、OllamaとGemma4を組み合わせたローカルLLM環境の構築手順を、モデル選びからPython API連携まで一通り解説します。

RTX 3060なら今すぐGemma4が動く——まず結論から

RTX 3060（12GB VRAM）でGemma4を動かすなら、最初の1本はGemma4 E4B（Q4_K_M量子化、約9.6GB）で決まりです。

VRAM消費が9.6GB程度に収まり、12GBカードでKVキャッシュの余裕も確保できます。RTX 3060環境での実測では66 tok/s前後の生成速度が報告されており、テキストがリアルタイムで流れてくる快適さがあります。

26B MoE（Mixture of Experts）モデルもQ4量子化なら12GB VRAMに収まることがあります。ただし動作するかはシステムRAMやコンテキスト長の設定に依存するため、まずE4Bで動作確認してから試すのが現実的な順番です。31B DenseはVRAM不足で動きません。

Gemma4とは——Googleが2026年4月に公開したオープンウェイトLLM

Gemma4は、Google DeepMindが2026年4月2日にリリースしたオープンウェイトのマルチモーダル言語モデルです。テキストに加えて画像・音声・動画を入力できるマルチモーダル対応、ネイティブなFunction CallingとJSON構造化出力、そして商用利用を含む制限なしのApache 2.0ライセンスが特徴です。

4つのモデルバリアントとスペック早見表

モデルパラメータVRAM目安（Q4）RTX 3060での動作
E2B約5B約5GB◎ 快適
E4B約5B（効率化）約9.6GB◎ 快適・推奨
26B MoE26B約14〜18GB△ 条件次第
31B Dense31B約20GB以上✗ 動作不可

MoEとは「Mixture of Experts（混合エキスパート）」の略で、26Bのパラメータ全体を毎回使うのではなく、推論時に必要な部分だけを選択的に使う仕組みです。フルサイズのモデルより消費メモリを抑えながら高い性能を出せる点が、ローカル運用で重宝される理由です。

Apache 2.0ライセンスで商用利用も完全無料

Gemma4はApache 2.0ライセンスで公開されており、商用利用・ファインチューニング・再配布がすべて無償で可能です。社内業務での利用はもちろん、SaaSへの組み込みや改変後の再配布も許可されています（ライセンス表示は必要）。

OllamaでGemma4を動かすセットアップ手順【Windows対応】

Ollamaのインストール（v0.20.0以上が必須）

Gemma4を動かすにはOllama 0.20.0以上が必要です。古いバージョンではモデルのマニフェスト取得時にエラーが発生し、ダウンロードが始まりません。

まずollama.comからインストーラーをダウンロードして実行します。インストール後、ターミナル（コマンドプロンプト）で以下を実行してバージョンを確認してください。

以上が表示されれば準備完了です。既にOllamaを入れている場合は、同じインストーラーで上書きアップデートできます。

RTX 3060向けおすすめモデルの選び方

12GB VRAMでの用途別の選び方は次の通りです。

E4Bを選ぶとき：

  • チャット・要約・メール下書き・日常的なテキスト処理
  • 速度重視（66 tok/s前後）
  • まず動かして感触をつかみたい

26B MoEを試すとき：

  • コード生成・複雑な推論タスク
  • E4Bで品質に物足りなさを感じてから
  • 他のアプリを閉じてVRAMを最大限確保した状態で試す

量子化レベルはOllamaがデフォルトでQ4_K_Mを自動選択します。メモリに余裕があるときはQ5_K_Mを指定すると精度がやや上がりますが、12GBでは基本的にQ4_K_Mで十分です。

モデルのダウンロードと起動

初回実行時はモデルファイルのダウンロードが始まります（E4Bで約9.6GB）。完了するとプロンプトが表示され、そのままチャットを開始できます。日本語で質問して返答が来ればセットアップ完了です。

終了は、インストール済みモデルの確認は、不要なモデルの削除はで行います。

コンテキスト長の落とし穴——Modelfileで128K対応にする方法

ここは多くの解説記事が触れていない、かつ実際に性能差が出るポイントです。

OllamaのデフォルトのコンテキストウィンドウはGemma4の本来のサイズより小さい4Kに設定されています。 E4Bは本来128K、31B Denseは256Kのコンテキスト長を持っているにもかかわらず、何も設定しなければ4Kトークン分しか「記憶」できない状態で動いています。

長い文書を渡して要約させる・会話履歴を保ちながら使うといった場面では、この設定を変えないと途中でコンテキストが切れてしまいます。

解決策はModelfileでを上書きすることです。

RTX 3060（12GB）の場合、（32K）あたりが現実的な上限の目安です。コンテキストが長くなるほどKVキャッシュのVRAM消費が増えるため、128K全開にするとVRAM不足になる可能性があります。日常用途なら32K、長文ドキュメント処理なら64Kを試してみてください。

PythonからGemma4を呼び出す——ローカルAPIの使い方

Ollamaを起動すると、バックグラウンドでローカルAPIサーバーがポート11434で自動起動します。このAPIを使えば、Pythonスクリプトや自作アプリからGemma4を呼び出せます。

ollama Pythonライブラリを使う方法

公式のライブラリが最も簡潔です。

は回答の確定性を制御するパラメータです。コード生成や要約など正確さが求められる用途では0.1〜0.3、創作やアイデア出しでは0.7〜1.0程度が扱いやすい範囲です。

OpenAI互換エンドポイントでそのまま流用する方法

OllamaはOpenAI互換のAPIエンドポイント（）も提供しています。既存のOpenAI向けコードがある場合、接続先を変えるだけでほぼそのまま動きます。

はOllamaが認証を持たないためダミー文字列で問題ありません。LangChainやLlamaIndexなど、OpenAI互換のバックエンドを指定できるフレームワークであれば同じ方法で接続できます。

Gemma4×Ollamaで向いていること・向いていないこと

RTX 3060の12GB VRAMという制約を念頭に置いて、得意不得意を整理します。

向いていること：

  • 社内文書・議事録の要約（データを外部に出したくない用途）
  • メール・報告書の下書き生成
  • Pythonなど比較的短いコードの生成・説明
  • オフラインでの日本語チャット

向いていないこと（E4Bの場合）：

  • 数万行規模のコードベース全体を一度に読ませるような大規模タスク
  • 複数ファイルをまたがったリファクタリングや複雑なバグ修正（E4Bでは品質が不安定になりやすい）
  • リアルタイムで最新情報が必要な用途（学習データは2026年4月まで）

品質に物足りなさを感じる場面に出くわしたときは、26B MoEへのアップグレードか、タスクをより小さな単位に分割することで対応できるケースが多いです。

セキュリティの注意点——ローカルでも油断できないポイント

「ローカルで動かせば安全」は半分正解で、半分は注意が必要です。知っておくべきリスクを4点まとめます。

① デフォルト設定ではLAN全体に公開される可能性がある

Ollamaのデフォルトの待ち受けアドレスは（ループバック）のため、基本的に自分のPC以外からはアクセスできません。ただしを設定した場合（LAN内の別PCから接続したいときによく使われる設定）、同じネットワーク上の全デバイスからポート11434へのアクセスが可能になります。

オフィスや共用Wi-Fiで設定を使う場合は、Windowsファイアウォールでポート11434を信頼するネットワークのみに制限してください。

② Ollamaには認証機能がない

ポート11434のAPIは認証なしで誰でも叩けます。LAN公開状態のままにしておくと、同ネットワーク上の別ユーザーがAPIを無断利用したり、悪意あるWebサイトがSSRF経由でAPIを叩くといったリスクがあります。

外部公開が必要な場合は、nginx等のリバースプロキシを挟んでBasic認証やAPIキー認証を追加してください。

③ モデルファイルの出所を確認する

でダウンロードされるモデルはOllama公式ライブラリからのものです。一方、Hugging Faceなどから入手した野良GGUFファイルをModelfileでインポートする場合は、配布元とファイルのSHA256ハッシュを確認することを習慣にしてください。悪意ある改変が施されたモデルが存在しないとは言い切れません。

④ ローカル実行でも「学習」はしない

Ollamaで会話した内容がGoogleやOllamaのサーバーに送られることはありません。ただし、モデル自体がリクエストした内容を記憶・学習するわけではなく、会話履歴の管理は実装側（アプリ）の責任になります。Pythonスクリプトで履歴を配列に積み上げる実装をしている場合、その配列が大きくなるほどVRAM消費も増える点に注意が必要です。

よくある質問（FAQ）

Q. Ollama 0.20.0より古いバージョンで動きません
A. Gemma4はOllama 0.20.0以上が必須です。でバージョンを確認し、古い場合は公式サイトから最新インストーラーを入手して上書きインストールしてください。

Q. RTX 3060（6GB版）でも動きますか？
A. E4Bの9.6GBには届かないため、E4Bの動作はほぼ困難です。E2B（約5GB）なら動く可能性はありますが、KVキャッシュ分を考えると余裕がなく、CPUオフロードが発生して速度が大幅に落ちる可能性が高いです。12GB版との性能差は大きく、ローカルLLMを本格的に使うなら12GB版への移行を検討する価値があります。

Q. ChatGPTやClaudeと比べて賢さはどうですか？
A. E4Bクラスでは、要約・分類・短いコード生成・日常的な質問応答といった用途なら十分実用的です。複雑な推論や最上位クラスの回答品質が必要な場面では差が出ます。「データを外に出せない」「月額コストをゼロにしたい」という理由があるときに最大の価値を発揮するツールです。

Q. Gemma4をContinueやCursorと連携できますか？
A. OllamaのOpenAI互換エンドポイント（）を使えば、どちらのツールも接続できます。ContinueはOllama用のプロバイダー設定が用意されており、設定ファイルにモデル名とbaseURLを記述するだけです。

まとめ

RTX 3060（12GB VRAM）とOllamaがあれば、Gemma4の本格的なローカル運用が今日から始められます。

最初の1ステップとしてを実行し、動作を確認したらModelfileでコンテキスト長を32Kに拡張するのが実用的な手順です。Pythonとの連携も一本で始められ、既存のOpenAIベースのコードがある場合はbaseURLを差し替えるだけで動きます。

セキュリティ面では、の設定とポート11434のファイアウォール制御を忘れずに。ローカルであってもネットワーク設定次第でLANに公開される点は、使い始める前に確認しておくべき最初のチェックポイントです。

クラウドAIのAPIコスト削減、機密文書の社内処理、プライバシーを守りたい個人用途——いずれの目的でも、このセットアップが出発点になります。

本記事の情報は2026年6月時点のものです。OllamaおよびGemma4の仕様・バージョンは随時更新されるため、最新情報は各公式ドキュメントをご確認ください。

関連記事