概念

ローカルLLM

ローカルLLMとは、自前の端末/サーバで動かすLLMとその運用技術。KurageシリーズではGemma 4が標準のローカル頭脳。

ローカルLLMとは、クラウドAPI（OpenAI APIなど）を介さず、自分の端末・サーバ上で直接実行する大規模言語モデルと、それを支える実行環境・最適化技術の総称です。個人開発やOSSプロジェクトにおいて、コスト削減・データ秘匿・オフライン運用を目的に広く使われています。Kurageシリーズでは、Gemma 4 12BをOllama経由で動かすパターンが事実上の標準となっており、API呼び出しでは思考型モデルにthink: falseを明示指定する運用が共通しています。

主要なモデルと実行環境

モデル: Gemma 4（Google）が特に広く使われ、Kurageシリーズの多くのプロダクトで標準的なローカル頭脳として採用されています。ほかにもQwen 3.5/3.6（Alibaba）、DeepSeek V4 Flash（有料レールとして併用されることも多い）、Kimi K3、GLM-5.2、longcat 2.0 など、オープンウェイトの小型〜中規模モデルが中心です。
実行環境: Ollama、llama.cpp、MLX（Apple Silicon向け）が代表的。CPUやGPU、Apple Silicon上で効率的に動かすための量子化（QAT、KVキャッシュ量子化）や最適化も盛んに解説されています。
思考型モデルの扱い: Gemma 4は思考型モデルのため、Kurageの各APIはOllama APIへ必ず"think": falseを指定します。また複数GPUを抱える運用では、rqdb4aiのホスト別キューでGPU競合を避けながらジョブを振り分ける方式も登場しています。

Kurageシリーズでの活用

Kurageシリーズでは、ローカルLLMを「データを外に出さない判断基盤」として多くのプロダクトに組み込んでいます。

設計・開発支援

karchitect はローカルAI（Gemma 4）で動くオープンソースのAI設計スタジオで、曖昧なアイデアを要件JSONとシステム設計書へ育てます。アイデアが外部のAI事業者に送られることはありません。
vibe-coding の流れで、ローカルLLMを内製化・自動化の判断基盤に使う事例が多数あります。

トレーディング領域

自動取引ボディ: kfreqai はローカルgemmaが毎時、市場レジームを分類し、同時保有ポジション数の上限を調整します。リスク指示や取引後レビュー、改善仮説の提案にもLLMを使い、仮説は機械的バックテストで検証されます。kfxai は判断レイヤーをルールベース／ローカルGemma 4／有料x402 APIから差し替え可能にし、ローカルLLM障害時はルールへ安全にフォールバックします。
判断API: kcbrain と kfxbrain は、有料レールではDeepSeekを使う一方、ローカルGemma 4 12B（Ollama）を自前運用時の選択肢として提供。判断だけを返し、取引所・ブローカー認証情報を持たないtrust-boundary設計です。kfxbrain はTradingAgents、FinGPT、AI Hedge Fundなどのベンダー知能をGemma 4用の構造化APIとして公開しています。
株分析: ksbrain はOllamaへ直接接続し、価格・財務・開示・ニュース・市場環境の評価を構造化JSONで返します。
金融アナリストSaaS: kfinanalyst は一般ユーザーにはDeepSeek、adminのみ運営内部のローカルLLMを使うハイブリッド構成です。
FXターミナル: nofx は日本語コミュニティ版でkcbrainを標準AIにし、ローカルLLMへの切替も視野に入れています。

コンテンツ生成・運用

サイト更新: kurl2gr は自社GPU上のGemma 4（rqdb4aiのホスト別キュー経由）でサイト理解と記事化を行い、DeepSeekにも切替可能です。
動画生成: kmontage はローカルLLMで台本を作成。
URL記事生成: url2brain は既定でgemma4:12b-it-qat（ローカルOllama）を使い、DeepSeekにも切替可能です。
AI VTuber: kvtuber はVTuber本体のランタイムですが、エージェント実行VTuberとしてkdeckのAI Agent Taskに作業を渡す構成で、ローカルLLMと組み合わせる余地があります。

障害監視

kzabbix はZabbixが検知した障害をローカルGPU上のGemma 4 12Bが調査し、機密ログを外部APIに送らずにレポート化します。

このように、Kurageシリーズでは「無料・秘匿性重視のローカルLLM」と「高性能・従量課金のクラウド/APIモデル（x402経由）」を用途やコストに応じて組み合わせるのが一般的です。トレーディング領域ではvibe-tradingの文脈で、ローカルLLMを戦略検証や判断ゲートに使う事例も多く見られます。

技術的な要点

量子化（QAT、KVキャッシュ量子化）や蒸留により、小規模モデルでも高性能を実現。
Apple Silicon（M7 Ultra など）やMac上での実行が進み、開発環境のローカル完結が進んでいます。
思考型モデルはAPIでthink: falseを明示しないと推論コスト・遅延が増えるため、Kurageの各プロダクトでは共通的に明示指定しています。
セキュリティ面では、公開APIの運用を避け、機密データを外に出さない利点があります。
ローカルLLM単体では性能や安定性に限界があるため、x402のような従量課金APIを「足りない部分だけ外部に頼る」併用パターンがKurageシリーズで確立されています。
複数ジョブを抱える環境では、rqdb4aiのようなホスト別キューでGPU競合を避けながら、ローカルLLMを効率的に運用する方法が使われています。