Kurage
Kurage WikiKurageナレッジベース
Kurage.AIに聞く →
ホーム › Wiki › 概念 › ローカルLLMの使い分けと推論最適化
概念

ローカルLLMの使い分けと推論最適化

Kurage製品群におけるローカルLLMの必須/差し替え/任意/不要という四類型の使い分けと、推論最適化の要点。

ローカルLLMとは、クラウドAPI(OpenAI APIなど)を介さず、自分の端末・サーバ上で直接実行する大規模言語モデルと、それを支える実行環境・最適化技術の総称です。個人開発やOSSプロジェクトで、コスト削減・データ秘匿・オフライン運用のために広く使われています。Kurageシリーズ(kurage)では、gemma 4 12Bをollama経由で動かすパターンが事実上の標準であり、量子化版のgemma4:12b-it-qatとして固定されています。Gemma 4は思考型モデルであるため、各APIはthink: falseを必ず指定します。この方針はLP群(kurage-lps)と公開repo群(kurage-repos)の両方に一貫して現れ、「ローカルAI」「ローカルGPU」「外部のAI事業者に送信しない」ことを売りにする設計に結びついています。商品カタログ(kurage-products)を横断しても、この「手元の gemma4 で動かし、意見・住所・音声・書類を外に送らない」という宣言がほぼ全製品の概要文に反復されます。

2026年5月18日から10月24日までの全600本におよぶ記事索引(kurage-articles-index)を横断すると、ローカルLLMは「動かす」段階から「同じGPUでどれだけ速く・小さく・正確に動かすか」という推論最適化の段階へ重心が移っていることが読み取れます。索引にはollama llama.cpp 量子化 edge-ai 系のタグが付いた記事が継続的に並び、日次AIニュースシリーズ(ai-news)にも小型モデル・量子化・ローカル実行の話題が毎回のように登場します。とくに後半は「Apple Silicon/MLX」「WebGPU」「エッジAI」「軽量モデル」の記事が毎週のように現れ、実行環境そのものがニュースになる状況です。

ただし索引は「タイトル+タグ+URL」の一覧であり、本文の内容を保証するものではありません。日次ニュース記事は速報性が高く後日訂正されうること、同一テーマ(Qwen、Gemma 4、量子化手法など)が多数の日次記事に分散して言及されること、「〜で読む」形式のタイトルは見出し語の組み合わせで生成されていることに注意が必要です。タグ検索だけでは横断把握に不足するため、本ページのような概念ページ側で束ねる必要があります。

そして商品カタログ(kurage-products)が示す最大の特徴は、「ローカルLLMをどこでも使う」のではなく、製品ごとにLLMの関与度を意図的に使い分けていることです。本ページは、その使い分けの型と、そこで前提になっている推論最適化の知見をまとめるものです。

KurageにおけるローカルLLMの位置づけ

公開repo群を横断すると、ローカルLLMは「OSS本体は無料・LLMなしでも動き、AI判断レイヤーだけを差し替えられる」オープンコア設計の選択肢の一つとして位置づけられています。代表的パターンは次の三択です。

kfreqaiは初期状態をrule_basedとし、ニュースリスクチェックや流動性サイズチェックをx402で購入できるメータードブレインを併設します。kfxaiも同じ三択を持ち、local_llm障害時にはルールベースへ安全にフォールバックします。kfxbrain・kcbrain・ksbrainは自前運用の選択肢としてローカルGemma 4を標準に保ちつつ、有料レールではdeepseekへ切り替え可能です。url2brainやkurl2grも「ローカルOllamaのGemmaまたはDeepSeek」のどちらでも動かせるため、同じ頭脳をローカルとクラウドの両方で使う思想が製品横断で共有されています。

この三択は判断API(ai-judgment-backend)に限りません。商品カタログ(kurage-products)では、より一般化した「設定1行でAIを差し替える」型が主流になっています。kcallai(通話AI分析)とkadsai(広告AI分析)は、AI要約のバックエンドを Claude Code・Codex・OpenAI互換API・社内LLM から設定1行で選べ、しかもAIが無くても規則ベースの日報が出ると明記します。kurage-light-chatbotは「OpenAI互換APIなら何でも(既定はDeepSeek・1回答1円前後)」、kocrworkはOCRエンジンと生成AIの使い方(使わない/OCRの文字から/画像を直接見て)を画面で切り替える構成です。つまり「ローカルLLMかクラウドか」という二択ではなく、判断層を宣言的に差し替え可能にすることが設計の中心にあり、ローカルLLMはその中の一つの実装に位置づけられます(config-declared-scope)。

主要なモデルと実行環境

推論最適化の技術

記事索引が示すローカルLLMの技術的な焦点は、モデル選定よりも「同じハードウェアでどう速く動かすか」に移っています。索引から抽出できる主要な系統は次のとおりです。

Kurageシリーズでの活用

設計・開発支援

文書校正・業務支援

行政・シビックテック

ローカルLLMの「外部に送らない」性質が、意見・住民の声という機微なデータを扱うcivic-tech領域でとりわけ強く押し出されます。

文書処理・OCR・申請書

自動日報・マーケティング

防災(規則が結論、AIは言い換え)

ナレッジ・検索・SEO

トレーディング領域

トレーディング領域はローカルLLMのユースケースが最も広い分野です。判断APIにはブローカー認証情報を渡さないtrust-boundaryが共通し、初期状態をpaper-tradingに固定するプロダクトが多いのも特徴です。

営業・商談・バックオフィス

コンテンツ生成・運用

障害監視とセルフホスト運用

商品カタログから見える四類型

商品カタログ(kurage-products)を横断すると、LLMの関わり方は次の四類型に整理できます。価格帯もこれに概ね対応し、LLMを中核に据える製品は110,000円以上、判断層を差し替える分析製品は220,000円、決定論的処理だけで完結する製品は55,000円が中心です。

類型 意味 代表製品
ローカルLLM必須 判断・対話・生成の中核をローカルモデルが担う。外部送信なしを製品価値にする kurage-bill-ai-interview、kronten、kconsensus、karchitect、kurage-fillout、kouchou-ai-local-kit
判断層を差し替え(設定1行) Claude Code/Codex/OpenAI互換API/社内LLM/ローカルOllamaを同じ製品で選べる。AI無しでも動く kcallai、kadsai、kocrwork、kurage-light-chatbot、kdealdesk
任意接続(設定すると有効) 素の状態ではLLMなしで動き、事務所内のOllama等を設定したときだけAI機能が現れる kshuisho、kurage-ai-mom(下書き生成)、ksbrain(証拠不足を返す)、ktoshikeikaku・khisai(本文だけを材料に答える)
LLM不要(規則で判定) 判定・検索を決定論的ルールに閉じ、AIは説明の言い換えや下書きに限定、あるいは使わない kbousai、kseo、ktrackgeoseo、kmention、khyogen、kurage-seido-navi、kurage-chinjo-navi、kurage-kintai、kurage-hr-post、knintei、kseccheck、kcheckit

この整理から読み取れるのは、「ローカルLLMを使うこと」自体が目的なのではなく、外部に送れないデータを扱う製品ほどローカルLLMを必須とし、判定の正しさが問われる製品ほどLLMを脇に置くという使い分けです。前者はno-external-data-egress、後者はdeterministic-coreとして、それぞれ別の概念ページで捉えられます。

さらに、MCP同梱(mcp)は「ローカルLLMを持つ製品」に限らず、LLMを一切持たないkdbagentやkurage-earthquake-map、kurage-line-crm、knisaにも広がっています。これは、判断層を製品の内側に閉じ込めるのではなく、外側のAIエージェントに道具として渡すという第三の道であり、ローカルLLMの使い分けを「内蔵するか否か」の二択から解き放つ設計です。

商品カタログ全体の前提として「全商品ソース同梱・AIエージェントで改変拡張可」が掲げられており、kappstore-ecosystemやk-prefix-product-naming、sales-partner-systemといった販売・提供の仕組みと、ローカル実行(self-hosting)がセットで設計されている点も見逃せません。

技術的な要点

関連ページ

See also: kurage-sites

See also: kurage-products

「ローカルLLMの使い分けと推論最適化」についてもっと知りたいですか?
Kurage.AI に質問する