広聴AIをOpenAIキーなしで動かした——意見データを一切外に出さない完全ロー

「作れないから借りている」ために、毎月積み上がるSaaSの月額費用やシステム維持費。こうした固定費は、本来なら自分の資産や技術で解決できるはずのものです。特に機密性の高いデータを扱う組織にとって、外部クラウドに依存することはリスクであり、かつ継続的なコスト負担でもあります。私は、AIとシステム開発技術を駆使することで、こうした「借りる文化」から脱却し、自前で運用できる仕組みを構築することを重視しています。

今回私が取り組んだのは、政治団体や自治体、労組といった「集めた意見を外部クラウドに送れない」組織でも使える、完全ローカルな意見分析の仕組みです。広聴AI（kouchou-ai）をベースに、OpenAI APIキーを一切使わずに自前サーバー内で完結させる構成を実現しました。具体的には、OllamaコンテナとELYZA-JP-8Bを組み合わせたチャットLLM、そしてSentenceTransformerによる埋め込み処理を採用しています。これにより、意見データは1バイトも外部へ漏れず、自分の手元にあるGPU（NVIDIA RTX 3090）で高速に処理することが可能になりました。

私は1995年から業務システムを作ってきました。現場での基幹システム開発やパッケージの開発販売、中国オフショア開発の会社経営を経て、現在はAI事業を展開しています。これまで見てきたのは、制度対応のために買わされるシステムや、機能が限定的なサブスクリプションに縛られて不自由を感じている中小企業や個人の姿です。作れるなら借りなくていい。私はこの信念のもと、買い切りでソースコードも同梱され、自分のサーバーで動くものを作ることを徹底しています。

今回の実測では、架空のまちづくり意見48件を投入し、全パイプライン（抽出→埋め込み→クラスタリング→ラベリング→概観生成）を2分33秒で完了させました。API費用は完全にゼロです。数百件規模の意見分析であれば、実用的な速度とコストで運用できることを数字で確認しました。一方で、構築には技術的な罠も存在します。ポートの衝突や環境変数のビルドへの埋め込み、静的書き出しにおけるパスの制約など、11個の回避手順を検証し、それらを整理した導入キットを公開しています。

私が提供しているのは、単なるツールではなく「自立するための技術」です。サーバー準備から初回レポートまでの構築代行も請け負っていますが、本質はプライバシーを最優先する現場において、AIを安全に社会実装するための道標を示すことにあります。自分の環境でコントロールできるシステムを持つことは、長期的な固定費の削減だけでなく、データの主権を取り戻すことにも繋がります。

なお、公職選挙法や政治資金規正法に関わる運用の可否についてはツールの外の話であり、私はそこまでは確かめていません。しかし、意見を集めて読むという事務をいかに効率化し、安全に遂行するかという点においては、この完全ローカル構成は極めて重要な選択肢になると確信しています。

この記事は、次の動画をつくったときに考えたことです。

動画: https://kurage.exbridge.jp/kuragev.php?id=94008a2a1b634d11

出典: https://katsushi2441.github.io/vwork/blog/2026-09-01-kouchou-ai-local.html