smg

vLLM、TRT-LLM、TokenSpeed、SGLangのほか、OpenAIやGeminiなどの主要なAPIにも対応しており、エンジンに依存しない柔軟な統合が可能です。

Rustによる高速な実装に加え、KVキャッシュを考慮したルーティング、トークン化のキャッシュ、gRPCパイプライン、マルチテナント認証などの高度な機能を備えています。

OpenAIおよびAnthropicのAPIとの完全な互換性を備えているため、既存のツールやアプリケーションからスムーズに移行・統合が可能です。

WASMプラグインをサポートしているほか、Responses APIやMCP（Model Context Protocol）などの機能を通じて、システムへの組み込みや拡張が可能です。Goals: 470 stars on GitHub. License: Apache-2.0.

smgの標準機能を土台に、自社データとの連携、画面、自動処理、通知などを組み合わせた仕組みを作れます。用途を伺えば、実現できる範囲と進め方を具体的にお伝えします。

可能です。要件と稼働環境を確認し、最短1営業日で動くデモをお出しします。発注後はサーバー設置と稼働確認まで一つの流れで対応し、ソースコードごとお渡しします。