AI動画パイプライン
動画の生成・編集・配信をローカルLLMとOSSで組み立てる自動化パイプラインの概念
AI動画パイプラインとは、動画の生成・編集・配信を、ローカルLLMやOSSツールを組み合わせた自動化パイプラインとして構築する考え方。Kurageでは、テキストからショート動画を作る生成系、既存動画を翻訳・吹き替えする加工系、VTuberとしてライブ配信する配信系、テキストから音声・映像・SNS投稿まで一気通貫で行う自律メディア公開系など、複数の実装例がある。周辺には音楽生成、文字起こし・議事録、PDF翻訳、スライド生成といった「動画の外側にあるメディア処理」も同じ設計思想で実装されており、これらを含めて一つのパイプライン群として扱う。kurage-repos にはこれらのREADMEが収録され、実装詳細を確認できる。またkurage-lpsは各製品のLP本文を集約しており、実際の提供形態(入力URL、生成ステップ、品質ゲート、配信先)を確認できる。
概要
従来は専用ソフトや人手が必要だった動画制作を、OSS + ローカルAI + 自動化スクリプトで代替する。ffmpegによるエンコード・結合、ollamaなどによるLLMでの台本生成、TTSによる音声合成、browser-useによるデモ操作の自動録画などを組み合わせる。ニュース収集から動画生成・YouTube投稿まで一気通貫で自動化する事例も多い(automation)。
設計上の共通原則は「素材(テキスト・音声・映像・既存動画)を入力に取り、決められたステップを順に通し、品質ゲートを通ったものだけを配信する」ことにある。パイプラインは単発のスクリプトではなく、ジョブとして再実行でき、失敗時には停止できる単位で設計される。
主な構成要素
生成(テキスト→メディア)
- テキスト→メディア全面生成: AIMediaPostは、テキスト→音声→音楽→動画→SNS投稿を1フローで行う自律メディア公開プロトコル。AIナレーション(音色・テンポ調整)、自動BGMミックス、画像→字幕付きMP4生成、YouTube/Xへの自動公開までを備える(aimediapost)。LPでは「No recording. No editing. No platform lock-in.」と謳い、自己ホスト可能・APIファースト・MITライセンスと明記される。リポジトリでは
voicegen.php(TTSによるナレーション生成)、mp4gen.php(字幕付きMP4生成)、postgen.php(SNS投稿文生成)、voicevox_api.py(TTSバックエンド例)という小さなジェネレータ群で構成され、「書けるならメディアとして公開できる」という設計思想を持つ - 収集・生成: HorizonでAIニュースを収集し、KurageでAIショート動画を自動生成する仕組み。Wan2.1 + Ollama + ffmpegでSora2に近い動画をOSSのみで無料生成(local-llm)
- ショート動画: Kurage Montageは、X投稿・YouTube・ブログ/記事・PDFのURLを1つ渡すだけで、ローカルLLMが12シーンの日本語台本を作成し、VTuberのKurageさんがナレーション付き解説動画に仕上げる(kmontage)。LPでは5ステップ(URL渡す→抽出・文字起こし→シーン構成・台本→Kurageさんが動画化→公開)として説明され、yt-dlp・fxtwitter・Kurage Voiceによる文字起こしや、元ネタだけを根拠にした台本生成が明記される。英語や短すぎる台本、汎用的な埋め草、元ネタに忠実でない台本は品質ゲートで却下し、不誠実な台本ならジョブごと停止する
加工(既存メディア→別形式)
- 編集・吹き替え: Kurage Voice-Pro(UMediaとOSS Voice-Proを接続し、翻訳字幕・吹き替え動画を生成)(kurage-voice-pro)
- PDF翻訳: 英語PDFを社外に出さずに日本語で読む構成として、PDFMathTranslateを自社サーバーに立てた実測がある(15ページを約3分・費用0円)。思考型モデルに切り替えると5.8倍遅くなる罠も記録されており、パイプラインのモデル選定は「賢さ」ではなく「所要時間」で決める必要がある
- 文字起こし・議事録: whisper.cpp(llama-cpp系)で日本語音声を自社サーバー処理。47秒の会議音声を27秒・文字誤り率2.7%で処理し、AI議事録まで自動化する構成が示されている
- 音楽生成: ACE-Step 1.5 Turbo XLとHeartMuLa oss-3Bを同一の日本語歌詞で比較し、速度・VRAM・歌詞一致率で計測する(RTX3090)。動画のBGM生成を外部SaaSに依存しないための基盤になる
- スライド生成: MarkdownからWeb表示と一致するPPTXを作るため、pptxgenjsをやめてmarp-cliに切り替えた事例。動画の素材(図解・スライド)をテキストから再現可能にする
デモ動画・エージェント録画
- デモ動画: AIエージェントに自社プロダクトを操作させて自動録画(browser-use)。browser-use + Ollama + ffmpeg が基本構成
- 台本までAIに書かせる: 自作ツールとOSS Argoを融合したパイプラインでは、操作手順だけでなくデモの台本自体をAIが生成する(kargov)
- ライブ配信 + デモ動画: Kurage AI VTuberとKurage Argo Videoで、AIがライブ配信してデモ動画まで作る流れ(kurage-vtuber、kargov)
配信(アバター・ライブ・アップロード)
- ライブ配信: kvtuberは、React/Vite製のビューアと管理コンソール、PNG/SVGアバターと音声駆動リップシンク、Inochi2D風のレイヤードリグ、ストレージ駆動の番組・スケジュール管理、OBS/YouTubeキャプチャ用の固定ブロードキャストビューア、RTMPヘルパー、OpenAI互換のローカルTTSプロキシを持つ(kvtuber)
- エージェント実行型VTuber: kvtuber は「話すだけのアバター」ではなく、自然言語の作業依頼を kurage-agent-deck のAIエージェントタスクへ渡し、記事・動画・URL・Gitコミットなどの実成果物を返す Agent-Executing VTuber として設計されている(agent-executing-vtuber)。LPでは「会話の先の仕事まで行う」と説明され、AI自動取引、URLからのサイト紹介、動画生成と配信、AIエージェント実行を1つのキャラクターがつなぐとされる
- YouTube Live自動化: kvtuber は
KURAGE_SHORTS_LIVE_ENABLEDによるショート動画のライブ自動配信を提供。生成された動画をバッチ予約し、クールダウン(既定8時間)と1日あたり上限(既定3回)で連続配信を抑制する。ただしYouTube Studioの監視が必要なため、自動配信は既定で無効 - アップロード: codex/claudeからYouTubeへ動画投稿するOAuthアップロードの仕組み(youtube)。Kurage SNS Posterにyoutube-uploader-mcpを組み込み、業務パイプラインへ統合(kurage-sns-poster)
特徴
- ローカル完結: クラウドAPIに依存せず、ollamaなどでローカル実行できる。PDF翻訳や文字起こしのように「社外に出したくない素材」を扱う工程ほど、この性質が効く(no-external-data-egress)
- 自動化: AIエージェントやキューで一連の処理を自動化(automation)
- 品質ゲート: Kurage Montageのように、台本が日本語・12シーン・元ネタ忠実でなければ停止する仕組みを組み込むことで、「それっぽい動画」を作らない
- 媒体横断の自動配信: AIMediaPostのように、生成した動画をYouTubeやXへ自動公開するまでをパイプラインに含める(aimediapost)
- バイブコーディングとの親和性: 動画パイプライン自体を生成AIで内製する事例が多い(vibe-coding)
- 配信基盤との統合: YouTube Live(RTMP)やYouTube Data API(OAuth)など、既存プラットフォームと直接接続する
- White Studioデザイン: kvtuber のビューア・管理画面・デモは、黒背景を避けた明るい白基調+淡いアクアの「White Studio」ルールで統一される(white-studio)
- 監視・安全設計: YouTube Liveの自動配信は監視なしでは実行せず、予約・クールダウン・日次上限でバーストを防ぐ。自動配信は監視付き手動運用でのみ有効化する
- 公開範囲の制御: Kurage Voice-Proの公開APIが直接叩かれた事例は、生成APIを外部に晒すことのリスクを示す。パイプラインの各段は「誰が呼べるか」を境界として設計する必要がある(agent-security-incident、trust-boundary)
- Kurageプラットフォームの一部: kurageのプロジェクト群(AIMediaPost / Kurage Voice-Pro / kvtuber / Kurage Montage / Kurage Argo Video)として展開(kurage-platform、vwork)
記事索引との対応
kurage-articles-index(全600本、2026-05〜2026-10)には、以下のようなパイプライン関連記事が収録されている。
- HorizonでAIニュースを収集し、KurageでAIショート動画を自動生成する仕組み(日次ニュース動画の自動化)
- Sora2に近い動画をOSSだけで無料生成するWan2.1 + Ollama + ffmpegパイプライン
- AIエージェントに自社プロダクトを操作させて、デモ動画を自動録画する
- AIが操作するデモ動画、台本までAIに書かせる — 自作ツール×OSS Argo 融合パイプライン
- Kurage Voice-Proによる翻訳字幕・吹き替え動画生成
- Kurage Voice-Proの公開APIが直接叩かれた事例から考えるAI OSS運用のセキュリティ
- Kurage AI VTuberとKurage Argo Videoで、AIがライブ配信してデモ動画まで作る流れ
- kvtuberによるYouTube Live配信(PNGアバター、viewer、RTMP)
- Codex/ClaudeからYouTubeへ動画投稿するOAuthアップロードの仕組み
- Kurage Montageによる参照動画からの日本語ショート動画生成
- Kurage SNS PosterによるYouTubeアップロード機能の業務パイプライン組み込み
- whisper.cppで日本語の文字起こしを自社サーバーで動かす(AI議事録まで自動化する構成)
- 英語PDFを社外に出さずに日本語で読む(PDFMathTranslateの自社ホスト実測)
- Sunoの代わりを自前GPUで——ACE-StepとHeartMuLaを同じ日本語歌詞で計測
- MarkdownからWeb表示と完全一致するPPTXを作る(pptxgenjsをやめてmarp-cliにした話)
また、Kurage各製品のLPをまとめたkurage-lpsでは、AIMediaPost・Kurage Montage・kvtuberといった動画パイプライン製品の実際の提供形態(入力URL、生成ステップ、品質ゲート、配信先)を確認できる。さらにkurage-reposは各リポジトリのREADMEを収録しており、AIMediaPostのジェネレータ構成やkvtuberの配信自動化パラメータなどの実装詳細を一次情報で参照できる。索引はあくまで記事の有無とURLを引くためのナビゲーション層であり、数値(処理時間・誤り率・VRAM)は各記事側の実測に依存する点に注意する。
関連ページ
- ai-agent — 動画パイプラインをエージェントが操作・自動化する
- agent-executing-vtuber — VTuberがAIエージェント作業の最前線となる統合モデル
- auto
- automation — 収集・生成・配信をつなぐ自動化の枠組み
- local-llm — 台本生成・翻訳・文字起こしを支えるローカル推論
- no-external-data-egress — 素材を社外に出さない設計原則
- agent-security-incident — 生成APIの公開範囲を巡る事故と教訓
- trust-boundary — パイプラインの各段における呼び出し境界
- oss — パイプラインの核となるOSSツール群
- white-studio — kvtuber に適用される明るい画面デザインルール
- aimediapost — テキストから動画生成・SNS公開までの自律メディア公開パイプライン
- kurage-voice-pro — 音声・字幕処理の実装
- kvtuber — ライブ配信・エージェント実行型VTuberの実装
- kurage-vtuber — ライブ配信とデモ動画生成をつなぐ統合
- kurage-agent-deck — kvtuber が作業依頼を渡すAIエージェント基盤
- kmontage — ショート動画生成の実装
- kargov — AIデモ動画生成・ライブ配信連携の実装
- kurage-sns-poster — 動画アップロード・SNS連携の実装
- browser-use — デモ操作の自動録画
- ffmpeg — エンコード・結合・字幕合成の基盤
- ollama — 台本・翻訳・議事録生成のローカル実行基盤
- llama-cpp — whisper.cpp など量子化推論系ツールの系列
- youtube — 配信・アップロードの基盤
- kurage-repos — 本概念に関わる各プロダクトのREADME集
- kurage-articles-index — 関連記事の有無とURLを引くための索引
See also: kurage-sites
Kurage.AI に質問する
