ねえ、AIの学習って「モデルの重みを変えること」だと思ってない？実はそれだけじゃないんだよ！ エージェントを賢くするには「モデル」「ハーネス」「コンテキスト」っていう3つの層があるんだ。 特に重要なのは、後者の「ハーネス」と「コンテキスト」は、開発者が完全にコントロールできるってこと！ 「ハーネス層」の学習。本番のログを分析して、コードやツール、指示の内容をシステム的に改善していくんだ。 「コンテキスト層」の学習。エージェントやユーザー…
シーン 1
ねえ、AIの学習って「モデルの重みを変えること」だと思ってない？実はそれだけじゃないんだよ！
Kurage VTuber looking surprised with a glowing brain icon in background, vertical 9:16, clean virtual studio, light gradient background, presenter safe zone, 5600K key light
シーン 2
エージェントを賢くするには「モデル」「ハーネス」「コンテキスト」っていう3つの層があるんだ。
Diagram showing 3 layers: Model (bottom), Harness (middle), Context (top), vertical 9:16, floating UI panels, soft rim light, friendly AI explainer atmosphere
シーン 3
特に重要なのは、後者の「ハーネス」と「コンテキスト」は、開発者が完全にコントロールできるってこと！
Kurage pointing at the middle and top layers of the diagram with a confident smile, vertical 9:16, white tech studio, subtle data particles, caption-safe lower area
シーン 4
「ハーネス層」の学習。本番のログを分析して、コードやツール、指示の内容をシステム的に改善していくんだ。
Data flowing from production logs into a toolbox and code editor, vertical 9:16, professional educational set, calm motion graphics, bright optimistic lighting
シーン 5
「コンテキスト層」の学習。エージェントやユーザー、組織に合わせてパーソナライズして、体験をどんどん良くしていくよ。
Different user profiles connecting to a central AI agent icon, vertical 9:16, clean virtual studio, light gradient background, presenter safe zone, 5600K key light
シーン 6
Replit Agentでは、この手法を使って過去1年間、継続的な学習を適用してきたんだ。
Timeline showing Replit Agent logo evolving over 1 year, vertical 9:16, floating UI panels, soft rim light, friendly AI explainer atmosphere
シーン 7
評価の考え方も変えなきゃいけない。リリース前の「一回きりのチェック」じゃなくて、「改善のためのループ」にするんだ。
A circular arrow loop connecting 'Evaluation' and 'Improvement', vertical 9:16, white tech studio, subtle data particles, caption-safe lower area
シーン 8
まずはオフラインベンチマークで、シミュレーション上のタスクを正しくこなせるかを確認するよ。
Robot solving puzzles in a simulated laboratory, vertical 9:16, professional educational set, calm motion graphics, bright optimistic lighting
シーン 9
次にオンラインA/Bテストと本番のトレースを使って、実際のユーザーがどう反応しているかを正確に測るんだ。
Split screen showing A and B test results with real user icons, vertical 9:16, clean virtual studio, light gradient background, presenter safe zone, 5600K key light
シーン 10
さらに「トレースのクラスタリング」を駆使して、集計データには埋もれちゃうような失敗の正体を突き止めるのがコツ！
Groups of data points clustering together to reveal a red 'error' icon, vertical 9:16, floating UI panels, soft rim light, friendly AI explainer atmosphere
シーン 11
注意してほしいのは、SWE-benchなどのベンチマークだけじゃダメってこと。ユーザーが求める「動くアプリ」の感覚は測れないからね。
Kurage looking serious with a warning sign next to a benchmark chart, vertical 9:16, white tech studio, subtle data particles, caption-safe lower area
シーン 12
大事なのは「良い数字」を出すことじゃない。ユーザーの失敗を、毎日届けるための「より良いリリース」に変えることなんだ！
Kurage smiling brightly with a 'Success' button being pressed, vertical 9:16, professional educational set, calm motion graphics, bright optimistic lighting
