a 知識 ← 一覧

ローカルLLMの判断モデル lev と jevlocal を比較検証|Qwen3.5-4B・日本語10問

2026-09-27 02:15:39 表示242
🪼 Kurageは、AIで“業務システム”も作ります。 無料でAI相談 OSSを自社仕様に 制作を依頼
📝 この動画でわかること
HuggingFaceで話題の新モデル「lev」を実際に使用し、自社運用の判断専用モデル「jevlocal」と比較検証しました。両モデルともQwen3.5-4BにLoRAを当てた設計ですが、検証の結果は「採用しません」という結論に至りました。動画では実務に近い日本語と英語の判定結果や、外部通信ゼロで動く特徴について詳しく解説します。
🪼 この動画もAIで生成しています。あなたの業務システムも最短1営業日で ― 制作を依頼する ›
📣 概要
HuggingFaceで話題の新モデル「lev」。これ、実際に使ってみた結果、結論から言うと「採用しません」でした。 自社で運用している判断専用モデル「jevlocal」と比較検証した結果をシェアします。 levはQwen3.5-4BにLoRAを当てた、文章を生成せずロジットから答えを読み取るモデルです。 jevlocalも同じ設計で、判断1回わずか73ミリ秒。外部通信ゼロで動くのが特徴です。 検証のために、実務に近い日本語と英語の判定…
🎬 脚本
シーン 1
HuggingFaceで話題の新モデル「lev」。これ、実際に使ってみた結果、結論から言うと「採用しません」でした。
Kurage looking skeptical at a computer screen showing HuggingFace, vertical 9:16, slow push-in, shallow depth of field, teal orange grade, negative space, narration-first
シーン 2
自社で運用している判断専用モデル「jevlocal」と比較検証した結果をシェアします。
Comparison chart between two AI models, vertical 9:16, data reveal, floating numbers, parallax layers, crisp caption-safe center
シーン 3
levはQwen3.5-4BにLoRAを当てた、文章を生成せずロジットから答えを読み取るモデルです。
Technical diagram of LoRA and Logits, vertical 9:16, documentary reconstruction, practical light, soft shadows, slow lateral drift
シーン 4
jevlocalも同じ設計で、判断1回わずか73ミリ秒。外部通信ゼロで動くのが特徴です。
Speedometer showing fast AI response, vertical 9:16, pull-back reveal, atmospheric haze, rule of thirds, film grain
シーン 5
検証のために、実務に近い日本語と英語の判定問題を計10問用意しました。
List of questions on a digital screen, vertical 9:16, slow push-in, shallow depth of field, teal orange grade, negative space, narration-first
シーン 6
結果は驚くことに「両モデルとも9/10正解」。外す問題まで同じで、精度に差はありませんでした。
Scoreboard showing 9/10 for both models, vertical 9:16, data reveal, floating numbers, parallax layers, crisp caption-safe center
シーン 7
levは英語専用とありますが、日本語も通ります。でも「勝てる」ほどではないのがポイントです。
Japanese and English text floating around AI head, vertical 9:16, documentary reconstruction, practical light, soft shadows, slow lateral drift
シーン 8
一方で、levの強みは「確信度の質」。温度調整により、正解か不正解かの自信を数値で正確に出せます。
Confidence meter showing high and low values, vertical 9:16, pull-back reveal, atmospheric haze, rule of thirds, film grain
シーン 9
しかし最大の問題はライセンスです。訓練データに非商用が含まれている可能性が高いことが判明しました。
Warning sign over a pile of data books, vertical 9:16, slow push-in, shallow depth of field, teal orange grade, negative space, narration-first
シーン 10
調査した18件のうち、少なくとも8件で商用利用ができるか不明な状態です。これはビジネスでは致命的です。
Magnifying glass looking at license text CC-BY-NC, vertical 9:16, data reveal, floating numbers, parallax layers, crisp caption-safe center
シーン 11
精度に差がなく、ライセンスのリスクを抱える理由はどこにもありませんでした。だから採用を見送りました。
Kurage making a 'no' gesture with hands, vertical 9:16, documentary reconstruction, practical light, soft shadows, slow lateral drift
シーン 12
ただ、levの「温度調整」の考え方は自社モデルにも取り入れ可能です。ライセンスに関係なく改善できます。
Adding a new gear to an existing machine, vertical 9:16, pull-back reveal, atmospheric haze, rule of thirds, film grain
シーン 13
最新モデルを導入する際は、ベンチマークの数字だけでなく、自分の実務設問で測ることが重要です。
Person testing AI with real-world tasks, vertical 9:16, slow push-in, shallow depth of field, teal orange grade, negative space, narration-first
シーン 14
精度と同じ重さでライセンスをチェックする。これがプロの検証の基本です。
Balance scale weighing 'Accuracy' and 'License', vertical 9:16, data reveal, floating numbers, parallax layers, crisp caption-safe center
シーン 15
もっと詳しい検証データやスクリプトが知りたい方は、概要欄をチェックしてくださいね!
Kurage pointing to the description area, vertical 9:16, documentary reconstruction, practical light, soft shadows, slow lateral drift
KurageKurage URL2Earn — この動画ページのURLをXやブログで紹介すると、10,000 URLAI トークンをKurageさんがお届け(1人1回・先着制)。受け取り方を見る →