総合 01 位
Muse Glimmer
79品質 / 100
主要な日時・場所・被疑者・動機が比較的そろい、品質・総合とも今回の首位。逮捕当初の容疑に誤りがあり、銃の形容と裁判経過にも修正・補足が必要です。
LOCAL LLM / KNOWLEDGE BENCHMARK
安倍元首相暗殺事件の説明を、
各ローカルLLMの学習済みデータで比較。
学習済みの知識から生成した回答を、品質・待ち時間・モデル容量で評価。
評価結果から、採点の理由と実際の回答まで確認できます。
初回総合点 1位
69.40/ 100
Muse Glimmer · 品質 79 / 100
初回合計時間 最短
37秒
GPT-OSS-20B · 品質 28 / 100
モデル容量 最小
12.11GB
GPT-OSS-20B · 品質 28 / 100
01 / RESULTS
評価結果を比較する
総合順位は初回総合点で決定 · 点数が高いほど高評価
| 総合 順位 | モデル / 推論設定 | 初回総合点 S / 100 | ロード済み W / 100・参考 | 品質 Q / 100 |
事実・網羅 C / 70 | 不確実性・帰属 U / 10 | 日本語 J / 10 | 説明・構成 R / 10 |
読込み L | 命題処理 P | 初回合計 T 読込み＋命題処理 | 容量 B GB | レポート |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Muse Glimmer推論設定：非常に高い | 69.40/ 100 | 69.23 | 79 | 52 | 7 | 10 | 10 | 1分45秒 | 1分29秒 | 3分14秒 | 18.16 | 詳細 ↗ |
| 2 | Gemma4-26B-A4B推論設定：オン | 62.13/ 100 | 63.64 | 65 | 41 | 4 | 10 | 10 | 53秒 | 29秒 | 1分22秒 | 17.99 | 詳細 ↗ |
| 3 | Minimax-M2.7推論設定：記載なし | 51.53/ 100 | 52.01 | 63 | 45 | 4 | 4 | 10 | 9分56秒 | 3分25秒 | 13分21秒 | 138.34 | 詳細 ↗ |
| 4 | Nemotron3-Super推論設定：オン | 50.65/ 100 | 50.79 | 61 | 34 | 7 | 10 | 10 | 4分58秒 | 3分05秒 | 8分03秒 | 86.85 | 詳細 ↗ |
| 5 | GPT-OSS-120B推論設定：高 | 43.91/ 100 | 44.02 | 52 | 35 | 0 | 10 | 7 | 4分06秒 | 2分44秒 | 6分50秒 | 63.39 | 詳細 ↗ |
| 6 | GPT-OSS-20B推論設定：高 | 42.40/ 100 | 42.40 | 28 | 14 | 0 | 7 | 7 | 21秒 | 16秒 | 37秒 | 12.11 | 詳細 ↗ |
| 7 | Qwen3.8-27B推論設定：非常に高い | 39.90/ 100 | 39.78 | 45 | 25 | 0 | 10 | 10 | 8分05秒 | 11分02秒 | 19分07秒 | 17.74 | 詳細 ↗ |
| 8 | Nemotron 3 Nano Omni推論設定：オン | 35.13/ 100 | 38.75 | 34 | 20 | 0 | 7 | 7 | 1分13秒 | 26秒 | 1分39秒 | 26.10 | 詳細 ↗ |
該当するモデルがありません。検索語を変更してください。
品質加点 80点速度点 15点容量点 5点
品質 Q = 事実・網羅 C + 不確実性・帰属 U + 日本語 J + 説明・構成 R時間・容量は実験記録値。容量は実行時のメモリ使用量ではありません。全採点基準・計算式 ↗品質点は正答率ではありません。ロード済み総合点は同じ記録から読込み時間を除いた参考計算で、追加測定ではありません。小数は評価書の表示値を保持しています。狭い画面では表を左右にスクロールできます。
02 / REPORTS
評価の理由と、各モデルの回答
提供された評価書の要点 · 元回答は全文掲載
総合 02 位
Gemma4-26B-A4B
65品質 / 100
初回合計1分22秒・17.99 GBで総合2位。宗教献金と社会的影響を説明する一方、発生時刻と被疑者名の漢字に誤りがあり、動機にも未確認の補足があります。
総合 03 位
Minimax-M2.7
63品質 / 100
主要な事件概要は比較的保たれています。海上保安庁と海上自衛隊を混同し、多言語の混在も目立ちます。初回合計13分21秒・138.34 GBでした。
総合 04 位
Nemotron3-Super
61品質 / 100
主要な日時・人物・死亡経過は今回の照合範囲で概ね整合。動機・司法手続き・警護の具体的説明が不足し、必要事項の網羅性に課題があります。
総合 05 位
GPT-OSS-120B
52品質 / 100
長く整った回答ですが、時刻・被害者年齢・銃器・国葬・司法経過に具体的な誤りがあります。文章量の多さと内容の正確さを分けて読む必要があります。
総合 06 位
GPT-OSS-20B
28品質 / 100
初回合計37秒・12.11 GBで最速・最小。品質は28点で今回の最下位でした。安倍氏の生存・退院を繰り返し記述し、事件の帰結に重大な誤りがあります。
総合 07 位
Qwen3.8-27B
45品質 / 100
初回合計19分07秒で今回の最長。現場・死亡時刻・動機の団体・死刑判決などを誤り、末尾の留保では具体的な誤りを補えていません。
総合 08 位
Nemotron 3 Nano Omni
34品質 / 100
初回合計1分39秒と短い一方、被疑者・被害者の役職・現場を取り違えています。これらを「公的な事実」とする記述も品質評価に反映されています。
03 / METHODOLOGY
採点方法の詳細 ↗何を、どの条件で比べたか
回答品質を80%、速度と容量を20%
S = 0.8 × Q + 15 × 37 / T + 5 × 12.11 / BQ：品質点 / T：初回合計時間（秒）/ B：モデル容量（GB）
最短の初回合計37秒と、最小容量12.11 GBを満点の基準にした相対点です。比較対象が変われば点数も変わり得ます。
品質Qは、事実適合・網羅70点、不確実性・情報の帰属10点、日本語10点、説明姿勢・構成10点で評価。総合点には0.8倍して加算します。
ロード済み総合点 W = 0.8 × Q + 15 × 16 / P + 5 × 12.11 / B。Pは命題処理時間（秒）です。計算には丸め前の値を使うため、表示した部分点の和と総合点に0.01程度の差が出ることがあります。
実験環境
- OS
- Windows 11 Pro 64-bit
- CPU
- Intel Core Ultra 9 285K
- RAM
- 192 GB（評価書表記）
- GPU
- NVIDIA GeForce RTX 5060 Ti / 16 GB
- マザーボード
- Z890 AORUS MASTER / GIGABYTE
- 実行環境
- LM Studio Bionic・エージェント動作
推論設定は比較表に併記。量子化方式・チェックポイントの正確な版は記録がないため推定していません。
全8モデル共通の入力プロンプト
実験記録に記載された、全8モデル共通の入力です。以下の順に提示しています。
1. モデル読込み確認用のプロンプト
LLMモデル読込みを完了したらプロンプトを上げてください。
2. 読込み後に提示した命題プロンプト
インターネットやPC内のファイル検索はせず、持っている知識の中から安倍元総理暗殺事件について教えてください。
読込み確認への返答までをL、事件概要の回答完了までをPとして計測し、合計Tを初回の待ち時間として扱います。
この結果から言える範囲
各モデル1件の保存回答と1組の時間記録を比較した結果です。別の題材・設定やモデル全般の能力を示すものではありません。
評価書では外部資料と照合していますが、本ページ作成時に再採点やモデルの再実行はしていません。実行ログがないため、生成時の外部参照の有無や内部処理、学習期限は確認できません。
検証方法・実験の限界・23件の出典 ↗04 / SOURCE FILES
全資料をダウンロード ↓ ZIP評価の根拠を、手元に。
評価書1件 + 各モデルの原文8件のMarkdownと、実験条件・評価依頼のTXTを収録。
ファイル名・本文は提供された原本のまま保存しています。
補助資料の評価依頼TXTには、一部に別題材の記載が残っています。掲載内容は本件の評価書と8件の回答を基準とし、ダウンロード資料の原文は保持しています。