ローカル 1 位 · 全体 04 位
MuseGlimmer
68品質 / 100
事件・裁判・警護の見直しを広く説明し、ローカルの品質・総合とも1位。公判回数と出典対応に課題があります。
総合 55.67検索・要約 34分16秒出典 12 / 30
LOCAL LLM / INTERNET RESEARCH BENCHMARK
安倍元首相暗殺事件について、
学習済み知識とインターネット検索でまとめた内容を比較。
安倍元首相銃撃事件を題材に、出典の使い方・要約の品質・所要時間を評価。
ローカル8モデルと、比較基準となるクラウド3モデルの結果を掲載します。
ローカル 総合・品質 1位
55.67/ 100
MuseGlimmer · 品質 68 / 100 · 34分16秒
全体 総合 1位
90.87/ 100
Codex-GPT5.6-Terra · 品質 91 / 100
全体 品質 1位
99/ 100
Codex-GPT6-Astra · 総合 86.15 / 100
01 / RESULTS
評価結果を比較する
全体順位は基本総合Gの固定順位 · 高いほど高評価
| 全体 順位 | モデル / 推論設定 | 基本総合 G / 100 | 品質 Q / 100 | 出典 R / 30 | 要約 S / 70 | 速度 E / 100 | 名称伝達 事前作業 | 検索・要約 命題処理時間 | 事前作業込み 総時間 | 事前作業込み G′ / 100 | 根拠 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Codex-GPT5.6-Terraクラウド 推論設定：高 | 90.87/ 100 | 91 | 26 | 65 | 90.34 | 6秒 | 2分25秒 | 2分31秒 | 92.80 | 詳細 ↗ |
| 2 | Codex-GPT6-Astraクラウド 推論設定：極高 | 86.15/ 100 | 99 | 29 | 70 | 34.75 | 25秒 | 6分17秒 | 6分42秒 | 86.71 | 詳細 ↗ |
| 3 | Codex-GPT6-Solクラウド 推論設定：極高 | 84.97/ 100 | 98 | 29 | 69 | 32.83 | 32秒 | 6分39秒 | 7分11秒 | 85.41 | 詳細 ↗ |
| 4 | MuseGlimmerローカル · ローカル1位 推論設定：非常に高い | 55.67/ 100 | 68 | 12 | 56 | 6.37 | 3分57秒 | 34分16秒 | 38分13秒 | 55.72 | 詳細 ↗ |
| 5 | Gemma4-26B-A4Bローカル · ローカル2位 推論設定：オン | 53.32/ 100 | 54 | 0 | 54 | 50.58 | 1分51秒 | 4分19秒 | 6分10秒 | 51.36 | 詳細 ↗ |
| 6 | Nemotron-3-Superローカル · ローカル3位 推論設定：オン | 42.59/ 100 | 49 | 0 | 49 | 16.93 | 26秒 | 12分54秒 | 13分20秒 | 42.98 | 詳細 ↗ |
| 7 | Nemotron3-Nano-Omuniローカル · ローカル4位 推論設定：オン | 41.10/ 100 | 50 | 10 | 40 | 5.50 | 1分11秒 | 39分42秒 | 40分53秒 | 41.23 | 詳細 ↗ |
| 8 | Minimax-M2.7ローカル · ローカル5位 推論設定：記載なし | 37.88/ 100 | 47 | 5 | 42 | 1.39 | 6分08秒 | 157分38秒 | 163分46秒 | 37.91 | 詳細 ↗ |
| 9 | GPT-OSS-120Bローカル · ローカル6位 推論設定：高 | 37.33/ 100 | 41 | 10 | 31 | 22.66 | 2分54秒 | 9分38秒 | 12分32秒 | 36.82 | 詳細 ↗ |
| 10 | Qwen3.8-27Bローカル · ローカル7位 推論設定：非常に高い | 36.17/ 100 | 45 | 15 | 30 | 0.86 | 18分15秒 | 254分10秒 | 272分25秒 | 36.18 | 詳細 ↗ |
| 11 | GPT-OSS-20Bローカル · ローカル8位 推論設定：高 | 30.40/ 100 | 13 | 0 | 13 | 100.00 | 39秒 | 2分11秒 | 2分50秒 | 28.16 | 詳細 ↗ |
該当するモデルがありません。検索語や方式を変更してください。
品質点は正答率ではありません。方式を絞り込んでも、速度点の基準131秒と全体順位は変わりません。名称伝達込みG′は同じ記録から算出した参考値です。狭い画面では表を左右にスクロールできます。
速度の配点を変えると、順位はどう変わる？
時間配点を変えた場合
G(w)＝(1−w)Q＋wE。wは時間の重みで、Eは第3.2.1節の値を使う。
| ID | 時間0％（品質のみ） | 時間10％ | 時間20％（基本） | 時間30％ |
|---|---|---|---|---|
| A | 91.00 | 90.93 | 90.87 | 90.80 |
| B | 99.00 | 92.57 | 86.15 | 79.72 |
| C | 98.00 | 91.48 | 84.97 | 78.45 |
| D | 68.00 | 61.84 | 55.67 | 49.51 |
| E | 54.00 | 53.66 | 53.32 | 52.97 |
| F | 49.00 | 45.79 | 42.59 | 39.38 |
| G | 50.00 | 45.55 | 41.10 | 36.65 |
| H | 47.00 | 42.44 | 37.88 | 33.32 |
| I | 41.00 | 39.17 | 37.33 | 35.50 |
| J | 45.00 | 40.59 | 36.17 | 31.76 |
| K | 13.00 | 21.70 | 30.40 | 39.10 |
時間0％・10％ではB（Astra）、20％・30％ではA（Terra）が全体首位。ローカル型では0％・10％・20％でD（MuseGlimmer）、30％でE（Gemma）が首位となる。
時間30％では、品質13点のK（GPT-OSS-20B）が39.10点に上がり、品質50点のG（Nano）などを上回る。これは式の性質を示しており、誤りが解消したことを意味しない。品質による足切りを設ける用途では、別途その基準が必要になる。
02 / REPORTS
評価の理由と、各モデルの原文
評価書の指摘とモデルの記述を分けて掲載 · 原文は全文収録
ローカルLLM 8モデル
ローカル 2 位 · 全体 05 位
Gemma4-26B-A4B
54品質 / 100
4分19秒で事件の骨格を要約。出典はなく、被害者名の誤記、控訴・制度対応の不足があります。
総合 53.32検索・要約 4分19秒出典 0 / 30
ローカル 3 位 · 全体 06 位
Nemotron-3-Super
49品質 / 100
主要な日付や発砲回数は概ね整合。世論調査の数値、動機・制度の主体、引用の提示に改善が必要です。
総合 42.59検索・要約 12分54秒出典 0 / 30
ローカル 4 位 · 全体 07 位
Nemotron3-Nano-Omuni
50品質 / 100
記事を挙げる一方、第一審判決と確定、解散請求と命令を混同。引用先と主張の対応に課題があります。
総合 41.10検索・要約 39分42秒出典 10 / 30
ローカル 5 位 · 全体 08 位
Minimax-M2.7
47品質 / 100
事件・背景・社会的影響を広く扱いますが、時系列や数値の根拠が不足。多言語が混在し、157分38秒を要しました。
総合 37.88検索・要約 157分38秒出典 5 / 30
ローカル 6 位 · 全体 09 位
GPT-OSS-120B
41品質 / 100
BBC記事は実在しますが、事件時の年齢や公判開始年を誤記。引用があることだけでは正確さを保証できません。
総合 37.33検索・要約 9分38秒出典 10 / 30
ローカル 7 位 · 全体 10 位
Qwen3.8-27B
45品質 / 100
多くの論点を扱い、公式資料も引用。引用先と矛盾する発砲回数・死因などが残り、254分10秒を要しました。
総合 36.17検索・要約 254分10秒出典 15 / 30
ローカル 8 位 · 全体 11 位
GPT-OSS-20B
13品質 / 100
2分11秒で最速ですが品質13点。人物・場所・武器・動機の主要な誤りがあり、全面的な書き直しが必要です。
総合 30.40検索・要約 2分11秒出典 0 / 30
比較基準：クラウドLLM 3モデル
クラウド · 全体 01 位
Codex-GPT5.6-Terra
91品質 / 100
短い時間で主要経過を整理。背景や社会的影響、主張ごとの出典対応を補う余地があります。
総合 90.87検索・要約 2分25秒出典 26 / 30
クラウド · 全体 02 位
Codex-GPT6-Astra
99品質 / 100
公式資料と報道を使い分け、主張と出典の対応も明確。品質99点で今回の首位です。
総合 86.15検索・要約 6分17秒出典 29 / 30
クラウド · 全体 03 位
Codex-GPT6-Sol
98品質 / 100
年表・動機・警護・制度対応を明瞭に整理。当日の情報と刑事判決の一次資料を補えます。
総合 84.97検索・要約 6分39秒出典 29 / 30
03 / METHODOLOGY
何を、どの条件で比べたか
提供された評価書と実験記録に基づく
品質80％ ＋ 速度20％
Q ＝ R（出典30）＋ S（要約70）E ＝ 100 × 131 ÷ tG ＝ 0.8 × Q ＋ 0.2 × Et：検索・要約時間（秒）／131秒：11件中の最短時間
品質は資料の適切さ・主張との対応・追跡しやすさ・照合、要約は事実・時系列・数字と不確実性・網羅・明瞭さで採点します。モデル容量や費用の配点はありません。
名称伝達込みではt′＝名称伝達＋検索・要約、G′＝0.8Q＋20×151÷t′。丸め前の値で順位を決め、小数第2位を表示しています。
配点と評価項目の詳細 ↗実験環境
- OS
- Windows 11 Pro 64-bit
- CPU
- Intel Core Ultra 9 285K
- RAM
- 196060 MBytes（原記録表記）
- GPU
- NVIDIA GeForce RTX 5060 Ti / 16 GB
- マザーボード
- Z890 AORUS MASTER / GIGABYTE
- ローカル実行
- LM Studio Bionic・エージェント動作
- クラウド実行
- Codex経由。サーバー構成は記録なし
生成時に指定された検索条件
「安倍元総理暗殺事件」に関する情報を収集し、サマリーをファイルに保存する。
すでに学習した知識ベースに情報が無い場合はインターネット検索をして収集する。
事前にモデル名・思考レベルを伝達。ローカル型は検索・ファイル保存機能を利用できるモデルが対象です。生成依頼の全文は、下の提示プロンプトに掲載しています。
検索語・全検索結果・閲覧履歴・ツールログは未提供です。出典の有無だけから、実際の検索実施や検索の適合率・再現率を判断できません。
この結果から言える範囲
各モデルにつき1文書・1回の時間記録を、モデル名を知った1つのAIが評価した結果です。一般的な性能や僅かな点差の再現性は検証していません。
採点対象は保存文書に現れた出典の活用です。検索ログがないため、実際の検索の有無、適合率・再現率、生成過程の独立性は断定できません。
本ページは提供評価を整理したものです。モデルの再実行・再採点・史実の再検証は行っていません。評価書の情報確認日は2026年10月2日です。
引用の点検と実験の限界 ↗04 / PROMPTS
各ローカルLLMへ提示したプロンプト
共通の生成依頼文を原文のまま掲載
検索・要約の命題と条件 / 全文
元資料に収録された、ローカル8モデルに共通する生成依頼文の全文です。モデル名・思考レベルは事前に伝達した旨が実験記録にありますが、その際に入力した文面そのものは収録されていません。
【目的】 ・インターネット上から必要な情報を収集しファイル保存する。 【依頼内容】 ・「安倍元総理暗殺事件」に関する情報を収集し、サマリーをファイルに保存する。 【入力】 ・すでに学習した知識ベースに情報が無い場合はインターネット検索をして収集する。 【出力】 ・出力するファイルはmdファイルで、ファイル名には現在使用しているローカルLLMのモデル名称を付加した形で "安倍元総理暗殺事件サマリー[ローカルLLM名称].md" とし、以下のフォルダへ保存する。 G:\LMStudioBionicWork\InternetTest\安倍元総理暗殺事件要約 【条件】 ・このフォルダ内のmdファイルは参照せず、自分の知識ベースとインターネット情報のみで作成してください。 ・出力先フォルダ以外の場所での書込みや消去は行わない事。 ・不明な場合は推測して解決せず、質問プロンプトを表示する事。このプロンプトの原文 TXT ↓
モデル別のプロンプト掲載箇所
05 / SOURCE FILES
全資料をダウンロード ↓ ZIP評価の根拠を、手元に。
評価書1件 ＋ ローカル8件・クラウド3件のMarkdown、実験条件と課題文を収録。
原本の本文・ファイル名を保持し、全文をダウンロードできます。
各モデルのMDは上のカード・詳細ページからも取得できます。原文内の誤記や未確認情報も、評価理由と分けてそのまま収録しています。