ローカルの首位はGPT-OSS-120B
出典20/30、要約58/70、品質78点。検索・要約には35分51秒を要しました。本文と引用の対応、年表の時期区分が主な修正点です。
LOCAL LLM / INTERNET RESEARCH BENCHMARK
天安門事件について、
学習済み知識とインターネット検索でまとめた内容を比較。
天安門事件を題材に、出典の使い方・要約の品質・所要時間を評価。。
ローカル8モデルと、比較基準となるクラウド3モデルの結果を掲載します。
ローカル総合・品質 1位
65.07/ 100
GPT-OSS-120B · 品質78点 · 全体4位
ローカルの検索・要約 最短
6分09秒
GPT-OSS-20B · 品質37点 · 総合45.16点
全体総合 1位
94.40/ 100
GPT5.6-Terra · 品質93点 · 4分47秒
01 / RESULTS
評価結果を比較する
全体順位は基本総合Gの固定順位 · 高いほど高評価
| 全体 順位 | モデル / 推論設定 | 基本総合 G / 100 | 事前作業込み G′ / 100・参考 | 品質 Q / 100 | 出典 R / 30 | 要約 S / 70 | 名称伝達時間 | 検索・要約時間 t | 事前作業込み総時間 | 速度 E / 100 | レポート |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT5.6-Terraクラウド比較基準 · 推論：高 · ID A | 94.40/ 100 | 94.40 | 93 | 26 | 67 | 6秒 | 4分47秒 | 4分53秒 | 100.00 | 詳細 ↗ |
| 2 | GPT6-Solクラウド比較基準 · 推論：極高 · ID B | 92.86/ 100 | 92.42 | 98 | 29 | 69 | 21秒 | 6分37秒 | 6分58秒 | 72.29 | 詳細 ↗ |
| 3 | GPT6-Astraクラウド比較基準 · 推論：極高 · ID C | 92.03/ 100 | 91.38 | 96 | 29 | 67 | 25秒 | 6分17秒 | 6分42秒 | 76.13 | 詳細 ↗ |
| 4 | GPT-OSS-120Bローカル 1位 · 推論：高 · ID D | 65.07/ 100 | 65.01 | 78 | 20 | 58 | 1分30秒 | 35分51秒 | 37分21秒 | 13.34 | 詳細 ↗ |
| 5 | Gemma4-26B-A4Bローカル 2位 · 推論：オン · ID E | 60.93/ 100 | 57.59 | 60 | 0 | 60 | 2分47秒 | 7分24秒 | 10分11秒 | 64.64 | 詳細 ↗ |
| 6 | MuseGlimmerローカル 3位 · 推論：非常に高い · ID F | 54.30/ 100 | 53.30 | 61 | 9 | 52 | 4分18秒 | 17分23秒 | 21分41秒 | 27.52 | 詳細 ↗ |
| 7 | Minimax-M2.7ローカル 4位 · 推論：記載なし · ID G | 51.93/ 100 | 51.86 | 64 | 10 | 54 | 16分51秒 | 130分11秒 | 147分02秒 | 3.67 | 詳細 ↗ |
| 8 | Nemotron-3-Superローカル 5位 · 推論：オン · ID H | 51.65/ 100 | 51.53 | 58 | 0 | 58 | 50秒 | 18分13秒 | 19分03秒 | 26.26 | 詳細 ↗ |
| 9 | Nemotron3-Nano-Omuniローカル 6位 · 推論：オン · ID I | 46.39/ 100 | 45.32 | 47 | 8 | 39 | 1分46秒 | 10分53秒 | 12分39秒 | 43.95 | 詳細 ↗ |
| 10 | GPT-OSS-20Bローカル 7位 · 推論：高 · ID J | 45.16/ 100 | 43.42 | 37 | 0 | 37 | 55秒 | 6分09秒 | 7分04秒 | 77.78 | 詳細 ↗ |
| 11 | Qwen3.8-27Bローカル 8位 · 推論：非常に高い · ID K | 44.51/ 100 | 44.47 | 55 | 16 | 39 | 20分03秒 | 187分50秒 | 207分53秒 | 2.55 | 詳細 ↗ |
該当するモデルがありません。検索語または対象を変更してください。
ローカルだけに絞り込んでも、全体順位・点数・速度基準は変わりません。品質点は正答率ではなく、提供評価書による評点です。モデル容量は今回の採点要素に含まれません。狭い画面では表を左右にスクロールできます。
要約内容だけならGemmaが最高
ローカルの要約点はGemmaの60/70が最高。ただし出典0/30のため品質は60点です。出典なしという評価は、本文全体が誤りという意味ではありません。
配点によって順位は変わる
速度の重みを10%にすると全体首位はSol、30%ではローカル首位はGemmaになります。基本順位は品質80%・速度20%で比較した結果です。
02 / REPORTS
評価の理由と、各モデルの出力
提供評価書の採点理由 · 原文と個別の確認結果を全文掲載
ローカル8モデル
ローカル 01 位 · 全体 04 位
GPT-OSS-120B
78品質 / 100
ローカル型では出典を含む品質が最高。R2：劉暁波の引用先と書誌情報、S2：像・集会・ハンストの時期区分、S3：人数発表の帰属に問題がある。
ローカル 02 位 · 全体 05 位
Gemma4-26B-A4B
60品質 / 100
主要経過は比較的正確でS=60。R：出典がなく0点。S4：ハンスト・指導部・拘束などの説明、S5：誤記・外国語混在に修正が必要。
ローカル 03 位 · 全体 06 位
MuseGlimmer
61品質 / 100
背景から事件後まで論点は広い。R2・R3：個々の資料を追跡しにくい。S1・S2：期間・胡耀邦の肩書き、S5：人物名の誤記に問題がある。
ローカル 04 位 · 全体 07 位
Minimax-M2.7
64品質 / 100
遺族や拘束後の処遇も扱う。R2・R3：記事・引用箇所を特定しにくい。S1：趙紫陽の肩書きや制裁の範囲、S5：意味を変える誤字と複数言語の混在がある。
ローカル 05 位 · 全体 08 位
Nemotron-3-Super
58品質 / 100
主要経過と論点は広い。R：出典なしで0点。S1：趙紫陽の役割と事件範囲、S2：時刻・日付、S3：推計の帰属、S4：追悼制限、S5：外国語混在と重複が主な減点理由。
ローカル 06 位 · 全体 09 位
Nemotron3-Nano-Omuni
47品質 / 100
全国化・要求・検閲・香港の観点はある。S2：ハンスト開始の誤り、S3：人数の裏付けと内部不整合、S4：戒厳令・指導部の欠落、S5：固有名詞等に問題がある。
ローカル 07 位 · 全体 10 位
GPT-OSS-20B
37品質 / 100
発端と鎮圧の最低限の骨格はある。R：出典なし。S1・S2：終結時期・人物の説明、S3：人数と単位、S4：戒厳令・ハンスト・タンクマンの欠落が主な問題。
ローカル 08 位 · 全体 11 位
Qwen3.8-27B
55品質 / 100
論点の幅と構成、4件のURLは評価できる。S1・S2：受賞年・年表・制度の誤認、S3：推計の上下限の矛盾、R2：本文と引用の対応に問題がある。
クラウド3モデル / 比較基準
クラウド比較基準 · 全体 01 位
GPT5.6-Terra
93品質 / 100
主要事実・日付は正確。R2：本文と出典の個別対応、S3：死傷者発表の対象区分、S4：指導部の説明に補足の余地がある。
クラウド比較基準 · 全体 02 位
GPT6-Sol
98品質 / 100
主要事項に重大な誤認はなく、品質98点。R2：長い文書集の該当箇所の絞り込み、S5：参照・注意書きの重複に改善余地がある。
クラウド比較基準 · 全体 03 位
GPT6-Astra
96品質 / 100
資料の性質と不確実性を適切に説明。S2：ハンスト開始日の具体性、S4：タンクマンの欠落、S5：資料説明の重複が主な減点理由。
03 / METHODOLOGY
採点方法の詳細 ↗何を、どの条件で比べたか
品質80%・速度20%で評価
G = 0.8 × Q ＋ 20 × 287 / tQ：品質 / t：検索・要約時間（秒） / 最短：Terraの287秒
品質Qは出典R（30点）と要約S（70点）の合計。出典の適切さ・追跡可能性と、事実・時系列・数字・網羅性・明瞭さを評価しています。
事前作業込み G′ = 0.8 × Q ＋ 20 × 293 / t′。t′は名称伝達時間と検索・要約時間の合計です。追加測定ではなく、同じ記録を用いた参考計算です。
丸め前の値で計算し、表示だけ小数第2位に丸めています。速度基準はクラウドを含む11件中の最短値です。
実験環境 / ローカル型
- OS
- Windows 11 Pro 64-bit
- CPU
- Intel Core Ultra 9 285K
- RAM
- 196060 MBytes（原記録表記）
- GPU
- NVIDIA GeForce RTX 5060 Ti / 16 GB
- マザーボード
- Z890 AORUS MASTER / GIGABYTE
- 実行ソフト
- LM Studio Bionic・エージェント動作
クラウド3件はCodexで実行。サーバー資源は記録されていません。量子化・配信モデル内部IDなども確認できる記録がありません。
生成時に指定された検索条件
「天安門事件」に関する情報を収集し、サマリーをファイルに保存する。
すでに学習した知識ベースに情報が無い場合はインターネット検索をして収集する。
事前にモデル名・思考レベルを伝達。ローカル型は検索・ファイル保存機能を利用できるモデルが対象です。生成依頼の全文は、下の提示プロンプトに掲載しています。
検索語・全検索結果・閲覧履歴・ツールログは未提供です。出典の有無だけから、実際の検索実施や検索の適合率・再現率を判断できません。
結果を読むときの範囲
各モデル1文書・1回の時間記録を、モデル名を知った状態で1つのAIが評価した結果です。モデル全般の能力や、小差の安定性を検証したものではありません。
評価日は2026年10月2日。サイト作成時に再採点・モデル再実行・外部資料の再検証は行っていません。評価者による「誤り」「未確認」「引用不一致」「出典なし」を区別して掲載します。
全文・引用点検・資料の確認範囲を見る ↗04 / PROMPTS
各ローカルLLMへ提示したプロンプト
共通の生成依頼文を原文のまま掲載
検索・要約の命題と条件 / 全文
元資料に収録された、ローカル8モデルに共通する生成依頼文の全文です。モデル名・思考レベルは事前に伝達した旨が実験記録にありますが、その際に入力した文面そのものは収録されていません。
【目的】 ・インターネット上から必要な情報を収集しファイル保存する。 【依頼内容】 ・「天安門事件」に関する情報を収集し、サマリーをファイルに保存する。 【入力】 ・すでに学習した知識ベースに情報が無い場合はインターネット検索をして収集する。 【出力】 ・出力するファイルはmdファイルで、ファイル名には現在使用しているローカルLLMのモデル名称を付加した形で "天安門事件サマリー[ローカルLLM名称].md" とし、以下のフォルダへ保存する。 G:\LMStudioBionicWork\InternetTest\天安門事件要約 【条件】 ・このフォルダ内のmdファイルは参照せず、自分の知識ベースとインターネット情報のみで作成してください。 ・出力先フォルダ以外の場所での書込みや消去は行わない事。 ・不明な場合は推測して解決せず、質問プロンプトを表示する事。このプロンプトの原文 TXT ↓
モデル別のプロンプト掲載箇所
05 / SOURCE FILES
全資料をダウンロード ↓ ZIP評価の根拠を、手元に。
サマリー11件、今回の評価書、構成参考の旧評価書、依頼・実験条件TXTを収録。
元ファイルの本文は変更せず複製しています。