総合 01 位
Gemma4-26B-A4B
88品質 / 100
全体の整合性が高く、指導部内の対立も説明。胡耀邦の死去日・戒厳令の発令日・事件後の逮捕への言及には省略があります。
LOCAL LLM / KNOWLEDGE BENCHMARK
天安門事件の説明を、
各ローカルLLMの学習済みデータで比較。
学習済みの知識から生成した回答を、品質・待ち時間・モデル容量で評価。
評価結果から、採点の理由と実際の回答まで確認できます。
初回総合点 1位
76.77/ 100
Gemma4-26B-A4B · 品質 88 / 100
初回合計時間 最短
1分34秒
Nemotron 3 Nano Omni · 品質 68 / 100
モデル容量 最小
12.11GB
GPT-OSS-20B · 品質 51 / 100
01 / RESULTS
評価結果を比較する
総合順位は初回総合点で決定 · 点数が高いほど高評価
| 総合 順位 | モデル / 推論設定 | 初回総合点 S / 100 | ロード済み W / 100・参考 | 品質 Q / 100 |
事実・網羅 C / 70 | 不確実性・帰属 U / 10 | 日本語 J / 10 | 説明・構成 R / 10 |
読込み L | 命題処理 P | 初回合計 T 読込み＋命題処理 | 容量 B GB | レポート |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Gemma4-26B-A4B推論設定：オン | 76.77/ 100 | 75.18 | 88 | 61 | 7 | 10 | 10 | 2分31秒 | 5分18秒 | 7分49秒 | 17.99 | 詳細 ↗ |
| 2 | GPT-OSS-120B推論設定：高 | 73.52/ 100 | 72.10 | 84 | 57 | 7 | 10 | 10 | 2分29秒 | 1分54秒 | 4分23秒 | 63.39 | 詳細 ↗ |
| 3 | Nemotron 3 Nano Omni推論設定：オン | 71.72/ 100 | 71.72 | 68 | 44 | 7 | 7 | 10 | 1分04秒 | 30秒 | 1分34秒 | 26.10 | 詳細 ↗ |
| 4 | Muse Glimmer推論設定：非常に高い | 63.40/ 100 | 62.18 | 70 | 46 | 4 | 10 | 10 | 3分09秒 | 2分38秒 | 5分47秒 | 18.16 | 詳細 ↗ |
| 5 | GPT-OSS-20B推論設定：高 | 59.49/ 100 | 51.80 | 51 | 30 | 4 | 7 | 10 | 28秒 | 1分15秒 | 1分43秒 | 12.11 | 詳細 ↗ |
| 6 | Qwen3.8-27B推論設定：非常に高い | 50.87/ 100 | 50.28 | 58 | 34 | 7 | 7 | 10 | 6分17秒 | 15分54秒 | 22分11秒 | 17.74 | 詳細 ↗ |
| 7 | Nemotron3-Super推論設定：オン | 30.98/ 100 | 31.78 | 34 | 16 | 7 | 7 | 4 | 5分42秒 | 1分56秒 | 7分38秒 | 86.85 | 詳細 ↗ |
| 8 | Minimax-M2.7推論設定：記載なし | 18.34/ 100 | 18.52 | 20 | 16 | 0 | 4 | 0 | 8分44秒 | 3分36秒 | 12分20秒 | 138.34 | 詳細 ↗ |
該当するモデルがありません。検索語を変更してください。
品質加点 80点速度点 15点容量点 5点
品質 Q = 事実・網羅 C + 不確実性・帰属 U + 日本語 J + 説明・構成 R時間・容量は実験記録値。容量は実行時のメモリ使用量ではありません。全採点基準・計算式 ↗品質点は正答率ではありません。ロード済み総合点は同じ記録から読込み時間を除いた参考計算で、追加測定ではありません。小数は評価書の表示値を保持しています。狭い画面では表を左右にスクロールできます。
02 / REPORTS
評価の理由と、各モデルの回答
提供された評価書の要点 · 元回答は全文掲載
総合 02 位
GPT-OSS-120B
84品質 / 100
背景から事件後まで広く説明。人数の対象範囲と香港の追悼集会の説明には補足が必要です。容量は63.39 GBでした。
総合 03 位
Nemotron 3 Nano Omni
68品質 / 100
初回合計・命題処理とも今回の最短。指導部と戒厳令の説明が欠落しており、速度と品質を併せて読む必要があります。
総合 04 位
Muse Glimmer
70品質 / 100
日本語と構成は読みやすい一方、ハンスト開始人数、趙紫陽解任の日付・機関、政府の人数発表の有無に誤りがあります。
総合 05 位
GPT-OSS-20B
51品質 / 100
今回の最小容量で初回合計も短い一方、運動の開始時期と広場の制圧時刻などに誤りがあり、説明の修正が必要です。
総合 06 位
Qwen3.8-27B
58品質 / 100
追悼の開始時期と戒厳令の月に誤りがあります。指導部と国際反応の説明もなく、初回合計は今回の最長でした。
総合 07 位
Nemotron3-Super
34品質 / 100
戒厳令の発令日を誤り、背景・人物・事件後・国際反応の説明も不足。短い一般論と資料参照の勧めが中心です。
総合 08 位
Minimax-M2.7
20品質 / 100
日時・場所・武力介入の骨格にとどまり、死傷者の説明が欠落。詳細への応答を控え、複数言語の混在も見られます。
03 / METHODOLOGY
採点方法の詳細 ↗何を、どの条件で比べたか
回答品質を80%、速度と容量を20%
S = 0.8 × Q + 15 × 94 / T + 5 × 12.11 / BQ：品質点 / T：初回合計時間（秒）/ B：モデル容量（GB）
最短の初回合計94秒と、最小容量12.11 GBを満点の基準にした相対点です。比較対象が変われば点数も変わり得ます。
品質Qは、事実適合・網羅70点、不確実性・情報の帰属10点、日本語10点、説明姿勢・構成10点で評価。総合点には0.8倍して加算します。
ロード済み総合点 W = 0.8 × Q + 15 × 30 / P + 5 × 12.11 / B。Pは命題処理時間（秒）です。計算には丸め前の値を使うため、表示した部分点の和と総合点に0.01程度の差が出ることがあります。
実験環境
- OS
- Windows 11 Pro 64-bit
- CPU
- Intel Core Ultra 9 285K
- RAM
- 192 GB（評価書表記）
- GPU
- NVIDIA GeForce RTX 5060 Ti / 16 GB
- マザーボード
- Z890 AORUS MASTER / GIGABYTE
- 実行環境
- LM Studio Bionic・エージェント動作
推論設定は比較表に併記。量子化方式・チェックポイントの正確な版は記録がないため推定していません。
全8モデル共通の入力プロンプト
実験記録に記載された、全8モデル共通の入力です。以下の順に提示しています。
1. モデル読込み確認用のプロンプト
LLMモデル読込みを完了したらプロンプトを上げてください。
2. 読込み後に提示した命題プロンプト
インターネットやPC内のファイル検索はせず、持っている知識の中から天安門事件について教えてください。
読込み確認への返答までをL、続く命題の回答完了までをPとして計測し、L＋Pを初回合計時間Tとしています。
この結果から言える範囲
各モデル1件の保存回答と1組の時間記録を比較した結果です。別の題材・設定やモデル全般の能力を示すものではありません。
評価書では外部資料と照合していますが、本ページ作成時に再採点やモデルの再実行はしていません。実行ログがないため、生成時の外部参照の有無や内部処理、学習期限は確認できません。
検証方法・実験の限界・21件の出典 ↗04 / SOURCE FILES
全資料をダウンロード ↓ ZIP評価の根拠を、手元に。
評価書1件 + 各モデルの原文8件のMarkdownと、実験条件・評価依頼のTXTを収録。
ファイル名・本文は提供された原本のまま保存しています。