天安門事件に関する
ローカルLLM回答の比較評価

評価日：2026年10月3日（日本時間）
評価対象：1989年の天安門事件に関する生成済み Markdown File 8件
状態：全8モデルの事実確認・品質採点・総合採点を完了。

1. 評価結果

1.1 全8モデルの総合点

初回総合点S（100点満点）＝品質加点F（80点）＋初回速度点V（15点）＋容量点Z（5点） として順位を付ける。品質加点Fは、回答だけを評価した品質点Q（100点満点）を0.8倍した値である。表の「／」の右側は各点数の満点を表す。

初回合計時間＝モデル読込み時間（読込み確認への応答を含む）＋命題プロンプト処理時間。 「初回」は、モデルをまだ読み込んでいない状態から、1件目の命題の回答を得る場合を指す。命題は今回の「天安門事件について教えてください」という課題であり、読込み確認用の入力とは区別する。

時間・容量の定義と計算式は第3.2節に記載する。ロード済み総合点は、既存の記録から読込み時間を除いて計算したもので、追加の測定結果ではない。

ロード済み条件でも順位は同じで、Gemma4-26B-A4B、GPT-OSS-120B、Nemotron 3 Nano Omni、Muse Glimmer、GPT-OSS-20B、Qwen3.8-27B、Nemotron3-Super、Minimax-M2.7の順となる。採点対象の回答と配点は変えておらず、名称の確認によって2件の時間・容量点を結合した。

1.2 全8回答の品質点

品質点Q（100点満点）＝事実適合・網羅C（70点）＋不確実性・情報の帰属U（10点）＋日本語J（10点）＋説明姿勢・構成R（10点）。表には、この4つの内訳と合計Q、総合評価用に0.8倍した品質加点F（80点満点）を示す。

Cは史実との一致・必要事項の網羅を10項目で評価した合計、Jは日本語の読みやすさを表す。Uの「不確実性」は確定できない範囲を示すこと、「情報の帰属」は誰が発表・推計した情報なのかを示すことを指す。Rは命題への答え方と説明の構成を評価する。

品質点Qは必要事項の網羅や説明も含めた評価点であり、記述の正答率を表す百分率ではない。各内訳の採点基準は第3.1節に記載する。

品質順位は、Gemma（88）、GPT-OSS-120B（84）、Muse Glimmer（70）、Nemotron 3 Nano Omni（68）、Qwen（58）、GPT-OSS-20B（51）、Super（34）、Minimax（20）。

1.3 結果の読み方

回答品質を重視するとGemmaが最良だった。指導部内の対立まで説明し、確認した範囲で明確な事実誤認が見つからなかった。ただし日付や事件後の逮捕への言及には省略がある。

GPT-OSS-120Bも全体像を把握しやすく、Gemmaより初回合計が短い。一方で容量は大きく、人数の区分や香港追悼の説明には補足が必要だった。

Nemotron 3 Nano Omniは初回合計94秒・命題処理30秒と、両方の条件で最短だった。品質点は68点で、指導部や戒厳令の説明が不足するものの、速度の加点により総合3位となった。

Muse Glimmerは品質70点・総合4位。日本語と構成は読みやすいが、ハンスト開始人数、趙紫陽解任の日時・機関、政府による人数発表の有無に明確な誤りがある。

GPT-OSS-20Bは小容量・短時間が加点につながるが、運動開始時期と広場制圧時刻に重大な誤りがある。総合点の高さを、無修正で利用できる歴史説明であることと同一視しない。

Qwenは長い待ち時間に見合う品質上の優位を示さなかった。MinimaxとSuperは短い回答で、特にMinimaxは説明を控える姿勢と複数言語の混在が目立つ。これらは今回保存された回答の評価であり、別プロンプト・別設定を含むモデル全般の能力を断定するものではない。

2. 実験PCと評価条件

2.1 実験PCのハードウェアリソース

本書の「エージェント動作」は、LLMが指示に応じて次の処理を判断し、必要に応じてツール利用などを挟みながら回答を作る実行方式を指す。今回の各試行で実際に行われた処理、ツール使用の有無・回数、処理ごとの時間内訳は、生の実行ログがないため確認できない。エージェント動作という表記だけから、検索やファイル操作が実行されたとは判断しない。

2.2 評価の目的・対象範囲

学習済み知識だけで生成した回答について、情報の正確さ・必要事項の網羅・説明の読みやすさ・利用時の待ち時間・モデル容量を比較する。

モデル読込みの計測用プロンプト：

LLMモデル読込みを完了したらプロンプトを上げてください。

実験時の命題：

インターネットやPC内のファイル検索はせず、持っている知識の中から天安門事件について教えてください。

評価者側ではインターネットで資料を照合した。生成済みの回答8件は全文を読んだが、ローカルLLMを再実行していない。生の実行ログがないため、各モデルが本当に外部参照しなかったか、内部の学習期限が何年かまでは確認できない。

2.3 総合配点

ここでは、時間・容量を含めた初回総合点Sの配点を示す。回答内容だけを評価する品質点Qの内訳（70点＋10点＋10点＋10点）は、第3節の冒頭に示す。Qを80点満点の品質加点Fへ換算し、次の3要素を合計する。

この配点、初回合計時間による主評価、ロード済み条件の参考併記はユーザー確認済み。速度点・容量点は、今回の8モデル中の最短時間・最小容量を満点の基準とする「相対点」であり、比較対象が変われば同じ実測値でも点数が変わり得る。

2.4 事実確認の基準

「公式に公開された資料」を、その内容すべてが正しいという意味では扱わない。政府・議会・外交公電・大学公開資料・調査団体の原報告を照合し、記録の性質を区別した。

判定は、回答全体ではなく、第6節の各行に記載した主張または主張のまとまりに対して行う。以下の語は、事実との整合、裏付けの範囲、情報の性質を区別するための表記であり、確率や点数を表す段階名ではない。

「裏付けあり」は支持資料の存在、「一部支持」は支持できる部分の範囲、「正・概ね正」は記述と資料の整合の程度に重点がある。これらを単純な強弱の序列として扱わない。

説明量については、次のように区別する。

省略・不足・欠落は、書かれた内容の真偽とは別に扱う。「正／省略」は、記載された主張は正しいが補足情報が省かれているという意味である。「帰属不足」は誰の発表・推計かが不明なこと、「対象不足」は対象となる時期・地域・集計指標などが不明なことを指す。

ファクトチェックの第6節では、次の補助表現も用いる。

• 内部不整合：同じ回答の中で、説明が互いに食い違っている。
• 応答回避：命題で求めた具体的な説明を控え、一般論や別の参照先の勧奨などにとどめている。
• 助言：資料を参照することなどを勧める記述であり、事件の事実を述べたものとは区別する。
• 評価範囲の注記：回答が対象とする時点など、どの範囲の説明かを示す補足。
• 場所の限定推奨／因果の限定が必要：要限定または評価・解釈のうち、補足すべき論点を具体的に示した表現。

「／」で結んだ語は、同じ記述について複数の観点を併記したもの。「一部」「前半」「後半」「時期は」などは、その判定が当てはまる部分を示す。判定語だけから点数へ自動換算せず、第3.1節の項目別基準に照らし、第5節に採点理由を示す。

特に、政府が人数を発表した事実と、その人数が実際の全死者数を表すことは別である。死者数について単一の確定値を「正解」にしない。また広場内、周辺道路、北京市全体、全国、6月3～4日、6月3～9日を混同しない。1976年の天安門事件との比較説明は今回の必須項目にしない。

3. 採点方法

採点は、①回答内容の品質点Qを100点満点で採点し、②その点数を総合評価用に80点満点へ換算して、速度点15点・容量点5点を加える、という2段階で行う。品質点Qは回答内容の評価、総合点は時間・容量も含めた利用上の評価である。

第1段階：品質点Q（100点満点）の内訳

第2段階：初回総合点S（100点満点）の内訳

参考として、モデルがロード済みの条件では、速度点だけを命題処理時間で計算した「ロード済み総合点W」を併記する（第3.2.5節）。

3.1 品質点Q：100点

冒頭の第1段階の内訳に従い、品質点Q＝事実適合・網羅C（70点）＋不確実性・情報の帰属U（10点）＋日本語J（10点）＋説明姿勢・構成R（10点） とする。以下では、この順に各内訳の採点基準を説明する。

品質点は「正しく必要な内容を説明できたか」を評価する点数であり、文単位の正答率ではない。情報量が少ない回答に、単に誤りが少ないという理由で満点を与えない。

3.1.1 C：事実適合・網羅（70点）

品質点Qのうち70点を占める内訳である。C1～C10をそれぞれ7点満点で採点し、C＝C1＋…＋C10（最大70点） とする。

共通の段階点は、7＝十分で概ね正確、4＝骨格は正しいが省略・限定不足・部分的不整合あり、2＝断片的な言及、0＝欠落または中心的な説明が誤り。複数の主張を含む項目は正しい部分も考慮する。詳細な誤りは第6節に残すため、同じ0点でも「欠落」と「誤り」を区別して読める。

この段階点で使う表現は、各項目の「7点の目安」を基準に、次の意味で用いる。

段階の境界は、正しい語句の数や誤りの件数だけで機械的に決めない。内容の重要性と正しい部分・不足する部分を合わせて判断するため、評価者の裁量は残る。その具体的な適用は第5節の採点理由と第6節の照合結果で確認できる。

3.1.2 U：不確実性・情報の帰属（10点）

品質点Qのうち、推計の主体・対象・限界や、情報の確かさをどのように説明しているかを評価する10点分。次の4段階で採点する。

C8は「必要な死傷者説明」、Uは回答全体の「確度・出典帰属の扱い」であり、数値の扱いは両面から評価する。出典URLがないこと自体は、外部参照禁止という実験条件を考慮し減点していない。

3.1.3 J：日本語（10点）

品質点Qのうち、日本語の自然さ・読みやすさを評価する10点分。次の4段階で採点する。

3.1.4 R：説明姿勢・構成（10点）

品質点Qのうち、命題へ直接答えているか、説明が分かりやすく構成されているかを評価する10点分。次の4段階で採点する。

C・U・J・Rを合計して品質点Qを確定し、次節で総合評価に用いる品質加点Fへ換算する。

3.2 時間・容量・総合点の式

冒頭の第2段階の内訳に従い、品質加点F・初回速度点V・容量点Zを計算して初回総合点Sを求める。計算に使う時間・容量を先に定義し、その後に各内訳の式を示す。L・P・Tは時間、Bは容量、F・V・Z・S・Wは点数を表す。

3.2.1 F：品質加点（80点）

第3.1節で求めた品質点Q（100点満点）を、総合点における品質の配点80点へ換算する。

品質加点 F = 0.80 × Q

3.2.2 V：初回速度点（15点）

初回合計時間T＝読込み時間L＋命題処理時間Pを用い、今回の最短94秒を15点として計算する。

初回速度点 V = 15 × 94秒 / T

94秒は処理時間表8行の最短初回合計時間。時間が最短の2倍なら、速度点は7.5点となる。

3.2.3 Z：容量点（5点）

記載されたモデル容量Bを用い、今回の最小12.11GBを5点として計算する。

容量点 Z = 5 × 12.11GB / B

12.11GBは処理時間表8行の最小容量。容量が最小の2倍なら、容量点は2.5点となる。

3.2.4 S：初回総合点（100点）

品質加点F（80点満点）・初回速度点V（15点満点）・容量点Z（5点満点）を合計する。第1.1節の主順位はこの点数に基づく。

初回総合点 S = F + V + Z

3.2.5 W：ロード済み総合点（100点・参考）

内訳は、品質加点F（80点）＋ロード済み速度点（15点）＋容量点Z（5点）。品質加点Fと容量点Zは初回総合点と共通で、速度点だけを次の式に置き換える。読込み時間Lを加算せず、命題処理時間Pだけを用いる。

ロード済み速度点 = 15 × 30秒 / P
ロード済み総合点 W = F + 15 × 30秒 / P + Z

30秒は記載された最短命題処理時間。ロード済み総合点Wは新たな測定結果ではなく、同じ記録から読込み時間を除いた参考計算である。

繰り返し利用した場合の時間（参考）

モデルを1回だけ読み込み、命題をn回処理すると仮定した場合、nは命題の処理回数を表す。毎回の命題処理時間がPで一定なら、読込み時間を含む1問当たりの平均時間はP＋L/nとなる。キャッシュ等による実際の時間変化は測定していない。

本節の計算と表示に共通する規則

計算には丸め前の値を使い、表示だけ小数第2位に丸める。 表示した加点の和と表示総合点に0.01点程度の差が出る場合がある。対象モデルを増減すれば最短時間・最小容量と相対点は変わる。

4. 入力モデルと実測記録

数値はすべて「実験方法等.txt」から転記した。括弧内は秒。Muse GlimmerとNemotron 3 Nano Omniの名称は、ユーザーによる対応確認と公開元の資料に基づき統一した。S20 S21 その他の名称は実験ラベルを保持した。個別のチェックポイント（モデルの保存版）、量子化方式（モデルの重みを低い数値精度で表して容量を抑える方式）、ローカル配布物の正確な版は記録がないため推定していない。時間と容量の各記号は第3.2節の定義に対応する。

本書の評価表と本文では上記の名称を使う。原ファイルは変更せず、第9節の入力識別情報にも実際のファイル名を保持した。名称の確認だけから、使用したローカルファイルの量子化や推論モードの詳細までは確定しない。

5. 品質採点の内訳

品質点Q（100点）は、C（70点）・U（10点）・J（10点）・R（10点）の合計である。点数表ではCをさらにC1～C10へ分解し、Cの小計、U・J・R、Qの合計を順に示す。その後に各モデルの採点理由を掲載する。

5.1 項目別点数と合計

列の略称：Qwen＝Qwen3.8-27B、Mini＝Minimax-M2.7、Gemma＝Gemma4-26B-A4B、20B／120B＝GPT-OSS、Muse＝Muse Glimmer、Nano＝Nemotron 3 Nano Omni、Super＝Nemotron3-Super。

5.2 主な採点理由

6. 全ファイルのファクトチェック

8ファイルの検証可能な主張を確認し、重複する言い換えは同じ行にまとめた。下表の「元回答の記述」は照合用の短い抜粋または要旨。全ての細かな価値判断を真偽二択にせず、裏付け不足や解釈も明記した。資料IDは第8節のリンクに対応する。判定語の定義と「／」による複合表記の読み方は、第2.4節に記載する。

6.1 Gemma4-26B-A4B

明確な誤り（偽）：今回の照合範囲ではなし。 事実を網羅し尽くしたという意味ではない。

6.2 GPT-OSS-120B

明確な誤り（偽）：今回の照合範囲ではなし。 数値の対象範囲と香港の制度上の状況には補足が必要。

6.3 GPT-OSS-20B

明確な誤り：3月開始、午後制圧、1989年のEUという名称。 推計値の存在そのものを捏造とは判定しない。

6.4 Minimax-M2.7

明確な歴史的誤り：今回の短い記述の範囲ではなし。 主要事項を答えていないため、高精度な概要とは評価しない。

6.5 Muse Glimmer

明確な誤り：ハンスト開始人数、趙解任の日付・決定機関、政府人数発表の不存在。 胡の外交上の貢献と催涙ガスの記述は、誤りから除外した。

6.6 Nemotron 3 Nano Omni

明確な誤り（偽）：今回の照合範囲ではなし。 ただし戒厳令と指導部内の対立が抜け、長期的影響には検証しにくい一般化がある。

6.7 Nemotron3-Super

明確な誤り：戒厳令の発令日。 主要な背景・人物・事後の説明も不足している。

6.8 Qwen3.8-27B

明確な誤り：追悼開始時期、戒厳令の月。 200都市という数字自体は虚偽と断定しない。

7. 引用・出典情報の点検と実験の限界

7.1 全ファイルの引用点検

8件とも、参照可能なURL、特定の文献名・著者・発表日を伴う正式な出典提示は0件だった。「中国政府」「海外メディア」「歴史資料」「学術研究」等の一般的な帰属はあるため、その帰属内容を第6節で照合した。

架空の書名や偽URLは、そもそもその種の引用がないため検出されていない。出典がないこと、出典が偽であること、本文の事実が誤っていることは別である。括弧や引用符で囲んだ政治的標語も、逐語引用の出典が示されていない場合は語句の意味・帰属として評価した。

7.2 今回の結果から言える範囲

1. 各モデルについて1件ずつの保存回答と1組ずつの時間しかない。反復回数、分散、実験順序、生成設定の詳細は不明で、統計的な有意差は判定できない。
2. 読込み時間は「未ロード状態から読込み確認への返答まで」という運用上の待ち時間を含む。純粋なモデルファイル読込み時間、初回トークン待ち時間（入力から最初の出力トークンが現れるまでの時間）と同一ではない。
3. 命題処理時間もエージェント動作・推論・生成等を含み得る。ログがないため内訳やtokens/s（1秒当たりの生成トークン数）は算出しない。トークンはモデルが文章を処理・生成するときの単位であり、文字数とは一致しない。
4. モデル容量は記載のGB値であり、パラメータ数・推論時メモリ量・消費電力の代用指標ではない。
5. 出力の長さと内容量が異なる。短い回避回答の速さを「同じ品質の回答が速い」とは評価せず、品質点も合わせて見る。
6. 検閲傾向や外国語混入は今回の回答に観察できるが、その原因がモデル、量子化、プロンプト、エージェント設定のどれかは特定できない。
7. 本書の品質点は明示した基準による評価者判断を含む。1段階の採点差でも総合順位が動く可能性がある。小数第2位は計算の確認用であり、その精度で能力差を測れたことを意味しない。
8. 単一の題材・1回の回答から、モデルの全般的な知識量や優劣を一般化しない。

7.3 未確定情報の扱い

歴史資料側で裏付けが十分でない主張は、推測で真偽を埋めず、第6節に「未確認」または「要限定」として残した。ローカル配布物の正確なチェックポイント・量子化と、未提供の実行ログについても推定していない。

8. 検証に用いた資料

全リンクの確認日：2026年10月3日。公開・作成日とWebの取得日を区別した。中国側資料の政治的な正当化表現は、評価者の立場として採用していない。外国政府の公電・NGO報告の推計や証言にも未確認情報が含まれ得るため、資料に書かれていることと最終確定した事実を区別した。

S04は該当箇所の本文・証言を、S06は本文と公開目録を照合した。S17はWeb検索に提供された本文抜粋と公開PDFを参照した。S10が紹介する英大使電報の画像原本は本書では直接読解できていないため、10,000という推計の紹介以上の細部には依拠しない。取得できなかった政府公報や更新ページは採点根拠にしていない。

9. 入力ファイルの識別情報

入力ディレクトリ：G:/LMStudioBionicWork/LearningStatusTest/天安門事件の概要
出力ディレクトリ：G:/LMStudioBionicWork/LearningStatusTest/天安門事件の概要/評価結果

ファイル名のモデル表記を保持した。SHA-256は読取り時の内容の識別用であり、生成元モデルの真正性を証明するものではない。