天安門事件要約の比較評価

評価日：2026年10月2日（日本時間）
評価対象：天安門事件に関する生成済みサマリー11件（クラウド型3件・ローカル型8件）
評価者表記：Codex-GPT6-Astra極高

本書は、出典と要約の品質、検索・要約の実測時間を比較した結果をまとめる。総合点と品質点を第1節、実験条件と採点方法を第2節・第3節、詳細な事実確認を第6節・第7節に示す。

1. 評価結果

1.1 全11モデルの総合点

検索・要約時間を含む総合1位はCodex-GPT5.6-Terra高（94.40点）、品質1位はCodex-GPT6-Sol極高（98点）。ローカル型ではGPT-OSS-120B高が品質・総合とも1位だった。

**基本総合G（100点満点）＝品質加点0.8Q（80点）＋速度加点0.2E（20点）**として順位を付ける。品質Qは出典と要約を合わせた100点満点の評価で、速度Eは検索・要約時間の短さを100点満点に換算した点数である。各列の「／」の右側は満点を表す。

基本総合の時間は実験記録の「命題処理時間」に対応する。事前作業はファイル名等に用いるモデル名・思考レベルを伝える作業である。式は第3.2節、実測値は第4節に示す。各列は丸め前の値から計算し、表示だけ小数第2位に丸める。

基本総合順位と比べると、事前作業込みでも上位8件は同順で、9～11位はI（Nano）、K（Qwen）、J（GPT-OSS-20B）の順になる。

1.2 全11文書の品質点

品質Q（100点満点）＝出典R（30点）＋要約S（70点）。出典Rは資料の適切さ・主張との対応・参照先の特定・資料の使い分け、要約Sは事実・時系列・数字と不確実性・網羅性・明瞭さを評価する。品質Qは正答率を表す百分率ではなく、これらの基準による評点である。

品質の配点と判断基準は第3.1節、項目別点数は第5節、個別の事実確認と修正箇所は第6節に示す。

1.3 結果の読み方

Terraは短い正確な要約と速度を両立し、Sol・Astraは出典の扱いと不確実性の説明が良い。上位3件の小差は配点に依存し、時間の重みを10％にするとSolが首位になる。

ローカル型では、要約内容だけのSはGemmaが60点で最高だが、出典を含むQではGPT-OSS-120Bが78点で最上位となる。Nemotron-3-SuperはS=58で主要事項を広く扱うものの出典がなく、Q=58、総合51.65点で8位。Minimaxとの総合差約0.29点から、安定した性能差があるとは判断できない。

2. 実験PCと評価条件

2.1 実験PCのハードウェアリソース

この実験では、クラウド型AIと手元のPCで動かすローカル型AIに、天安門事件を調べて要約する課題を与えた。下表はローカル型AIに使用したPCの構成である。

PC仕様と各AIの所要時間は実験実施者の記録に基づく。RAMの数値・単位は記録どおり掲載した。所要時間は要約を生成する課題の処理時間であり、この比較報告書の調査・採点時間は含まない。

2.2 評価の目的・対象範囲

クラウド型3件とローカル型8件の計11件について、資料の使い方、要約の正確さ・読みやすさ、処理時間を評価した。全ファイルの出典表記を点検し、掲載された24種類のURLについて取得を試み、引用と本文の対応を照合した。

全11件を同じ配点で評価した。「高」「極高」「オン」等は実験上の表記であり、配信モデルIDや実装を独立に確認した名称ではない。情報の現況は、参照資料が示す時点と確認できる範囲に限定する。

1. 指定2フォルダ直下のサマリーmd全11件、両方の生成依頼文、比較依頼書、実験記録を読んだ。対象ファイルと識別情報は第4・9節に示す。
2. 発端、参加者、ハンスト、戒厳令、指導部、鎮圧の日時・場所、被害、制裁、事件後の拘束と記憶を照合した。1976年については別事件として経過・名誉回復を確認した。
3. 各文書の全出典欄と本文内の引用を点検した。異なる24種類のURL、URLなしで挙げられた資料名、出典欄そのものがない文書を含め、第7節に検証結果を示す。
4. 元ファイルの行番号を付して、事実誤認と引用の問題、未確認事項、要点の欠落を区別した。公的資料でも、当局の発表と独立に確定した事実を同一視しない。
5. 実験記録の時間を秒に換算して総合点を計算した。事前作業を含める場合、時間の重みを変える場合も併記した。

出典へのアクセスと引用の正しさは別々に確認する。実在するページでも主張の根拠にならないことがあり、リンクを取得できなくても主張そのものが別資料で確認できる場合がある。外部サイトの全記事・公文書集の全頁を検証したという意味ではなく、引用対象となる主要な記述を照合した。確認し切れない細部は「未確認」とする。

2.3 総合配点

品質Qを80点満点へ換算し、検索・要約時間から算出する速度の加点20点を加える。

速度は対象11件の最短時間を基準とする相対点である。事前作業を含む参考点G'でも、品質80％・速度20％の配点を用いる。時間の重みを変えた場合は第3.3節に示す。

2.4 事実確認の基準

政府機関の公開文書は、当局が何を発表・記録したかを確認する根拠になる。一方、政府発表の死者数や政治的評価が、そのまま独立に確定した史実になるわけではない。大学・研究者・人権団体の資料も作成時点と立場を確認して使用した。

現況を扱う主張は資料の公表日・確認可能な範囲に限定した。死者総数、タンクマンの身元・運命、裏付けのない細部を推測で確定しない。主要な基準は政府・公文書等で確認し、犠牲者や人権状況の調査、日付の補助確認は大学・人権団体・報道機関の資料と立場を分けて使用した。

個別の指摘では、次の判定語を使い分ける。

• 誤り：確認した根拠と矛盾する記述。
• 引用不一致：本文の主張を、付された引用先が裏付けない。
• 要修正：一部正しいが、範囲、肩書き、時点、数字の意味などが不正確・曖昧。
• 未確認：資料を特定・取得できない、または原資料まで裏付けが取れない。虚偽や捏造とは断定しない。
• 欠落・出典なし：要点または根拠の提示がない。
• 一致・改善：照合できた内容、または誤りではないが引用・表現を改善できる箇所。

3. 採点方法

採点は、①文書の品質Qを100点満点で評価し、②0.8倍した品質加点に、検索・要約時間から算出する速度加点を足す、という2段階で行う。

3.1 品質点Q：100点

Q＝R（出典30点）＋S（要約70点）。

各項目は整数評点であり、正誤件数の機械的な換算ではない。例えば受賞年の誤りや人物の役割の混同を、細かな表記の揺れより重く扱う。第6節の指摘は採点理由の説明であり、総合点からさらに減点するものではない。文章の長さ・URL数そのものでは加点しない。

出典欄も特定可能な引用もないGemma、GPT-OSS-20B、Nemotron-3-SuperはR=0とした。これは本文が全て誤りという意味ではない。媒体・団体名を挙げる文書には資料の適切さ等で部分点を与えるが、個々の記事をたどれなければR2・R3は低くなる。取得制限そのものを、モデルによる捏造や事実誤認として減点しない。

3.2 時間・総合点の式

実験記録の「命題処理時間」を、本書では「検索・要約時間」と表記する。時間は実験記録の計測値を使い、ファイル更新時刻から推定しない。

• 各AIの検索・要約時間を秒に換算してtとする。最短はTerraの287秒。
• 速度E＝100×287÷t。
• 基本総合G＝0.80×Q＋0.20×E。
• 計算には丸め前の値を使い、表示だけ小数第2位に丸める。

最短の2倍の時間なら速度点50、10倍なら10となる。例えばTerraはQ=93、E=100なのでG=94.40。Nemotron-3-SuperはQ=58、t=1093秒なのでE=26.26、G=51.65となる。

配点と変換式は依頼書に指定がないため、内容の正確さを重視して品質80％・時間20％とした。長時間の結果同士では、時間差の総合点への影響は小さくなる。総合点だけでなく品質点と具体的な指摘も併せて読む必要がある。

3.2.1 事前作業を含める場合

事前作業込みではt'＝名称伝達時間＋検索・要約時間。最短t'はTerraの293秒で、E'＝100×293÷t'、G'＝0.8Q＋0.2E'とする。

名称伝達時間・検索要約時間・合計時間の実測記録は第4節に、GとG'の結果は第1.1節に示す。

3.3 時間配点を変えた場合

G(w)＝(1−w)Q＋wE。wは時間の重みで、第3.2節のEを使う。

時間0％・10％の全体首位はB（Sol）、20％・30％はA（Terra）。ローカル首位は0％・10％・20％でD（GPT-OSS-120B）、30％でE（Gemma）となる。配点による順位の変化であり、小さな品質差の統計的な有意性を示すものではない。

4. 入力モデルと実測記録

実測時間は実験記録に基づく。括弧内は秒数を示す。クラウド型3件、ローカル型8件の順に掲載し、名称伝達時間と検索・要約時間を区別する。速度Eは、第3.2節の式による100点満点の点数である。

IDは第5節の採点表と第6節の詳しい評価を対応させる記号である。Hのファイル名は「Nemotron-3-Superオン」、時間記録は「Nemotron3-Superオン」と表記されている。対応するSuperのファイル・時間記録はそれぞれ1件なので、同じ実験ラベルとして対応付けた。

GPT-OSS-120Bは検索・要約35分51秒でG=65.07、事前作業込み37分21秒でG'=65.01となる。Nemotron-3-Superは名称伝達50秒を加えた19分03秒でG'=51.53となる。

対象ファイル・バイト数・行数・URL数・SHA-256は第9節にまとめた。

5. 品質採点の内訳

品質Qは、出典R（30点）と要約S（70点）の合計である。第3.1節のR1～R4、S1～S5ごとの点数を示し、次に各モデルの主な採点理由をまとめる。

5.1 項目別点数と合計

列の並びは第4節の実測記録に対応する。120B／20BはGPT-OSS、MuseはMuseGlimmer、NanoはNemotron3-Nano-Omuni、SuperはNemotron-3-Superを指す。括弧内のIDは各表・第6節で共通である。

5.2 主な採点理由

上表は第6節の詳細を項目別に要約したものであり、別の減点を追加するものではない。未確認の情報は、確定した誤りと区別して扱う。

6. 全ファイルのファクトチェック

行番号は第9節の元ファイルに対応する。誤り・未確認・出典不足を区別し、正しいと確認できた点も併記した。クラウド型3件の後にローカル型8件を掲載する。

6.1 Codex-GPT5.6-Terra高（ID：A）

品質Q=93点／基本総合G=94.40点。

対象：Codex-GPT5.6-Terra高 原文。

良い点： 発端、ハンスト、戒厳令、鎮圧、タンクマン、被害の不確実性を短く整理している。確認した主要な事実・日付に重大な誤認は見つからなかった。

出典の本文対応、数字の対象区分、指導部の説明が主な減点理由。品質点は93だが、最短287秒で速度点100となり、基本総合の首位となる。

6.2 Codex-GPT6-Astra極高（ID：C）

品質Q=96点／基本総合G=92.03点。

対象：Codex-GPT6-Astra極高 原文。

良い点： 学術要旨、党史、回想、米国文書、人権団体の資料の性質を説明し、推計を確定値にしていない。主要な記述と出典の対応が良い。

S2=9は日付の具体性、S4=9は共通要点の不足による。1976年の記載量に対する加点はしていない。Solより20秒短いが、基本総合では品質差を逆転しない。

6.3 Codex-GPT6-Sol極高（ID：B）

品質Q=98点／基本総合G=92.86点。

対象：Codex-GPT6-Sol極高 原文。

良い点： 段落単位の引用、指導部の対立、被害の場所、数字の不確実性、現在の状況の参照時点が明確。1976年と1989年も区別されている。

主要事項に重大な事実誤認は見つからず、品質点は最高の98。R2=9とS5=4は、引用箇所の絞り込みと長さの改善余地を反映する。Terraより110秒長く、時間20％の総合では2位。

6.4 Gemma4-26B-A4Bオン（ID：E）

品質Q=60点／基本総合G=60.93点。

対象：Gemma4-26B-A4Bオン 原文。

良い点： 5月20日、6月3～4日、6月5日の順序は正しく、短い文書の主要な筋は良い。要約点S=60は本評価のローカル群で最も高い。

R=0は、検索していない・本文が全て誤りという意味ではない。原資料への追跡可能性がないことを示す。出典の追加が最優先。

6.5 GPT-OSS-120B高（ID：D）

品質Q=78点／基本総合G=65.07点。

対象：GPT-OSS-120B高 原文。

良い点： 3件のURLと本文内リンクがあり、発端、戒厳令、鎮圧、指導部の対立の骨格は比較的安定している。出典を含む品質点・基本総合ともローカル群で最上位。

35分51秒の命題処理時間が総合点を下げる。実験記録の名称設定時間90秒を加えると、設定込み37分21秒、設定込み総合65.01点となる。

6.6 GPT-OSS-20B高（ID：J）

品質Q=37点／基本総合G=45.16点。

対象：GPT-OSS-20B高 原文。

良い点： 4月15日の発端、6月の鎮圧という最低限の骨格は記載している。命題処理は6分09秒と短い。

速度点は高いが品質点37を相殺しない。基本事項と出典を補うことが先になる。

6.7 Minimax-M2.7（ID：G）

品質Q=64点／基本総合G=51.93点。

対象：Minimax-M2.7 原文。

良い点： 主要なハンスト・戒厳令・鎮圧の日付に加え、遺族や拘束後の処遇も扱う。独断の銃撃、180人超・負傷70人超の名簿、2012年の遺族の死などはAmnesty日本の記述と対応し、詳細であるという理由だけで虚偽とはしない。Amnesty日本。

団体・媒体名はあるが記事名・URL・引用位置がない。命題処理130分11秒、設定込み147分02秒に対し、引用と文章の完成度が不足する。

6.8 MuseGlimmer非常に高い（ID：F）

品質Q=61点／基本総合G=54.30点。

対象：MuseGlimmer非常に高い 原文。

良い点： 背景、党内対立、戒厳令、鎮圧後の銃撃、タンクマンまで扱い、主要な論点の幅はある。

本文のモデル表記「MudeGlimmer」とファイル名「MuseGlimmer」の相違は識別上の注記であり、歴史事実の減点には使用していない。

6.9 Nemotron3-Nano-Omuniオン（ID：I）

品質Q=47点／基本総合G=46.39点。

対象：Nemotron3-Nano-Omuniオン 原文。

良い点： 全国的な運動、要求、情報統制、香港の追悼という観点はある。

団体名やニュース集の列挙だけでは個別の主張を追跡しにくい。重要な時系列・人数の出典・外国語混在を優先的に直すべきである。

6.10 Nemotron-3-Superオン（ID：H）

品質Q=58点／基本総合G=51.65点。

対象：Nemotron-3-Superオン 原文。

良い点： 胡耀邦死去、5月13日のハンスト、5月20日の戒厳令、6月3～4日の鎮圧という主要経過を押さえ、学生以外の参加者、指導部の対立、被害、国際反応、記憶を広く扱う。次表のとおり、一見細かい人数・日付にも対応する資料がある。

S1=31は役割・事件範囲の曖昧さ、S2=9は時刻・タンクマンの日付、S3=7は推計の帰属不足、S4=9は追悼制限の説明不足、S5=2は外国語混在と重複を反映する。要約Sは58点だが出典Rが0点のため、品質Qも58点となる。検索・要約18分13秒、事前作業込み19分03秒で、総合8位。

6.11 Qwen3.8-27B非常に高い（ID：K）

品質Q=55点／基本総合G=44.51点。

対象：Qwen3.8-27B非常に高い 原文。

良い点： 構成、論点の幅、4件の参考URL、死者数が不確定という説明は評価できる。一方、読みやすさに比べて事実の照合が不足する。

命題処理187分50秒、設定込み207分53秒は対象11件中で最長。詳しい文章と長い処理時間が、この出力では正確さに結びついていない。

7. 引用・出典情報の点検と実験の限界

7.1 全ファイルの引用点検

7.1.1 全24種類のURLの照合

原文に掲載された異なるURLは全体で24種類、文書ごとの重複を除いたURL数の合計は30件である。同じURLを複数文書が用いるため、両者は一致しない。本文・PDF・論文要旨を取得できたものは20種類、直接取得できず検索索引の本文で照合したPBS記事が2種類、取得制限により本文未確認のものが2種類だった。

下表は24種類全てを対象とする。「対応」は確認した記述についての判定であり、記事全体の無謬性や、そこから引用できる全ての主張を保証するものではない。各モデルの具体的な誤り・曖昧さは第6節に示した。

7.1.2 URLのない6文書の出典表記

7.2 この結果から言える範囲

生成時の検索語、全検索結果、閲覧履歴、ツールログは提供されていない。生成依頼の検索条件は「学習済み知識に情報がない場合」であり、無引用だけで検索していない、または生成指示違反とは判断しない。ローカル側の保存された依頼文には同じフォルダのmdを参照しない条件もあるが、各実行時の指示や参照履歴は確認できないため、生成過程の独立性は評価対象外とした。

量子化、GPUへの配置量、コンテキスト長、出力トークン数、検索・再試行の回数、並行負荷、クラウド側の資源は不明。長時間化の原因をモデルサイズやメモリ不足に特定できず、この時間比較はトークン生成速度の比較でもない。計測の開始・終了条件は記録以上に推定しない。費用は未計測である。

評価対象は各モデルから得られた1文書であり、モデル一般の優劣を断定する実験ではない。実行資源・検索履歴等が揃っておらず、同一モデルの反復実験や複数評価者による採点もない。時間の重みで首位が変わることを踏まえ、用途に応じてQ・R・Sと実測時間を個別に確認する。

7.3 未確定情報と誤りの区別

明確な内容の誤りには、Qwenの劉暁波の受賞年と6月1日の一斉移動、Minimaxの趙紫陽の肩書き、Nanoのハンスト開始時期がある。引用先との不一致としては、GPT-OSS-120Bが劉暁波の受賞の根拠にY-historyを付した点、Qwenの6月1日の説明が参考文献に挙げたPBS年表と矛盾する点を確認した。GPT-OSS-120BのY-historyの日付は、ページとその中で紹介する新聞記事を混同している。

一方、本文を取得できなかったBBC・Britannica、記事を特定できない産経新聞等の表記について、リンクや記事が架空だとは確認していない。319人という数字は二次資料に存在するものの、原発表まで確認できていない。虚偽と断定する項目と、裏付け不足の項目を分けて扱う。

Amnesty日本のページには見出しと本文に異なる経過年数が含まれるため、年次表現をそのまま現況に転用しない。現況はHRWの2026年6月1日報告など、公表時点を限定できる記述を使用した。取得日を基準に、ページ内の予定・過去の状況を現在の確定事実に読み替えてはいない。

8. 検証に用いた資料

確認日は2026年10月2日。以下は採点に用いた根拠と、各要約の引用を検証するための対象資料である。二次資料、回想、推計の性質を保って利用した。取得できない資料や検索索引のみで確認した資料は、その制限を明記する。

8.1 政府・公的機関・授賞主体の資料

8.2 大学・研究・調査・人権団体等の資料

8.3 報道・百科事典・作品資料と検証対象リンク

9. 入力ファイルの識別情報

9.1 評価対象の要約文書

2つの入力フォルダ直下にあるサマリーmd全11件を対象とした。行番号は各ファイルの先頭を1行目とし、行数は末尾の改行だけによる空行を除く。URL数は文書内の異なるhttp・httpsリンクを数えたもので、参照先の品質を表す指標ではない。

9.2 内容の識別情報

SHA-256は、読者が評価対象と手元のファイルの内容が同じか確認するための識別値である。第9節のIDに対応する。元の要約・依頼文・実験記録は編集せず、この比較報告書を指定の比較結果フォルダに保存した。

モデル名はファイル名と実験記録の実験ラベルに従う。ラベルから配信モデルの内部ID、量子化、パラメーター数、検索の実行履歴を確認したものではない。