評価書の全文と出典

提供された評価書を全文掲載しています。ページ作成時の再調査・再採点はしていません。原文のGドライブへの文書リンクのみ、このサイト内の対応ページへ置き換えています。ダウンロード版は原本と同一です。

安倍元総理暗殺事件要約の比較評価

評価日・資料確認の基準日：2026年10月2日（日本時間）
評価対象：安倍晋三元首相の銃撃・殺害事件を調べて作成した要約11件（クラウド型3件・ローカル型8件）
評価者表記：Codex-GPT6-Astra極高

本書は、出典と要約の品質、検索・要約の実測時間を比較した結果をまとめる。総合点と品質点を第1節、実験条件と採点方法を第2節・第3節、詳細な事実確認を第6節・第7節に示す。

1. 評価結果

1.1 全11モデルの総合点

処理時間を含む総合1位はCodex-GPT5.6-Terra高（90.87点）、品質1位はCodex-GPT6-Astra極高（99点）。ローカル型ではMuseGlimmer非常に高いが品質・基本総合とも1位となった。

基本総合G（100点満点）＝品質Qの80％＋速度Eの20％。品質Qは文書の内容と出典の使い方、速度Eは検索・要約時間の短さを評価する。表の「/」の右側は満点を表す。計算式は第3節、時間の記録は第4節に示す。

IDは、採点内訳と個別評価を対応させるための記号である。モデル名だけでは表が長くなる箇所に使用する。

1.2 全11文書の品質点

品質Q（100点満点）＝出典R（30点）＋要約S（70点）。処理時間を含めず、文書の品質だけで並べた結果を示す。品質点は正答率を表す百分率ではない。各項目の採点基準は第3.1節、詳しい点数と採点理由は第5節に示す。

1.3 結果の読み方

Terraは2分25秒で主要経過を正確にまとめ、時間を含む評価で優位となった。AstraとSolは、公式資料の活用、個々の主張への引用、刑事裁判と宗教法人の解散手続の区別が良い。品質のみ、または時間を10％にした評価ではAstraが首位となる。

ローカル型では、MuseGlimmerが事件・裁判・警護の見直しを広く扱う。ただし、公判回数と資料の示し方に問題がある。Gemmaは短時間で骨格をまとめる一方、引用がない。Nemotron-3-Superは総合6位で、事件の主要日付を押さえるが、世論調査の数字、動機の断定、出典の提示に改善が必要である。

GPT-OSS-20Bは最速でも、人物・場所・武器・動機などの誤りが多く、総合は最下位。速さによって誤った要約が利用可能になるわけではない。点数に加えて第6節の指摘を確認する必要がある。

利用目的に応じた読み方

本実験では、長文で多くの話題を扱うことや、長い処理時間をかけることが、事実の正確さを保証しなかった。一方、無引用の短文は内容がある程度正しくても、第三者が確認しにくい。内容の正しさ、出典の示し方、所要時間を分けて読むと、用途に応じた判断をしやすい。

1.4 時間配点を変えた場合

G(w)＝(1−w)Q＋wE。wは時間の重みで、Eは第3.2.1節の値を使う。

時間0％・10％ではB（Astra）、20％・30％ではA（Terra）が全体首位。ローカル型では0％・10％・20％でD（MuseGlimmer）、30％でE（Gemma）が首位となる。

時間30％では、品質13点のK（GPT-OSS-20B）が39.10点に上がり、品質50点のG（Nano）などを上回る。これは式の性質を示しており、誤りが解消したことを意味しない。品質による足切りを設ける用途では、別途その基準が必要になる。

2. 実験PCと評価条件

2.1 実験PCのハードウェアリソース

この実験では、クラウド型AIと手元のPCで動かすローカル型AIに、安倍晋三元首相の銃撃・殺害事件について情報を集め、要約文を作成する課題を与えた。下表はローカル型AIに使用したPCの構成である。

PC仕様と所要時間は実験実施者の記録による。RAMの数値・単位は記録どおり掲載した。所要時間は各AIが課題を処理する時間であり、この比較報告書の調査・採点時間は含まない。

2.2 評価の目的・対象範囲

クラウド型3件とローカル型8件の計11件を、出典の使い方、要約の品質、処理時間から評価した。全11文書の引用を点検し、重複を除く29種類のURLと、URLを付けずに挙げられた資料・発言について確認した。

比較したのは、同じ事件の情報収集と要約という課題を、クラウドサービスで実行した3種類のAIと、実験用PC上で実行した8種類のAIが、それぞれ1件ずつ作成した文書である。

1. 11件の要約全文、各AIに渡す課題文、実験方法と所要時間の記録を読んだ。
2. 発生時刻・場所、人物、発砲、死因、動機、起訴・公判・控訴、警護制度、献金規制と解散手続を照合した。
3. 参考文献欄だけでなく、本文中の「NHK世論調査」「産経新聞報道」などの帰属表示も点検した。全29種類のURLの確認結果と、URLのない文書の確認結果は第7.1節に示す。
4. 元文書の行番号を添え、誤り、引用不一致、未確認、要点の欠落を分けて整理した。原文へのリンクは第4.1節にまとめた。
5. 記録された時間を秒に換算し、基本総合、事前作業込み、時間配点を変えた場合を計算した。

生成課題は、学習済み知識だけでは不足する場合に検索する条件だった。引用がないだけで「検索しなかった」「指示に違反した」とは判断しない。また、ローカル型の課題文には他のAIが保存した要約を読まない条件があるが、実行ログがないため、その遵守や生成過程の独立性までは判定しない。

2.3 総合配点

出典の使い方と要約内容から品質Qを100点満点で評価し、基本総合Gではその80％に、速度Eの20％を加える。速度Eは、11件中の最短時間を100点とした相対点である。

検索・要約時間だけを用いる基本総合に加え、モデル名と思考レベルを事前に伝える時間も含めた総合G′を第4節に示す。時間の配点を0～30％に変えた結果は第1.4節に示す。

2.4 事実確認の基準

警察庁・国家公安委員会・裁判所・関係省庁の公開資料を優先し、裁判報道などで補完した。内容の誤り、引用先との不一致、書誌情報の問題、未確認、出典なしを区別した。

情報の時点も区別する。10月1日付の控訴趣意書提出報道は、現況を確認する補足資料に用いた。作成日が9月の文書に、その後の出来事の記載を要求して減点することはしない。作成・確認時点を示さず、過去の情報を現在の確定事項のように扱う記述は評価対象とした。

2.4.1 判定語の意味

• 誤り：確認した根拠と矛盾する。
• 引用不一致：示した出典が本文の主張を裏付けない、または出典より広く断定している。
• 要修正：一部は正しいが、時点、範囲、肩書き、数値の意味などが不正確・曖昧。
• 未確認：記事や該当箇所を特定・取得できない。虚偽・捏造とは断定しない。
• 欠落・出典なし：主要な説明または根拠の提示がない。
• 一致・改善：確認できた記述、または誤りではないが説明・引用を改善できる箇所。

2.4.2 正誤を判断する基準とした事実

刑事事件については、警察の初期発表と奈良地裁の第一審判決を区別して参照した。判決に記載された認定は、第一審の認定として扱う。被告の供述、弁護側の主張、裁判所の判断、報道機関の解説を混同しない。

日付のない「現在」や「確定」は慎重に扱う。情報が検索で見つからなかったことを根拠に、その出来事が存在しないとは断定しない。

3. 採点方法

採点は、文書の品質Qを100点満点で評価した後、時間を含む総合点を計算する順に行う。品質の配点と処理時間の計算方法を以下に示す。

3.1 品質点Q：100点

Q＝R（出典30点）＋S（要約70点）。

整数による評価者の評点であり、誤り1件につき一律何点という採点ではない。武器・動機・判決確定など事件の理解を変える誤りを、表記上の小さな問題より重く扱った。指摘表は評点の理由を示すもので、総合点からの追加減点ではない。

URL数や文章量だけでは加点しない。出典を示していないGemmaとGPT-OSS-20B、一般的な資料名と裏付けを確認できない調査名にとどまるSuperはR=0。Minimaxには、媒体を明示した論評の一部が実際の社説の趣旨に対応するため限定的な部分点を与えたが、事件本体の根拠は不足している。評価者が独自に見つけた正しい資料を、原文が引用していたことにはしない。

3.2 時間・総合点の式

3.2.1 検索・要約時間による基本総合G

実験記録の「命題処理時間」を、本書では「検索・要約時間」と呼ぶ。検索・生成・保存などを進める課題全体の記録値であり、純粋な文章生成速度ではない。

• 各AIの検索・要約時間を秒にした値をtとする。
• 速度E＝100×131÷t。
• 基本総合G＝0.80×Q＋0.20×E。
• 順位は丸め前の値で決め、表示を小数第2位に丸める。

最短の2倍の時間なら速度50点、10倍なら10点になる。TerraはQ=91、t=145秒なのでE=90.34、G=90.87。SuperはQ=49、t=774秒なのでE=16.93、G=42.59となる。

内容の正確さを重視するため品質80％・時間20％とした。この重みと速度への換算式は評価方法の選択であり、唯一の正解ではない。長時間の文書同士では、さらに時間が延びても総合点への影響が小さくなる性質がある。

3.2.2 事前作業を含めた総合G′

事前作業とは、保存するファイルに記載させるモデル名と思考レベルを各AIに伝える操作である。モデルの読み込み時間や利用環境の構築時間と同義ではなく、計測範囲は実験記録以上に推定しない。

事前作業込みでは、t′＝名称伝達時間＋検索・要約時間。最短はTerraの151秒なので、E′＝100×151÷t′、G′＝0.8Q＋0.2E′とする。

4. 入力モデルと実測記録

実験記録にある名称伝達時間と検索・要約時間を示す。括弧内は秒数で、総時間は両者の合計である。名称伝達は出力ファイルに記載するモデル名と思考レベルを伝える事前作業を指す。事前作業込みG′の計算式は第3.2.2節に示す。

事前作業込みでも11件の総合順位は変わらない。最短の基準が131秒から151秒に変わるので、GとG′の差は単純な所要時間の増減そのものではない。

4.1 評価対象モデルと原文の対応

「高」「極高」「オン」などは実験で用いられた名称・設定の表記であり、配信モデルIDや内部実装を独立に検証したものではない。

以下のリンクから、採点対象とした要約の原文を参照できる。

5. 品質採点の内訳

出典Rの4項目と要約Sの5項目を合計して品質Qを算出する。R1～R4・S1～S5の意味と配点は第3.1節、IDに対応するモデル名と原文は第4.1節に示す。

5.1 項目別点数と合計

5.2 主な採点理由

各文書の評点につながった主な判断を示す。個々の記述と資料との照合結果は第6節に掲載する。

6. 全ファイルのファクトチェック

行番号は第4.1節に示す原文の行に対応する。原文の短い引用以外は評価者の説明であり、原文に書かれていない補足は、その旨を区別した。

6.1 Codex-GPT5.6-Terra高（ID A） — 品質91点／時間込み90.87点

良い点： 事件、初公判、第一審、控訴、警護の見直しを短く整理している。主要な事実に重大な誤認は見つからなかった。

6.2 Codex-GPT6-Astra極高（ID B） — 品質99点／時間込み86.15点

良い点： 公式資料と取材記事の役割が明確で、引用が本文の近くにある。被告側の説明、裁判所の認定、警察の検証を分けて記載し、刑事裁判と宗教法人の解散手続も区別している。

6.3 Codex-GPT6-Sol極高（ID C） — 品質98点／時間込み84.97点

良い点： 年表、動機、警護、制度対応が明瞭で、国葬儀も含む。裁判所の認定と弁護側の主張を慎重に区別し、参照した裁判報道の範囲を示している。

6.4 Gemma4-26B-A4Bオン（ID E） — 品質54点／時間込み53.32点

良い点： 当日の銃撃、被告と教団への恨み、2026年1月21日の第一審判決という骨格を短くまとめる。「第一審」と明記しているため、判決確定の誤りとは扱わない。

6.5 GPT-OSS-120B高（ID I） — 品質41点／時間込み37.33点

良い点： 無期懲役判決と背景の大枠、銃撃が政治・社会に及ぼした影響を説明しようとしている。BBC記事は実在する。

6.6 GPT-OSS-20B高（ID K） — 品質13点／時間込み30.40点

良い点： 事件の日付と、演説中の銃撃・同日の死亡という最低限の骨格はある。処理時間は2分11秒で最短。

6.7 Minimax-M2.7（ID H） — 品質47点／時間込み37.88点

良い点： 事件の日、被告の背景、第一審判決、旧統一教会への解散命令を扱う。背景から社会的影響へと項目を分けている。

6.8 MuseGlimmer非常に高い（ID D） — 品質68点／時間込み55.67点

良い点： 事件、背景、銃の法的評価、第一審と控訴、警護の改正を広く扱う。朝日新聞とBBCの判決記事に対応する資料が確認でき、書誌情報が全て架空というわけではない。

6.9 Nemotron3-Nano-Omuniオン（ID G） — 品質50点／時間込み41.10点

良い点： 事件当日、被告の背景、国葬儀、宗教・政治への影響という主要項目を挙げる。BBC・CNN・Sasakawa USAの参照先自体は実在する。

6.10 Nemotron-3-Superオン（ID F） — 品質49点／時間込み42.59点

良い点： 2022年7月8日の事件、当時41歳、背後からの2回の発砲、国葬儀の日付・会場、初公判と第一審判決の日付は概ね正しい。社会への波及にも目を向けている。

6.11 Qwen3.8-27B非常に高い（ID J） — 品質45点／時間込み36.17点

良い点： 事件、背景、捜査、裁判、警護、社会的影響という項目は広い。国家公安委員会の公式資料へのURLもある。公判16回の記載は判決後の報道に合う。

7. 引用・出典情報の点検と実験の限界

7.1 全ファイルの引用点検

引用の確認範囲は、各要約が根拠として挙げた資料と、その資料に対応する本文の主張である。リンク先サイト全体やWikipediaの全脚注まで、すべて検証したという意味ではない。本文未取得の資料や特定し切れない記述は明示する。

7.1.1 全URLの確認結果

以下は、要約11件に記載された29種類のURLを漏れなく整理した表である。同じURLが複数文書に現れる場合は1行にまとめた。「対応」は主要な引用対象との照合結果であり、そのページの全記述を正しいと認定するものではない。

26種類はページや資料を確認できた。France24と毎日新聞の2種類は取得拒否、Nanoの日本語Wikipediaの1種類はURL自体に問題があり取得できなかった。日本語・英語Wikipediaは直接取得時に接続証明書のエラーが出たが、別の閲覧手段で本文を確認した。接続の成否を、そのまま引用内容の真偽に置き換えていない。

7.1.2 URLのない資料・発言の確認

URLを持たない文書はD・E・F・H・Kの5件。JにはURLのある資料に加え、産経新聞への本文引用があるため、ここで併せて点検する。

7.2 今回の結果から言える範囲

各モデルにつき1文書・1回の時間記録を、モデル名を知った1つのAIが評価した結果である。モデル全般の性能や小差の再現性は検証していない。

全検索語・検索結果・閲覧ログがないため、検索結果のうち課題に適した情報が占める割合（適合率）や、必要な情報をどこまで拾えたか（再現率）は算出できない。本書で採点したのは、保存文書に現れた出典の活用である。引用の有無だけで、実際の検索や生成過程を断定しない。

量子化、GPUへの配置量、コンテキスト長、出力トークン数、検索・再試行回数、並行負荷、クラウド側の計算資源は不明である。長時間化の原因をモデルの大きさやメモリ不足に特定することはできない。費用は未計測で、各方式の費用対効果は評価していない。

速度Eは、この11件で最短の検索・要約時間を基準とする。比較対象や時間の配点によって総合点と順位は変わり得る。小数第2位の表示は計算結果の確認用であり、その精度でモデルの能力差を測定できたという意味ではない。

7.3 未確定情報の扱い

誤り・不一致を確認できた主要例は、Gの解散命令の年と判決確定、Iの公判開始年、Jの発砲回数・死因である。これらは、原文の引用先そのもの、または裁判所・省庁資料と矛盾する。GのWikipediaリンクは、引用先の文字列の不備として確認できる。

裏付け未確認の例は、FのNHKの数値、Jの産経記事と組織名、Dの日経の書誌情報、Hの一部論評、取得を拒否されたFrance24・毎日新聞の記事である。調査で見つからないことや閲覧できないことは、意図的な捏造を意味しない。

公的資料を挙げることと、その資料を正しく要約することは別の評価項目である。逆に、引用がなくても独立照合で正しい内容はSで評価し、原文に根拠がない点はRで評価した。

取得できない資料を架空と断定せず、未確認の部分を残した。

8. 検証に用いた資料

8.1 政府・裁判所・自治体の公表資料

以下を事件・制度の確認に用いた。公表機関の見解はその機関の見解として扱い、刑事裁判の認定・宗教法人の手続・行政による検証を区別する。

• U01 警察庁・警護検証報告書、U02 警察白書・要人警護、U06 国家公安委員会掲載・事件と捜査状況。
• V01 奈良地裁・第一審刑事判決。人物名等の一部は公開版で匿名化されている。日付・事実・法的評価を照合した。
• U13 消費者庁・寄附勧誘防止法、V03 文部科学省白書、U14 文化庁・高裁決定後の大臣談話。
• U15 最高裁・宗教法人解散事件決定、U19 多摩市・確定に関するコメント。
• U18 内閣府・国葬儀、V02 首相官邸・安倍晋三略歴、V05 大分県選管・参院選記録、V06 衆議院・日本国憲法。
• V11 衆議院掲載の国葬儀に関する質問主意書。国会議員の質問文がNHK調査を引用した資料であり、NHKの調査原票でも政府答弁でもない。
• V13 文部科学省・2024年3月公表の教科書検定結果。

8.2 当事者の発表・研究資料

• V04 佐藤啓氏の公式活動報告。応援演説の対象者の確認に使用。
• V07 宗教情報リサーチセンターの論集。教団の創立・日本での布教開始年の確認に使用。
• V12 アニメ公式サイトの放送内容変更告知。放送取りやめの確認に使用。告知にない中止理由は推定しない。
• V14 コジマプロダクションの公式紹介。小島秀夫氏の職業表記の確認に使用。
• U23 Sasakawa USAの論考。原文に挙げられた引用先の点検用。論者の見解を確定した事実とは扱わない。

8.3 裁判報道・引用先の補助確認

• 第一審：U03 奈良新聞、U07 CNN、U12 テレビ朝日、U17 毎日放送、U20 BBC日本語、U24 BBC英語、U28 朝日新聞の判決要旨、V15 朝日新聞の判決報道。
• 起訴・初公判：U09 日本テレビ、V08 テレビ朝日の追起訴報道、U10 テレビ朝日、U11 関西テレビ、V09 FNNの公判予定報道。
• 控訴とその後：U04 テレビ朝日、U08 関西テレビ、U05 関西テレビ・2026年7月8日付、V10 毎日放送・10月1日付。10月1日記事では見出しと導入部から提出を確認し、書面の全文を入手したとは扱わない。
• 解散命令：U16 テレビ朝日・最高裁決定報道。
• 論評の引用確認：V16 Washington Post社説。論評の帰属・趣旨の確認に限って使用。
• 引用一覧・版の確認：U22 英語Wikipedia、U26 日本語Wikipedia、U29 日経の特集一覧。各要約の細部を一括して正しいとする根拠には用いない。
• 本文未確認：U21 France24、U27 毎日新聞、U25 不完全なWikipedia URL。第7.1節に取得上の問題を記載した。

9. 入力ファイルの識別情報

同じファイル名でも内容が変わる場合があるため、評価に用いた原文を識別する値を記録する。SHA-256はファイル内容から計算する識別値であり、内容の真実性を保証する点数ではない。行番号は以下の内容に基づく。

速度点の基準値と順位は、本件11文書の所要時間と品質評点から算出した。