# 安倍元総理暗殺事件要約の比較評価 評価日・資料確認の基準日：2026年10月2日（日本時間） 評価対象：安倍晋三元首相の銃撃・殺害事件を調べて作成した要約11件（クラウド型3件・ローカル型8件） 評価者表記：Codex-GPT6-Astra極高 本書は、出典と要約の品質、検索・要約の実測時間を比較した結果をまとめる。総合点と品質点を第1節、実験条件と採点方法を第2節・第3節、詳細な事実確認を第6節・第7節に示す。 ## 1. 評価結果 ### 1.1 全11モデルの総合点 **処理時間を含む総合1位はCodex-GPT5.6-Terra高（90.87点）、品質1位はCodex-GPT6-Astra極高（99点）。ローカル型ではMuseGlimmer非常に高いが品質・基本総合とも1位となった。** **基本総合G（100点満点）＝品質Qの80％＋速度Eの20％**。品質Qは文書の内容と出典の使い方、速度Eは検索・要約時間の短さを評価する。表の「/」の右側は満点を表す。計算式は第3節、時間の記録は第4節に示す。 | 総合順位 | ID | モデル名・思考レベル | 出典R /30 | 要約S /70 | 品質Q /100 | 検索・要約時間 | 速度E /100 | 総合G /100 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | | 1 | A | Codex-GPT5.6-Terra高 | 26 | 65 | 91 | 2分25秒 | 90.34 | 90.87 | | 2 | B | Codex-GPT6-Astra極高 | 29 | 70 | 99 | 6分17秒 | 34.75 | 86.15 | | 3 | C | Codex-GPT6-Sol極高 | 29 | 69 | 98 | 6分39秒 | 32.83 | 84.97 | | 4 | D | MuseGlimmer非常に高い | 12 | 56 | 68 | 34分16秒 | 6.37 | 55.67 | | 5 | E | Gemma4-26B-A4Bオン | 0 | 54 | 54 | 4分19秒 | 50.58 | 53.32 | | 6 | F | Nemotron-3-Superオン | 0 | 49 | 49 | 12分54秒 | 16.93 | 42.59 | | 7 | G | Nemotron3-Nano-Omuniオン | 10 | 40 | 50 | 39分42秒 | 5.50 | 41.10 | | 8 | H | Minimax-M2.7 | 5 | 42 | 47 | 157分38秒 | 1.39 | 37.88 | | 9 | I | GPT-OSS-120B高 | 10 | 31 | 41 | 9分38秒 | 22.66 | 37.33 | | 10 | J | Qwen3.8-27B非常に高い | 15 | 30 | 45 | 254分10秒 | 0.86 | 36.17 | | 11 | K | GPT-OSS-20B高 | 0 | 13 | 13 | 2分11秒 | 100.00 | 30.40 | IDは、採点内訳と個別評価を対応させるための記号である。モデル名だけでは表が長くなる箇所に使用する。 ### 1.2 全11文書の品質点 **品質Q（100点満点）＝出典R（30点）＋要約S（70点）**。処理時間を含めず、文書の品質だけで並べた結果を示す。品質点は正答率を表す百分率ではない。各項目の採点基準は第3.1節、詳しい点数と採点理由は第5節に示す。 | 品質順位 | ID | モデル名・思考レベル | 出典R /30 | 要約S /70 | 品質Q /100 | | --- | --- | --- | --- | --- | --- | | 1 | B | Codex-GPT6-Astra極高 | 29 | 70 | 99 | | 2 | C | Codex-GPT6-Sol極高 | 29 | 69 | 98 | | 3 | A | Codex-GPT5.6-Terra高 | 26 | 65 | 91 | | 4 | D | MuseGlimmer非常に高い | 12 | 56 | 68 | | 5 | E | Gemma4-26B-A4Bオン | 0 | 54 | 54 | | 6 | G | Nemotron3-Nano-Omuniオン | 10 | 40 | 50 | | 7 | F | Nemotron-3-Superオン | 0 | 49 | 49 | | 8 | H | Minimax-M2.7 | 5 | 42 | 47 | | 9 | J | Qwen3.8-27B非常に高い | 15 | 30 | 45 | | 10 | I | GPT-OSS-120B高 | 10 | 31 | 41 | | 11 | K | GPT-OSS-20B高 | 0 | 13 | 13 | ### 1.3 結果の読み方 Terraは2分25秒で主要経過を正確にまとめ、時間を含む評価で優位となった。AstraとSolは、公式資料の活用、個々の主張への引用、刑事裁判と宗教法人の解散手続の区別が良い。品質のみ、または時間を10％にした評価ではAstraが首位となる。 ローカル型では、MuseGlimmerが事件・裁判・警護の見直しを広く扱う。ただし、公判回数と資料の示し方に問題がある。Gemmaは短時間で骨格をまとめる一方、引用がない。Nemotron-3-Superは総合6位で、事件の主要日付を押さえるが、世論調査の数字、動機の断定、出典の提示に改善が必要である。 GPT-OSS-20Bは最速でも、人物・場所・武器・動機などの誤りが多く、総合は最下位。速さによって誤った要約が利用可能になるわけではない。点数に加えて第6節の指摘を確認する必要がある。 #### 利用目的に応じた読み方 | 利用目的 | 本実験で参考になる結果 | 利用時に優先する確認 | | --- | --- | --- | | 短時間で概要を得る | A（Terra）：2分25秒、品質91点、総合1位 | 動機の具体的背景と社会的影響を補い、各記述に引用を付す | | 出典を追って詳しく確認する | B（Astra）・C（Sol）：品質99・98点 | 刑事判決の一次資料、出来事と報道の日付、確認時点を点検する | | 手元のPCで比較的詳しい下書きを得る | D（MuseGlimmer）：品質68点、ローカル型の基本総合1位 | 公判回数、数値の根拠、記事URLを修正・補完する | | 手元のPCで短い下書きを得る | E（Gemma）：4分19秒、品質54点 | 人名、出典、控訴・制度対応を補う | | 多方面の話題を含む下書きを検討する | F（Super）：12分54秒、品質49点 | 世論調査・制度の主体・因果関係を確認し、主要資料を付す | | 公開・配布する要約を選ぶ | 総合点だけでは決められない | 誤った事実を先に除き、各主張と出典の対応を確認する | 本実験では、長文で多くの話題を扱うことや、長い処理時間をかけることが、事実の正確さを保証しなかった。一方、無引用の短文は内容がある程度正しくても、第三者が確認しにくい。内容の正しさ、出典の示し方、所要時間を分けて読むと、用途に応じた判断をしやすい。 ### 1.4 時間配点を変えた場合 G(w)＝(1−w)Q＋wE。wは時間の重みで、Eは第3.2.1節の値を使う。 | ID | 時間0％（品質のみ） | 時間10％ | 時間20％（基本） | 時間30％ | | --- | --- | --- | --- | --- | | A | 91.00 | 90.93 | 90.87 | 90.80 | | B | 99.00 | 92.57 | 86.15 | 79.72 | | C | 98.00 | 91.48 | 84.97 | 78.45 | | D | 68.00 | 61.84 | 55.67 | 49.51 | | E | 54.00 | 53.66 | 53.32 | 52.97 | | F | 49.00 | 45.79 | 42.59 | 39.38 | | G | 50.00 | 45.55 | 41.10 | 36.65 | | H | 47.00 | 42.44 | 37.88 | 33.32 | | I | 41.00 | 39.17 | 37.33 | 35.50 | | J | 45.00 | 40.59 | 36.17 | 31.76 | | K | 13.00 | 21.70 | 30.40 | 39.10 | 時間0％・10％ではB（Astra）、20％・30％ではA（Terra）が全体首位。ローカル型では0％・10％・20％でD（MuseGlimmer）、30％でE（Gemma）が首位となる。 時間30％では、品質13点のK（GPT-OSS-20B）が39.10点に上がり、品質50点のG（Nano）などを上回る。これは式の性質を示しており、誤りが解消したことを意味しない。品質による足切りを設ける用途では、別途その基準が必要になる。 ## 2. 実験PCと評価条件 ### 2.1 実験PCのハードウェアリソース この実験では、クラウド型AIと手元のPCで動かすローカル型AIに、安倍晋三元首相の銃撃・殺害事件について情報を集め、要約文を作成する課題を与えた。下表はローカル型AIに使用したPCの構成である。 | 項目 | 実験用PCの構成 | | --- | --- | | OS | Windows 11 Pro 64-bit | | CPU | Intel Core Ultra 9 285K | | RAM | 196060 MBytes | | マザーボード | Z890 AORUS MASTER／GIGABYTE | | GPU・VRAM | NVIDIA GeForce RTX 5060 Ti、16GB／GIGABYTE | | ローカル型AIの実行ソフト | LM Studio Bionic。インターネット検索とファイル保存の機能を使って課題を進める方式 | | クラウド型AIの実行環境 | Codexを通じて利用。サーバーの計算資源は実験記録に記載なし | PC仕様と所要時間は実験実施者の記録による。RAMの数値・単位は記録どおり掲載した。所要時間は各AIが課題を処理する時間であり、この比較報告書の調査・採点時間は含まない。 ### 2.2 評価の目的・対象範囲 **クラウド型3件とローカル型8件の計11件**を、出典の使い方、要約の品質、処理時間から評価した。全11文書の引用を点検し、重複を除く29種類のURLと、URLを付けずに挙げられた資料・発言について確認した。 | 項目 | 評価の内容 | | --- | --- | | 共通の課題 | 安倍元首相銃撃事件を調べ、日本語の要約をMarkdown文書に保存する | | 検証範囲 | 事件当日、犯行の背景、捜査・裁判、警護の見直し、献金問題などの社会的影響 | 比較したのは、**同じ事件の情報収集と要約という課題を、クラウドサービスで実行した3種類のAIと、実験用PC上で実行した8種類のAIが、それぞれ1件ずつ作成した文書**である。 | 実行方式 | 対象モデル | 文書数 | | --- | --- | --- | | クラウド型 | Codex-GPT5.6-Terra、Codex-GPT6-Astra、Codex-GPT6-Sol | 3 | | ローカル型 | MuseGlimmer、Gemma4、Nemotron-3-Super、Nemotron3-Nano-Omuni、Minimax、GPT-OSS-120B、Qwen3.8、GPT-OSS-20B | 8 | 1. 11件の要約全文、各AIに渡す課題文、実験方法と所要時間の記録を読んだ。 2. 発生時刻・場所、人物、発砲、死因、動機、起訴・公判・控訴、警護制度、献金規制と解散手続を照合した。 3. 参考文献欄だけでなく、本文中の「NHK世論調査」「産経新聞報道」などの帰属表示も点検した。全29種類のURLの確認結果と、URLのない文書の確認結果は第7.1節に示す。 4. 元文書の行番号を添え、誤り、引用不一致、未確認、要点の欠落を分けて整理した。原文へのリンクは第4.1節にまとめた。 5. 記録された時間を秒に換算し、基本総合、事前作業込み、時間配点を変えた場合を計算した。 生成課題は、学習済み知識だけでは不足する場合に検索する条件だった。引用がないだけで「検索しなかった」「指示に違反した」とは判断しない。また、ローカル型の課題文には他のAIが保存した要約を読まない条件があるが、実行ログがないため、その遵守や生成過程の独立性までは判定しない。 ### 2.3 総合配点 出典の使い方と要約内容から品質Qを100点満点で評価し、基本総合Gではその80％に、速度Eの20％を加える。速度Eは、11件中の最短時間を100点とした相対点である。 | 要素 | 総合点への配点 | 算出方法 | | --- | --- | --- | | 品質 | 80点 | 0.8×品質Q。Q＝出典R（30点）＋要約S（70点） | | 速度 | 20点 | 0.2×速度E。E＝100×131秒÷検索・要約時間t秒 | | **基本総合G** | **100点** | **0.8Q＋0.2E** | 検索・要約時間だけを用いる基本総合に加え、モデル名と思考レベルを事前に伝える時間も含めた総合G′を第4節に示す。時間の配点を0～30％に変えた結果は第1.4節に示す。 ### 2.4 事実確認の基準 警察庁・国家公安委員会・裁判所・関係省庁の公開資料を優先し、裁判報道などで補完した。内容の誤り、引用先との不一致、書誌情報の問題、未確認、出典なしを区別した。 情報の時点も区別する。10月1日付の控訴趣意書提出報道は、現況を確認する補足資料に用いた。作成日が9月の文書に、その後の出来事の記載を要求して減点することはしない。作成・確認時点を示さず、過去の情報を現在の確定事項のように扱う記述は評価対象とした。 #### 2.4.1 判定語の意味 - **誤り**：確認した根拠と矛盾する。 - **引用不一致**：示した出典が本文の主張を裏付けない、または出典より広く断定している。 - **要修正**：一部は正しいが、時点、範囲、肩書き、数値の意味などが不正確・曖昧。 - **未確認**：記事や該当箇所を特定・取得できない。虚偽・捏造とは断定しない。 - **欠落・出典なし**：主要な説明または根拠の提示がない。 - **一致・改善**：確認できた記述、または誤りではないが説明・引用を改善できる箇所。 #### 2.4.2 正誤を判断する基準とした事実 刑事事件については、警察の初期発表と奈良地裁の第一審判決を区別して参照した。判決に記載された認定は、第一審の認定として扱う。被告の供述、弁護側の主張、裁判所の判断、報道機関の解説を混同しない。 | 論点 | 本評価で採用する確認内容 | 根拠 | | --- | --- | --- | | 発生日時・場所 | 2022年7月8日午前11時31分ごろ、奈良市の近鉄大和西大寺駅北口付近。初期資料の「11時30分過ぎ」と、丸めた「11時30分ごろ」は矛盾としない。 | [警察庁の検証報告書][u01]、[国家公安委員会掲載資料][u06] | | 人物・選挙 | 安倍氏は当時67歳、山上徹也被告は当時41歳。参院選の応援対象は佐藤啓氏。投開票日は7月10日。 | [国家公安委員会掲載資料][u06]、[佐藤啓公式報告][v04]、[選挙記録][v05] | | 発砲と死亡 | 発砲は2回。死亡確認は同日17時03分。死因は左上腕部の射創による左右鎖骨下動脈損傷に基づく失血。頸部の傷の存在と致命傷は区別する。 | [国家公安委員会掲載資料][u06]、[第一審判決2・8～9ページ][v01] | | 武器の法的評価 | 犯行に使用した手製銃について、第一審は銃刀法上の「砲」への該当と発射罪の成立を認めた。 | [第一審判決3～7ページ][v01] | | 動機の扱い | 母親の献金と家庭の困窮、教団への恨み、安倍氏を襲撃対象とするまでの経過が争点の背景。生い立ちが背景・遠因となったことと、殺人の意思決定を大きく減軽する事情であることは別。 | [第一審判決14～19ページ][v01] | | 起訴・初公判 | 起訴は2023年1月13日。追起訴は同年3月30日。初公判は2025年10月28日。 | [日本テレビ][u09]、[テレビ朝日・追起訴][v08]、[関西テレビ・初公判][u11] | | 刑事裁判の現況 | 2026年1月21日、奈良地裁が無期懲役判決。2月4日に被告側が控訴。10月1日付の毎日放送記事は控訴理由を記した書面の大阪高裁への提出を報道。本評価で控訴審判決・刑の確定は確認していない。 | [第一審判決][v01]、[控訴報道][u04]、[10月1日報道][v10] | | 警護の見直し | 後方警戒の空白などを検証。2022年8月25日に新たな警護要則を制定し、警察庁による警護計画案の事前審査などを導入。 | [検証報告書][u01]、[警察白書][u02] | | 国葬儀 | 2022年9月27日、日本武道館で実施。埋葬の日と同義ではない。 | [内閣府][u18] | | 献金規制 | 不当な寄附勧誘を防ぐ法律は2022年12月10日成立、2023年に段階施行され、6月1日に全規定施行。 | [消費者庁][u13] | | 宗教法人の解散 | 文科相の請求は2023年10月13日、東京地裁の解散命令は2025年3月25日。2026年3月4日に東京高裁が維持し、6月22日に最高裁が特別抗告を棄却。 | [文部科学省白書][v03]、[文化庁][u14]、[最高裁決定][u15] | | 解散命令の意味 | 宗教法人格に関する別の手続であり、山上被告の刑罰ではない。信者の宗教上の行為を禁止する法的効果を伴わない。 | [最高裁決定1～3ページ][u15] | 日付のない「現在」や「確定」は慎重に扱う。情報が検索で見つからなかったことを根拠に、その出来事が存在しないとは断定しない。 ## 3. 採点方法 採点は、文書の品質Qを100点満点で評価した後、時間を含む総合点を計算する順に行う。品質の配点と処理時間の計算方法を以下に示す。 ### 3.1 品質点Q：100点 Q＝R（出典30点）＋S（要約70点）。 | 区分 | 評価項目 | 配点 | 判断内容 | | --- | --- | --- | --- | | R1 | 資料の適切さ | 10 | 事件・制度・裁判の説明に適した公式資料や取材記事を用いているか | | R2 | 主張と出典の対応 | 10 | 出典が主張を裏付け、引用位置から関係を追えるか | | R3 | 参照先の確かめやすさ | 5 | URL、題名、日付、該当箇所から資料を特定できるか | | R4 | 照合と資料の使い分け | 5 | 複数資料を使い、被告側の主張、判決、警察発表、論評を区別しているか | | S1 | 事実関係 | 35 | 人物、場所、死因、動機、制度、因果関係の正確さ | | S2 | 時系列 | 10 | 事件、起訴、公判、判決、控訴、制度対応の日付と順序 | | S3 | 数字と不確実性 | 10 | 年齢、発砲回数、調査数値、認定事実と供述、判決と確定を区別しているか | | S4 | 要点の網羅 | 10 | 事件の骨格、背景、刑事手続、警護と社会的影響を説明できているか | | S5 | 明瞭さ | 5 | 自然な日本語、固有名詞、構成、重複の少なさ、簡潔さ | 整数による評価者の評点であり、誤り1件につき一律何点という採点ではない。武器・動機・判決確定など事件の理解を変える誤りを、表記上の小さな問題より重く扱った。指摘表は評点の理由を示すもので、総合点からの追加減点ではない。 URL数や文章量だけでは加点しない。出典を示していないGemmaとGPT-OSS-20B、一般的な資料名と裏付けを確認できない調査名にとどまるSuperはR=0。Minimaxには、媒体を明示した論評の一部が実際の社説の趣旨に対応するため限定的な部分点を与えたが、事件本体の根拠は不足している。評価者が独自に見つけた正しい資料を、原文が引用していたことにはしない。 ### 3.2 時間・総合点の式 #### 3.2.1 検索・要約時間による基本総合G 実験記録の「命題処理時間」を、本書では「検索・要約時間」と呼ぶ。検索・生成・保存などを進める課題全体の記録値であり、純粋な文章生成速度ではない。 - 各AIの検索・要約時間を秒にした値をtとする。 - 速度E＝100×131÷t。 - 基本総合G＝0.80×Q＋0.20×E。 - 順位は丸め前の値で決め、表示を小数第2位に丸める。 最短の2倍の時間なら速度50点、10倍なら10点になる。TerraはQ=91、t=145秒なのでE=90.34、G=90.87。SuperはQ=49、t=774秒なのでE=16.93、G=42.59となる。 内容の正確さを重視するため品質80％・時間20％とした。この重みと速度への換算式は評価方法の選択であり、唯一の正解ではない。長時間の文書同士では、さらに時間が延びても総合点への影響が小さくなる性質がある。 #### 3.2.2 事前作業を含めた総合G′ 事前作業とは、保存するファイルに記載させるモデル名と思考レベルを各AIに伝える操作である。モデルの読み込み時間や利用環境の構築時間と同義ではなく、計測範囲は実験記録以上に推定しない。 事前作業込みでは、t′＝名称伝達時間＋検索・要約時間。最短はTerraの151秒なので、E′＝100×151÷t′、G′＝0.8Q＋0.2E′とする。 ## 4. 入力モデルと実測記録 実験記録にある名称伝達時間と検索・要約時間を示す。括弧内は秒数で、総時間は両者の合計である。名称伝達は出力ファイルに記載するモデル名と思考レベルを伝える事前作業を指す。事前作業込みG′の計算式は第3.2.2節に示す。 | ID | モデル名 | 名称伝達時間 | 検索・要約時間 | 事前作業込み総時間 | 事前作業込みG′ /100 | | --- | --- | --- | --- | --- | --- | | A | Codex-GPT5.6-Terra高 | 0分06秒 | 2分25秒（145秒） | 2分31秒（151秒） | 92.80 | | B | Codex-GPT6-Astra極高 | 0分25秒 | 6分17秒（377秒） | 6分42秒（402秒） | 86.71 | | C | Codex-GPT6-Sol極高 | 0分32秒 | 6分39秒（399秒） | 7分11秒（431秒） | 85.41 | | D | MuseGlimmer非常に高い | 3分57秒 | 34分16秒（2056秒） | 38分13秒（2293秒） | 55.72 | | E | Gemma4-26B-A4Bオン | 1分51秒 | 4分19秒（259秒） | 6分10秒（370秒） | 51.36 | | F | Nemotron-3-Superオン | 0分26秒 | 12分54秒（774秒） | 13分20秒（800秒） | 42.98 | | G | Nemotron3-Nano-Omuniオン | 1分11秒 | 39分42秒（2382秒） | 40分53秒（2453秒） | 41.23 | | H | Minimax-M2.7 | 6分08秒 | 157分38秒（9458秒） | 163分46秒（9826秒） | 37.91 | | I | GPT-OSS-120B高 | 2分54秒 | 9分38秒（578秒） | 12分32秒（752秒） | 36.82 | | J | Qwen3.8-27B非常に高い | 18分15秒 | 254分10秒（15250秒） | 272分25秒（16345秒） | 36.18 | | K | GPT-OSS-20B高 | 0分39秒 | 2分11秒（131秒） | 2分50秒（170秒） | 28.16 | 事前作業込みでも11件の総合順位は変わらない。最短の基準が131秒から151秒に変わるので、GとG′の差は単純な所要時間の増減そのものではない。 ### 4.1 評価対象モデルと原文の対応 「高」「極高」「オン」などは実験で用いられた名称・設定の表記であり、配信モデルIDや内部実装を独立に検証したものではない。 以下のリンクから、採点対象とした要約の原文を参照できる。 | ID | 方式 | モデル名・思考レベル | 原文 | | --- | --- | --- | --- | | A | クラウド | Codex-GPT5.6-Terra高 | [要約文を開く]() | | B | クラウド | Codex-GPT6-Astra極高 | [要約文を開く]() | | C | クラウド | Codex-GPT6-Sol極高 | [要約文を開く]() | | D | ローカル | MuseGlimmer非常に高い | [要約文を開く]() | | E | ローカル | Gemma4-26B-A4Bオン | [要約文を開く]() | | F | ローカル | Nemotron-3-Superオン | [要約文を開く]() | | G | ローカル | Nemotron3-Nano-Omuniオン | [要約文を開く]() | | H | ローカル | Minimax-M2.7 | [要約文を開く]() | | I | ローカル | GPT-OSS-120B高 | [要約文を開く]() | | J | ローカル | Qwen3.8-27B非常に高い | [要約文を開く]() | | K | ローカル | GPT-OSS-20B高 | [要約文を開く]() | ## 5. 品質採点の内訳 出典Rの4項目と要約Sの5項目を合計して品質Qを算出する。R1～R4・S1～S5の意味と配点は第3.1節、IDに対応するモデル名と原文は第4.1節に示す。 ### 5.1 項目別点数と合計 | ID | R1 /10 | R2 /10 | R3 /5 | R4 /5 | S1 /35 | S2 /10 | S3 /10 | S4 /10 | S5 /5 | 品質Q /100 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | A | 10 | 7 | 5 | 4 | 35 | 9 | 9 | 7 | 5 | 91 | | B | 10 | 10 | 5 | 4 | 35 | 10 | 10 | 10 | 5 | 99 | | C | 10 | 10 | 5 | 4 | 35 | 10 | 10 | 9 | 5 | 98 | | D | 6 | 2 | 2 | 2 | 29 | 8 | 6 | 9 | 4 | 68 | | E | 0 | 0 | 0 | 0 | 31 | 8 | 6 | 6 | 3 | 54 | | F | 0 | 0 | 0 | 0 | 27 | 8 | 4 | 7 | 3 | 49 | | G | 5 | 1 | 3 | 1 | 23 | 4 | 3 | 7 | 3 | 50 | | H | 3 | 1 | 0 | 1 | 25 | 5 | 4 | 7 | 1 | 47 | | I | 5 | 1 | 3 | 1 | 16 | 3 | 3 | 6 | 3 | 41 | | J | 8 | 2 | 4 | 1 | 12 | 3 | 3 | 8 | 4 | 45 | | K | 0 | 0 | 0 | 0 | 4 | 3 | 1 | 2 | 3 | 13 | ### 5.2 主な採点理由 各文書の評点につながった主な判断を示す。個々の記述と資料との照合結果は第6節に掲載する。 | ID | モデル名・思考レベル | 主な採点理由 | | --- | --- | --- | | A | Codex-GPT5.6-Terra高 | R2=7は本文との対応の弱さ、S2・S3各9は時間的な確認範囲、S4=7は背景・社会的影響の不足を反映する。2分25秒という短さが基本総合での首位につながる。 | | B | Codex-GPT6-Astra極高 | 確認した主要事項・引用対応に重大な誤りは見つからず、品質99点。R4=4は刑事判決の一次資料との直接照合の余地を反映する。99点は「全文章の99％が真」といった統計ではない。国葬儀や10月1日付の続報は補足できるが、主要論点を押さえた要約として評価した。 | | C | Codex-GPT6-Sol極高 | S4=9は当日情報の不足、R4=4は一次資料による刑事判決の照合余地を反映する。6分39秒の処理時間を含めると総合3位。 | | D | MuseGlimmer非常に高い | 公判回数と数値・帰属の不確かさがS2・S3を下げる。品質はローカル型で最も高いが、34分16秒を要し、出典の追跡しやすさもクラウド上位群との差となった。 | | E | Gemma4-26B-A4Bオン | R=0は全文が誤りという意味ではない。4分19秒で骨格を出せているが、出典と時点を付した再編集が必要である。 | | F | Nemotron-3-Superオン | S1=27は動機・法令・制度の主体等の不正確さ、S2=8は時刻と経過の説明、S3=4は世論調査と断定の根拠不足、S4=7は控訴・警護制度等の欠落、S5=3は固有名詞と表現を反映する。検索・要約12分54秒、事前作業込み13分20秒で、総合6位。 | | G | Nemotron3-Nano-Omuniオン | 39分42秒に対して、重要な法的時系列と引用の対応に問題が残る。裁判記事を引用していても「判決」と「確定」を区別できていない点を重く評価した。 | | H | Minimax-M2.7 | R=5は、媒体に帰属させた論評の一部と、複数の見方を提示する試みに対する限定的な評価である。本文の出来事の裏付けが十分という意味ではない。S5=1は言語の混在による読みづらさを反映する。157分38秒という長い処理時間に対して完成度が不足する。 | | I | GPT-OSS-120B高 | 同じBBC記事を使っていても、年齢の基準時や公判開始年を取り違えている。出典の存在だけで信頼性を判断できない例である。 | | J | Qwen3.8-27B非常に高い | 公式資料を引用している一方、その資料と矛盾する死因・発砲回数などが残るためR2は低い。254分10秒と最も長く、内容の広さに対する事実関係の安定性が不足する。 | | K | GPT-OSS-20B高 | 主要人物・凶器・動機まで取り違えており、利用には全面的な書き直しが必要。速度点100でも、基本総合では最下位となる。 | ## 6. 全ファイルのファクトチェック 行番号は第4.1節に示す原文の行に対応する。原文の短い引用以外は評価者の説明であり、原文に書かれていない補足は、その旨を区別した。 ### 6.1 Codex-GPT5.6-Terra高（ID A） — 品質91点／時間込み90.87点 **良い点：** 事件、初公判、第一審、控訴、警護の見直しを短く整理している。主要な事実に重大な誤認は見つからなかった。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 9、13～17、27行 | 一致 | 発生場所・時刻、裁判経過、警護制度の説明は公式資料と報道に整合する。[警察庁][u01]、[判決][v01]、[控訴報道][u04]。 | | 21行 | 概ね一致 | 生い立ちと殺人の意思決定を区別する説明は第一審の考え方に対応する。[判決14～19ページ][v01]。 | | 29～33行 | 時点の要修正 | 参照する続報は7月8日付であり、9月28日時点の進行・未確定を断定するには、その間の確認範囲も示すとよい。結論自体は10月1日付報道とも矛盾しない。[関西テレビ][u05]、[毎日放送][v10]。 | | 35～46行 | 引用の改善 | 5件のURLは実在するが、初公判・判決理由などの各主張に、どの記事のどの箇所を対応させたかを明示できる。 | | 全体 | 欠落 | 母親の献金と標的選択の具体的背景、死亡確認時刻・年齢、献金規制や宗教法人の解散の説明は少ない。 | ### 6.2 Codex-GPT6-Astra極高（ID B） — 品質99点／時間込み86.15点 **良い点：** 公式資料と取材記事の役割が明確で、引用が本文の近くにある。被告側の説明、裁判所の認定、警察の検証を分けて記載し、刑事裁判と宗教法人の解散手続も区別している。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 10、18～24行 | 一致 | 当日の情報、起訴・初公判・判決・控訴の経過が資料に対応する。[国家公安委員会][u06]、[初公判報道][u10]、[控訴報道][u04]。 | | 28～32行 | 一致 | 動機の帰属、量刑上の争点、確認できた続報の時点を示している。7月8日付記事の参照範囲を明示しており、控訴審の結論を推測していない。[関西テレビ][u05]、[判決報道][u12]。 | | 36～38行 | 一致 | 後方警戒と計画段階の問題、警察庁による審査の導入は公式説明と一致。[警察庁][u01]、[警察白書][u02]。 | | 46～49行 | 一致 | 寄附勧誘規制の成立・施行、解散命令の手続と法的効果を慎重に説明している。[消費者庁][u13]、[最高裁][u15]。 | | 資料の使い分け | 改善 | 刑事判決全文を参照していないことを明示している点は適切。ただし公開判決そのものも使えば、銃の法的評価や量刑理由を直接照合できる。[第一審判決][v01]。 | ### 6.3 Codex-GPT6-Sol極高（ID C） — 品質98点／時間込み84.97点 **良い点：** 年表、動機、警護、制度対応が明瞭で、国葬儀も含む。裁判所の認定と弁護側の主張を慎重に区別し、参照した裁判報道の範囲を示している。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 10～27行 | 一致 | 事件、刑事手続、国葬儀、寄附規制、解散命令の主要日付は整合する。[警察庁][u01]、[内閣府][u18]、[消費者庁][u13]、[最高裁][u15]。 | | 31～37行 | 一致 | 動機の説明主体と量刑判断を分け、控訴方針を控訴審の結論に置き換えていない。[毎日放送][u17]、[関西テレビ][u05]。 | | 41～51行 | 一致 | 警護計画の問題・事前審査、宗教法人としての解散と信仰行為の区別が適切。[警察白書][u02]、[最高裁][u15]。 | | 事件の概要 | 欠落 | 当時の年齢、具体的な武器、死亡確認時刻など、当日の事件像をつかむ情報を補える。 | | 判決の根拠 | 改善 | 刑事判決の説明は報道中心。公開された判決文を参照すると検証しやすい。[第一審判決][v01]。 | ### 6.4 Gemma4-26B-A4Bオン（ID E） — 品質54点／時間込み53.32点 **良い点：** 当日の銃撃、被告と教団への恨み、2026年1月21日の第一審判決という骨格を短くまとめる。「第一審」と明記しているため、判決確定の誤りとは扱わない。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 6行 | 固有名詞の誤り | 「安倍晋進」は「安倍晋三」。被害者名の正確さは必要。[国家公安委員会][u06]。 | | 動機の説明 | 要修正 | 教団への恨みと、安倍氏を選んだ被告の認識・判断を分けて記述する。一般的な政治目的に広げず、説明の根拠を付す。[判決14～19ページ][v01]。 | | 当日の対応 | 精度不足 | 死亡確認時刻、現行犯逮捕の具体性などが少なく、出来事の順序と帰属を補える。[国家公安委員会][u06]。 | | 22、26行 | 争点・主体の要修正 | 公判の争点は、主として生い立ちの量刑への反映と手製銃の発射罪等の成立である。「宗教問題の社会的影響」だけでは具体性に欠ける。警護強化も、警察庁の制度変更と首相官邸の対応を区別して根拠を付す。[判決][v01]、[警察白書][u02]。 | | 裁判・社会的影響 | 欠落 | 2月4日の控訴、警護制度の具体的変更、献金規制・解散手続を補うとよい。[控訴報道][u04]、[警察白書][u02]。 | | 全文 | 出典なし | URL、特定できる記事名、公式資料の提示がない。原文だけでは読者が確認できない。 | ### 6.5 GPT-OSS-120B高（ID I） — 品質41点／時間込み37.33点 **良い点：** 無期懲役判決と背景の大枠、銃撃が政治・社会に及ぼした影響を説明しようとしている。BBC記事は実在する。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 6行 | 誤り | 現場は奈良駅ではなく近鉄大和西大寺駅北口付近。[警察庁][u01]。 | | 12行 | 年齢の誤り | 事件時は45歳ではなく41歳。45歳は2026年1月の判決時の年齢。[国家公安委員会][u06]、[BBC][u20]。 | | 23行 | 要修正 | 「即死」は、判決の「即死に近い状態」と死亡確認17時03分を分けて説明すべきである。[判決8～9ページ][v01]。 | | 28行 | 誤り・引用不一致 | 初公判を2022年10月とする記述は誤り。引用したBBCは2025年10月と記載。[BBC][u20]。 | | 31行 | 人名の誤り | 裁判長は「田中慎一」ではなく「田中伸一」。[判決21ページ][v01]。 | | 36～37行 | 要修正・未確認 | 無期懲役を「実質的終身刑」と一括する説明は法的性質を曖昧にする。「奈良県内刑務所で服役」の根拠も示されず、控訴中の身柄拘束と刑の執行を区別できていない。[控訴報道][u04]。 | | 43行 | 制度の誤り | 事件後の献金被害対策を、2024年施行の「特定非営利活動促進法」と結び付けている。不当な寄附勧誘を防ぐ法律の成立・施行とは異なる。[消費者庁][u13]。 | | 参考情報 | 未確認 | France24のURLは取得を拒否され、記載された題名との対応も本文も確認できない。取得失敗だけで架空の記事とはしない。 | ### 6.6 GPT-OSS-20B高（ID K） — 品質13点／時間込み30.40点 **良い点：** 事件の日付と、演説中の銃撃・同日の死亡という最低限の骨格はある。処理時間は2分11秒で最短。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 4行 | 誤り | 安倍氏の生年は1972年ではなく1954年。[首相官邸の略歴][v02]。 | | 7行 | 誤り | 当時の日本で安倍氏が「大統領選挙の候補者」だったとする記載は事実・制度と合わない。[日本国憲法][v06]、[選挙記録][v05]。 | | 13～15行 | 主要事実の誤り | 現場は近鉄奈良駅ではなく大和西大寺駅。被告の名は山上徹也。「9mmハンドガン」も犯行に使用された手製銃の説明と一致しない。[国家公安委員会][u06]、[判決][v01]。 | | 25～26行 | 誤り・未確認 | 安全保障法案への反発を主な動機とする説明は、教団への恨みと標的選択を扱った判決認定に合わない。自民党への献金歴も根拠未提示。[判決14～19ページ][v01]。 | | 29行 | 誤り | 国葬儀は7月20日ではなく9月27日。「特別国葬で埋葬」という説明も実施内容と合わない。[内閣府][u18]。 | | 31行 | 未確認 | 事件後に手持ち銃の所持許可緩和が問題となったという具体的な政策・出典は示されていない。 | | 全文 | 出典・要点の欠落 | 参考資料がなく、起訴・初公判・判決・控訴を扱っていない。 | ### 6.7 Minimax-M2.7（ID H） — 品質47点／時間込み37.88点 **良い点：** 事件の日、被告の背景、第一審判決、旧統一教会への解散命令を扱う。背景から社会的影響へと項目を分けている。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 17行 | 誤り | 参院選は事件の「翌日」ではなく、2日後の2022年7月10日。[選挙管理委員会の記録][v05]。 | | 19、24行 | 死因・日本語の要修正 | 「左側脈損傷」では部位と原因が不明確。左上腕部射創による左右鎖骨下動脈損傷に基づく失血と記述する。[国家公安委員会][u06]。 | | 38行 | 誤り | 海上自衛隊への入隊は2003年ではなく2002年。[判決14ページ][v01]。 | | 49、52行 | 時系列の誤り | 銃の製造開始を2021年春に限定する記載は、2020年12月ごろからの認定と合わない。奈良での演説を知ったのは7月7日の岡山からの帰路であり、7月8日とする記載も修正が必要。[判決1・15～17ページ][v01]。 | | 57行 | 誤り | 日本での活動開始を1950年とする記載は根拠と合わない。研究資料では韓国で1954年創立、日本布教開始は1958年。[宗教情報リサーチセンター論集・PDF128ページ][v07]。 | | 70行 | 範囲の要修正 | 2025年3月の解散命令は正しい。「第3の宗教団体」は、法令違反を理由とした命令という範囲を明記する必要がある。[文科省白書][v03]。 | | 77～79行 | 一部対応・未確認 | Washington Postの社説に対応する趣旨は確認できる。他の論評は原文・掲載日を特定できず、引用文としての正確さは未確認。中野晃一氏は媒体名ではなく執筆者名として整理する。[社説][v16]。 | | 89行 | 範囲・数字の要修正 | 朝日新聞は判決までの審理を15回、テレビ朝日は判決を含む裁判を16回と報道している。15回だけを即座に誤りとはしないが、集計範囲と「平均の5倍」の比較母集団は必要。[朝日新聞][v15]、[テレビ朝日][u12]。 | | 全文 | 明瞭さ・出典不足 | 日本語、中国語、韓国語が混在し、「本サmaire」などの表記もある。事件本体の出典・リンクがなく、控訴の記載もない。 | ### 6.8 MuseGlimmer非常に高い（ID D） — 品質68点／時間込み55.67点 **良い点：** 事件、背景、銃の法的評価、第一審と控訴、警護の改正を広く扱う。朝日新聞とBBCの判決記事に対応する資料が確認でき、書誌情報が全て架空というわけではない。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 9～10、31行 | 一致・不足 | 頸部の傷、即死に近い状態、使用銃の「砲」への該当は判決と対応する。これらを一律に誤りとはしない。ただし致命傷は左上腕部の射創であり、死因の説明を補う。[判決2・8～9ページ][v01]。 | | 16行 | 未確認 | 2021年3～9月の別室賃借、約10丁製造という細部を特定した根拠は示されていない。判決の製造罪の対象数や没収数は範囲が違うため、その数字だけで「約10丁」を虚偽とは断定しない。[判決1ページ][v01]。 | | 23行 | 数字の誤り | 「全19回」は実施回数の説明として不適切。初公判時の予定は予備日を含む19回で、判決後の記事は16回としている。予定と実績を分ける。[FNN][v09]、[テレビ朝日][u12]。 | | 32行 | 引用不一致・未確認 | 民主主義への影響という一般的評価を、そのまま判決理由の言葉に組み込んでいる。判決で確認できる悪質性・危険性の判断と、社会的な論評を分ける。[判決][v01]。 | | 34、37行 | 一致 | 2月4日の控訴と、警察庁による計画の事前審査は確認できる。[控訴報道][u04]、[警察白書][u02]。 | | 39行 | 未確認 | メンタルヘルス相談の「増加」は比較する件数・期間・調査主体がない。相談窓口の開設と相談数の増加は別である。 | | 42～45行 | 出典不足 | 記事名・日付はあるがURLと本文の対応がない。日経の記載記事は同一の書誌情報まで特定できず、控訴という出来事だけを別報道で確認した。 | ### 6.9 Nemotron3-Nano-Omuniオン（ID G） — 品質50点／時間込み41.10点 **良い点：** 事件当日、被告の背景、国葬儀、宗教・政治への影響という主要項目を挙げる。BBC・CNN・Sasakawa USAの参照先自体は実在する。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 10行 | 時点の要修正 | 45歳は第一審判決時の年齢として整合するが、事件の説明では当時41歳と区別する。[国家公安委員会][u06]、[BBC][u24]。 | | 16行 | 未確認・制度の混同 | 「首相官邸に警護課を増設」は、確認した公式の警護見直し資料に根拠を見いだせない。警察庁・警視庁と首相官邸を区別する。[警察白書][u02]。 | | 20行 | 誤り | 1月21日は第一審判決であり、その日に無期懲役が「確定」したわけではない。2月4日に控訴されている。[判決][v01]、[控訴報道][u04]。 | | 25行 | 誤り・引用不一致 | 「2023年に解散命令」は請求と命令の混同。命令は2025年3月25日。挙げた2026年1月のCNN・BBC記事も前年3月の命令を述べている。[文科省][v03]、[CNN][u07]、[BBC][u24]。 | | 26行 | 未確認 | 国葬反対「約45％」の調査主体・期間・設問がない。引用先のどの調査か特定できない。 | | 27行 | 引用不一致・表現の要修正 | Sasakawa USAは憲法改正論を扱うが、「戦争権擁護」という表現と、2023年以降の政党勢力への具体的効果をそのまま裏付けるものではない。[Sasakawa USA][u23]。 | | 33行 | URLの誤り | 日本語WikipediaのURL末尾が壊れ、記事名の符号化にも相違がある。正しい記事への到達を確認できない。 | ### 6.10 Nemotron-3-Superオン（ID F） — 品質49点／時間込み42.59点 **良い点：** 2022年7月8日の事件、当時41歳、背後からの2回の発砲、国葬儀の日付・会場、初公判と第一審判決の日付は概ね正しい。社会への波及にも目を向けている。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 4、7～8行 | 表記・精度の要修正 | 駅名は「近鉄大和西大寺駅」。時刻を11:30ちょうどとせず「午前11時31分ごろ」など根拠の精度に合わせる。「11時30分ごろ」であれば大きな相違ではない。[警察庁][u01]。 | | 12行 | 動機の要修正 | 安倍氏と教団の関係を一括して「誤認」と断定している。関連団体へのビデオメッセージ等の接点、被告の認識、襲撃を選んだ判断を区別する。「教会への批判を目的」だけでは殺害に至る経過を説明し切れない。[判決14～19ページ][v01]、[初公判報道][u11]。 | | 13行 | 法令名の誤り・帰属不足 | 正式名は「銃砲刀剣類所持等取締法」。本件使用銃を第一審が「砲」と認定したことは確認できるが、原文がいう警察の分類判断の資料は特定できない。拳銃でないことと規制対象でないことを混同させない。[判決][v01]。 | | 18、20行 | 要修正 | 胸部だけの説明では致命傷の経路が不明確。左上腕部からの射創による失血を示し、死亡確認は17時03分と明記するとよい。「約5時間後」だけを重大な誤りとはしない。[国家公安委員会][u06]。 | | 23行 | 一部一致・帰属不足 | アニメ第2話の放送取りやめは公式告知にある。ただし告知理由は具体化されておらず、事件との因果や複数番組への一般化までは公式告知だけでは確認できない。作品名も正式表記に直す。[公式告知][v12]。 | | 24行 | 時点・根拠不足 | 教団の返金に関する説明について、発表日、返金が行われた時期、受取人、金額の資料がない。事件後に新たな返金を決めたのか、過去の返金を説明したのかを明示する必要がある。 | | 25、27行 | 欠落・未確認 | 解散手続を「検討が議論」で止め、2025～2026年の決定を説明していない。刑事控訴もない。「自白に基づき迅速に進行」という評価の根拠は確認できない。[文科省][v03]、[最高裁][u15]、[控訴報道][u04]。 | | 26行 | 数値の裏付け未確認 | 「NHK・賛成約55％、反対約30％」に一致する調査を特定できない。国会掲載の質問主意書が引用する2022年7月19日公表値は評価する49％・しない38％で、原文と一致しない。ただし調査日不明のため、存在しない調査を捏造したとは断定しない。[質問主意書][v11]。 | | 28行 | 主体の要修正 | 文科省が確認できるのは2025年度使用教科書の検定である。出版社による記述と文科省による検定を区別し、「文科省が本事件の掲載を決定」とするなら該当資料が必要。[文科省検定結果][v13]。 | | 29行 | 表現・因果の要修正 | 小島秀夫氏の職業はゲームクリエイターとする方が明確。岸田氏襲撃を「模倣」と位置付ける根拠も示していない。[本人の公式紹介][v14]。 | | 34行 | 出典なし | 「ウィキペディア、主要ニュースメディア、公式発表」だけでは資料・版・主張との対応が分からない。NHK調査も特定できず、出典Rは0点。 | ### 6.11 Qwen3.8-27B非常に高い（ID J） — 品質45点／時間込み36.17点 **良い点：** 事件、背景、捜査、裁判、警護、社会的影響という項目は広い。国家公安委員会の公式資料へのURLもある。公判16回の記載は判決後の報道に合う。 | 箇所 | 判定 | 評価・改善点 | | --- | --- | --- | | 21、30行 | 人名の誤り | 応援演説の対象は「佐藤健太」ではなく佐藤啓氏。[本人の活動報告][v04]。 | | 22、31～32行 | 誤り・引用不一致 | 奈良県立医科大学附属病院と奈良市立病院を同一視している。致命傷を頸部に限定する記載は、引用した国家公安委員会資料の死因と一致しない。11時54分の搬送時刻も対応資料が示されていない。[国家公安委員会][u06]。 | | 31行 | 誤り・引用不一致 | 「少なくとも3発」は発砲回数として誤り。発砲2回と、体内に入った弾丸2個は区別する。引用したBBCも2回とする。[BBC][u20]、[判決8～9ページ][v01]。 | | 40～42行 | 人物・経歴の誤り | 「1978年生まれ・事件時41歳」は内部でも整合しない。海上保安庁への入庁と海上自衛隊への入隊も混同。判決は2002年入隊とし、父の死亡は1991年の保険金等の説明より前であって1995年ではない。[判決14ページ][v01]。 | | 45行 | 時系列の誤り | 2025年10月を「判決時」とする記載は、2026年1月21日判決の記載と矛盾。初公判と判決を分ける。[初公判報道][u11]、[判決][v01]。 | | 60～62行 | 時系列の誤り | 逮捕と起訴を続けて書き、日付を区別していない。追起訴の年も2024年ではなく2023年。起訴は同年1月13日、追起訴は3月30日。[日本テレビ][u09]、[追起訴報道][v08]。 | | 73行 | 過大な言い換え | BBCの短い見出しから、生い立ちの影響が全く認められなかったように一般化している。判決は背景・遠因であることまで否定していない。[BBC][u20]、[判決17～19ページ][v01]。 | | 74、114行 | 引用元未確認 | 産経新聞の記載題名・日付の記事を特定できず、「中国工作員」等の説を判決が個別に判断したとする裏付けは取れない。被告の犯行認定と、流布された説の個別検証を分ける。 | | 83行 | 未確認 | 「旧統一教会と政治・宗教団体の接点等に関する調査議員会」という両院の組織について、設置を裏付ける資料が示されていない。確認できた制度として扱えない。 | | 88、103行 | 未確認 | 他党の演説への具体的な警備要請、SNS投稿と凍結理由の細部は該当記事との対応を確認できない。誤情報を検証する節自体にも出典が必要。 | | 109～115行 | 出典の問題 | 毎日新聞のURLは本文未取得、Wikipediaの特定日付の版は未照合、日経は特集一覧である。記事URLがあることと、すべての細部が検証済みであることは別。 | ## 7. 引用・出典情報の点検と実験の限界 ### 7.1 全ファイルの引用点検 引用の確認範囲は、各要約が根拠として挙げた資料と、その資料に対応する本文の主張である。リンク先サイト全体やWikipediaの全脚注まで、すべて検証したという意味ではない。本文未取得の資料や特定し切れない記述は明示する。 #### 7.1.1 全URLの確認結果 以下は、要約11件に記載された**29種類のURLを漏れなく整理した表**である。同じURLが複数文書に現れる場合は1行にまとめた。「対応」は主要な引用対象との照合結果であり、そのページの全記述を正しいと認定するものではない。 26種類はページや資料を確認できた。France24と毎日新聞の2種類は取得拒否、Nanoの日本語Wikipediaの1種類はURL自体に問題があり取得できなかった。日本語・英語Wikipediaは直接取得時に接続証明書のエラーが出たが、別の閲覧手段で本文を確認した。接続の成否を、そのまま引用内容の真偽に置き換えていない。 | 番号・参照先 | 使用文書 | 確認結果と本文との対応 | | --- | --- | --- | | [U01 警察庁・警護検証報告書][u01] | A・B・C | 取得。発生時刻・場所、後方警戒、警護計画の問題に対応。刑事裁判の結論を確認する資料ではない。 | | [U02 警察庁・令和5年警察白書][u02] | A・B・C | 取得。2022年8月25日の警護要則制定と、警察庁の事前審査等に対応。 | | [U03 奈良新聞・第一審判決][u03] | A | 記事を確認。2026年1月21日の無期懲役という要点に対応。控訴審の現況を裏付ける記事ではない。 | | [U04 テレビ朝日・控訴][u04] | A・B・C | 取得。2月4日の控訴に対応。1月21日の判決を同日確定とする説明とは両立しない。 | | [U05 関西テレビ・事件から4年][u05] | A・B・C | 取得。掲載日は2026年7月8日。URL中の日付風の数字だけで7月7日公開と判断しない。控訴審の方針は当時の弁護側方針として対応。 | | [U06 国家公安委員会・事件と捜査状況][u06] | B・J | 取得。年齢・逮捕・死亡確認・死因を確認。Jの頸部を致命傷とする記載は、左上腕部射創による失血という掲載資料と不一致。 | | [U07 CNN・無期懲役判決][u07] | B・G | 取得。Bの第一審判決・社会的影響に対応。Gの「判決確定」「2023年解散命令」は裏付けず、解散命令は前年3月と書かれている。 | | [U08 関西テレビ・控訴報道][u08] | B | 取得。2月5日掲載、出来事は2月4日の控訴。Bは両日を区別している。 | | [U09 日本テレビ・起訴][u09] | B・C | 取得。2023年1月13日の起訴と罪名に対応。 | | [U10 テレビ朝日・初公判][u10] | B | 取得。2025年10月28日の初公判と、殺人罪を争わない方針に対応。 | | [U11 関西テレビ・初公判の傍聴報道][u11] | B・C | 取得。掲載は10月29日、初公判は28日。被告・弁護側による動機の説明に対応し、その帰属も本文で示されている。 | | [U12 テレビ朝日・判決理由][u12] | B | 取得。手製銃の法的評価、量刑、生い立ちの扱いに対応。公判16回の補助確認にも用いた。 | | [U13 消費者庁・寄附勧誘防止法][u13] | B・C | 取得。2022年成立、2023年段階施行、規制・取消しの仕組みに対応。 | | [U14 文化庁・高裁決定後の大臣談話][u14] | B | 取得。2026年3月4日の高裁決定と清算開始に対応。 | | [U15 最高裁・宗教法人解散事件決定][u15] | B | 取得。2026年6月22日の棄却、宗教法人格と信仰行為の区別に対応。山上被告の刑事判決ではない。 | | [U16 テレビ朝日・最高裁決定報道][u16] | B・C | 取得。6月23日掲載、最高裁決定は22日。本文の日付の使い方に対応。 | | [U17 毎日放送・第一審判決][u17] | C | 取得。無期懲役、弁護側20年以下、背景・遠因と意思決定の区別に対応。 | | [U18 内閣府・国葬儀][u18] | C | 取得。2022年9月27日、日本武道館での実施に対応。 | | [U19 多摩市・解散命令確定への市長コメント][u19] | C | 取得。6月25日付コメントで22日付最高裁決定による確定を説明。Cは決定日と資料の日付を混同していない。 | | [U20 BBC日本語・第一審判決][u20] | I・J | 取得。判決と背景の記事は実在。Iの初公判2022年、Jの発砲3回は本文と不一致。Jの生い立ちの説明は、見出しより本文と判決の限定を優先する必要がある。 | | [U21 France24・記載された記事URL][u21] | I | 取得拒否（HTTP 403：サイト側が閲覧を拒否）。題名・内容との一致は未確認。架空のURLとは断定しない。 | | [U22 英語Wikipedia・事件記事][u22] | G | 本文を確認。事件概要を扱うが、Gの確定時期・解散年を裏付けない。参照した版や箇所がないため、当時の閲覧内容までは確認できない。 | | [U23 Sasakawa USA・憲法改正に関する論考][u23] | G | 取得。論考は実在。「戦争権擁護」や後年の政党勢力への効果という原文の表現は、引用先から直接確認できない。 | | [U24 BBC英語・第一審判決][u24] | G | 取得。判決時45歳、第一審の量刑、前年3月の解散命令を記載。Gの時点・法的状況の混同を支えない。 | | [U25 日本語Wikipedia・文字列が不完全なURL][u25] | G | 記事名の符号化が誤り、末尾の文字も不完全。該当記事に到達できない。リンクの不正確さを確認したもので、Wikipediaという出典全体の否定ではない。 | | [U26 日本語Wikipedia・事件記事][u26] | J | 現行本文を確認。記事は実在するが、原文にある「2026年9月27日最終更新」という特定版の情報は未照合。Jの全細部を裏付ける引用箇所の指定もない。 | | [U27 毎日新聞・記載された記事URL][u27] | J | 取得拒否（HTTP 403）。記載された1月21日の題名との対応は未確認。URL中の「20260117」という数字だけで架空・誤日付と断定しない。 | | [U28 朝日新聞・判決要旨全文][u28] | J | 題名・2026年1月21日掲載と、取得できた判決要旨を確認。発砲2回、左上腕部射創等を記載し、Jの相違を裏付けない。原文の全記述がこの要旨にあるわけではない。 | | [U29 日経・事件の特集一覧][u29] | J | 一覧ページは実在。個別記事を指定せず、経歴や捜査の細部を一括して裏付けることはできない。 | #### 7.1.2 URLのない資料・発言の確認 URLを持たない文書はD・E・F・H・Kの5件。JにはURLのある資料に加え、産経新聞への本文引用があるため、ここで併せて点検する。 | 文書・引用表記 | 確認結果 | | --- | --- | | D・朝日新聞、2026年1月21日の無期懲役記事 | 記載題名に対応する[朝日新聞記事][v15]を確認。判決と主な理由は対応する。ただし「全19回」などDの各細部を、この実在だけで正当化できない。 | | D・日経、2026年2月4日の控訴記事 | 同一の題名・日付の記事までは特定できず、書誌の対応は未確認。控訴の事実自体は[テレビ朝日][u04]・[関西テレビ][u08]で確認できる。 | | D・BBC News Japan、2026年1月21日 | 対応する[BBC記事][u20]を確認。題名の省略はあるが、無期懲役の出来事を扱う記事であり、架空とは判定しない。 | | D・Wikipedia「安倍晋三銃撃事件」 | [記事][u26]は実在。参照版・該当箇所がなく、細部の出典対応は不足。 | | E・参考資料なし | 追跡できる引用そのものがない。内容は第6節で独立に検証し、引用の真偽判定とは分けた。 | | F・NHK世論調査 | 賛成55％・反対30％と一致する調査を特定できない。公表日、調査対象、質問文を要する。[国会掲載資料][v11]が引用する7月の値とは相違する。 | | F・Wikipedia、主要ニュース、公式発表 | 個々の資料を特定できない。「公開情報に基づく」という自己説明は出典の代わりにならない。 | | H・中野晃一氏の論評 | 類似趣旨の論評の紹介は見つかったが、元記事の本文との直接照合ができず、引用文の正確さは未確認。媒体名・掲載日・原文へのリンクが必要。 | | H・Washington Post編集部 | [2022年7月11日付社説][v16]の主旨に対応。ただし引用原文・日付・URLはHにない。 | | H・Wall Street Journal | 記載された論旨に対応する元記事を特定できず、帰属と訳の正確さは未確認。虚偽とは断定しない。 | | K・参考資料なし | 出典を追跡できない。人物・武器・動機等は独立した公式資料と矛盾する。 | | J・産経新聞、2026年1月22日の陰謀論に関する記事 | 記載題名の記事と原文の主張との対応を確認できない。サイトの取得制限もあり、架空の記事とする根拠は不足する。 | ### 7.2 今回の結果から言える範囲 各モデルにつき1文書・1回の時間記録を、モデル名を知った1つのAIが評価した結果である。モデル全般の性能や小差の再現性は検証していない。 全検索語・検索結果・閲覧ログがないため、検索結果のうち課題に適した情報が占める割合（適合率）や、必要な情報をどこまで拾えたか（再現率）は算出できない。本書で採点したのは、保存文書に現れた出典の活用である。引用の有無だけで、実際の検索や生成過程を断定しない。 量子化、GPUへの配置量、コンテキスト長、出力トークン数、検索・再試行回数、並行負荷、クラウド側の計算資源は不明である。長時間化の原因をモデルの大きさやメモリ不足に特定することはできない。費用は未計測で、各方式の費用対効果は評価していない。 速度Eは、この11件で最短の検索・要約時間を基準とする。比較対象や時間の配点によって総合点と順位は変わり得る。小数第2位の表示は計算結果の確認用であり、その精度でモデルの能力差を測定できたという意味ではない。 ### 7.3 未確定情報の扱い **誤り・不一致を確認できた主要例**は、Gの解散命令の年と判決確定、Iの公判開始年、Jの発砲回数・死因である。これらは、原文の引用先そのもの、または裁判所・省庁資料と矛盾する。GのWikipediaリンクは、引用先の文字列の不備として確認できる。 **裏付け未確認の例**は、FのNHKの数値、Jの産経記事と組織名、Dの日経の書誌情報、Hの一部論評、取得を拒否されたFrance24・毎日新聞の記事である。調査で見つからないことや閲覧できないことは、意図的な捏造を意味しない。 公的資料を挙げることと、その資料を正しく要約することは別の評価項目である。逆に、引用がなくても独立照合で正しい内容はSで評価し、原文に根拠がない点はRで評価した。 取得できない資料を架空と断定せず、未確認の部分を残した。 ## 8. 検証に用いた資料 ### 8.1 政府・裁判所・自治体の公表資料 以下を事件・制度の確認に用いた。公表機関の見解はその機関の見解として扱い、刑事裁判の認定・宗教法人の手続・行政による検証を区別する。 - [U01 警察庁・警護検証報告書][u01]、[U02 警察白書・要人警護][u02]、[U06 国家公安委員会掲載・事件と捜査状況][u06]。 - [V01 奈良地裁・第一審刑事判決][v01]。人物名等の一部は公開版で匿名化されている。日付・事実・法的評価を照合した。 - [U13 消費者庁・寄附勧誘防止法][u13]、[V03 文部科学省白書][v03]、[U14 文化庁・高裁決定後の大臣談話][u14]。 - [U15 最高裁・宗教法人解散事件決定][u15]、[U19 多摩市・確定に関するコメント][u19]。 - [U18 内閣府・国葬儀][u18]、[V02 首相官邸・安倍晋三略歴][v02]、[V05 大分県選管・参院選記録][v05]、[V06 衆議院・日本国憲法][v06]。 - [V11 衆議院掲載の国葬儀に関する質問主意書][v11]。国会議員の質問文がNHK調査を引用した資料であり、NHKの調査原票でも政府答弁でもない。 - [V13 文部科学省・2024年3月公表の教科書検定結果][v13]。 ### 8.2 当事者の発表・研究資料 - [V04 佐藤啓氏の公式活動報告][v04]。応援演説の対象者の確認に使用。 - [V07 宗教情報リサーチセンターの論集][v07]。教団の創立・日本での布教開始年の確認に使用。 - [V12 アニメ公式サイトの放送内容変更告知][v12]。放送取りやめの確認に使用。告知にない中止理由は推定しない。 - [V14 コジマプロダクションの公式紹介][v14]。小島秀夫氏の職業表記の確認に使用。 - [U23 Sasakawa USAの論考][u23]。原文に挙げられた引用先の点検用。論者の見解を確定した事実とは扱わない。 ### 8.3 裁判報道・引用先の補助確認 - 第一審：[U03 奈良新聞][u03]、[U07 CNN][u07]、[U12 テレビ朝日][u12]、[U17 毎日放送][u17]、[U20 BBC日本語][u20]、[U24 BBC英語][u24]、[U28 朝日新聞の判決要旨][u28]、[V15 朝日新聞の判決報道][v15]。 - 起訴・初公判：[U09 日本テレビ][u09]、[V08 テレビ朝日の追起訴報道][v08]、[U10 テレビ朝日][u10]、[U11 関西テレビ][u11]、[V09 FNNの公判予定報道][v09]。 - 控訴とその後：[U04 テレビ朝日][u04]、[U08 関西テレビ][u08]、[U05 関西テレビ・2026年7月8日付][u05]、[V10 毎日放送・10月1日付][v10]。10月1日記事では見出しと導入部から提出を確認し、書面の全文を入手したとは扱わない。 - 解散命令：[U16 テレビ朝日・最高裁決定報道][u16]。 - 論評の引用確認：[V16 Washington Post社説][v16]。論評の帰属・趣旨の確認に限って使用。 - 引用一覧・版の確認：[U22 英語Wikipedia][u22]、[U26 日本語Wikipedia][u26]、[U29 日経の特集一覧][u29]。各要約の細部を一括して正しいとする根拠には用いない。 - 本文未確認：[U21 France24][u21]、[U27 毎日新聞][u27]、[U25 不完全なWikipedia URL][u25]。第7.1節に取得上の問題を記載した。 ## 9. 入力ファイルの識別情報 同じファイル名でも内容が変わる場合があるため、評価に用いた原文を識別する値を記録する。SHA-256はファイル内容から計算する識別値であり、内容の真実性を保証する点数ではない。行番号は以下の内容に基づく。 | ID | モデル略称 | 原文のSHA-256 | | --- | --- | --- | | A | Codex-GPT5.6-Terra高 | `AA4DF3B0BFB9F20F692D89591FC0695F298B553FA620E4D31E9EA58304908399` | | B | Codex-GPT6-Astra極高 | `68F3A607468E17CEC92B98E7FBEAD32DD21FBB1914E4FDD3BBD6719BACC8B75D` | | C | Codex-GPT6-Sol極高 | `2B92697806797B7976230E96955135F2FB441864AE714A044C964FA7347C185A` | | D | MuseGlimmer非常に高い | `7005609B238DDD6F252F1C7F6829304CDE6C457B5AB30AADA529592645CCFCE9` | | E | Gemma4-26B-A4Bオン | `4EE84ADE8DDE76016260F210E893C0863A81173FE540F51C9D7FEEC618118FB8` | | F | Nemotron-3-Superオン | `5EA0BAE0B291E684A364F42E7985BDF29D0E634A98D8520C76583F29ED7CBE56` | | G | Nemotron3-Nano-Omuniオン | `BCB970F9C4983F14042EB1E4751A4DE1611CD72294C6FE0DADFF98111465C417` | | H | Minimax-M2.7 | `F2BC45827B0E08F69D5339CD68268AFC0A4795FD159189DC417F98BF65182AB4` | | I | GPT-OSS-120B高 | `73309CBB506A029529126467A8D269755031B4872664436FC5E821D1FCC24984` | | J | Qwen3.8-27B非常に高い | `B336C753120616F5812009C9FE792737E223CF94BEE17D55F2E40F7EFB192A28` | | K | GPT-OSS-20B高 | `147EBDF5F6659322566CC28448786B90F4BF2C595CC44A4AC5F084FAA197D7D0` | | 実験条件を確認した文書 | SHA-256 | | --- | --- | | 比較する対象・出力条件・引用検証の要件を記した依頼書（ResultTest.txt） | `5E3C8734F95F04C1103D896AE09775196FC56549CDA981C0B5757E7B2055EF21` | | PC構成・実験手法・11モデルの所要時間を記した実験記録（実験方法等.txt） | `A189E5429A827298312D02F656BBFDB50F785E2C2BCEF9609FC08C19A4FCED65` | 速度点の基準値と順位は、本件11文書の所要時間と品質評点から算出した。 [u01]: https://www.npa.go.jp/bureau/security/kennsyouminaosihoukokusyo.pdf [u02]: https://www.npa.go.jp/hakusyo/r05/honbun/html/zt100000.html [u03]: https://www.nara-np.co.jp/news/20260121134035.html [u04]: https://news.tv-asahi.co.jp/news_society/articles/000483158.html [u05]: https://www.ktv.jp/news/feature/260707-yamagami/ [u06]: https://www.npsc.go.jp/report_2022/07-12.pdf [u07]: https://www.cnn.co.jp/world/35242990.html [u08]: https://www.ktv.jp/news/feature/260204yamagami/ [u09]: https://news.ntv.co.jp/category/society/d981cb774c6249a8b1c1d8ee5efb268a [u10]: https://news.tv-asahi.co.jp/news_society/articles/000462645.html [u11]: https://www.ktv.jp/news/feature/251028-yamagami/ [u12]: https://news.tv-asahi.co.jp/news_society/articles/900182359.html [u13]: https://www.caa.go.jp/policies/policy/consumer_policy/donation_solicitation/ [u14]: https://www.bunka.go.jp/seisaku/shukyohojin/94340502.html [u15]: https://www.courts.go.jp/assets/hanrei/hanrei-pdf-96677.pdf [u16]: https://news.tv-asahi.co.jp/news_society/articles/000514196.html [u17]: https://newsdig.tbs.co.jp/articles/-/2416141?display=1 [u18]: https://www.cao.go.jp/kokusougi/kokusougi.html [u19]: https://www.city.tama.lg.jp/shisei/1008239/1012062/1020389.html [u20]: https://www.bbc.com/japanese/articles/cd9ezzxpx8eo [u21]: https://www.france24.com/en/asia-pacific/20260121-japan-shinzo-abe-assassination-trial [u22]: https://en.wikipedia.org/wiki/Assassination_of_Shinzo_Abe [u23]: https://spfusa.org/publications/abes-assassination-and-implications-for-constitutional-revision [u24]: https://www.bbc.com/news/articles/c86v5lj39zpo [u25]: https://ja.wikipedia.org/wiki/%E5%AE%89%E5%80%8D%E6%99%8B%E4%B8%89%E9%8A%83%E6%92%AD%E4%BA%8B%E4%BB%BB%E6 [u26]: https://ja.wikipedia.org/wiki/%E5%AE%89%E5%80%8D%E6%99%8B%E4%B8%89%E9%8A%83%E6%92%83%E4%BA%8B%E4%BB%B6 [u27]: https://mainichi.jp/articles/20260117/k00/00m/040/205000c [u28]: https://www.asahi.com/articles/ASV1P35GNV1PUTIL023M.html [u29]: https://www.nikkei.com/topics/22070800 [v01]: https://www.courts.go.jp/assets/hanrei/hanrei-pdf-95616.pdf [v02]: https://www.kantei.go.jp/jp/98_abe/meibo/daijin/abe_shinzo.html [v03]: https://www.mext.go.jp/content/20250715-mxt_soseisk01-000043715_13.pdf [v04]: https://sato-kei.jp/blog/1646 [v05]: https://www.pref.oita.jp/site/senkyo/26sangiinkiroku.html [v06]: https://www.shugiin.go.jp/internet/itdb_annai.nsf/html/statics/shiryo/dl-constitution.htm [v07]: https://www.rirc.or.jp/20th/Rirc20th_inbound.pdf [v08]: https://news.tv-asahi.co.jp/news_society/articles/000293522.html [v09]: https://www.fnn.jp/articles/-/952689?display=full [v10]: https://newsdig.tbs.co.jp/articles/mbs/2980476 [v11]: https://www.shugiin.go.jp/internet/itdb_shitsumon.nsf/html/shitsumon/a209028.htm [v12]: https://teppen-anime.com/news/2022/0708/13/ [v13]: https://www.mext.go.jp/a_menu/shotou/kyoukasho/kentei/1414590_00005.htm [v14]: https://www.kojimaproductions.jp/index.php/en/welcome_to_kojima_productions [v15]: https://www.asahi.com/articles/ASV1H2FLQV1HPTIL016M.html [v16]: https://www.washingtonpost.com/opinions/2022/07/11/us-should-support-japans-move-legitimize-its-military/