【目的】 ・学習済み情報の正確さと文章のまとめ能力に関するローカルLLM比較。 【手法】 ・モデルがロードされていない状態で以下のプロンプトを入力し、モデル読込みと初回プロンプト表示までの時間を計測する。 「LLMモデル読込みを完了したらプロンプトを上げてください。」 ・モデルロード後、学習済み情報からのみ生成させるため、以下の命題プロンプトを入力する。 「インターネットやPC内のファイル検索はせず、持っている知識の中から天安門事件について教えてください。」 ・出力された結果をコピーし、命題とローカルLLMモデル名がわかるファイル名でmdファイルを人が作成。 ・現在使っている高性能LLM(現時点では GPT-6 Astera)を使い、出力されたサマリーファイルをインターネット上の情報を基準にして比較、評価しスコア化する。 ・この時、以下の処理時間も加味したスコアにする。 ・ローカルLLMは、LM Studio Bionic でエージェント動作をさせ、命題が正常に出力されたモデルのみ対象。 【処理時間】 | LLM名 | LLMモデル読込み時間 | 命題処理時間 | モデル容量 | | --- | --- | --- | --- | | Qwen3.8-27B非常に高い | 6m 17s | 15m 54s | 17.74GB | | Minimax-M2.7 | 8m 44s | 3m 36s | 138.34GB | | Gemma4-26B-A4Bオン | 2m 31s | 5m 18s | 17.99GB | | GPT-OSS-20B高 | 28s | 1m 15s | 12.11GB | | GPT-OSS-120B高 | 2m 29s | 1m 54s | 63.39GB | | MuseGlimmer非常に高い | 3m 09s | 2m 38s | 18.16GB | | Nemotron3-Nano-Omuniオン | 1m 04s | 30s | 26.10GB | | Nemotron3-Superオン | 5m 42s | 1m 56s | 86.85GB | 【PCスペック】 ・OS:Windows 11 Pro 64-bit ・CPU:Intel Core Ultra 9 285K ・RAM:196060 MBytes ・MB:Z890 AORUS MASTER/GIGABYTE ・GB:NVIDIA GeForce RTX 5060 Ti-16GB/GIGABYTE