【目的】 ・検索能力と文章のまとめ能力に関するLLM別比較。 ・特にクラウド型LLMに対して、ローカルLLMの能力を比較する。 【手法】 ・出力ファイル名に記載させるため、各LLMに対してそれぞれのモデル名と思考レベルを教える。 ・検索・まとめる命題を与えて処理させ、まとめたサマリーをmdファイルに出力させる。 ・現在使っている最高性能LLM(現時点では GPT-6 Astera)を使い、出力されたサマリーファイルをインターネット上の情報を基準にして比較、評価しスコア化する。 ・この時、以下の処理時間も加味したスコアにする。 ・ローカルLLMは、LM Studio Bionic でエージェント動作をさせ、インターネット検索とファイル書込みが出来るモデルのみ対象。 【処理時間】 | LLM名 | LLM名設定時間 | 命題処理時間 | | --- | --- | --- | | GPT6-Astra極高 | 25s | 6m 17s | | GPT6-Sol極高 | 32s | 6m 39s | | GPT5.6-Terra高 | 6s | 2m 25s | | Qwen3.8-27B非常に高い | 18m 15s | 254m 10s | | Minimax-M2.7 | 6m 8s | 157m 38s | | Gemma4-26B-A4Bオン | 1m 51s | 4m 19s | | GPT-OSS-20B高 | 39s | 2m 11s | | GPT-OSS-120B高 | 2m 54s | 9m 38s | | MuseGlimmer非常に高い | 3m 57s | 34m 16s | | Nemotron3-Nano-Omuniオン | 1m 11s | 39m 42s | | Nemotron3-Superオン | 26s | 12m 54s | 【PCスペック】 ・OS:Windows 11 Pro 64-bit ・CPU:Intel Core Ultra 9 285K ・RAM:196060 MBytes ・MB:Z890 AORUS MASTER/GIGABYTE ・GB:NVIDIA GeForce RTX 5060 Ti-16GB/GIGABYTE