【目的】 ・検索能力と文章のまとめ能力に関するLLM別比較。 ・特にクラウド型LLMに対して、ローカルLLMの能力を比較する。 【手法】 ・出力ファイル名に記載させるため、各LLMに対してそれぞれのモデル名と思考レベルを教える。 ・検索・まとめる命題を与えて処理させ、まとめたサマリーをmdファイルに出力させる。 ・現在使っている最高性能LLM(現時点では GPT-6 Astera)を使い、出力されたサマリーファイルをインターネット上の情報を基準にして比較、評価しスコア化する。 ・この時、以下の処理時間も加味したスコアにする。 ・ローカルLLMは、LM Studio Bionic でエージェント動作をさせ、インターネット検索とファイル書込みが出来るモデルのみ対象。 【処理時間】 | LLM名 | LLM名設定時間 | 命題処理時間 | | --- | --- | --- | | GPT6-Astra極高 | 25s | 6m 17s | | GPT6-Sol極高 | 21s | 6m 37s | | GPT5.6-Terra高 | 6s | 4m 47s | | Qwen3.8-27B非常に高い | 20m 3s | 187m 50s | | Minimax-M2.7 | 16m 51s | 130m 11s | | Gemma4-26B-A4Bオン | 2m 47s | 7m 24s | | GPT-OSS-20B高 | 55s | 6m 9s | | GPT-OSS-120B高 | 1m 30s | 35m 51s | | MuseGlimmer非常に高い | 4m 18s | 17m 23s | | Nemotron3-Nano-Omuniオン | 1m 46s | 10m 53s | | Nemotron3-Superオン | 50s | 18m 13s | 【PCスペック】 ・OS:Windows 11 Pro 64-bit ・CPU:Intel Core Ultra 9 285K ・RAM:196060 MBytes ・MB:Z890 AORUS MASTER/GIGABYTE ・GB:NVIDIA GeForce RTX 5060 Ti-16GB/GIGABYTE