【目的】 ・生成ドキュメントの検索とまとめの精度比較。 【依頼内容】 ・「天安門事件」に関する情報を収集して生成されたサマリーファイルの、検索精度とまとめ結果の精度を比較しスコア化する。 【入力】 ・インターネット上から「天安門事件」関して、エビデンスが公式にある情報を独自に収集。 ・Codexによる生成ファイルは以下。 G:\CodexWork\InternetTest\天安門事件要約 ・ローカルLLMによる生成ファイルは以下。 G:\LMStudioBionicWork\InternetTest\天安門事件要約 ・実験方法等は以下。 G:\LMStudioBionicWork\InternetTest\天安門事件要約\比較結果\実験方法等.txt 【出力】 ・入力に有る情報で現時点の収集情報を正として、生成済みmdファイルを評価してスコア化する。 ・出力するファイルはmdファイルで、ファイル名は 天安門事件要約比較[LLM名称].md として以下のフォルダへ保存する。 G:\LMStudioBionicWork\InternetTest\天安門事件要約\比較結果 【条件】 ・フォーマットは以下にある要約比較のmdファイルと共通化する。 G:\LMStudioBionicWork\InternetTest\安倍元総理暗殺事件要約\比較結果 ただし、ファイルが存在しない場合は独自のフォーマットで作成する。 ・全ファイルで引用情報のファクトチェックを行い、偽である場合は記載する事。 ・冒頭に実験PCのハードウェアリソースの記載をする事。 ・冒頭に評価基準や条件をわかり易く明示する事。 ・出力先フォルダ以外の場所での書込みや消去は行わない事。 ・不明な場合は推測して解決せず、質問プロンプトを表示する事。 ・サマリー内容の評価だけではなく、処理時間も加味したスコアにする。