【目的】 ・生成ドキュメントのまとめ精度比較。 【依頼内容】 ・ローカルLLMが外部参照せずに、学習済み情報ベースで「天安門事件」に関する情報をまとめた結果の精度・速度・モデルの大きさを比較しスコア化する。 【入力】 ・インターネット上から「天安門事件」関して、エビデンスが公式にある情報を独自に収集。 ・ローカルLLMによる生成済みmdファイルは以下。 G:\LMStudioBionicWork\LearningStatusTest\安倍元総理暗殺事件の概要 ・実験方法等は以下。 G:\LMStudioBionicWork\LearningStatusTest\安倍元総理暗殺事件の概要\評価結果\実験方法等.txt 【出力】 ・入力に有る情報で現時点の収集情報を正として、生成済みmdファイルを評価してスコア化する。 ・出力するファイルはmdファイルで、ファイル名は 安倍元総理暗殺事件情報比較GPT6-Astra.md として以下のフォルダへ保存する。 G:\LMStudioBionicWork\LearningStatusTest\安倍元総理暗殺事件の概要\評価結果 【条件】 ・フォーマットは以下にある要約比較のmdファイルと共通化する。 G:\LMStudioBionicWork\LearningStatusTest\天安門事件の概要\評価結果 ただし、ファイルが存在しない場合は独自のフォーマットで作成する。 ・全ファイルで引用情報のファクトチェックを行い、偽である場合は記載する事。 ・冒頭に実験PCのハードウェアリソースの記載をする事。 ・冒頭に評価基準や条件をわかり易く明示する事。 ・出力先フォルダ以外の場所での書込みや消去は行わない事。 ・不明な場合は推測して解決せず、質問プロンプトを表示する事。 ・サマリー内容の評価だけではなく、処理時間も加味したスコアにする。