XoTの実装¶
DataRobotにEverything of Thoughts (XoT) を実装して評価します。これは、生成AIを「人間のように考える」ようにするためのアプローチです。生成AIの世界では、AIがより人間に近い 「思考パターン」を獲得するために、さまざまな手法(思考生成と呼ばれます)が研究されています。特にXoTは、生成AIに「思考プロセス」を教えることで、より正確な答えを導き出すことを目指しています。XoTを実現する方法は、大きく分けて2つあります。
-
Chain-of-Thought (CoT):複数の思考を鎖のようにつないで推論する思考法
-
Retrieval Augmented Thought Tree (RATT):木の枝のように複数の可能性を広げ、外部の知識ベースから関連情報を取り出す思考法。
このアクセラレーターでは、これらの手法の実装方法を説明します。 具体的には、Direct、Chain-of-Thought、RATTの3種類のLLMプロンプトを設定して比較する方法を紹介します。 "Direct"とは、よく知られている"You are a helpful assistant"のことです。また、このアクセラレーターでは、サンプルデータセットを使用して、各手法の精度と効率を比較しながら、パフォーマンスを評価する方法や、複数の評価指標を使用して分析する方法についても説明しています。