LLMカスタム推論テンプレート¶
OpenAI（非Azure）、Gemini Pro、Cohere、Claudeなど、さまざまなLLMモデルがあります。 これらのLLMモデルの管理と監視は、モデルを効果的に使用する上で非常に重要です。 DataRobot MLOpsによるデータドリフト監視では、ユーザープロンプトとその回答の変化を検出できます。 サイドカーモデルは、ジェイルブレイクを防ぎ、個人を特定できる情報（PII）を置き換え、レジストリのグローバルモデルでLLMの回答を評価することができます。 データエクスポート機能は、特定の時点でユーザーが知りたいと思っている内容を提示し、RAGシステムに含める必要のあるデータを提供します。 カスタム指標は、意思決定に役立つ独自のKPIを示します（トークンコスト、毒性、ハルシネーションなど）を示します。
さらに、DataRobotのRAGプレイグラウンドでは、MLOpsにモデルをデプロイした後、試したいLLMモデルのRAGシステムを比較できます。 最良のLLMモデルを取得してビジネスを加速できます。 さまざまなLLMモデルの比較は、RAGシステムを成功させるための重要な要素です。
LLMカスタム推論モデルテンプレートを使用すると、Azure OpenAI、Google、AWSなどの「batteries-included」LLMとともに、独自のLLMをデプロイして高速化できます。
現在、DataRobotには、OpenAI（非Azure）、Gemini Pro、Cohere、およびClaude用のテンプレートが用意されています。 このテンプレートを使用するには、GitHubで説明されている手順に従います。