LLMカスタム推論モデルテンプレートの使用¶
OpenAI（非Azure）、Gemini Pro、Cohere、Claudeなど、さまざまなLLMモデルがあります。 これらのLLMモデルの管理と監視は、モデルを効果的に使用する上で非常に重要です。 DataRobot MLOpsによるデータドリフト監視では、ユーザープロンプトとその回答の変化を検出できます。 サイドカーモデルでは、ジェイルブレークの防止、個人を特定できる情報（PII）の置換、およびレジストリ内のグローバルモデルによるLLMの回答評価を行うことができます。 データエクスポート機能は、特定の時点でユーザーが知りたいと思っている内容を提示し、RAGシステムに含める必要のあるデータを提供します。 カスタム指標は、意思決定に役立つ独自のKPIを示します（トークンコスト、毒性、ハルシネーションなど）を示します。
さらに、DataRobotのLLMプレイグラウンドでは、MLOpsにモデルをデプロイした後に試行するLLMモデルのRAGシステムを比較できます。 最良のLLMモデルを取得してビジネスを加速できます。 さまざまなLLMモデルの比較は、RAGシステムを成功させるための重要な要素です。
LLMカスタム推論モデルテンプレートを使用すると、Azure OpenAI、Google、AWSなどの「batteries-included」LLMとともに、独自のLLMをデプロイして高速化できます。
現在、DataRobotには、OpenAI（非Azure）、Gemini Pro、Cohere、およびClaude用のテンプレートが用意されています。 To use this template follow the instructions outlined on GitHub.
更新しました July 10, 2024
このページは役に立ちましたか？
ありがとうございます。どのような点が役に立ちましたか？
より良いコンテンツを提供するには、どうすればよいでしょうか？
アンケートにご協力いただき、ありがとうございました。