生成モデルの監視¶

カスタムモデルと外部モデルのテキスト生成ターゲットタイプを使用した、LLMOpsのプレミアム機能では、生成LLM（大規模言語モデル）をデプロイして、予測の実行、サービス、使用状況、データドリフト統計の監視、カスタム指標の作成を行います。 DataRobotは、次の2つのデプロイ方法でLLMに対応しています。

• DataRobotでカスタム推論モデルとしてテキスト生成モデルを作成：DataRobotのカスタムモデルワークショップを使用してテキスト生成モデルを作成してデプロイし、LLMのAPIを呼び出して、直接推論を実行する代わりにテキストを生成し、DataRobot MLOpsが監視のためにLLMの入力と出力にアクセスできるようにします。 LLMのAPIを呼び出すには、 カスタムモデルのパブリックネットワークアクセスを有効にする必要があります。

• 外部で実行されているテキスト生成モデルを監視：インフラストラクチャ（ローカルまたはクラウド）にテキスト生成モデルを作成してデプロイし、監視エージェントを使用して、LLMの入出力を監視のためにDataRobotに通信します。

生成型カスタムモデルの作成とデプロイ¶

カスタム推論モデルは、ユーザーが作成して、カスタムモデルワークショップを介して（ファイルのコレクションとして）、DataRobotにアップロードできる事前トレーニング済みのモデルです。 次に、モデルアーティファクトをアップロードして、DataRobotの一元化されたデプロイハブにカスタム推論モデルを作成、テスト、およびデプロイすることができます。

生成型カスタムモデルの追加¶

生成モデルをカスタムモデルワークショップに追加するには：

1. モデルレジストリ > カスタムモデルワークショップをクリックし、モデルタブで+ 新しいモデルを追加をクリックします。

   

2. カスタム推論モデルを追加ダイアログボックスのターゲットタイプで、テキスト生成をクリックします。

   

3. モデル名とターゲット名を入力します。 さらに、オプションのフィールドを表示をクリックして、モデルの構築に使用する言語を定義し、説明を入力します。

4. カスタムモデルを追加をクリックします。 新しいカスタムモデルがアセンブルタブで開きます。

生成型カスタムモデルのアセンブルとデプロイ¶

カスタムモデルワークショップから生成モデルをアセンブル、テスト、デプロイするには：

1. アセンブルタブの右側にあるモデル環境の下で、基本環境リストからモデル環境を選択します。 モデル環境は、カスタムモデルのテストとデプロイに使用されます。

   

   備考

   基本環境プルダウンメニューにはドロップインモデル環境（存在する場合）と、作成可能なカスタム環境が含まれています。

2. アセンブルタブの左側にあるモデルの下でファイルをドラッグアンドドロップするか、ローカルファイルを参照をクリックして、LLMのカスタムモデルアーティファクトをアップロードします。 また、 リモートリポジトリからモデルファイルをインポートすることもできます。

   

   重要

   ローカルファイルを参照をクリックすると、ローカルフォルダーを追加するオプションが表示されます。 ローカルフォルダーには、モデル自体ではなく、モデルに必要な依存ファイルおよび追加のアセットを含めるようにしてください。 モデルファイルがフォルダーに含まれている場合でも、DataRobotからモデルファイルにアクセスすることはできません。 代わりに、モデルファイルはルートレベルに存在する必要があります。 ルートにあるファイルは、フォルダー内の依存関係を指定することができます。

   カスタムモデルワークショップでアセンブルされた基本的なLLMには、次のファイルが含まれているはずです。

   ファイル	内容
   custom.py	カスタムモデルのパブリックネットワークアクセスを使ってLLMサービスのAPIを呼び出す カスタムモデルコード。
   model-metadata.yaml	The runtime parameters required by the generative model.
   requirements.txt	生成モデルに必要な ライブラリ（およびバージョン）。

   requirements.txtからの依存関係は、モデルの依存関係ボックスのモデル環境の下に表示されます。

3. 必要なモデルファイルを追加したら、 トレーニングデータを追加します。 ドリフト監視のトレーニングベースラインを提供するには、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスを20行 以上 含むデータセットをアップロードする必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

4. 次に、テストタブ、+ 新規テスト、テストを開始を順番にクリックして、テキスト生成ターゲットタイプでサポートされている唯一のテストであるスタートアップおよび予測エラーテストを実行します。

5. 登録してデプロイをクリックし、 モデル情報を入力して、レジストリに追加をクリックします。

   登録済みのモデルタブでモデルが開きます。

6. 登録されているモデルバージョンヘッダーで、デプロイをクリックし、 デプロイ設定を行います。

   他のDataRobotモデルと同様に 予測を作成できるようになりました。

外部生成モデルの作成とデプロイ¶

外部モデルパッケージを使用すると、外部生成モデルを登録およびデプロイできます。 監視エージェントを使用して、これらのモデルタイプでMLOps監視機能にアクセスできます。

外部生成モデルのモデルパッケージを作成してデプロイするには：

1. モデルレジストリをクリックし、登録済みのモデルタブで新規パッケージを追加をクリックして、新しい外部モデルパッケージを選択します。

   

2. 新しい外部モデルを登録ダイアログボックスで、予測タイプリストからテキスト生成をクリックし、エージェントで監視する生成モデルについて 必要な情報を追加します。 ドリフト監視のトレーニングベースラインを提供するには、トレーニングデータフィールドで、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスを20行 以上 含むデータセットをアップロードする必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

   

3. モデルパッケージのすべてのフィールドを定義したら、登録をクリックします。 パッケージがモデルレジストリに追加され、使用できるようになります。

4. モデルレジストリ > 登録済みのモデルタブから、 生成モデルを見つけてデプロイします。

5. デプロイ情報を追加しデプロイを実行します。

デプロイされた生成モデルの監視¶

本番環境で生成モデルを監視するために、 サービスの正常性と 使用状況の統計の表示、 デプロイデータのエクスポート、 カスタム指標の作成、 データドリフトの識別を行うことができます。

生成モデルのデータドリフト¶

生成モデルの予測データでドリフトを監視するために、DataRobotは新しいプロンプトとレスポンスを、モデル作成時にアップロードしたトレーニングデータのプロンプトおよびレスポンスと比較します。 比較に適切なトレーニングベースラインを提供するには、アップロードされたトレーニングデータセットに、モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスが20行 以上 含まれている必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

生成モデルのデータドリフトタブでは、 特徴量ドリフトと特徴量の有用性の比較、 特徴量の詳細、 時間経過に伴うドリフトのチャートを見ることができます。

目的のモデル、期間、または特徴量にフォーカスするようにデータドリフトダッシュボードを調整する方法については、 データドリフトダッシュボードの設定ドキュメントを参照してください。

特徴量の詳細チャートには、テキスト生成モデルのための新機能が含まれており、トレーニング期間とスコアリング期間におけるデータセット内の各トークンのデータ分布の違いを視覚化するワードクラウドを提供します。 デフォルトでは、特徴量の詳細チャートには、 質問 （またはプロンプト）と 回答 （またはモデルの完了／出力）に関する情報が含まれます。

データドリフト追跡の他の特徴量を指定することもできます。たとえば、モデルの _温度_を追跡し、生成モデルのレスポンスの創造性レベルを高い（1）から低い（0）まで監視することができます。

質問 や 回答などのテキスト特徴量の特徴量ドリフトワードクラウドを解釈するには、ユーザープロンプトまたはモデル出力トークンにカーソルを合わせると、以下の詳細が表示されます。