生成モデルの監視¶
本機能の提供について
生成モデルの監視サポートはプレミアム機能です。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。
カスタムモデルと外部モデルのテキスト生成ターゲットタイプを使用した、LLMOpsのプレミアム機能では、生成LLM(大規模言語モデル)をデプロイして、予測の実行、サービス、使用状況、データドリフト統計の監視、カスタム指標の作成を行います。 DataRobotは、次の2つのデプロイ方法でLLMに対応しています。
-
DataRobotでカスタム推論モデルとしてテキスト生成モデルを作成:DataRobotのカスタムモデルワークショップを使用してテキスト生成モデルを作成してデプロイし、LLMのAPIを呼び出して、直接推論を実行する代わりにテキストを生成し、DataRobot MLOpsが監視のためにLLMの入力と出力にアクセスできるようにします。 LLMのAPIを呼び出すには、 カスタムモデルのパブリックネットワークアクセスを有効にする必要があります。
-
外部で実行されているテキスト生成モデルを監視:インフラストラクチャ(ローカルまたはクラウド)にテキスト生成モデルを作成してデプロイし、監視エージェントを使用して、LLMの入出力を監視のためにDataRobotに通信します。
評価とモデレーションのカスタム指標には関連付けIDが必要
評価とモデレーションを設定するときに追加された指標について、カスタム指標タブでデータを表示するには、デプロイされたLLMを介して予測を開始する前に、関連付けIDを設定して予測ストレージを有効にします。 関連付けIDを設定せず、LLMの予測とともに関連付けIDを指定した場合、モデレーションの指標は カスタム指標タブで計算されません。関連付けIDを定義後、関連付けIDの自動生成を有効化して、これらの指標がカスタム指標タブに表示されるようにできます。 この設定は、デプロイ 中やデプロイ 後に有効化できます。
生成型カスタムモデルの作成とデプロイ¶
カスタム推論モデルは、ユーザーが作成して、カスタムモデルワークショップを介して(ファイルのコレクションとして)、DataRobotにアップロードできる事前トレーニング済みのモデルです。 次に、モデルアーティファクトをアップロードして、DataRobotの一元化されたデプロイハブにカスタム推論モデルを作成、テスト、およびデプロイすることができます。
生成型カスタムモデルの追加¶
生成モデルをカスタムモデルワークショップに追加するには:
-
モデルレジストリ > カスタムモデルワークショップをクリックし、モデルタブで+ 新しいモデルを追加をクリックします。
-
カスタム推論モデルを追加ダイアログボックスのターゲットタイプで、テキスト生成をクリックします。
-
モデル名とターゲット名を入力します。 さらに、オプションのフィールドを表示をクリックして、モデルの構築に使用する言語を定義し、説明を入力します。
-
カスタムモデルを追加をクリックします。 新しいカスタムモデルがアセンブルタブで開きます。
生成型カスタムモデルの構築とデプロイ¶
カスタムモデルワークショップから生成モデルを構築、テスト、デプロイするには:
-
アセンブルタブの右側にあるモデル環境の下で、基本環境リストからモデル環境を選択します。 モデル環境は、カスタムモデルのテストとデプロイに使用されます。
備考
基本環境プルダウンメニューにはドロップインモデル環境(存在する場合)と、作成可能なカスタム環境が含まれています。
-
アセンブルタブの左側にあるモデルの下でファイルをドラッグアンドドロップするか、ローカルファイルを参照をクリックして、LLMのカスタムモデルアーティファクトをアップロードします。 また、 リモートリポジトリからモデルファイルをインポートすることもできます。
重要
ローカルファイルを参照をクリックすると、ローカルフォルダーを追加するオプションが表示されます。 ローカルフォルダーには、モデル自体ではなく、モデルに必要な依存ファイルおよび追加のアセットを含めるようにしてください。 モデルファイルがフォルダーに含まれている場合でも、DataRobotからモデルファイルにアクセスすることはできません。 代わりに、モデルファイルはルートレベルに存在する必要があります。 ルートにあるファイルは、フォルダー内の依存関係を指定することができます。
カスタムモデルワークショップで構築された基本的なLLMには、次のファイルが含まれているはずです。
ファイル 内容 custom.py
カスタムモデルのパブリックネットワークアクセスを使ってLLMサービスのAPIを呼び出す カスタムモデルコード。 model-metadata.yaml
生成モデルで必要な ランタイムパラメーター。 requirements.txt
生成モデルに必要な ライブラリ(およびバージョン)。 requirements.txt
からの依存関係は、モデルの依存関係ボックスのモデル環境の下に表示されます。 -
必要なモデルファイルを追加したら、 トレーニングデータを追加します。 ドリフト監視のトレーニングベースラインを提供するには、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスを20行 以上 含むデータセットをアップロードする必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。
-
次に、テストタブ、+ 新規テスト、テストを開始を順番にクリックして、テキスト生成ターゲットタイプでサポートされている唯一のテストであるスタートアップおよび予測エラーテストを実行します。
-
登録してデプロイをクリックし、 モデル情報を入力して、レジストリに追加をクリックします。
登録済みのモデルタブでモデルが開きます。
-
登録されているモデルバージョンヘッダーで、デプロイをクリックし、 デプロイ設定を行います。
他のDataRobotモデルと同様に 予測を作成できるようになりました。
外部生成モデルの作成とデプロイ¶
外部モデルパッケージを使用すると、外部生成モデルを登録およびデプロイできます。 監視エージェントを使用して、これらのモデルタイプでMLOps監視機能にアクセスできます。
外部生成モデルのモデルパッケージを作成してデプロイするには:
-
モデルレジストリをクリックし、登録済みのモデルタブで新規パッケージを追加をクリックして、新しい外部モデルパッケージを選択します。
-
新しい外部モデルを登録ダイアログボックスで、予測タイプリストからテキスト生成をクリックし、エージェントで監視する生成モデルについて 必要な情報を追加します。 ドリフト監視のトレーニングベースラインを提供するには、トレーニングデータフィールドで、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスを20行 以上 含むデータセットをアップロードする必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。
-
モデルパッケージのすべてのフィールドを定義したら、登録をクリックします。 パッケージがモデルレジストリに追加され、使用できるようになります。
-
モデルレジストリ > 登録済みのモデルタブから、 生成モデルを見つけてデプロイします。
デプロイされた生成モデルの監視¶
本番環境で生成モデルを監視するために、 サービスの正常性と 使用状況の統計の表示、 デプロイデータのエクスポート、 カスタム指標の作成、 データドリフトの識別を行うことができます。
生成モデルのデータドリフト¶
生成モデルの予測データでドリフトを監視するために、DataRobotは新しいプロンプトとレスポンスを、モデル作成時にアップロードしたトレーニングデータのプロンプトおよびレスポンスと比較します。 比較に適切なトレーニングベースラインを提供するには、アップロードされたトレーニングデータセットに、モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスが20行 以上 含まれている必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。
生成モデルのデータドリフトタブでは、 特徴量ドリフトと特徴量の有用性の比較、 特徴量の詳細、 時間経過に伴うドリフトのチャートを見ることができます。
目的のモデル、期間、または特徴量にフォーカスするようにデータドリフトダッシュボードを調整する方法については、 データドリフトダッシュボードの設定ドキュメントを参照してください。
特徴量の詳細チャートには、テキスト生成モデルのための新機能が含まれており、トレーニング期間とスコアリング期間におけるデータセット内の各トークンのデータ分布の違いを視覚化するワードクラウドを提供します。 デフォルトでは、特徴量の詳細チャートには、 質問 (またはプロンプト)と 回答 (またはモデルの完了/出力)に関する情報が含まれます。
特徴量 | 説明 |
---|---|
question | トレーニング期間とスコアリング期間における各 ユーザープロンプト トークンのデータ分布の違いを視覚化し、各トークンがユーザープロンプトデータのデータドリフトにどの程度関与しているかを明らかにするワードクラウド。 |
回答 | トレーニング期間とスコアリング期間における各 モデル出力 トークンのデータ分布の違いを視覚化し、各トークンがモデル出力データのデータドリフトにどの程度関与しているかを明らかにするワードクラウド。 |
備考
生成モデルの入出力の特徴量名は、モデルのデータ内の特徴量名に依存するため、上記の例の 質問 と 回答 の特徴量は、モデルのデータ内の入力列と出力列の名前に置き換えられます。
データドリフト追跡の他の特徴量を指定することもできます。たとえば、モデルの _温度_を追跡し、生成モデルのレスポンスの創造性レベルを高い(1)から低い(0)まで監視することができます。
質問 や 回答などのテキスト特徴量の特徴量ドリフトワードクラウドを解釈するには、ユーザープロンプトまたはモデル出力トークンにカーソルを合わせると、以下の詳細が表示されます。
チャートの要素 | 説明 |
---|---|
トークン | ワードクラウド内のワードで表されるトークン化されたテキスト。 テキストサイズはトークンのドリフト貢献度を表し、テキストの色はデータセットの普及率を表します。 このチャートではストップワードは非表示になります。 |
ドリフト貢献度 | この特定のトークンが、特徴量ドリフト対特徴量の有用性チャートで報告されている、特徴量のドリフト値にどれだけ貢献しているかを示します。 |
ターゲット分布 | この特定のトークンがトレーニングデータまたは予測データに表示される頻度がどれだけ増加するか。
|
ヒント
ポインターがワードクラウド上にあるとき、上にスクロールするとズームインして、より小さいトークンのテキストを表示できます。