Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

Generative model monitoring

本機能の提供について

生成モデルの監視サポートはプレミアム機能です。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

機能フラグ:生成モデルの監視サポートを有効にする, カスタムモデルでランタイムパラメーターの挿入を有効化

カスタムモデルと外部モデルのテキスト生成ターゲットタイプを使用した、LLMOpsのプレミアム機能では、生成LLM(大規模言語モデル)をデプロイして、予測の実行、サービス、使用状況、データドリフト統計の監視、カスタム指標の作成を行います。 DataRobotは、次の2つのデプロイ方法でLLMに対応しています。

生成型カスタムモデルの作成とデプロイ

カスタム推論モデルは、ユーザーが作成して、カスタムモデルワークショップを介して(ファイルのコレクションとして)、DataRobotにアップロードできる事前トレーニング済みのモデルです。 次に、モデルアーティファクトをアップロードして、DataRobotの一元化されたデプロイハブにカスタム推論モデルを作成、テスト、およびデプロイすることができます。

生成型カスタムモデルの追加

生成モデルをカスタムモデルワークショップに追加するには:

  1. モデルレジストリ > カスタムモデルワークショップをクリックし、モデルタブで+ 新しいモデルを追加をクリックします。

  2. カスタム推論モデルを追加ダイアログボックスのターゲットタイプで、テキスト生成をクリックします。

  3. モデル名ターゲット名を入力します。 さらに、オプションのフィールドを表示をクリックして、モデルの構築に使用する言語を定義し、説明を入力します。

  4. カスタムモデルを追加をクリックします。 新しいカスタムモデルがアセンブルタブで開きます。

生成型カスタムモデルのアセンブルとデプロイ

カスタムモデルワークショップから生成モデルをアセンブル、テスト、デプロイするには:

  1. アセンブルタブの右側にあるモデル環境の下で、基本環境リストからモデル環境を選択します。 モデル環境は、カスタムモデルのテストデプロイに使用されます。

    備考

    基本環境プルダウンメニューにはドロップインモデル環境(存在する場合)と、作成可能なカスタム環境が含まれています。

  2. アセンブルタブの左側にあるモデルの下でファイルをドラッグアンドドロップするか、ローカルファイルを参照をクリックして、LLMのカスタムモデルアーティファクトをアップロードします。 また、 リモートリポジトリからモデルファイルをインポートすることもできます。

    重要

    ローカルファイルを参照をクリックすると、ローカルフォルダーを追加するオプションが表示されます。 ローカルフォルダーには、モデル自体ではなく、モデルに必要な依存ファイルおよび追加のアセットを含めるようにしてください。 モデルファイルがフォルダーに含まれている場合でも、DataRobotからモデルファイルにアクセスすることはできません。 代わりに、モデルファイルはルートレベルに存在する必要があります。 ルートにあるファイルは、フォルダー内の依存関係を指定することができます。

    カスタムモデルワークショップでアセンブルされた基本的なLLMには、次のファイルが含まれているはずです。

    ファイル 内容
    custom.py カスタムモデルのパブリックネットワークアクセスを使ってLLMサービスのAPIを呼び出す カスタムモデルコード
    model-metadata.yaml 生成モデルで必要な ランタイムパラメーター
    requirements.txt 生成モデルに必要な ライブラリ(およびバージョン)

    requirements.txtからの依存関係は、モデルの依存関係ボックスのモデル環境の下に表示されます。

  3. 必要なモデルファイルを追加したら、 トレーニングデータを追加します。 ドリフト監視のトレーニングベースラインを提供するには、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスを20行 以上 含むデータセットをアップロードする必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

  4. 次に、テストタブ、+ 新規テストテストを開始を順番にクリックして、テキスト生成ターゲットタイプでサポートされている唯一のテストであるスタートアップおよび予測エラーテストを実行します。

  5. 登録してデプロイをクリックし、 モデル情報を入力して、レジストリに追加をクリックします。

    登録済みのモデルタブでモデルが開きます。

  6. 登録されているモデルバージョンヘッダーで、デプロイをクリックし、 デプロイ設定を行います。

    他のDataRobotモデルと同様に 予測を作成できるようになりました。

外部生成モデルの作成とデプロイ

外部モデルパッケージを使用すると、外部生成モデルを登録およびデプロイできます。 監視エージェントを使用して、これらのモデルタイプでMLOps監視機能にアクセスできます。

外部生成モデルのモデルパッケージを作成してデプロイするには:

  1. モデルレジストリをクリックし、登録済みのモデルタブで新規パッケージを追加をクリックして、新しい外部モデルパッケージを選択します。

  2. 新しい外部モデルを登録ダイアログボックスで、予測タイプリストからテキスト生成をクリックし、エージェントで監視する生成モデルについて 必要な情報を追加します。 ドリフト監視のトレーニングベースラインを提供するには、トレーニングデータフィールドで、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスを20行 以上 含むデータセットをアップロードする必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

  3. モデルパッケージのすべてのフィールドを定義したら、登録をクリックします。 パッケージがモデルレジストリに追加され、使用できるようになります。

  4. モデルレジストリ > 登録済みのモデルタブから、 生成モデルを見つけてデプロイします。

  5. デプロイ情報を追加しデプロイを実行します。

デプロイされた生成モデルの監視

本番環境で生成モデルを監視するために、 サービスの正常性使用状況の統計の表示、 デプロイデータのエクスポート、 カスタム指標の作成、 データドリフトの識別を行うことができます。

生成モデルのデータドリフト

生成モデルの予測データでドリフトを監視するために、DataRobotは新しいプロンプトとレスポンスを、モデル作成時にアップロードしたトレーニングデータのプロンプトおよびレスポンスと比較します。 比較に適切なトレーニングベースラインを提供するには、アップロードされたトレーニングデータセットに、モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスが20行 以上 含まれている必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

生成モデルのデータドリフトタブでは、 特徴量ドリフトと特徴量の有用性の比較特徴量の詳細時間経過に伴うドリフトのチャートを見ることができます。

目的のモデル、期間、または特徴量にフォーカスするようにデータドリフトダッシュボードを調整する方法については、 データドリフトダッシュボードの設定ドキュメントを参照してください。

特徴量の詳細チャートには、テキスト生成モデルのための新機能が含まれており、トレーニング期間とスコアリング期間におけるデータセット内の各トークンのデータ分布の違いを視覚化するワードクラウドを提供します。 デフォルトでは、特徴量の詳細チャートには、 質問 (またはプロンプト)と 回答 (またはモデルの完了/出力)に関する情報が含まれます。

特徴量 説明
question トレーニング期間とスコアリング期間における各 ユーザープロンプト トークンのデータ分布の違いを視覚化し、各トークンがユーザープロンプトデータのデータドリフトにどの程度関与しているかを明らかにするワードクラウド。
回答 トレーニング期間とスコアリング期間における各 モデル出力 トークンのデータ分布の違いを視覚化し、各トークンがモデル出力データのデータドリフトにどの程度関与しているかを明らかにするワードクラウド。

備考

生成モデルの入出力の特徴量名は、モデルのデータ内の特徴量名に依存するため、上記の例の 質問回答 の特徴量は、モデルのデータ内の入力列と出力列の名前に置き換えられます。

データドリフト追跡の他の特徴量を指定することもできます。たとえば、モデルの _温度_を追跡し、生成モデルのレスポンスの創造性レベルを高い(1)から低い(0)まで監視することができます。

質問回答などのテキスト特徴量の特徴量ドリフトワードクラウドを解釈するには、ユーザープロンプトまたはモデル出力トークンにカーソルを合わせると、以下の詳細が表示されます。

チャートの要素 説明
トークン ワードクラウド内のワードで表されるトークン化されたテキスト。 テキストサイズはトークンのドリフト貢献度を表し、テキストの色はデータセットの普及率を表します。 このチャートではストップワードは非表示になります。
ドリフト貢献度 この特定のトークンが、特徴量ドリフト対特徴量の有用性チャートで報告されている、特徴量のドリフト値にどれだけ貢献しているかを示します。
ターゲット分布 この特定のトークンがトレーニングデータまたは予測データに表示される頻度がどれだけ増加するか。
  • :このトークンは、トレーニングデータでX%頻繁に表示されます。
  • :このトークンは、予測データでX%頻繁に表示されます。

ヒント

ポインターがワードクラウド上にあるとき、上にスクロールするとズームインして、より小さいトークンのテキストを表示できます。


更新しました February 8, 2024
Back to top