生成モデルの監視¶

カスタムモデルと外部モデルのテキスト生成ターゲットタイプを使用した、LLMOpsのプレミアム機能では、生成LLM（大規模言語モデル）をデプロイして、予測の実行、サービス、使用状況、データドリフト統計の監視、カスタム指標の作成を行います。 DataRobotは、次の2つのデプロイ方法でLLMに対応しています。

生成型カスタムモデルの作成とデプロイ¶

カスタム推論モデルは、ユーザーが作成し、（ファイルのコレクションとして） モデルワークショップを介してDataRobotにアップロードできる事前トレーニング済みのモデルです。 次に、モデルアーティファクトをアップロードして、DataRobotの一元化されたデプロイハブにカスタム推論モデルを作成、テスト、およびデプロイすることができます。

生成型カスタムモデルの追加¶

生成モデルをモデルワークショップに追加するには：

1. レジストリ > モデルワークショップをクリックします。 このタブには、作成したモデルが一覧表示されます。

   

2. + モデルを追加（または、カスタムモデルパネルが開いている場合は ボタン）をクリックします。

   

3. モデルを追加ページで、次に示すモデルの設定の下にあるフィールドを定義します。

   

   フィールド	説明
   モデル名	カスタムモデルにわかりやすい名前を入力します。
   ターゲットタイプ	テキスト生成を選択します。
   ターゲット名	生成AIモデルの出力を含めるデータセット列の名前（resultTextなど）を入力します。
   高度な設定
   言語	生成AIモデルの構築に使用されるプログラミング言語を入力します。
   説明	モデルのコンテンツと目的の説明を入力します。

4. フィールドに入力したら、モデルを追加をクリックします。

   カスタムモデルがアセンブルタブで開きます。

生成型カスタムモデルの構築とデプロイ¶

モデルワークショップから生成モデルを構築、テスト、デプロイするには：

1. アセンブルタブの上部にある環境の下で、基本環境リストからGenAIモデル環境を選択します。 モデル環境は、カスタムモデルの テストと 登録済みカスタムモデルの デプロイに使用されます。

2. 依存関係セクションに入力するために、ファイルセクションでrequirements.txtファイルをアップロードし、DataRobotが最適なイメージを構築できるようにします。

3. ファイルセクションで、必要なカスタムモデルファイルを追加します。 モデルと ドロップイン環境をペアリングしていない場合、これにはカスタムモデル環境要件とstart_server.shファイルが含まれます。 ファイルの追加方法はいくつかあります。

   

   	要素	説明
   1	ファイル	ファイルをグループボックスにドラッグしてアップロードします。
   2	ソースから選択	クリックしてローカルファイルまたはローカルフォルダーを参照します。
   3	アップロード	クリックしてローカルファイルまたはローカルフォルダーを参照するか、リモートリポジトリからファイルを取得します。
   4	作成	空のファイルまたはテンプレートとして新しいファイルを作成し、カスタムモデルに保存します。 model-metadata.yamlを作成：ランタイムパラメーターファイルの基本的で編集可能な例を作成します。 空白ファイルを作成：空のファイルを作成します。 名称未設定の横にある編集アイコン（）をクリックしてファイル名と拡張子を入力し、カスタムコンテンツを追加します。

   モデルワークショップで構築された 基本 LLMには、少なくとも以下のファイルが含まれている必要があります。

   ファイル	内容
   custom.py	カスタムモデルコード（ カスタムモデルのパブリックネットワークアクセスを介してLLMサービスのAPIを呼び出します）。
   model-metadata.yaml	生成モデルに必要なカスタムモデルのメタデータと ランタイムパラメーター。
   requirements.txt	生成モデルに必要な ライブラリ（およびバージョン）。

4. 必要なモデルファイルを追加したら、 トレーニングデータを追加します。 ドリフト監視のトレーニングベースラインを提供するには、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトと回答を少なくとも20行含むデータセットをアップロードします。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

5. 次に、テストタブ、新しいテストを実行、実行を順にクリックして、起動テストおよび予測エラーテスト（テキスト生成ターゲットタイプではこれらのテストのみサポート）を実行します。

6. モデルの登録をクリックし、 モデル情報を入力してモデルの登録をクリックします。

   登録済みのモデルがモデルディレクトリタブで開きます。

7. 登録されているモデルバージョンヘッダーで、デプロイをクリックし、 デプロイ設定を行います。

   他のDataRobotモデルと同様に 予測を作成できるようになりました。

外部生成モデルの作成とデプロイ¶

外部モデルパッケージを使用すると、外部生成モデルを登録およびデプロイできます。 監視エージェントを使用して、これらのモデルタイプでMLOps監視機能にアクセスできます。

監視エージェントによって監視される外部モデルを作成してデプロイするには、レジストリを通じて外部モデルを登録モデルまたはバージョンとして追加します。

1. レジストリのモデルディレクトリタブで、+ モデルの登録をクリックします（または、登録済みのモデルまたはバージョン情報パネルが開いている場合は ボタンをクリックします）。

   

   モデルを登録パネルが外部モデルタブを開きます。

2. 外部モデルタブのモデルの設定で、既存の登録モデルにバージョンを追加または新しい登録モデルを作成を選択します。

3. ターゲットタイプリストからテキスト生成をクリックし、エージェントで監視する生成モデルに関する 必要な情報を追加します。

   

4. オプション設定で、ドリフト監視のトレーニングベースラインを指定します。 トレーニングデータの下で+ データを追加をクリックし、生成モデルが質問に回答することを意図したトピックに関連するプロンプトと回答を 少なくとも 20行含むデータセットをアップロードします。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

5. すべての必須フィールドを設定したら、モデルの登録をクリックします。

   モデルバージョンがレジストリ > モデルディレクトリページで開きます。

6. 登録されているモデルバージョンヘッダーで、デプロイをクリックし、 デプロイ設定を行います。

デプロイされた生成モデルの監視¶

本番環境で生成モデルを監視するために、 サービスの正常性と 使用状況の統計の表示、 デプロイデータの探索、 カスタム指標の作成、 データドリフトの識別を行うことができます。

生成モデルのデータドリフト¶

生成モデルの予測データでドリフトを監視するために、DataRobotは新しいプロンプトとレスポンスを、モデル作成時にアップロードしたトレーニングデータのプロンプトおよびレスポンスと比較します。 比較に適切なトレーニングベースラインを提供するには、アップロードされたトレーニングデータセットに、モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスが20行 以上 含まれている必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

生成モデルのモニタリング > データドリフトタブでは、 特徴量ドリフトと特徴量の有用性の比較、 特徴量の詳細、 時間経過に伴うドリフトのチャートを表示できます。 さらに、 ドリルダウンタブを生成モデルに使用できます。 特定のモデル、期間、または特徴量にフォーカスするようにデータドリフトダッシュボードを調整する方法については、 データドリフトダッシュボードの設定ドキュメントを参照してください。

生成モデルの特徴量の詳細¶

特徴量の詳細チャートには、テキスト生成モデルのための新機能が含まれており、トレーニング期間とスコアリング期間におけるデータセット内の各トークンのデータ分布の違いを視覚化するワードクラウドを提供します。 デフォルトでは、特徴量の詳細チャートには、 質問 （プロンプト）と 答え （ターゲット、モデル完了、出力、または回答）に関する情報が含まれます。 これらはテキスト特徴量です。以下の例では、質問の特徴量は プロンプト で、回答の特徴量は _ターゲット_です。

データドリフト追跡の他の特徴量を指定することもできます。たとえば、モデルの _温度_を追跡し、生成モデルのレスポンスの創造性レベルを高い（1）から低い（0）まで監視することができます。

プロンプト や _ターゲット_などのテキスト特徴量の特徴量ドリフトワードクラウドを解釈するには、ユーザープロンプトまたはモデル出力トークンにカーソルを合わせて以下の詳細を表示します。