運用とガバナンスの基本ステップ¶
この基本ステップでは、DataRobotを使って飛行機の離陸が30分以上遅れることを予測する方法について紹介します。 ユースケースの詳細についてはこちらをご覧ください。 以下の操作を行います。
- モデルの登録。
- デプロイの作成。
- 予測の作成。
- 監視指標の確認。
前提条件¶
モデルをデプロイして監視するには、まず以下のどちらかを行います。
- モデル構築の基本ステップを最後まで実行し、モデルを作成します。
- 既存のエクスペリメントのリーダーボードを開き、登録プロセスを開始します。
1. モデルの登録¶
モデルを登録することで、AIランドスケープ全体で信頼できる唯一の情報源を作成できます。 たとえば、モデルのバージョニングを使用して、問題のタイプ別に整理されたモデル管理エクスペリエンスを作成できます。 モデルを登録するには、リーダーボード上でモデルを選択し、モデルアクション > モデルの登録を選択します。 （デプロイの準備済みのモデルは、基本ステップに適しています。）
詳しくはこちら：DataRobotレジストリ
2. 登録の詳細を設定¶
モデルを登録する際に、新しいモデルとして登録するのか、既存の登録済みモデルにバージョンを追加するのかを指定できます。 この基本ステップでは、新しいモデルとして登録し、必要に応じて説明を追加して、モデルの登録をクリックします。
詳しくはこちら：DataRobotモデルの登録
3. デプロイ作成の開始¶
登録処理が行われているとき、DataRobotに表示された系統とメタデータを調べることができます。 この情報はトレーサビリティのために重要です。 デプロイをクリックして先に進みます。
詳しくはこちら：モデルの登録とデプロイ
4. デプロイを設定¶
予測環境では、予測が行われている場所に基づいてアクセシビリティを制御できるため、デプロイのガバナンスが実現します。 この画面から環境を設定します（このトライアル用に環境が作成されています）。
高度なオプションを表示をクリックすることで、データドリフト（デフォルトでオン）、精度、公平性などの監視機能を設定できます。 続行するには、モデルをデプロイをクリックしてデプロイを作成します。
詳しくはこちら：追加設定を行う
5. デプロイを作成¶
設定が適用されるとステータスメッセージが表示され、デプロイが作成されると、監視用のデータドリフトベースラインが確立されます。 このベースラインはデータドリフトダッシュボードの基準となり、デプロイ後のモデルのパフォーマンスを分析するのに役立ちます。 デプロイの準備が完了すると、自動的にコンソールの概要に進みます。
詳しくはこちら：コンソールの概要
6. 予測の実行¶
コンソールの概要には、デプロイに関する一般的な情報が数多く表示されます。 ページ上部の他のタブでは、モデルをデプロイし、デプロイされたモデルの実行、監視、最適化を行うために重要な設定を行い、レポートします。 予測タブをクリックして、1回限りのバッチ予測を行います。
詳しくはこちら：予測オプション
7. 予測データのアップロード¶
バッチ予測を行うには、予測データセットをアップロードします。 ユーザー独自のスコアリングデータをアップロードすると、自動的にデータレジストリに保存されます。 試用版では、事前に登録されたデータセットが提供されます。 ファイルを選択ドロップダウンを開き、アップロード元としてAIカタログを選択します。
カタログから予測データセットHOSPITAL_READMISSIONS_SOCRING_DATAを見つけて選択します。 データセットをクリックして選択し、データセットのメタデータを確認します。準備ができたら、このデータセットを使用をクリックします。
詳しくはこちら：1回限りの予測を行う
8. 予測を計算¶
基本および高度な予測オプションにより、モデルの出力を微調整できます。 コントロールは自由に試せますが、この基本ステップではデフォルトのままにします。 画面の一番下までスクロールして、予測を計算およびダウンロードをクリックします。 計算後、直近の予測セクションにエントリーがリストされます。
詳しくはこちら：デプロイから予測を行う
9. サービスの正常性を確認¶
サービスの正常性タブは、デプロイされたモデルの運用状態を報告します。 サービスの正常性では、予測リクエストに迅速かつ確実に応答するデプロイの能力に関する指標を追跡します。これは、適切なプロビジョニングに不可欠なボトルネックの特定とキャパシティの評価に役立ちます。
総予測数、総リクエスト数、レスポンス時間などのサービス正常性指標を確認して、モデルの運用状態を評価します。 その後、データドリフトをクリックしてモデルのパフォーマンスをチェックします。
詳しくはこちら：サービスの正常性
10. データドリフトを確認¶
現実世界の状況が変化すると、予測データのデータ分布はトレーニングデータに設定されたベースラインから外れていきます。 デプロイに追加されたトレーニングデータと予測データ（推論データとも呼ばれます）を活用することで、データドリフトタブのダッシュボードは、デプロイ後のモデルのパフォーマンスを分析するのに役立ちます。
詳しくはこちら：データドリフト