精度のモニタリングを設定¶

設定 > 精度タブを使ってデプロイの精度監視が可能になり、標準的な統計測定値とエクスポート可能な可視化情報によって、モデルデプロイのパフォーマンスを経時的に分析することができます。 精度監視を設定するには、次のことが必要です。

• 設定 > データドリフトでターゲット監視の有効化。

• 精度の設定で関連付けIDを選択

• 精度の設定で実測値を追加

デプロイの精度の設定ページでは、次の設定を行うことができます。

ターゲット監視の有効化¶

精度監視を有効にするには、設定 > データドリフトタブのデータドリフトセクションでターゲット監視の有効化も必要です。

ターゲット監視がオフになっている場合、ターゲット監視を有効にするよう精度タブにメッセージが表示されます。

Set an association ID¶

デプロイの精度タブを有効にするには、まず予測データセットの関連付けIDを指定します。 関連付けIDは外部キーで、予測と将来の結果（つまり実測値）をリンクさせます。 このIDは、結果を追跡するイベントに対応します。たとえば、一連のローンのうちに債務不履行があるかどうかを追跡することが考えられます。

デプロイの設定 > 精度タブの関連付けIDセクションには、関連付けIDを含む列名を入力するフィールドがあります。 関連性IDフィールドに入力した列名は、モデルの予測データセットの関連性IDを含む列名に一致する必要があります。 予測データセット内のこの列の各セルには、一意のIDを含める必要があります。このIDは、実測値のペイロードで発生する、対応する一意のIDと対になります。

また、予測リクエストで関連付けIDを要求を有効にすると、予測リクエストを行う際に、予測データセットから列が欠落している場合はエラーをスローすることができます。 This means that current prediction requests will start producing errors if they do not include the designated association ID field. Before enabling this setting, make sure all current requests include the association ID field.

そのデプロイに対して予測が作成されているかどうかに関係なく、デプロイでは関連付けIDを含む列名をいつでも設定できます。 関連付けIDは、そのIDを含む予測をまだ作成していない場合にのみ更新できます。 そのIDを使用して予測が作成された後は、IDを変更することはできません。 関連付けID（指定した列名の各行の内容）は128文字以下である必要があります。128文字以上の場合、128文字の長さに切り詰められます。 切り詰められた場合、アップロードされた実測値には、精度統計を適切に生成するために、実測値に対する切り捨てられた関連付けIDが必要になります。

実測値をアップロード¶

実測値を含むデータセットを、設定 > 精度タブ（ここで説明）またはAPI からデプロイに直接アップロードすることができます。 デプロイに対する予測データは、アップロードした実測値に対応する必要があります。 続行する前に、行制限を確認し、実測値をアップロードしてください。

1. デプロイで実測値を使用するには、実測値をアップロードセクションでデータを追加をクリックします。 ファイルを直接アップロードするか、データレジストリからファイルを選択します。 ローカルファイルをアップロードすると、アップロード後にデータレジストリに追加されます。 実測値をデプロイで使用するには、データレジストリでスナップショットを作成する必要があります。

2. Once uploaded, complete the fields that appear in the Uploaded Actuals section. 割り当てられた特徴量では、各フィールドにドロップダウンメニューがあり、データセットの任意の列を選択できます。

   

   フィールド	説明
   実際のレスポンス	データセット内で実測値を含む列を定義します。
   関連付けID	関連付けIDを含む列を定義します。
   タイムスタンプ（オプション）	実測値が取得された日時を含む列を、RFC 3339に従ってフォーマットして定義します（例：2018-04-12T23:20:50.52Z）。

   列名の一致

   予測値データセットと実測値データセットの関連付けIDの列名は一致する必要はありません。 唯一の要件は、各データセットに、他のデータセットと一致する識別子を含む列が含まれていることです。 たとえば、store_id列に行を識別して実際の結果と照合するために使用する予測データセットの関連付けIDが含まれている場合は、store_idを関連付けIDとして関連付けIDセクションに入力します。 実測値をアップロードセクションの割り当てられたフィールドの下の関連付けIDフィールドに、予測データセット内の識別子に関連付けられた識別子を含む実測値データセット内の列の名前を入力します。

   

3. 割り当てられたフィールドを設定したら、保存をクリックします。

   この設定プロセスを完了し、定義された関連付けIDを含むデータセットで予測を行うと、デプロイで精度ページが有効になります。

APIを使用した実績のアップロード¶

このワークフローは、DataRobot APIを使用してデプロイの精度タブを有効化する方法を示します。

1. 設定 > 精度タブから、関連付けIDセクションを見つけます。

2. 関連付けIDフィールドに、予測データセットの関連IDを含む列名を入力します。

3. 予測リクエストで関連付けIDを要求を有効にします。 この場合、関連付けIDフィールドに入力した列名に一致する列名が予測データセットに存在する必要があります。 列がない場合はエラーが表示されます。

   備考

   関連付けIDを含まない予測リクエストを送信する際にエラーが発生することを回避する場合、関連付けIDを設定し、この設定をオフにしたままにすることも可能です。しかし、この設定を有効にするまでデプロイの精度を監視することはできません。

4. 関連付けIDを含むデータセットを使用した予測の作成。

5. Submit the actual values via the DataRobot API. 続行する前に、行制限を確認し、実測値をアップロードしてください。

   備考

   実測値のペイロードには、アップロードプロセス中に定義されたデータセット内の値の列名とともに、associationIdとactualValueが含まれている必要があります。 同じ関連付けID値を持つ複数の実測値を、同じリクエストまたは後続のリクエストで送信した場合、DataRobotは実測値を更新します。ただし、この更新では、最初の実測値を使って以前に計算された指標は再計算されません。 指標を再計算するには、デプロイ統計をクリアして、実測値を再アップロードします（または新しいデプロイを作成します）。

   APIで次のスニペットを使用して実測値を送信します。

   import requests
   
   
   API_TOKEN = ''
   USERNAME = 'johndoe@datarobot.com'
   DEPLOYMENT_ID = '5cb314xxxxxxxxxxxa755'
   LOCATION = 'https://app.datarobot.com'
   
   
   def submit_actuals(data, deployment_id):
       headers = {'Content-Type': 'application/json', 'Authorization': 'Token {}'.format(API_TOKEN)}
       url = '{location}/api/v2/deployments/{deployment_id}/actuals/fromJSON/'.format(
           deployment_id=deployment_id, location=LOCATION
       )
       resp = requests.post(url, json=data, headers=headers)
       if resp.status_code >= 400:
           raise RuntimeError(resp.content)
       return resp.content
   
   
   def main():
       deployment_id = DEPLOYMENT_ID
       payload = {
           'data': [
               {
                   'actualValue': 1,
                   'associationId': '5d8138fb9600000000000000',  # str
               },
               {
                   'actualValue': 0,
                   'associationId': '5d8138fb9600000000000001',
               },
           ]
       }
       submit_actuals(payload, deployment_id)
       print('Done')
   
   
   if __name__ == "__main__":
       main() 
   

   非時系列デプロイでは100レコード以上（時系列デプロイでは最小レコード数の制限はありません）の実測値を送信した際に、対応する関連付けIDを含む予測を行う場合、デプロイで精度タブが使用可能になります。

精度監視の通知を定義する¶

精度に関して、通知条件はデプロイの基礎となるモデルのパフォーマンス最適化指標に関連します。 リーダーボードで使用できる、同じ指標セットから選択します。 時系列の精度のグラフと予測と実測のグラフを使用して、精度を視覚化できます。 精度モニタリングは1つの精度ルールによって定義されます。 デプロイの精度はルールによって30秒ごとに評価されます。 このルールに違反すると通知が発行されます。

デプロイの精度通知とモニタリングを設定する前に、関連付けIDを設定します。 If not set, DataRobot displays the following alert on the Settings > Accuracy tab:

To set up accuracy monitoring, on the Accuracy Settings page, in the Definition section, configure the settings for monitoring accuracy:

通知チェックのスケジュール¶

精度監視のEメール通知を送信すべきかどうかを判断するために、定期的なチェックをスケジュールするには：

1. 精度の設定ページの通知セクションで、通知を送信を有効にします。

   

2. 精度通知に関する設定を行います。 次の表にスケジュールオプションを示します。 すべての時間はUTCで表示されます。

   頻度	説明
   毎日	各日の選択した時刻。
   毎週	各選択日の選択した時刻。
   毎月	各月の各選択日の選択した時刻。 月内で選択された日は、コンマ区切りのリストで数値（1から31）として表されます。
   毎四半期	四半期の各月の各選択日の選択した時刻。 各月の選択日は、コンマ区切りのリストで数値（1から31）として表されます。
   毎年	各選択月の、各選択日の選択した時刻。 各月の選択日は、コンマ区切りのリストで数値（1から31）として表されます。
   高度なスケジューラーを使用する
   分	0から59の範囲の数値のコンマ区切りのリストで定義された各分（1時間全体の場合は*）。
   時間	0から23の範囲の数値のコンマ区切りのリストで定義された各正時（1日全体の場合は*）。
   日	1から31の範囲の数値のコンマ区切りのリストで定義された各日（1月全体の場合は*）。
   月	1から12の範囲の数値のコンマ区切りのリストで定義された各月（1年全体の場合は*）。
   曜日	0から6の範囲の数値のコンマ区切りのリストで定義された各曜日（すべての曜日の場合は*）。

3. スケジュール設定を更新したら、保存をクリックします。

   重要

   通知設定で指定した時間により、監視のタイプに応じたステータスチェックがスケジュールされます。 DataRobot only sends notifications to subscribers if a monitoring event occurred between checks; for example, if an accuracy status change (from either passing to failing or failing to passing) occurs during the specified window.