運用中のモデル¶
DataRobot MLOpsは、どのように作成されたか、いつ、どこでデプロイされたかに関係なく、本番環境のすべてのモデルをデプロイ、監視、管理、およびガバナンスするための中心的なハブを提供します。 MLOpsは、継続的な自動化されたモデル競争(チャレンジャーモデル)を通じて変化する条件に対応するヘルスモニタリングを使用して、モデルの品質を改善および維持するのに役立ちます。 また、集中型の本番機械学習のすべてのプロセスは、組織全体の堅牢なガバナンスフレームワークの下で機能し、本番モデル管理の負担を活用して共有できるようにします。
MLOpsを使用すると、選択した本番環境に任意のモデルをデプロイできます。 MLOpsエージェントに監視・管理機能を組み込むことで、デプロイ済みの既存の運用モデルを単一の集中型機械学習運用システムから監視して、動作とパフォーマンスに関する更新をリアルタイムで行うことができます。 MLOpsを使用すると、オープンソースの言語またはライブラリで記述されたモデルを簡単にデプロイし、リアルタイムまたはバッチ予測をサポートする本番品質のREST APIを公開できます。 MLOpsは、SnowflakeやTableauなどのシステムへの組み込みのライトバックインテグレーションも提供します。
MLOpsは、継続的な監視と本番環境の診断を提供して、既存のモデルのパフォーマンスを向上させます。 自動化されたベストプラクティスにより、サービスの状況、精度、データドリフトを追跡して、モデルが劣化している理由を説明します。 独自のチャレンジャーモデルを構築するか、Automated Machine Learningを使用してモデルを構築し、現在のチャンピオンモデルに対してテストを行うことができます。 この継続的な学習と評価のプロセスにより、モデルのパフォーマンスの予期しない変化を回避できます。
すべてのデプロイのツールと機能は、使用可能なデータによって決まります:トレーニングデータ、予測データ、結果データ(実測値とも呼ぶ)。
デプロイワークフローの例¶
基本的なデプロイワークフローは、DataRobotモデルをDataRobot予測環境にデプロイすることです。 標準的なDataRobotのデプロイプロセスは、以下に示す5つのステップで完了できます。
別のワークフローの例については、MLOpsデプロイワークフローのドキュメントを参照してください。
1:モデルの登録¶
DataRobot AutoMLはモデルを自動生成し、リーダーボードに表示します。 デプロイの推奨モデルがページの上部に表示されます。 この(または他の)モデルをリーダーボードからモデルレジストリに直接登録できます。 モデルが登録されたら、デプロイを作成して、予測の実行と監視を開始することができます。
2:モデルのデプロイ¶
モデルレジストリにモデルを追加したら、いつでもデプロイして、予測の作成と監視を開始できます。
3:デプロイの設定¶
デプロイ情報ページでは、提供されたデータ(トレーニングデータ、予測データ、実測値など)に基づいて、現在のデプロイが持つ機能の概要が示されます。 トレーニングデータ、推論データ、モデル、および結果データに関する詳細を入力するためのフィールドが用意されています。
4:モデルの再トレーニングと置換を設定する¶
DataRobotは、大規模な手作業を行うことなくデプロイ後のモデルのパフォーマンスを維持するために、デプロイに対して自動再トレーニング機能を提供しています。 AIカタログに登録された再トレーニングデータセットを指定すると、各デプロイで最大5つの再トレーニングポリシーを定義できます。各再トレーニングポリシーは、トリガー、モデリング戦略、モデリング設定、および置換アクションで構成されます。 トリガーされると、再トレーニングによりこれらの設定に基づいて新しいモデルが作成され、そのモデルのプロモーションを検討するように通知されます。 必要であれば、デプロイされたモデルを手動で置き換えることができます。
5:モデルのパフォーマンスを監視する¶
モデルを信頼してミッションクリティカルな操作を強化するには、モデルデプロイのすべての側面が信頼できるものである必要があります。 モデルモニタリングは、本番環境でのMLモデルのパフォーマンスを詳細に追跡し、ビジネスに影響を及ぼす前に潜在的な問題を特定します。 監視の範囲は、サービスがタイムリーにエラーなく確実に予測を提供しているかどうかから、予測そのものが信頼できるものであるかどうかまで多岐にわたります。 DataRobotは、モデルデプロイを自動的にモニタし、可能な限り早急に誤差およびモデル精度の低下を検知する中心的なハブを提供します。 各デプロイに対して、DataRobotはステータスバナーを提供します。モデル固有の情報は、デプロイのインベントリページでも入手できます。