How-to：マネーロンダリング防止（AML）アラートのスコアリング¶

この基本ステップでは、顧客情報や取引情報などの履歴データを使用して、どのアラートが疑わしい取引の報告（SAR）につながったかを識別するモデルを構築するための詳細な手順を説明します。 次に、このモデルを使用して、不審なアクティビティスコアを将来のアラートに割り当て、スコアによるランク付けを使用してAMLコンプライアンスプログラムの効率を向上させることができます。

ユースケースの詳細については、マネーロンダリング防止（AML）アラートスコアリングガイドを参照し、この基本ステップでの作業と並行して確認してください。

ダウンロードするアセット¶

この基本ステップに従って操作するには、モデルのトレーニングと評価に使用するデータセットを以下からダウンロードしてください。 このデータセットには、ある金融機関からのアラートのサンプルが含まれています。

Download dataset

Building a model¶

Now that the data has been uploaded and analyzed, it is time to build a model.

1. Click Data actions > Start modeling.

   

2. 新しいエクスペリメントを設定ウィンドウで、ターゲット特徴量フィールドにSARを指定します。

   

3. 残りのフィールドはデフォルトのままにして、Nextへをクリックします。

   

   備考

   For more details on the additional settings, see Start modeling setup.

4. Leave all partitioning changes fields at their defaults and click Start modeling.

5. DataRobot begins building the models.

   

6. After a few moments, the Model Leaderboard appears and indicates the training progress.

   

   Model build time

   Model build time can vary depending on the size of the dataset. When it completes, the Workers pane displays No jobs currently running.

For details on how to assess the various models after they are built, see Compare models.

Model evaluation and interpretation¶

Now that a set of models are ready for analysis, select the top model and explore its details. DataRobot flags the most accurate model as Prepared for deployment in the Model Leaderboard.

Click the model to view more detailed information about it. Use the tabs in the Details pane to explore various insights, as highlighted below.

DataRobotには、疑わしい取引として特定のアラートにフラグが立てられた理由を評価するために利用できるさまざまなツールが用意されています。 このユースケースに最も関連するツールの使用方法については、以下のセクションを参照してください。

ブループリント¶

モデルの詳細ページから、詳細 > ブループリントをクリックすると、モデルの作成に使用される前処理ステップ、モデリングアルゴリズム、後処理ステップのパイプラインであるモデルの ブループリントが表示されます。

特徴量のインパクト¶

説明 > 特徴量のインパクトをクリックしてから、計算するをクリックすると、データセット内の各特徴量とターゲットの関連性を確認できます。

DataRobotは、最もインパクトの大きい3つの特徴量（機械がSARアラートと非SARアラートを区別できるようにする）を特定します。この例では、total merchant credit in the last 90 days、number refund requests by the customer in the last 90 days、total refund amount in the last 90 daysです。

特徴量ごとの作用¶

さまざまなレベルの入力特徴量でインパクトの方向性とSARリスクを把握するため、DataRobotでは、特徴量ごとの作用タブに部分依存グラフが用意されています。 説明 > 特徴量ごとの作用をクリックしてから、計算するをクリックすると、入力特徴量の値に応じてSARがどのように変化する可能性があるのかが示されます。

この例では、過去90日間の加盟店総与信額（x軸）が最もインパクトの大きい特徴量ですが、SARリスク（y軸）は与信額が増加しても直線的に増加するわけではありません。 このチャートから、SARリスクは、金額が1000ドルを下回っている場合は比較的低いままであり、1000ドルを超えると急上昇し、1500ドルに近づくと鈍化することがわかります。

個々の予測の説明¶

データセット内の各特徴量が予測結果全体にどのように寄与しているかの内訳を確認するには、説明 > 個々の予測の説明をクリックします。 このタブには、機械学習モデルによりスコアリングと優先順位付けが行われた各アラートの説明が表示されます。

上の図は、モデルからの5つのランダム予測のサンプルを示しています。 チャートの下にあるサンプリングする予測をクリックすると、チャートの生成に使用する予測の合計数を調整できます。

予測リスト内の特定の予測をクリックすると、その予測に寄与した特徴量を確認できます。 以下の例では、ID=1789の予測は、過去90日間の加盟店総与信額に基づき、疑わしい取引の可能性が非常に高い（予測値=91.3%）と判断されています。

ワードクラウド¶

説明 > ワードクラウドをクリックして、テキストフィールドが予測にどの程度影響するかを調べます。 ワードクラウドは、カラースペクトルを使用して、予測に対する単語の影響力を示します。 この例では、赤色の単語はアラートがSARに強く関連付けられていことを示しています。 単語のサイズが大きいほど、データセット内での出現頻度が高いことを示します。

クラウド内の単語をクリックすると、その単語の詳細が表示されます。

精度の評価¶

DataRobotには、モデルのパフォーマンスに関するインサイトを提供するだけでなく、モデルの精度を評価するためのツールも用意されています。 このセクションでは、このユースケースに最も関連するいくつかのツールについて説明します。

リフトチャート¶

パフォーマンス > リフトチャートをクリックすると、モデルがSARアラートと非SARアラートをどの程度効果的に分離しているかを確認できます。 アウトオブサンプルのパーティション内のアラートがモデルによってスコアリングされると、アラートがSARリスクである、またはSARになる可能性を測定するリスクスコアが割り当てられます。 リフトチャートでは、アラートがSARリスクに従って並べ替えられ、10デシルに分類されて、リスクの低い順から高い順に表示されます。

デシルごとに、DataRobotはSARリスクの平均予測値（青色のプラス記号）と実際のSARイベントの平均値（オレンジ色の丸記号）を計算します。 そして、それぞれの点を結んで、予測されるSARリスクと実際のSARリスクを2つの異なる折れ線グラフにします。 チャートが示すように、モデルはSARの可能性が高いアラートに対してわずかに過小予測する傾向がありますが、全体的にモデルのパフォーマンスは良好です。

ROC曲線¶

モデルのパフォーマンスが良好であることがわかったので、DataRobotが予測した連続的なSARリスクに基づいて二者択一の判断を下すために、明示的なしきい値を選択できます。 パフォーマンス > ROC曲線をクリックすると、最適なしきい値の選択時に重要な判断材料となるさまざまな情報にアクセスできます。

ROC曲線の詳細については、ROC曲線を参照してください。

次のステップ¶

SARアラートを分析し予測を行うモデルを構築する基本的なプロセスが完了したので、マネーロンダリング防止（AML）アラートスコアリングガイドでこのユースケースに関する詳細な手順に進むことができます。