Triage insurance claims¶

This page outlines a use case that assesses claim complexity and severity as early as possible to optimize claim routing, ensure the appropriate level of attention, and improve claimant communications. It is captured below as a UI-based walkthrough. このユースケースは、ダウンロードして実行できる Jupyterノートブックに含まれています。

ビジネス上の問題¶

通常、保険会社の最大の費用は、保険金の支払いと保険金の調整です。 負傷した労働者の医療費や賃金の損失をカバーするといった、長期にわたる労災補償のような事業では、請求金の支払いが完了するまで数年かかる可能性があります。そのため、請求1件あたりの実際のコストが不明な状態が長年にわたって続くことがあります。 ただし、保険会社に請求が通知された時点で、支払査定手続きが開始されます。

通常、従業員が職務中に負傷した場合（Accident Date）、雇用主（被保険者）は保険会社に請求申請を行います（Report Date）、保険会社の請求システムで、報告時に請求に関するすべての情報を含む請求レコードが作成されます。 その後、請求が保険査定者に割り当てられます。 この割り当てを、完全に無作為にすることも、大まかに定義されたビジネスルールに基づいて決めることもできます。 請求過程中に、割り当てが複数回再評価され、別の保険査定者に再割り当てされる場合があります。

ただし、この処理にはコストが伴う結果が発生します。

• 保険業界では、保険請求の20%が保険金支払総額の80%を占めることがよく知られています。 請求を無作為に割り当てると、リソースが無駄になります。

• 最適な請求結果を得るには、早期介入が極めて重要です。 できる限り早く適切なリソースを割り当てないと、一見軽度の保険金請求が深刻になる場合があります。

• 重篤度と複雑度が低い請求については、他のすべての請求と一緒に処理されるまで待つ必要があり、多くの場合、カスタマーエクスペリエンスの低下につながります。

• 一般的な保険査定者は、既存の未解決の請求に加えて、毎月数百件の新しい請求を受け取る可能性があります。 保険査定者に負荷がかかりすぎると、割り当てられたすべての保険請求を処理できる能力が低減します。 長期にわたると、保険金請求者は、プロセスを早めるために弁護士を雇う可能性が高くなり、不必要に請求のコストを押し上げます。

ソリューションの価値¶

• 課題：保険金請求の複雑さと重篤度をできるだけ早く評価できるように保険会社を支援し、次のことを実現します。

  • 重篤度と複雑度が低い請求をストレートスルー処理に回送すると、待ち時間が短くなり、カスタマーエクスペリエンスが向上します。
  • 経験豊富な保険査定者と看護師のケースマネージャーが、非常に複雑な請求に必要な対処をします。
  • 保険金請求者と被保険者との間のコミュニケーションが改善されると、弁護士の関与を最小限に抑えられます。
  • 経験豊富な査定員と若手の査定員との間で知識が効率的に共有されます。

• 望ましい結果

  • 請求リソースをより効率的に割り当てることにより、損害調査コストを削減します。
  • 看護師のケースマネージャーと経験豊富な査定員を、重大度が高い請求に効果的に割り当てて、請求のコストを削減します。

• DataRobotはどのようにお手伝いできますか。

  • 初回損害通知（FNOL）の時点で請求レベルおよび保険契約レベルの属性を使用する機械学習モデルは、請求のライフサイクルの初期段階で、請求の重篤度とさまざまな保険契約の属性との間の複雑な関係を理解するのに役立ちます。 モデル予測を使用して、程度の低いものから重大なものまで新しい請求をランク付けします。 しきい値は、保険査定者が処理できる能力（低、中、高の重篤度）、または請求量の認識レベルに基づく、業務内容によって決定できます。 保険金請求の重篤度と請求件数の組み合わせに基づいて、しきい値を作成することもできます。 これらのしきい値とモデル予測を使用して、保険金請求を効率的に回送します。

問題のフレーミング¶

機械学習モデルは、過去の観測値データから複雑なパターンを学習します。 これらのパターンを使用して、新しいデータでの予測を行うことができます。 このユースケースでは、過去の保険金請求データを使用してモデルを構築します。 新しい保険請求が報告されると、モデルにより予測が行われます。

問題の枠組みに応じて、予測は異なる意味を持つ場合があります。 この請求トリアージのユースケースの目標は、できるだけ早く、理想的には請求が報告された瞬間（初回損害通知、またはFNOL）に、モデルで労災補償請求の重篤度を評価することです。 ターゲット特徴量は請求の支払総額に関連しており、モデリング単位は個々の請求です。

請求の支払総額がターゲットとして扱われる場合、数量の予測になるため、ユースケースでは連続値問題として位置付けられます。 次に、予測された支払総額を、ビジネスニーズによって定義された重篤度の低い請求のしきい値と比較して、各請求を低、中、高の重篤度に分類します。

あるいは、このユースケースを分類の問題として捉えることができます。 これを行うには、まず前述のしきい値を保険金支払総額に適用し、それを「低」、「中」、「高」のレベルのカテゴリー特徴量に変換します。 次に、このカテゴリー型特徴量をターゲットとして使用する分類モデルを構築できます。 代わりに、モデルは、請求が低、中、高の重篤度になる確率を予測します。

問題の枠組みに関係なく、最終的な目標は保険金請求を適切な回送先に送ることです。

ROIによる見積もり¶

このユースケースでは、直接的な投資収益率（ROI）は、改善された請求処理結果と経費削減から得られます。 カスタマーエクスペリエンスの向上から間接的なROIが得られ、それが顧客ロイヤルティの向上につながります。 以下の手順では、次の仮定に基づく直接的なROI計算に注目します。

• 毎月1万件の請求
• カテゴリーI：請求の30%（3000）がストレートスルー処理（STP）に回されます
• カテゴリーII：請求の60%（6000）が正常に処理されます
• カテゴリーIII：請求の10%（1000）が、経験豊富な保険査定者により処理されます
• 平均的なカテゴリーIの請求の重篤度は、モデルがない場合250で、モデルがある場合275です
• 平均的なカテゴリーIIの請求の重篤度は、モデルがない場合10000で、モデルがある場合9500です
• 守られた労働力：平均年収65000の正社員3人

Total annual ROI = 65000 x 3 + [3000 x (250-275) + 1000 x (10000 - 9500)] x 12 = $5295000

データの操作¶

このユースケースのサンプルデータは、労災保険会社の請求データベースからの合成データセットで、個々の請求レベルで整理されています。 保険会社のほとんどの請求データベースにはトランザクションデータが含まれています。つまり、1件の請求が請求データベースに複数のレコードを持つ場合があります。 保険請求が最初に報告されると、請求システムに記録され、請求に関する初期情報が記録されます。 保険会社のガイドラインに従って、ケース準備金が設定される場合があります。 請求の支払いが行われるか、収集された追加情報によりケース準備金を変更する必要がある場合、準備金はそれに応じて調整されます。

ポリシーレベルの情報も予測することができます。 このタイプの情報には、クラス、業界、職務内容、従業員の在職期間、雇用主の規模、および職場復帰プログラムの有無などが含まれます。 この例では無視されていますが、モデリングデータセットを形成するには、ポリシー属性を請求データと結合する必要があります。

保険金請求のトリアージに関しては、保険会社は、保険金請求がどの程度深刻であるかをできる限り早期に把握したいと考えています。 ただし、情報が不十分であるため、FNOL時点では請求の重篤度を正確に見積もることができない場合があります。 したがって、実際には、保険請求のライフサイクルのさまざまな段階 （FNOL、30日、60日、90日など）で請求の重篤度を予測するには、一連の保険請求トリアージのモデルが必要です。

各モデルの目標は、請求の重篤度を予測することです。したがって、ターゲット特徴量は請求に対する保険金支払総額です。 トレーニングデータに含まれる特徴量は、さまざまなスナップショットでのクレーム属性とポリシー属性です。 たとえば、FNOLモデルの場合、特徴量はFNOLでの請求について既知の特徴量に限定されます。 実際のFNOLデータを記録していない従来のシステムをまだ使用している保険会社の場合、多くの場合、概算は0～30日で行われます。

特徴量の概要¶

次の表は、 サンプルトレーニングデータセットの主要な特徴量の概要を示しています。

データプレパレーション¶

The example data is organized at the claim level; each row is a claim record, with all the claim attributes taken at FNOL. On the other hand, the target variable, Incurred, is the total payment for a claim when it is closed. So there are no open claims in the data.

A workers’ compensation insurance carrier’s claim database is usually stored at the transaction level. That is, a new record will be created for each change to a claim, such as partial claim payments and reserve changes. This use case snapshots the claim (and all the attributes related to the claim) when it is first reported and then again when the claim is closed (from target to total payment). Policy-level information can be predictive as well, such as class, industry, job description, employee tenure, size of the employer, whether there is a return to work program, etc. Policy attributes should be joined with the claims’ data to form the modeling dataset.

Data evaluation¶

Once the modeling data is uploaded to DataRobot, EDA produces a brief summary of the data, including descriptions of feature type, summary statistics for numeric features, and the distribution of each feature. A data quality assessment helps ensure that only appropriate data is used in the modeling process. Navigate to the Data tab to learn more about your data.

探索的データ解析¶

Click each feature to see histogram information such as the summary statistics (min, max, mean, std) of numeric features or a histogram that represents the relationship of a feature with the target.

DataRobot automatically performs data quality checks. In this example, it has detected outliers for the target feature. Click Show Outliers to view them all (outliers are common in insurance claims data). To avoid bias introduced by the outlier, a common practice is to cap the target, such as capping it to the 95th percentile. This cap is especially important for linear models.

特徴量の関連性¶

Use the Feature Associations tab to visualize the correlations between each pair of the input features. For example, in the plot below, the features DaysWorkedPerWeek and PartTimeFullTime (top-left corner) have strong associations and are therefore "clustered" together. Each color block in this matrix is a cluster.

モデリングとインサイト¶

After modeling completes, you can begin interpreting the model results.

特徴量のインパクト¶

Feature Impact reveals the association between each feature and the model target—the key drivers of the model. Feature Impact ranks features based on feature importance, from the most important to the least important, and also shows the relative importance of those features. In the example below we can see that InitialCaseEstimateis the most important feature for this model, followed by ClaimDescription, WeeklyRate, Age, HoursWorkedPerWeek, etc.

This example indicates that features after MaritalStatus contribute little to the model. For example, genderhas minimal contribution to the model, indicating that claim severity doesn't vary by the gender of the claimant. If you create a new feature list that does not include gender (and other features less impactful than MaritalStatus) and only includes the most impactful features, the model accuracy should not be significantly impacted. A natural next step is to create a new feature list with only the top features and rerun the model. DataRobot automatically creates a new feature list, "DR Reduced Features", by including features that have a cumulative feature impact of 95%.

Partial Dependence plot¶

Once you know which features are important to the model, it is useful to know how each feature affects predictions. This can be seen in Feature Effects and in particular a model's partial dependence plot. In the example below, notice the partial dependence for the WeeklyRate feature. You can observe that claimants with lower weekly pay have lower claim severity, while claimants with higher weekly pay have higher claim severity.

予測の説明¶

When a claims adjuster sees a low prediction for a claim, they are likely to initially ask what the drivers are behind such a low prediction. The Prediction Explanation insight, provided at an individual prediction level, can help claim adjusters understand how a prediction is made, increasing confidence in the model. By default, DataRobot provides the top three explanations for each prediction, but you can request up to 10 explanations. Model predictions and explanations can be downloaded as a CSV and you can control which predictions are populated in the CSV by specifying the thresholds for high and low predictions.

The graph below shows the top three explanations for the 3 highest and lowest predictions. The graph shows that, generally, high predictions are associated with older claimants and higher weekly salary, while the low predictions are associated with a lower weekly salary.

ワードクラウド¶

The feature ClaimDescription is an unstructured text field. DataRobot builds text mining models on textual features, and the output from those text-mining models is used as inputs into subsequent modeling processes. Below is a Word Cloud for ClaimDescription, which shows the keywords parsed out by DataRobot. Size of the word indicates how frequently the word appears in the data: strain appears very often in the data while fractureddoes not appear as often. Color indicates severity: both strain and fractured (red words) are associated with high severity claims while finger and eye (blue words) are associated with low severity claims.

精度の評価¶

次のインサイトは、精度を評価する上で役に立ちます。

リフトチャート¶

The Lift Chart shows how effective the model is at differentiating lowest risks (on the left) from highest risks (on the right). In the example below, the blue curve represents the average predicted claim cost, and the orange curve indicates the average actual claim cost. The upward slope indicates the model has effectively differentiated the claims of low severity (close to 0) on the left and those of high severity (~45K) on the right. The fact that the actual values (orange curve) closely track the predicted values (blue curve) tells you that the model fits the data well.

Note that DataRobot only displays lift charts on validation or holdout partitions.

後処理¶

A prediction for claim severity can be used for multiple different applications, requiring different post-processing steps for each. Primary insurers may use the model predictions for claim triage, initial case reserve determination, or reinsurance reporting. For example, for claim triage at FNOL, the model prediction can be used to determine where the claim should be routed. A workers’ compensation carrier may decide:

• All claims with predicted severity under $5000 go to straight-through processing (STP).
• Claims between $5000 and $20,000 go through the standard process.
• Claims over $20,000 are assigned a nurse case manager.
• Claims over $500,000 are also reported to a reinsurer, if applicable.

Another carrier may decide to pass 40% of claims to STP; 55% to regular process; and 5% get assigned a nurse case manager so that thresholds can be determined accordingly. These thresholds can be programmed into the business process so that claims go through the predesigned pipeline once reported and then get routed appropriately. Note that companies with STP should carefully design their claim monitoring procedures to ensure unexpected claim activities are captured.

In order to test these different assumptions, design single or multiple A/B tests and run them in sequence or parallel. Power analysis and p-value needs to be set before the tests in order to determine the number of observations required before stopping the test. In designing the test, think carefully about the drivers of profitability. Ideally you want to allocate resources based on the change they can effect, not just on the cost of the claim. For example, fatality claims are relatively costly but not complex, and so often can be assigned to a very junior claims handler. Finally, at the end of the A/B tests, you can identify the best combination based on the profit of each test.

予測とデプロイ¶

You can use the DataRobot UI or REST API to deploy a model, depending on how ready it is to be put into production. However, before the model is fully integrated into production, a pilot may be beneficial for:

• Testing the model performance using new claims data.
• Monitoring unexpected scenarios so a formal monitoring process can be designed or modified accordingly.
• Increasing the end users’ confidence in using the model outputs to assist business decision making.

Once stakeholders feel comfortable about the model and also the process, integration of the model with production systems can maximize the value of the model. The outputs from the model can be customized to meet the needs of claim management.

意思決定プロセス¶

Deploy the selected model into your desired decision environment to embed the predictions into your regular business decisions. Insurance companies often have a separate system for claims management. For this particular use case, it may be in the best interest of the users to integrate the model with the claims management system, and with visualization tools such as Power BI or Tableau.

If a model is integrated within an insurer’s claim management system when a new claim is reported, FNOL staff can record all the available information in the system. The model can then be run in the background to evaluate the ultimate severity. The estimated severity can help suggest initial case reserves and appropriate route for further claim handling (i.e., STP, regular claim adjusting, or experienced claim adjusters, possibly with nurse case manager involvement and/or reinsurance reporting).

Carriers will want to include rules-based decisions as well, to capture decisions that are driven by considerations other than ultimate claim severity.

Most carriers do not set initial reserves for STP claims. For those claims beyond STP, you can use model predictions to set initial reserves at the first notice of loss. Claims adjusters and nurse case managers will only be involved for claims over certain thresholds. The reinsurance reporting process may benefit from the model predictions as well; instead of waiting for claims to develop to very high severity, the reporting process may start at FNOL. Reinsurers will certainly appreciate the timely reporting of high severity claims, which will further improve the relationship between primary carriers and reinsurers.

意思決定の関係者¶

Consider the following to serve as decision stakeholders:

• Claims management team
• 保険査定者
• Reserving actuaries

モデル監視¶

Carriers implementing a claims severity model usually have strictly defined business rules to ensure abnormal activities will be captured before they get out of control. Triggers based on abnormal behavior (for example, abnormally high predictions, too many missing inputs, etc.) can trigger manual reviews. DataRobotの パフォーマンス監視機能—（特にサービスの正常性、データドリフト、精度）を使用して、定期的なレポートを作成し、関係者に配布します。

実装に関する考慮事項¶

A claim severity model at FNOL should be one of a series of models built to monitor claim severity over time. Besides the FNOL Model, build separate models at different stages of a claim (e.g., 30 days, 90 days, 180 days) to leverage the additional information available and further evaluate the claim severity. Additional information comes in over time regarding medical treatments and diagnoses and missed work, allowing for improved accuracy as a claim matures.

AIアプリ¶

利害関係者が予測を活用して、調査結果を記録できるカスタムアプリケーションの構築を検討してください。 モデルがデプロイされると、予測を 意思決定プロセスで使用できます。 たとえば、この AIアプリは、ノーコードインターフェイスを使用して、簡単に共有できるAI搭載のアプリケーションです。

Notebook demo¶

このアクセラレーターのノートブックバージョンは、こちらを参照してください。