格付表¶

Rating tables helps provide a transparent view of a model by breaking down how an individual feature contributes to that model's predictions. You can export and then download the validated parameters used by the model as a CSV file, modify the coefficients, and apply the new CSV to the original (parent) model. This creates a new child model on the Leaderboard, which you can compare to the parent or other child models to see the impact of your changes.

The downloaded table helps you understand:

• Which features were chosen to form the prediction.
• The importance of each of these features.
• Whether a feature has a positive or negative impact on the outcome.

The Rating Tables insight provide information and actions for model tuning:

The following provides an outline of the steps for using rating tables to iterate on, and manually tune, a model's logic. Each is detailed below:

1. From the Leaderboard, identify a supported model type and download the rating table.
2. Modify the coefficients outside of DataRobot.
3. 変更した格付表を親モデルにアップロードします。
4. 新しいモデルをスコアリングして、リーダーボードに追加します。
5. Open the child model to compare child scores with previous versions.
6. To iterate, download the child's rating table, modify as necessary, and create and score a new child model.

Create a child model¶

Create a child model by downloading, modifying, and re-uploading coefficients:

1. From the Leaderboard, select a GAM or GAM2 model (see model type availabliity)and open the Details > Rating Tables tab.

   

2. Click Download table and save the CSV file locally.

   備考

   格付表の出力の解釈については、この追加情報を参照してください。

3. Modify the coefficients in the rating table CSV file. Before making changes, review the considerations for editing guidance and calculation explanations.

   

4. With the parent open in the Rating Tables insight, upload the modified CSV via drag-and-drop or browsing.

   

5. DataRobot validates the new rating table and, after validation, provides an option to train the new model. Click to train, and when training completes, DataRobot adds the child model to the Leaderboard. The model name is in the format Modified Rating Table: .

   

Parent model view¶

Once one or more child models have been created from a parent, the Rating Tables insight changes to reflect those changes. All child models associated with the parent are listed.

ここでは以下の操作を行うことができます。

Child model view¶

You can access child models from either the parent's Rating Tables insight or from the Leaderboard listing.

Actions available for working with the child include:

If you modify a child's rating table to iterate on coefficient changes, return to the parent to upload the new table and create a new child. You can then compare scores to evaluate changes. 新しい格付表を子モデルにアップロードすることはできません。

格付表の検定¶

検定によって、ダウンロードしたパラメーターが正しいこと、およびモデルのパフォーマンスをDataRobotの外部で再現できることを確認できます。 When DataRobot builds a model that produces rating tables, it runs validation on the model before making it available from the Leaderboard. For validation, DataRobot compares predictions made by Java rating table Scoring Code (the same predictions to produce that specific rating table) against predictions made by a Python code model in the DataRobot application that is independent from the rating table CSV file. これらの予測が異なる場合、格付表の検定が失敗し、モデルはエラーとしてマークされます。

機能に関する注意事項¶

Review the availability, general, and editing considerations.

可用性¶

Rating tables are available for:

• GAM and GAM2 models.
• Frequency‑Cost GA2M and Frequency/Severity GAM and GA2M.
• They are not available for non-GAM Frequency/Severity or Frequency/Cost.
• They are not available for Eureqa GAM models.

一般¶

The following are general considerations to keep in mind:

• 格付モデル（GAM、GA2M、および頻度/強度）はDataRobotの特殊な内部コード生成によって検定されるため、in-RAMで8GBのデータセットに制限されています。 このサイズを超えると、メモリーの問題が原因でプロジェクトが失敗することがあります。 OOMエラーが発生する場合は、サンプルサイズを小さくして再試行してください。

• Rating tables are not available for time-aware experiments.

• 格付表は日本語のテキスト列を含むモデルでは作成されません（MeCabトークナイザーがサポートされていません）。

• Models with custom rating tables cannot be retrained.

• Models with custom rating tables cannot be blended.

• Modified CSVs used to build child models are not stored in the Data Registry.

編集中¶

The following considerations are specific to editing the rating table output:

• 格付表の変更では、データセットや列のデータ型のヘッダー行を変更できません。 一部のエディターでは、このような変更が意図せずに行われるので（「000」を「0」に切り詰めた場合や係数を数値から文字列に変更するために各フィールドを引用符で囲んだ場合など）、 最終的に格付表を再度アップロードする必要が生じることがあります。 Therefore, DataRobot strongly suggests using a text editor that does not change the data.

• スプレッドスートアプリケーションを使用する場合は、列タイプを変更しないように注意してください（数値を日付に変更するなど）。 格付表を変更して元の親モデルにアップロード（およびモデルを実行）すると、元の親モデルの格付表の変更されたバージョンで子モデルが作成されます。 リーダーボードから使用できる新しいモデルは、親と同じ特徴量モデルにアクセスできますが、以下のような違いがあります。

• 表の最初のセクション（モデルパラメーターおよび二項間の交互作用を定義）で変更できるのは、InterceptとBaseの値だけです。

  

• 2番目のセクションの最初の行（予測に使用される係数を派生させるために各変数がどのように使用されるかを定義）では、Feature Name、Type、Transform1、Value1、Transform2、Value2、およびweightを除くすべての列の値を変更できます。

• 表に列を追加できます（コメントを追加するなど）。

• Coefficient、Relativity、Intercept、およびBaseの値は数値である必要があります。

• BaseはInterceptの指数関数で、Intercept値から計算されます。

• Relativityは各行のCoefficientの指数関数で、行のCoefficient値から計算されます。

• Feature Strengthは、変更済みのCoefficient値から計算されます。

• CSVエンコーディングはUTF-8である必要があります。

さらに、頻度/強度モデルの場合、以下が適用されます。

• 各行のCoefficient値は行のFrequency_CoefficientおよびSeverity_Coefficientの値の合計で、この2つの値から計算されます。 Relativityは、上記に説明するようにCoefficientから計算されます。

• Frequency_Relativityは各行のFrequency_Coefficientの指数関数で、行のFrequency_Coefficient値から計算されます。

• Severity_Relativityは各行のSeverity_Coefficientの指数関数で、行のSeverity_Coefficient値から計算されます。

• Frequency_Coefficient、Severity_Coefficient、Frequency_Relativity、およびSeverity_Relativityの値は数値である必要があります。

子モデルの注意事項¶

元の親モデルの格付表の修正バージョンを使用して子モデルを作成すると、新しいモデルは親と同じ特徴量にアクセスできますが、次の例外があります。

• 予測を作成タブでは、子モデルは元のモデルのトレーニングに使用されたデータで予測を作成できません。 したがって、トレーニングデータの検定およびホールドアウト分割で予測を作成できるのは、これらの分割がトレーニングに使用されなかった場合だけです。 これらの分割での予測は、新しくアップロードしたデータセットを使用して行うことができます。

• You cannot retrain a child model (for example, with a different feature list or sample size).

• 格付表を変更するときに行の順序を変更することはできません。変更を行うとエラーが発生します。

• 新しい格付表を子モデルにアップロードすることはできません。 格付表は親モデルに対してのみアップロードできます。

• Models with a custom rating tables (child models) cannot be blended.