Skip to content

クォータの設定

設定 > クォータタブには、DataRobotおよび外部デプロイの使用制限を管理および実施するためのコントロールが用意されています。 これにより、デプロイのオーナーは、共有されたデプロイインフラストラクチャへのアクセスを制御し、異なるエージェント間で公平なリソース割り当てを確保し、1つのエージェントがリソースを独占するのを防ぐことができます。 2つの異なるクォータ設定方法が用意されています。

  • デフォルトのクォータ設定:デプロイにアクセスできるすべてのエージェント(「エンティティ」と呼ばれる)に適用される基本使用制限。 エージェントに特定の制限が設定されていない場合、これらのデフォルトルールが適用されます。

  • エンティティのレート制限(オプション):デフォルトの制限設定よりも優先度の高い個別の使用制限。 デプロイのオーナーは、個別のレート制限を作成することで、特定のエージェントのデフォルト制限をオーバーライドできます。

クォータポリシーの適用

クォータポリシーの変更が適用されるまでに最大5分かかる場合があります。 この遅延は、Gatewayが5分ごとにクォータキャッシュを更新するために発生します。

デフォルトのクォータ設定を行う

クォータ設定ページのデフォルトのクォータ設定セクションで、デフォルトのクォータ制限を管理します。

  1. デプロイのクォータ設定を変更するには、 編集をクリックします。

  2. 時間ベースの指標で時間の単位時間、または)を設定します。 選択した単位は、ここで定義された指標ベースの各クォータに適用されます。

  3. デフォルトのクォータ設定が行われていない場合は、指標を追加をクリックして設定を開始します。

    指標の追加

    利用可能なすべての指標の行が表示されるまで、指標を追加をクリックするたびに新しいクォータ行が表示されます。 行を削除するには、削除アイコン をクリックします。

  4. 新しいクォータ行で、指標を選択し、制限を入力します。 クォータ設定では、次の3つの主要な指標に対する制限を定義できます。

    指標 説明
    リクエスト 時間単位の設定によって定義される、選択された時間枠内で、デプロイ済みモデルが処理できる予測リクエストの数を制御します。 デフォルトは毎分300リクエストです。
    トークン 時間単位の設定によって定義される、選択された時間枠内で、デプロイ済みモデルが処理できるトークンの数を制御します。 この制限には、すべてのタイプのトークン(入力と出力)が含まれます。
    入力シーケンス長 モデルに送信されるプロンプトまたはクエリーのトークン数を制御します。
  5. (組織のニーズに応じて)1つ以上の指標にこのプロセスを実行し、保存をクリックします。

エンティティのレート制限を設定する

クォータ設定ページのエンティティのレート制限(オプション)セクションで、エンティティの制限を管理します。

  1. 編集をクリックして、デプロイのエンティティベースのクォータ設定を変更します。

  2. デプロイユーザー、またはグループのリストからエンティティを選択します。

  3. 時間ベースの指標で時間の単位時間、または)を設定します。 選択した単位は、ここで定義された指標ベースの各クォータに適用されます。

  4. 指標を追加をクリックして設定を開始します。

    指標の追加

    利用可能なすべての指標の行が表示されるまで、指標を追加をクリックするたびに新しいクォータ行が表示されます。

  5. 新しいクォータ行で、指標を選択し、制限を入力します。 クォータ設定では、次の3つの主要な指標に対する制限を定義できます。

    指標 説明
    リクエスト 時間単位の設定によって定義される、選択された時間枠内で、デプロイ済みモデルが処理できる予測リクエストの数を制御します。 デフォルトは毎分300リクエストです。
    トークン 時間単位の設定によって定義される、選択された時間枠内で、デプロイ済みモデルが処理できるトークンの数を制御します。 この制限には、すべてのタイプのトークン(入力と出力)が含まれます。
    入力シーケンス長 モデルに送信されるプロンプトまたはクエリーのトークン数を制御します。
  6. (組織のニーズに応じて)1つ以上の指標にこのプロセスを実行し、保存をクリックします。

エージェントのAPIキー

デプロイを使用する各種アプリケーションとエージェントを区別するために、新しい エージェントワークフローのデプロイが作成されると、エージェントのAPIキーが自動的に生成されます。 これらのキーは、エージェントのAPIキータブのユーザー設定のAPIのキーとツールセクションに表示されます。 エージェントのAPIキータブには、キーの名前、キー、接続先のデプロイ、作成日、および最後に使用された日付を含むテーブルが表示されます。 これらのキーは、編集(名前の変更)や削除が可能です。

重要

キーが削除されると、そのキーを使用していたエージェントはすべて無効になります。