使用状況の監視¶
使用状況レポート（セルフマネージド版のみ）および使用状況エクスプローラー（SaaS版のみ）により、管理者は組織のリソース使用状況を把握できます。 これらのリソースを継続的に監視することで、組織が利用ニーズを満たすために適切な数のリソースを保有しているかどうかを把握できます。
使用状況レポート¶
セルフマネージド版のみ
使用状況レポートは、セルフマネージド環境でシステム管理者のみが利用できます。
使用状況レポートにより、システム管理者は、プラットフォーム全体での組織のグラフィックス処理装置（GPU）と中央処理装置（CPU）の使用状況を把握できます。
使用状況レポートでは、以下のサービスが追跡されます。
- モデリング
- 推論
- NVIDIA AI Enterprise
- ベクターデータベースの作成
- GenAIのプレイグラウンド
- カスタムモデル
- モデレーション
- データ管理
- 予測
使用状況レポートにアクセスするには、管理者設定 > 使用状況レポートを開きます。
こちらから、指定した日付範囲のリソース使用状況を確認できます。また、レポートを.csvファイルとしてエクスポートすることも可能です。
| 要素 | 説明 | |
|---|---|---|
| 1 | 日付範囲セレクター | ドロップダウンを使用して、特定の期間の使用情報を表示します。 |
| 2 | CPUの使用状況 | 全グループにおける最大集計使用量や時間経過に伴う使用量のチャートなど、CPUの使用状況に関する情報を表示します。 |
| 3 | GPUの使用状況 | 全グループにおける最大集計使用量や時間経過に伴う使用量のチャートなど、GPUの使用状況に関する情報を表示します。 |
| 4 | ダウンロード | レポートを.csvファイルとしてダウンロードします。 |
CPU使用率¶
CPUの使用状況セクションでは、組織内における中央処理装置（CPU）の使用状況の概要を確認できます。 これにより、コアの使用状況を簡単に監視できるようになり、最適化すべき領域や予算上の懸念事項を特定できる可能性があります。
| 要素 | 説明 |
|---|---|
| 全グループの最大集計使用量 | プラットフォーム全体での全ユーザーのコア使用量の合計。 |
| CPU使用率チャート | 指定された期間における総使用量と、コア使用に関する組織の現在のライセンス数の上限を表示するグラフ。 チャート上のポイントにカーソルを合わせると、その他の情報が表示されます。 |
GPUの使用状況¶
GPUの使用状況のセクションでは、GPUの使用状況に関するデータを報告し、一般的な使用情報を提供します。 たとえば、GenAIの機能は、LLMのトレーニング、ホスティング、推論の実行に関連するさまざまなワークロードにおいて、GPUハードウェアに依存しています。
| 要素 | 説明 |
|---|---|
| 全グループの最大集計使用量 | プラットフォーム全体での全ユーザーのコア使用量の合計。 |
| GPU使用率チャート | 指定された期間における総使用量と、コア使用に関する組織の現在のライセンス数の上限を表示するグラフ。 チャート上のポイントにカーソルを合わせると、その他の情報が表示されます。 |
使用状況エクスプローラー¶
SaaS版のみ
使用状況エクスプローラーは、マルチテナントSaaS環境で組織管理者のみが利用できます。
使用状況エクスプローラーを使用すると、組織管理者はプラットフォーム全体での組織のグラフィックス処理装置（GPU）、中央処理装置（CPU）、および大規模言語モデル（LLM）APIの使用状況を把握でき、サービスまたはユーザー別での一般的な使用情報を入手できます。 これらのリソースを継続的に監視することで、組織が利用ニーズを満たすために適切な数のリソースを保有しているかどうかを把握できます。
使用状況エクスプローラーでは、以下のサービスが追跡されます。
- モデリング
- 推論
- NVIDIA AI Enterprise
- ベクターデータベースの作成
- GenAIのプレイグラウンド
- カスタムモデル
- モデレーション
- データ管理
- 予測
備考
使用状況エクスプローラーに表示されるサービスは、参照する使用状況のタイプによって異なる場合があります。
使用状況エクスプローラーにアクセスするには、管理者設定 > 使用状況エクスプローラーを開きます。
こちらから、指定した日付範囲におけるユーザー別またはサービス別のリソース使用状況を確認できます。また、レポートを.csvファイルとしてエクスポートすることも可能です。
| 要素 | 説明 | |
|---|---|---|
| 1 | サービス別 / 組織別 / ユーザー別 | 特定のサービス、組織（セルフマネージド環境のみ）、またはユーザー別に分類された使用状況を表示します。 |
| 2 | 日付範囲セレクター | 2つのフィールドを使用して、特定の日付範囲における使用情報を表示します。 |
| 3 | エクスポート | レポートを.csvファイルとしてダウンロードします。 |
| 4 | 使用状況に関するオプション | 表示する使用情報（GPU、LLM、またはCPU）を選択します。 |
ページをユーザー別の表示に切り替えると、組織内の個々のユーザーアカウントについて、使用状況の詳細を確認できます。
ページを組織別の表示に切り替えると、クラスター内の個々の組織について、使用状況の詳細を確認できます。
self-managed-only
組織別タブは、セルフマネージド環境でシステム管理者のみが利用できます。
GPUの使用状況¶
GPUの使用状況のページでは、GPUの利用に関するデータを報告し、一般的な使用情報をサービスまたはユーザー別に提供します。 たとえば、GenAIの機能は、LLMのトレーニング、ホスティング、推論の実行に関連するさまざまなワークロードにおいて、GPUハードウェアに依存しています。
GPUの使用状況のページにアクセスするには、使用状況エクスプローラーでGPUの使用状況をクリックします。
このページは、リソースを使用しているサービスの名前と、そのサービスの各タスクに関する以下の詳細を表示するテーブルで構成されています。
| フィールド | サマリー |
|---|---|
| サービス | GPUを使用したサービス（ノートブック、モデリング、ベクターデータベースの作成など） |
| 説明 | タスクで使用されたGPUの数、CPUの数、RAM/VRAMの量。 |
| 使用量 | 指定の期間内に各タスクがリソースを使用した時間。 |
LLM APIの使用状況¶
LLM APIの使用状況のページでは、どのサービスでどのLLMモデルを利用しているか、また各モデルがどの程度利用されているかを示すデータを報告します。 このページでは、一般的な使用情報をサービス別またはユーザー別に提供し、各タスクのトークン消費を追跡します。 この詳細な監視は、さまざまなサービスの中で、LLMリソースを最も消費しているサービスを特定するのに役立ちます。
LLM APIの使用状況のページにアクセスするには、使用状況エクスプローラーでLLM APIの使用状況をクリックします。
このページは、リソースを使用しているサービスの名前と、そのサービスの各タスクに関する以下の詳細を表示するテーブルで構成されています。
| フィールド | サマリー |
|---|---|
| サービス | LLM APIを使用したサービス（カスタムモデル、GenAIプレイグラウンドなど） |
| 説明 | API経由で呼び出されるLLMモデルの名前。 |
| 使用量 | タスクが使用したトークンの数。 |
CPU使用率¶
_CPUの使用状況_ページでは、組織内における中央処理装置（CPU）の使用状況の概要を、サービス別またはユーザー別に分類して確認できます。 これにより、どのユーザーやサービスがCPUリソースを最も消費しているかを簡単に監視でき、最適化が必要な領域や予算上の懸念事項の特定に役立つ可能性があります。
CPUの使用状況のページにアクセスするには、使用状況エクスプローラーでCPUの使用状況をクリックします。
このページは、リソースを使用しているサービスの名前と、そのサービスの各タスクに関する以下の詳細を表示するテーブルで構成されています。
| フィールド | サマリー |
|---|---|
| サービス | CPUを使用したサービス（例：カスタム推論モデル、データ管理など） |
| 説明 | タスクが使用したプロセッサーの数とRAMの量。 |
| 使用量 | 各タスクがCPUを使用した時間。 |