Hugging FaceハブからのLLMのデプロイ¶

Hugging Face Hubで一般的なオープンソースLLMを作成およびデプロイする際、ワークショップを利用できます。これにより、DataRobotでは、GenAIに対して提供されるエンタープライズグレードの可観測性とガバナンスによってAIアプリが保護されます。 新しい [GenAI] vLLM Inference Server実行環境および vLLM Inference Server Text Generation Templateは、DataRobotが提供するGenAIモニタリング機能およびボルトオンガバナンスAPIとすぐに統合できます。

このインフラストラクチャは、LLMの推論と提供のためのオープンソースフレームワークであるvLLMライブラリを使用して、Hugging Faceライブラリと連携し、一般的なオープンソースLLMをHugging Face Hubからシームレスにダウンロードして読み込みます。 まず、テキスト生成モデルのテンプレートをカスタマイズしてください。 デフォルトでは Llama-3.1-8bLLMを使用しますが、engine_config.jsonファイルを変更して使用するOSSモデル名を指定することで、選択するモデルを変更することができます。

前提条件¶

DataRobotでHugging Face LLMの組み立てを開始する前に、次のリソースを取得します。

• [GenAI] vLLM Inference Server実行環境

• vLLM Inference Server Text Generation Template

• ゲート付きモデルにアクセスするには、 Hugging FaceアカウントとREAD権限を備えた Hugging Faceアクセストークンが必要です。 Hugging Faceアクセストークンに加えて、モデルの作成者に モデルアクセス権限をリクエストします。

テキスト生成カスタムモデルの作成¶

カスタムLLMを作成するには、ワークショップで新しいカスタムテキスト生成モデルを作成します。 ターゲットタイプをテキスト生成に設定し、ターゲットを定義します。

カスタムLLMの必要なファイルをアップロードする前に、GenAI vLLM推論サーバーを基本環境リストから選択します。 モデル環境は、カスタムモデルの テストと 登録済みカスタムモデルの デプロイに使用されます。

カスタムLLMのアセンブル¶

カスタムLLMをアセンブルするには、DRUMリポジトリの model_templates/gpu_vllm_textgenディレクトリにあるカスタムモデルファイルを使用します。 モデルファイルを手動で追加するか、 DRUMリポジトリからプルできます。

モデルファイルを追加した後、読み込むHugging faceモデルを選択できます。 デフォルトでは、このテキスト生成の例は Llama-3.1-8bモデルを使用します。 選択したモデルを変更するには、engine_config.jsonファイルの横にある edit をクリックして--model引数を変更します。

{
  "args": [
    "--model", "meta-llama/Llama-3.1-8B-Instruct"
  ]
} 

必要なランタイムパラメーターの設定¶

カスタムLLMのファイルがアセンブルされた後、カスタムモデルのmodel-metadata.yamlファイルで定義されたランタイムパラメーターを設定します。 次のランタイムパラメーターは 未設定なので、設定が必要です。

さらに、次のランタイムパラメーターのデフォルト値を更新できます。

カスタムモデルのリソースの設定¶

カスタムモデルリソースで、適切なGPUバンドル（少なくともGPU - L / gpu.large）を選択します。

必要なリソースバンドルを推定するには、次の式を使用します。

ここで、各特徴量は以下を表します。

この例のモデル Llama-3.1-8bの場合、次のように評価されます。

| したがって、このモデルには19.2GBのメモリーが必要であり、GPU - Lバンドル (1 x NVIDIA A10G | 24GB VRAM | 8 CPU | 32GB RAM) を選択する必要があることを示しています。 |

カスタムLLMのデプロイと実行¶

カスタムLLMをアセンブルして設定した後、以下を実行します。

• カスタムモデルをテストする（テキスト生成モデルの場合、テストプランには起動テストと予測エラーテストのみが含まれます）。

• カスタムモデルを登録する。

• 登録済みモデルをデプロイする。

• 予測の作成。

• チャット生成Q&Aアプリケーションを作成する。

デプロイされたLLMでの追加のガバナンスAPIの使用¶

生成されるLLMデプロイではデフォルトでDRUMを使用するため、OpenAI Python APIライブラリを使用してOpenAIチャット補完API仕様を実装するボルトオンのガバナンスAPIを使用できます。 詳細については、 OpenAI Python APIライブラリのドキュメントを参照してください。

以下のコードスニペットで強調表示されている行では、{DATAROBOT_DEPLOYMENT_ID}および{DATAROBOT_API_KEY}のプレースホルダーをLLMデプロイのIDとDataRobot APIキーに置き換える必要があります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

from openai import OpenAI
from openai import Stream
import os

dr_base_url="https://app.datarobot.com/api/v2/deployments/{DATAROBOT_DEPLOYMENT_ID}/"

dr_api_key=os.getenv("{DATAROBOT_API_KEY}")

client = OpenAI(base_url=dr_base_url, api_key=dr_api_key)

completion = client.chat.completions.create(
  model="datarobot-deployed-llm",
  messages=[
    {"role": "system", "content": "You are a helpful assistant"},
    {"role": "user", "content": "Where is DataRobot headquartered?"},
  ],
  stream=False
)

print(completion.to_json(indent=2)) 

Dockerを使用したローカルでのテスト¶

Dockerを使用してローカルでカスタムモデルをテストするには、次のコマンドを使用できます。

export HF_TOKEN=<INSERT HUGGINGFACE TOKEN HERE>
cd ~/datarobot-user-models/public_dropin_gpu_environments/vllm
cp ~/datarobot-user-models/model_templates/gpu_vllm_textgen/* .
docker build -t vllm . 

docker run -p8080:8080 \
  --gpus 'all' \
  --net=host \
  --shm-size=8GB \
  -e DATAROBOT_ENDPOINT=https://app.datarobot.com/api/v2 \
  -e DATAROBOT_API_TOKEN=${DATAROBOT_API_TOKEN} \
  -e MLOPS_DEPLOYMENT_ID=${DATAROBOT_DEPLOYMENT_ID} \
  -e TARGET_TYPE=textgeneration \
  -e TARGET_NAME=completions \
  -e MLOPS_RUNTIME_PARAM_HuggingFaceToken="{\"type\": \"credential\", \"payload\": {\"credentialType\": \"api_token\", \"apiToken\": \"${HF_TOKEN}\"}}" \
  vllm