Hugging FaceハブからのLLMのデプロイ¶

モデルワークショップを使用して、一般的なオープンソースLLMを Hugging Faceハブから作成およびデプロイし、DataRobotのエンタープライズグレードのGenAI 可観測性とガバナンスでAIアプリを保護します。 The new [GenAI] vLLM Inference Server execution environment and vLLM Inference Server Text Generation Template provide out-the-box integration with the GenAI monitoring capabilities and Bolt-on Governance API provided by DataRobot.

このインフラストラクチャは、LLMの推論と提供のためのオープンソースフレームワークであるvLLMライブラリを使用して、Hugging Faceライブラリと連携し、一般的なオープンソースLLMをHugging Face Hubからシームレスにダウンロードして読み込みます。 To get started, customize the text generation model template. It uses Llama-3.1-8b LLM by default; however, you can change the selected model by modifying the engine_config.json file to specify the name of the OSS model you would like to use.

前提条件¶

DataRobotでHugging Face LLMの組み立てを開始する前に、次のリソースを取得します。

• [GenAI] vLLM Inference Server実行環境

• vLLM Inference Server Text Generation Template

• ゲート付きモデルにアクセスするには、 Hugging FaceアカウントとREAD権限を備えた Hugging Faceアクセストークンが必要です。 In addition to the Hugging Face access token, request model access permissions from the model author.

テキスト生成カスタムモデルの作成¶

カスタムLLMを作成するには、モデルワークショップで 新しいカスタムテキスト生成モデルを作成します。 ターゲットタイプをテキスト生成に設定し、ターゲットを定義します。

カスタムLLMの必要なファイルをアップロードする前に、GenAI vLLM推論サーバーを基本環境リストから選択します。 The model environment is used for testing the custom model and deploying the registered custom model.

カスタムLLMのアセンブル¶

カスタムLLMをアセンブルするには、DRUMリポジトリの model_templates/gpu_vllm_textgenディレクトリにあるカスタムモデルファイルを使用します。 You can add the model files manually, or pull them from the DRUM repository.

モデルファイルを追加した後、読み込むHugging faceモデルを選択できます。 By default, this text generation example uses the Llama-3.1-8b model. 選択したモデルを変更するには、engine_config.jsonファイルの横にある edit をクリックして--model引数を変更します。

{
  "args": [
    "--model", "meta-llama/Llama-3.1-8B-Instruct"
  ]
} 

必要なランタイムパラメーターの設定¶

カスタムLLMのファイルがアセンブルされた後、カスタムモデルのmodel-metadata.yamlファイルで定義されたランタイムパラメーターを設定します。 次のランタイムパラメーターは 未設定なので、設定が必要です。

さらに、次のランタイムパラメーターのデフォルト値を更新できます。

カスタムモデルのリソースの設定¶

カスタムモデルリソースで、適切なGPUバンドル（少なくともGPU - L / gpu.large）を選択します。

必要なリソースバンドルを推定するには、次の式を使用します。

ここで、各特徴量は以下を表します。

この例のモデル Llama-3.1-8bの場合、次のように評価されます。

| したがって、このモデルには19.2GBのメモリーが必要であり、GPU - Lバンドル (1 x NVIDIA A10G | 24GB VRAM | 8 CPU | 32GB RAM) を選択する必要があることを示しています。 |

カスタムLLMのデプロイと実行¶

カスタムLLMをアセンブルして設定した後、以下を実行します。

• カスタムモデルをテストする（テキスト生成モデルの場合、テストプランには起動テストと予測エラーテストのみが含まれます）。

• カスタムモデルを登録する。

• 登録済みモデルをデプロイする。

• 予測の作成。

• チャット生成Q&Aアプリケーションを作成する。

デプロイされたLLMでの追加のガバナンスAPIの使用¶

Because the resulting LLM deployment is using DRUM, by default, you can use the Bolt-on Governance API which implements the OpenAI chat completion API specification using the OpenAI Python API library. 詳細については、 [OpenAI Python APIライブラリのドキュメント]{0}を参照してください。

以下のコードスニペットで強調表示されている行では、{DATAROBOT_DEPLOYMENT_ID}および{DATAROBOT_API_KEY}のプレースホルダーをLLMデプロイのIDとDataRobot APIキーに置き換える必要があります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

from openai import OpenAI
from openai import Stream
import os

dr_base_url="https://app.datarobot.com/api/v2/deployments/{DATAROBOT_DEPLOYMENT_ID}/"

dr_api_key=os.getenv("{DATAROBOT_API_KEY}")

client = OpenAI(base_url=dr_base_url, api_key=dr_api_key)

completion = client.chat.completions.create(
  model="datarobot-deployed-llm",
  messages=[
    {"role": "system", "content": "You are a helpful assistant"},
    {"role": "user", "content": "Where is DataRobot headquartered?"},
  ],
  stream=False
)

print(completion.to_json(indent=2)) 

Dockerを使用したローカルでのテスト¶

Dockerを使用してローカルでカスタムモデルをテストするには、次のコマンドを使用できます。

export HF_TOKEN=<INSERT HUGGINGFACE TOKEN HERE>
cd ~/datarobot-user-models/public_dropin_gpu_environments/vllm
cp ~/datarobot-user-models/model_templates/gpu_vllm_textgen/* .
docker build -t vllm . 

docker run -p8080:8080 \
  --gpus 'all' \
  --net=host \
  --shm-size=8GB \
  -e DATAROBOT_ENDPOINT=https://app.datarobot.com/api/v2 \
  -e DATAROBOT_API_TOKEN=${DATAROBOT_API_TOKEN} \
  -e MLOPS_DEPLOYMENT_ID=${DATAROBOT_DEPLOYMENT_ID} \
  -e TARGET_TYPE=textgeneration \
  -e TARGET_NAME=completions \
  -e MLOPS_RUNTIME_PARAM_HuggingFaceToken="{\"type\": \"credential\", \"payload\": {\"credentialType\": \"api_token\", \"apiToken\": \"${HF_TOKEN}\"}}" \
  vllm