Google GCPで稼働するMistral 7BとDataRobot¶

GitHubでこのAIアクセラレーターにアクセス

オープンソースの大規模言語モデル（LLM）は多種多様です。 たとえば、 Llama、さらに、Alpaca、Vicuna、Falcon、Mistralなどのバリエーションに多くの関心が寄せられています。 これらのLLMは高価なGPUを必要とするため、ユーザーは、クラウドプロバイダーを比較して最適なホスティングオプションを見つけたいと思うことがよくあります。 このアクセラレーターでは、Google Cloud Platformを使用して、Llama 2をホストします。

また、適切な認証を確保し、VPC内からのみアクセスできるように、仮想プライベートクラウド（VPC）をホストするクラウドプロバイダーと連携することもできます。 このアクセラレーターは、公共のインターネット経由の認証を使用しますが、Googleのクラウドインフラストラクチャを活用して、スケールアウトポリシーのプロビジョニングなど、クラウドアーキテクチャのニーズに合わせて調整できます。

最後に、マネージド形式でVertex AIを活用することで、そのインフラストラクチャを既存のスタックに連携して、（サービスの正常性、CPU使用率、請求への低レベルのアラート、コスト属性、アカウント管理）の監視、さらに、GCPのツールを使用して情報をBigQueryにルーティングし、アドホック分析、ログ探索などを行うことができます。

Mistralの情報については、HuggingFace、Arxivページ、およびリリースのお知らせをご覧ください。 Apache 2.0ライセンスで使用可能です。