GCPでのMistral 7B¶
オープンソースの大規模言語モデル（LLM）は多種多様です。 たとえば、 Llama、さらに、Alpaca、Vicuna、Falcon、Mistralなどのバリエーションに多くの関心が寄せられています。 これらのLLMは高価なGPUを必要とするため、ユーザーは、クラウドプロバイダーを比較して最適なホスティングオプションを見つけたいと思うことがよくあります。 このアクセラレーターでは、Google Cloud Platformを使用して、Llama 2をホストします。
また、適切な認証を確保し、VPC内からのみアクセスできるように、仮想プライベートクラウド（VPC）をホストするクラウドプロバイダーと連携することもできます。 このアクセラレーターは、公共のインターネット経由の認証を使用しますが、Googleのクラウドインフラストラクチャを活用して、スケールアウトポリシーのプロビジョニングなど、クラウドアーキテクチャのニーズに合わせて調整できます。
最後に、Google Gemini Enterprise Agent Platform（以前のVertex AI）をマネージド形式で活用することで、そのインフラストラクチャを既存のスタックに統合し、監視ニーズに対応することができます。具体的には、サービスの正常性やCPU使用率の監視、低レベルのアラートから課金、コスト帰属、アカウント管理に至るまでをカバーし、さらにGCPのツールを使用して情報をBigQueryに転送することで、アドホックな分析やログの調査などを行うことが可能です。
Mistralの情報については、HuggingFace、Arxivページ、およびリリースのお知らせをご覧ください。 Apache 2.0ライセンスで使用可能です。