产品介绍
Llama2-70B-Chat 是领先的文本补全人工智能模型,其质量可与 ChatGPT 相媲美。如今,组织可以通过使用 MosaicML Inference 和 MLflow AI Gateway,通过简单的 API 来利用这种最先进的模型,并具有企业级可靠性、安全性和性能。是一种高度可扩展的企业级 API 网关,使组织能够管理其 LLM 以进行实验和生产用例。 使用 MLflow AI Gateway 查询生成式 AI 模型,可以集中管理 LLM 证书和部署,公开文本完成和嵌入等常见任务的标准化接口,并提供成本管理护栏。 您现在可以通过 Databricks 上的 MLflow AI Gateway 利用 MosaicML Inference API,并查询 Llama2-70B-Chat 以及其他模型,包括 MPT 文本完成和讲师文本嵌入模型。