Found free AI software-Petals and MPT-30B-AI

所有 MPT-30B 模型都具有与其他 LLM 不同的特殊功能，包括训练时的 8k 令牌上下文窗口、通过 ALiBi 支持更长的上下文，以及通过 FlashAttention 实现高效的推理 + 训练性能。由于其预训练数据混合，MPT-30B 系列还具有强大的编码能力。该模型已扩展到 NVIDIA H100 GPU 上的 8k 上下文窗口，使其（据我们所知）成为第一个在 H100 GPU 上训练的法学硕士，现在可供 MosaicML 客户使用！ MPT-30B 的尺寸也经过专门选择，以便轻松部署在单个 GPU 上 - 1x NVIDIA A100-80GB（16 位精度）或 1x NVIDIA A100-40GB（8 位精度）。其他类似的 LLM（例如 Falcon-40B）具有更大的参数数量，并且无法在单个数据中心 GPU 上提供服务（目前）；这需要 2 个以上的 GPU，从而增加了最低推理系统成本。 如果您想开始在生产中使用 MPT-30B，可以通过多种方法使用 MosaicML 平台对其进行自定义和部署。

MPT-30B系列语言模型独特之处在于其训练时的8k令牌上下文窗口，支持更长的上下文以及高效的推理和训练性能，同时具备强大的编码能力。该模型已扩展到NVIDIA H100 GPU上，适用于单GPU部署，降低推理系统成本。