剪映
让视频剪辑变得更简单!

使用 NVIDIA 和 Anyscale 更快地构建大型语言模型 (LLM)

Build-your-large-language-models-LLMs-faster-with-NVIDIA-and-Anyscale.webp

在人工智能领域的重大发展中,NVIDIA宣布与统一计算的先驱Anyscale进行战略合作。这种伙伴关系旨在加速大型语言模型(LLM)的开发,这是人工智能领域的一个关键组成部分。此次合作旨在将NVIDIA AI集成到Anyscale的开源Ray平台,Anyscale平台和Anyscale Endpoints中,这是一项旨在将LLM嵌入应用程序的新服务。

英伟达与 Anyscale 合作伙伴关系

将NVIDIA AI集成到Anyscale的平台中有望提高生成AI开发的速度和效率。它还将增强生产AI的安全性,这是当前数据泄露和网络威胁猖獗的数字时代的一个关键方面。开发人员可以灵活地使用 Ray 部署开源 NVIDIA 软件,或者在 Anyscale 平台上选择 NVIDIA AI Enterprise 软件,具体取决于他们的特定需求和要求。

此次合作的主要特点之一是支持NVIDIA的TensorRT-LLM,这是一款开源软件,适用于Anyscale产品。TensorRT-LLM 旨在跨多个 GPU 并行运行模型,在 NVIDIA H8 Tensor Core GPU 上提供高达 100 倍的性能提升。预计这种性能提升将显着提高LLM的效率,使其更加有效和可靠。

更快地构建大型语言模型 (LLM)

NVIDIA Triton Inference Server 軟體

此外,NVIDIA Triton 推理服务器软件将使 Ray 开发人员在部署来自各种深度学习和机器学习框架的 AI 模型时提高效率。这将为开发人员提供更简化和高效的模型部署流程,减少所需的时间和资源。

NVIDIA NeMo框架是此次合作的另一个关键组成部分,它将允许Ray用户使用业务数据微调和定制LLM。这种定制功能将使企业能够根据其特定需求定制其AI模型,从而提高其有效性和相关性。

Anyscale 的平台提供完全托管的企业级统一计算,用于构建、部署和管理可扩展的 AI 和 Python 应用程序。此次合作将允许开发人员通过 NVIDIA AI Workbench 在其工作站上构建模型,并将其扩展到混合或多云加速计算。这种可扩展性在当今的数字环境中至关重要,企业需要快速有效地调整和扩展其运营。

NVIDIA AI与Anyscale的集成目前正在开发中,预计将于今年年底推出。对此集成感兴趣的开发人员可以注册更新和 NVIDIA AI Enterprise 的 90 天免费评估。NVIDIA和Anyscale之间的合作是AI行业向前迈出的重要一步,有望带来更快,更高效,更安全的AI开发。

赞(0)
未经允许不得转载:剪映吧 » 使用 NVIDIA 和 Anyscale 更快地构建大型语言模型 (LLM)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址