剪映
让视频剪辑变得更简单!

GeForce RTX with TensorRT-LLM 将原生生成 AI 带入您的 PC

生成式 AI 的领域取得了重大进展,NVIDIA 在推动这一创新方面发挥着关键作用。GeForce RTX 和 NVIDIA RTX GPU 的推出將為超過 100 億台 Windows PC 和工作站帶來生成式 AI,標誌著個人計算的重要趨勢。这些GPU在加速AI方面发挥了重要作用,Windows的TensorRT-LLM的引入使PC上的生成AI速度提高了4倍。

GeForce RTX With TensorRT-LLM

生成式人工智能是人工智能和其他软件新管道的核心,可以自动分析数据并生成大量内容。像Llama 2和Code Llama这样的大型语言模型(LLM)是这些发展的核心。TensorRT-LLM的使用加速了LLM推理,使LLM在RTX驱动的Windows PC上的运行速度提高了4倍。当将LLM功能与其他技术集成时,这种加速特别有益,例如在检索增强生成(RAG)中,LLM与矢量库或矢量数据库配对。

NVIDIA发布了帮助开发人员加速LLM的工具。其中包括使用 TensorRT-LLM 优化自定义模型的脚本、TensorRT 优化的开源模型和开发人员参考项目。这些工具使开发人员更容易实现和优化这些模型,从而为该领域的增长和发展做出贡献。

生成式 AI 性能增强

TensorRT加速的重要应用之一是通过Automatic1111分布在流行的Web UI中进行稳定扩散。此应用程序将生成式 AI 扩散模型的速度提高了之前最快的实现速度的 2 倍。稳定扩散是图像生成中使用的一种扩散模型,TensorRT 提供的加速使其更高效、更快速。

除了加速LLMs,NVIDIA还推出了RTX视频超分辨率(VSR)版本1.5,以提高视频质量。RTX VSR是AI像素处理的突破,通过减少或消除视频压缩引起的伪影来提高流视频内容的质量。更新后的版本进一步提高了视觉质量,去除了以原始分辨率播放的内容,并增加了对基于 NVIDIA 图灵架构的 RTX GPU 的支持。

NVIDIA 的软件、工具、库和 SDK 已帮助消费者带来了 400 多种支持 AI 的应用程序和游戏。该公司已经在 ngc.nvidia.com 和GitHub等平台上提供了TensorRT优化的开源模型和RAG演示。这些资源旨在帮助开发人员进一步探索和利用生成式 AI 和 AI 加速工具的功能。

展望未來,NVIDIA 計劃從 NVIDIA Developer 網站提供 TensorRT-LLM 下載。此举有望进一步使对这些先进工具的访问民主化,并促进生成式人工智能的发展和应用。

NVIDIA在生成AI和AI加速工具方面的进步,特别是通过引入GeForce RTX,NVIDIA RTX GPU和TensorRT-LLM,对该领域产生了重大影响。这些进步不仅加速了人工智能的发展,还改善了所有用户的日常 PC 体验。随着 NVIDIA 不断创新和发布新工具,生成式 AI 和 AI 加速的潜在应用和优势将进一步扩大。

赞(0)
未经允许不得转载:剪映吧 » GeForce RTX with TensorRT-LLM 将原生生成 AI 带入您的 PC

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址