剪映
让视频剪辑变得更简单!

Perplexity Lab pplx-api API for open-source LLM

Perplexity-API-for-open-source-LLMs

Perplexity Labs最近为开源大型语言模型(LLM)推出了一种新的,快速且高效的API,称为pplx-api。这个创新工具旨在提供对各种开源LLM的快速访问,包括Mistral 7B,Llama2 13B,Code Llama 34B和Llama2 70B。 pplx-api 的引入标志着人工智能领域的一个重要里程碑,为开源 LLM 提供了一站式服务。

pplx-api 的主要功能之一是它对开发人员的易用性。该 API 是用户友好的,允许开发人员使用熟悉的 REST API 轻松地将这些模型集成到他们的项目中。这种易用性消除了对 C++/CUDA 的深入了解或访问 GPU 的需要,使更广泛的开发人员可以访问它。

pplx-api

pplx-api 还拥有一个快速推理系统。推理系统的效率非常出色,延迟比复制低 2.9 倍,延迟比任意规模低 3.1 倍。在测试中,与文本生成推理 (TGI) 相比,pplx-api 的总体延迟提高了 2.03 倍,初始响应延迟提高了 2.62 倍。与 TGI 相比,该 API 还能够以高达 2 倍的速度处理令牌。这种速度和效率使pplx-api成为使用LLM的开发人员的强大工具。

pplx-api 的优势

  • 易用性:开发人员可以使用现成的最先进的开源模型,并在几分钟内开始使用熟悉的 REST API。

  • 超快推理:精心设计的推理系统效率高,延迟比复制低 2.9 倍,延迟比 Anyscale 低 3.1 倍

  • 经过实战考验的基础设施:pplx-api 被证明是可靠的,可在 Perplexity 应答引擎和 Labs 操场中为生产级流量提供服务。

  • 开源LLM的一站式商店:Perplexity Labs致力于在新的开源模型到来时添加它们。例如,我们添加了 Llama 和 Mistral m

pplx-api 的基础设施是可靠且经过实战测试的。事实证明,它在 Perplexity 的应答引擎和 Labs 操场中为生产级流量提供服务方面都是可靠的。该基础设施结合了最先进的软件和硬件,包括由 NVIDIA A4 GPU 和 NVIDIA 的 TensorRT-LLM 提供支持的 AWS p100d 实例。这种强大的基础设施使pplx-api成为商用最快的Llama和MistralAPI之一。

开源LLM的API

pplx-api 目前处于公开测试阶段,对订阅 Perplexity Pro 的用户免费。这种可用性允许更广泛的用户对 API 进行测试和提供反馈,帮助 Perplexity Labs 不断改进和完善该工具。该 API 对于 LLM 部署和推理也具有成本效益。它已经为Perplexity节省了大量成本,单个功能的成本每年减少约0.62M美元。这种成本效益使pplx-api成为休闲和商业用途的宝贵工具。

Perplexity的团队致力于添加新的开源模型,确保pplx-api仍然是开源LLM的综合资源。该API还用于为Perplexity Labs提供支持,Perplexity Labs是一个为各种开源模型提供服务的模型游乐场。Perplexity Labs引入pplx-api代表了AI领域的重大进步。它的易用性、快速推理系统、可靠的基础设施和成本效率使其成为使用开源 LLM 的开发人员的强大工具。随着API的不断发展和改进,它有望成为AI社区更有价值的资源。

在不久的将来,pplx-api 将支持:

  • 自定义困惑LLM和其他开源LLM。

  • 自定义困惑嵌入和开源嵌入。

  • 专用 API 定价结构,在公开测试版逐步淘汰后具有一般访问权限。

  • 困惑 RAG-LLM API 具有事实和引用的基础。

如何访问 pplx-api

您可以使用HTTPS请求访问pplx-api REST API。在 pplx-api 中进行身份验证涉及以下步骤:

1. 通过困惑帐户设置页面生成 API 密钥。API 密钥是一种长期存在的访问令牌,在手动刷新或删除之前可以使用它。
2. 将 API 密钥作为持有者令牌发送到每个 pplx-api 请求的授权标头中。
3. 它目前支持 Mistral 7B、Llama 13B、Code Llama 34B、Llama 70B,并且 API 方便地与 OpenAI 客户端兼容,可轻松与现有应用程序集成。

赞(0)
未经允许不得转载:剪映吧 » Perplexity Lab pplx-api API for open-source LLM

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址