概要：
Kong公司推出了开源AI网关，作为其现有API网关的延伸，使开发人员和运维团队能够将其应用程序与一个或多个大型语言模型（LLM）集成，并通过单个API访问它们。此外，Kong还推出了几个针对AI的特定功能，包括提示工程、凭据管理等。
Kong公司的联合创始人兼首席技术官Marco Palladino表示：“我们认为AI是API的一个附加用例。API是由用例驱动的：移动、微服务——AI只是最新的用例之一。当我们看待AI时，实际上是在随处查看API。在消费AI时，我们会看到API，我们会看到API来微调AI本身。因此，AI越多，我们在世界上使用API的次数就越多。”
Palladino认为，虽然几乎每个组织都在研究如何使用AI，但他们也担心数据泄露。他相信，这些公司最终会希望在本地运行其模型，或者可能使用云作为备用方案。然而，目前，这些公司还需要解决如何管理访问基于云的模型的凭据、控制和记录流量、管理配额等问题。
“通过我们的API网关，我们希望提供一种解决方案，使开发人员在构建AI时更具生产力，能够利用我们的网关在不改变其代码的情况下消耗一个或多个LLM提供商。”他指出。该网关目前支持Anthropic、Azure、Cohere、Meta的LLaMA模型、Mistral和OpenAI。
Kong团队认为，大多数其他API提供商目前以与任何其他API相同的方式管理AI API。然而，通过在API之上添加这些额外的针对AI的功能，Kong团队认为，它可以实现新的用例（或至少使现有用例更容易实现）。使用新的AI网关中的AI响应和请求转换器，开发人员可以动态更改提示及其结果，自动将其翻译或删除个人身份信息，例如。
提示工程也深度集成到网关中，使企业能够在这些模型之上执行其指南。这也意味着有一个管理这些指南和提示的中心点。
距离Kong API管理平台推出已经将近9年了。当时，现在的Kong公司仍然被称为Mashape，但正如Mashape/Kong的联合创始人兼首席执行官Augusto Marietti本周早些时候在接受我的采访时所说的那样，这几乎是最后一搏。“Mashape一事无成，然后Kong成为了GitHub上排名第一的API产品。”他说。Marietti指出，Kong在上个季度实现了现金流盈余，并且目前不在寻求融资，所以这项工作进展顺利。
现在，Kong网关是公司平台的核心，也是新AI网关的动力来源。事实上，当前的Kong用户只需升级其当前安装即可获得所有新的AI功能。
截至目前，这些新的AI功能是免费提供的。随着时间的推移，Kong希望推出付费的高级功能，但团队强调，这并不是当前版本的目标。
AI网关开启新纪元
Kong公司的最新举措，推出了开源AI网关，为开发人员和运维团队提供了整合大型语言模型的便捷途径。这一举措在AI技术快速发展的背景下，有望为企业提供更灵活、更高效的AI应用开发和部署方案。同时，通过提供免费的AI功能，Kong公司在技术领域再次彰显了其引领者的地位。
