推荐语

探索AI网关新纪元，Higress.ai全球服务启航！

核心内容：
1. AI网关在大模型时代的重要性及特性增强
2. Higress.ai子站点的新增功能及全球服务目标
3. Higress AI网关最新能力的首发预告

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

随着大模型技术的快速发展，AI 应用的工程化对底层基础设施提出了诸多需求，尤其是工程化过程中在安全、效率、性能等方面提出了更高的诉求。其中，AI 网关是非常重要的 AI 基础设施组件之一。

AI 网关是传统 API 网关面向大模型场景的深度演进，它在保障基础网关能力的同时，针对 AI 服务的特性进行了专项增强：

• 场景特性适配：专门优化长连接、高并发、大带宽等传输需求，适配大模型服务的高延迟特性。
• 智能流量治理：支持多模型动态路由、智能负载均衡、API Key 轮转调度、语义化请求缓存。
• 安全合规保障：内置内容安全过滤、Token 配额管理、多级限流熔断等安全能力。
• 成本精细管控：提供调用审计分析、流量灰度分发、失败请求自动重试等运维工具。

通过统一接入层协议，AI 网关帮助开发者实现多源 AI 服务的高效整合与管理，降低复杂场景下的接入与运维成本。关于 AI 网关的核心能力和使用场景，更全面的描述可参考以下两篇文章：

AI 网关的核心能力依旧处于定义的初期阶段，但离不开快速集成 AI Agent 和 LLM API 的核心。

望宸&澄潭，公众号：HigressAI 网关需要具备的10大基本能力

这8个使用场景是目前我们服务开源和商业用户过程中，总结出来最高频的。随着 AI 网关能力的扩展和增强，使用场景也在逐步丰富过程中。

望宸&计缘，公众号：Higress帮你整理好了，AI 网关的8个常见应用场景

Higress 开源站在原主站点上新增了专门面向 AI 场景的子站点，并提供中文版和国际版(Beta)，国际版用于服务全球开发者。

Higress.ai 除了提供常见的最佳实践(文章形式)/社区/企业版/GitHub/文档等功能外，特别设计了快速体验 AI 网关的【场景体验】，并提供开源体验和云上体验两种方式。同时，我们会在该站点首发 Higress AI 网关的最新能力。例如，我们即将上线 AI Guideline 提示词功能，开发者基于通义灵码/Cursor 等 AI 编程工具，将 Nginx/Kong 的 Lua 插件快速转化为 Higress Wasm 插件。

Higress.ai 上线后，您可能会关心以下几个问题：

01

Higress.ai 和 Higress.cn 有什么不同？

Higress 是一款云原生 API 网关，内核基于 Istio 和 Envoy，将流量网关、微服务网关、安全网关和 AI 网关四合一，可以用 Go/Rust/JS 等编写 Wasm 插件，提供了数十个现成的通用插件，以及开箱即用的控制台。

Higress.cn 是 Higress 的主站点，作为 Higress 的官方技术门户及一站式资源平台，专注于为开发者提供与 Higress 技术栈相关的核心能力展示、开源生态支持及企业用户最佳实践。 

其中，AI 网关作为现代 AI 基础设施的关键组件，其技术演进与大语言模型的生态发展存在深度耦合。在 LLM 技术栈中，检索增强生成（RAG）、智能体（Agent）、MCP 协议等新技术的不断涌现，为 AI 网关在协议优化、流量治理、模型调度等维度开辟了多维度的技术演进方向。

为了更好地向开发者们展示 AI 网关内容的丰度，Higress.ai 应运而生，旨在为 Agent 开发框架集成、LLM API 治理等典型 AI 应用场景，提供体验 AI 网关及展示的独立渠道。同时，Higress.ai 上也会展示 Higress 在 AI 网关下的探索，和 AI 开发者们共同定义下一代 AI 原生网关的技术方向。此外，Higress.ai 将作为我们服务全球 AI 开发者的起点。

需要注意的是，AI 网关并不是独立于 API 网关的新形态，本质也是一种 API 网关，区别在于针对 AI 场景的新需求专门做了扩展，它既是 API 网关的继承，也是 API 网关的演进。

当然不是。

AI 时代， Agent 和大模型都对接入层提出了更多的需求，以避免服务的“负重”。这给 AI 网关带来了历史发展机遇。

我们早在去年6月发布 v1.4 时，就开源了诸多 AI 网关的能力，并不是春节期间大模型加速发展后的突发奇想。延伸阅读：去年6月开源 AI 网关能力。

我们认为，AI 负载和经典负载会持续融合，以发挥 AI 的无限能力，并在接入层形成统一管理。因此，Higress 依旧深耕在流量网关、微服务网关、安全网关上，以提升能力和体验。

在流量网关层面，Higress 可以作为 K8s 集群的 Ingress 入口网关, 并且兼容了大量 K8s Nginx Ingress 的注解，可以从 K8s Nginx Ingress 快速平滑迁移到 Higress。

在微服务网关层面，Higress 能够对接多种类型的注册中心发现服务配置路由，例如 Nacos、ZooKeeper、Consul、Eureka 等，并且深度集成了 Dubbo、Nacos、 Sentinel 等微服务技术栈。相比传统 Java 类微服务网关，Higress 基于 Envoy C++ 网关内核能够表现出更出色性能，可以显著降低资源使用率，减少成本。

在安全网关层面，Higress 提供 WAF 的能力，并且支持多种认证鉴权策略，例如 key-auth、hmac-auth、jwt-auth、basic-auth、OIDC 等。

Higress 的流量网关、微服务网关、安全网关、AI 网关，都提供了商业增强的云服务，在阿里云上的云服务产品是【API 网关】。

Higress.ai 目前已经提供了多模型代理、内容安全、语义缓存、令牌限流四个体验场景，通过首页顶部的导航栏就可以进行一键体验。

或者点击【场景体验】，也可进入体验专题页。

Higress.ai 场景体验提供两种方式：

• 云上体验：开发者可通过登录阿里云账号，在 AIP 网关上，通过“云起实验室”的方式，使用免费额度体验 AI 网关功能。
• 开源体验：开发者可通过本地 Docker 环境，一键部署 AI 网关，体验多个场景下 AI 网发挥的作用。

Higress.ai 整体界面和功能展示都在持续完善中，我们下一步计划是：

• 国际版：站点全量内容将进行国际化适配，并启用海外社交媒体和技术社区官方账号，欢迎大家 follow 我们。
• 在线插件编辑器：开发者无需配置本地编译环境即可完成插件研发；在该编辑器上，我们将基于 AI 编程能力，实现自然语言生成插件代码、在线编译调试、AI 助手问题解决等一站式插件生成服务，帮助您基于 Higress 快速生产插件。
• MCP Server：Higress.ai 将于近期首发，将后端服务的 API 能力变为 MCP Server 能力，从而支持多种 MCP Client 调用的场景，让 API 能力更好地被 AI 工具使用。官方将支持若干主流应用，开发者也可自由接入其他应用。
• 最佳实践展示：覆盖 Agent 开发框架集成、LLM API 治理的全生命周期，输出一系列最佳实践，包括架构设计参考方案、性能调优建议等。
• 更多的体验场景：基于开源版中的10+个插件功能，以及商业版上的用户场景，上线更多体验场景；如果您在开源版上有任何创新性的实践，欢迎联系我们共建。（wx：zjjxg2018，备注Higress）

搭把手

? Higress 是阿里云开源的一款高性能网关，用于部署 Web 应用和大模型应用，并提供商业版服务，阿里云官网搜索「API 网关」。

• Higress 官网：
  https://higress.cn/
• API 网关官网：
  https://www.aliyun.com/product/apigateway

• AI 领域，国内外的最新进展，不限于技术、产品和实践
• Higress 的最新开源进展、客户实践
• Higress 官方文档、教程、市场活动的最新信息

• 微信：zjjxg2018
• 钉群：107690002780

AI 网关代理 LLMs 最佳实践

大模型 Token 的消耗可能是一笔糊涂账

大模型带火 API 后，分享我对 API 安全之认证鉴权的实践

大模型无缝切换，QwQ-32B和DeepSeek-R1 全都要