微信扫码
添加专属顾问
我要投稿
探索AI网关新纪元,Higress.ai全球服务启航!核心内容:1. AI网关在大模型时代的重要性及特性增强2. Higress.ai子站点的新增功能及全球服务目标3. Higress AI网关最新能力的首发预告
随着大模型技术的快速发展,AI 应用的工程化对底层基础设施提出了诸多需求,尤其是工程化过程中在安全、效率、性能等方面提出了更高的诉求。其中,AI 网关是非常重要的 AI 基础设施组件之一。
AI 网关是传统 API 网关面向大模型场景的深度演进,它在保障基础网关能力的同时,针对 AI 服务的特性进行了专项增强:
通过统一接入层协议,AI 网关帮助开发者实现多源 AI 服务的高效整合与管理,降低复杂场景下的接入与运维成本。关于 AI 网关的核心能力和使用场景,更全面的描述可参考以下两篇文章:
AI 网关的核心能力依旧处于定义的初期阶段,但离不开快速集成 AI Agent 和 LLM API 的核心。
望宸&澄潭,公众号:HigressAI 网关需要具备的10大基本能力
这8个使用场景是目前我们服务开源和商业用户过程中,总结出来最高频的。随着 AI 网关能力的扩展和增强,使用场景也在逐步丰富过程中。
望宸&计缘,公众号:Higress帮你整理好了,AI 网关的8个常见应用场景
Higress 开源站在原主站点上新增了专门面向 AI 场景的子站点,并提供中文版和国际版(Beta),国际版用于服务全球开发者。
新的子站点:https://higress.ai/
Higress.ai 除了提供常见的最佳实践(文章形式)/社区/企业版/GitHub/文档等功能外,特别设计了快速体验 AI 网关的【场景体验】,并提供开源体验和云上体验两种方式。同时,我们会在该站点首发 Higress AI 网关的最新能力。例如,我们即将上线 AI Guideline 提示词功能,开发者基于通义灵码/Cursor 等 AI 编程工具,将 Nginx/Kong 的 Lua 插件快速转化为 Higress Wasm 插件。
Higress.ai 上线后,您可能会关心以下几个问题:
Higress 是一款云原生 API 网关,内核基于 Istio 和 Envoy,将流量网关、微服务网关、安全网关和 AI 网关四合一,可以用 Go/Rust/JS 等编写 Wasm 插件,提供了数十个现成的通用插件,以及开箱即用的控制台。
Higress.cn 是 Higress 的主站点,作为 Higress 的官方技术门户及一站式资源平台,专注于为开发者提供与 Higress 技术栈相关的核心能力展示、开源生态支持及企业用户最佳实践。
其中,AI 网关作为现代 AI 基础设施的关键组件,其技术演进与大语言模型的生态发展存在深度耦合。在 LLM 技术栈中,检索增强生成(RAG)、智能体(Agent)、MCP 协议等新技术的不断涌现,为 AI 网关在协议优化、流量治理、模型调度等维度开辟了多维度的技术演进方向。
为了更好地向开发者们展示 AI 网关内容的丰度,Higress.ai 应运而生,旨在为 Agent 开发框架集成、LLM API 治理等典型 AI 应用场景,提供体验 AI 网关及展示的独立渠道。同时,Higress.ai 上也会展示 Higress 在 AI 网关下的探索,和 AI 开发者们共同定义下一代 AI 原生网关的技术方向。此外,Higress.ai 将作为我们服务全球 AI 开发者的起点。
需要注意的是,AI 网关并不是独立于 API 网关的新形态,本质也是一种 API 网关,区别在于针对 AI 场景的新需求专门做了扩展,它既是 API 网关的继承,也是 API 网关的演进。
当然不是。
AI 时代, Agent 和大模型都对接入层提出了更多的需求,以避免服务的“负重”。这给 AI 网关带来了历史发展机遇。
我们早在去年6月发布 v1.4 时,就开源了诸多 AI 网关的能力,并不是春节期间大模型加速发展后的突发奇想。延伸阅读:去年6月开源 AI 网关能力。
我们认为,AI 负载和经典负载会持续融合,以发挥 AI 的无限能力,并在接入层形成统一管理。因此,Higress 依旧深耕在流量网关、微服务网关、安全网关上,以提升能力和体验。
在流量网关层面,Higress 可以作为 K8s 集群的 Ingress 入口网关, 并且兼容了大量 K8s Nginx Ingress 的注解,可以从 K8s Nginx Ingress 快速平滑迁移到 Higress。
在微服务网关层面,Higress 能够对接多种类型的注册中心发现服务配置路由,例如 Nacos、ZooKeeper、Consul、Eureka 等,并且深度集成了 Dubbo、Nacos、 Sentinel 等微服务技术栈。相比传统 Java 类微服务网关,Higress 基于 Envoy C++ 网关内核能够表现出更出色性能,可以显著降低资源使用率,减少成本。
在安全网关层面,Higress 提供 WAF 的能力,并且支持多种认证鉴权策略,例如 key-auth、hmac-auth、jwt-auth、basic-auth、OIDC 等。
Higress 的流量网关、微服务网关、安全网关、AI 网关,都提供了商业增强的云服务,在阿里云上的云服务产品是【API 网关】。
Higress.ai 目前已经提供了多模型代理、内容安全、语义缓存、令牌限流四个体验场景,通过首页顶部的导航栏就可以进行一键体验。
或者点击【场景体验】,也可进入体验专题页。
Higress.ai 场景体验提供两种方式:
Higress.ai 整体界面和功能展示都在持续完善中,我们下一步计划是:
搭把手
? Higress 是阿里云开源的一款高性能网关,用于部署 Web 应用和大模型应用,并提供商业版服务,阿里云官网搜索「API 网关」。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-01
“硬件+社交”,仅91元,ESP32 国产开源 AI 项链,点亮你的智能生活
2025-03-31
对话式 AI 智能体,童话照进现实的一束光!
2025-03-31
ESP32入门第三篇之小智AI语音播报和歌曲播放
2025-03-31
腾讯元宝X职场办公:别动手,我来
2025-03-31
大模型时代的成长伙伴 ▎儿童智能硬件需要这样的范式革命
2025-03-31
厂商用“0.8秒响应速度、每秒解析32种儿童语义场景”入局AI陪伴硬件
2025-03-31
面壁发布首个纯端侧智能助手,构建汽车超性能端侧大脑
2025-03-31
开发往事 | AI陪伴玩具研发(1)
2024-03-30
2024-05-09
2024-07-07
2024-07-23
2024-07-01
2024-06-23
2024-06-24
2025-02-12
2024-10-20
2024-06-08
2025-03-30
2025-03-28
2025-03-26
2025-03-13
2025-03-12
2025-03-10
2025-03-10
2025-03-09