微信扫码
和创始人交个朋友
我要投稿
DeepSeek引领API网关新趋势,全面解析其核心能力与应用场景。 核心内容: 1. API网关的基本概念与演进历程 2. API网关的核心能力与应用场景 3. 如何使用阿里云API网关接入DeepSeek
API 网关并不是一个新的概念,但 DeepSeek 的全民化趋势给 API 网关上了一波热度。本文将围绕 API 网关的上下游概念、演进历程和分类、核心能力、DeepSeek 如何接入 API 网关等方面,和大家一起更加立体的重新认识下 API 网关。
目录
01 引言
02 API 网关的相关概念
03 API 网关的演进历程和分类
04 API 网关的核心能力和应用场景
05 如何使用阿里云云原生 API 网关接入 DeepSeek
API 网关作为管理 API 的核心组件,在整个架构体系中扮演着至关重要的角色,它就像是一个智能的交通枢纽,负责协调和管理各种 API 请求,确保请求的安全和稳定,实现高效和丝滑的响应。大模型应用的很多刚性诉求正在通过 API 网关来满足,例如:
后端接多个大模型,这即是产品体验考虑,也是稳定性的考虑,已是大模型应用的标配,无论是对话型应用,还是代码类应用。
是否具备联网搜索,大模型的生成质量相差很大,前端要透出联网搜索能力的选项。
内容输出安全和合规,在内容生成前进行管控。
语义缓存,将 API 的响应结果临时存储在缓存服务器中,当有相同的请求再次到来时,直接从缓存中获取响应结果,降低官方 API 的调用成本。
调用方配额限速,对每个调用方(如用户、应用程序、IP 地址等)在一定时间内对 API 的调用次数、流量大小或资源使用量进行限制的机制。
后端保护式限流,对 API 的访问流量进行管理和控制,确保 API 能够稳定、高效地运行,包括负载均衡、限流、降级、熔断等能力。
02
API(Application Programming Interface,应用程序编程接口)是一组规定和协议,它定义了不同软件应用或组件之间如何相互沟通和交互的方法。API 可以视为一个中间件,它允许开发者访问和使用某些功能或数据,而无需了解背后的详细实现。例如,阿里云 API 提供给开发者的一系列应用程序接口,使得开发者可以通过 API 来管理云上资源、数据和服务等内容。API 的分类:
阿里云云原生 API 网关控制台创建 API 的入口界面
API 网关(即 API Gateway,简写:APIG)是一种提供 API 托管服务的中间件。它处于客户端和后端服务之间,是客户端访问后端服务的唯一入口。所有来自客户端的请求都首先经过 API 网关,然后由 API 网关将请求路由到后端的服务。它就像一个门卫,负责对请求进行身份验证、权限检查、流量控制等操作,确保 API 请求的安全和稳定。
API 网关并非独立的,而是伴随着软件架构的演进尔演进。软件架构经历了单体架构、垂直架构、SOA 架构、微服务架构、云原生架构,随着大模型的普及,开始往 AI 原生架构演进,这个过程中,API 网关的形态也在随之迭代,在不同软件架构阶段中呈现出不同的形态。
负责管理和优化数据流量,以提升业务的可伸缩性和高可用性。Nginx 作为流量网关的代表性软件,以其高效的性能和灵活的配置广受欢迎。流量网关的核心目的是解决多业务节点的流量负载均衡问题,通过智能调度将客户请求分配到不同的服务器上,从而均匀分摊负载,避免单点故障,确保服务的稳定性和连续性。
专为企业设计的关键集成解决方案,旨在标准化和简化不同系统和服务之间的通信与消息传送。遵循服务导向型架构(SOA)原则,ESB 通过集中管理消息路由、转换和安全,实现服务的快速部署和高效运作。
负责集中管理微服务的路由规则,增强系统安全性,提供性能监控,并简化访问流程,从而提高整个系统的可靠性。微服务网关可以实现负载均衡、限流、熔断、身份验证等功能,通过统一入口管理和优化各微服务间的交互。此举不仅简化了客户端与微服务的通信复杂性,还为系统安全提供了额外的保护,Spring Cloud Gateway 是一个广泛应用的微服务网关,它基于 Spring 生态系统,易于与 Spring Boot 项目集成,因其灵活、高效和可扩展性受到了开发者的青睐。
伴随 K8s 的广泛应用而诞生的一种创新网关,K8s 集群内外网络天然隔离的特性要求通过网关来将外部请求转发给集群内部服务,K8s 采用 Ingress/Gateway API 来统一网关的配置方式,同时 K8s 提供了弹性扩缩容来帮助用户解决应用容量调度问题,基于此用户对网关产生了新的诉求:期望网关既能有流量网关的特性来处理海量请求,又具备微服务网关的特性来做服务发现与服务治理,同时要求网关也具备弹性扩缩容能力解决容量调度问题,例如 Envoy 和 Higress 是典型的开源云原生网关。
我们认为,AI 网关并不是独立于云原生网关的新形态,本质上也可以称之为云原生网关,区别在于针对 AI 场景的新需求专门做了扩展,例如提供多模型灵活切换&兜底重试、大模型内容安全和合规、语义化缓存、多 API Key 均衡、Token 配额管理和限流、大模型流量灰度、调用成本审计等能力。业内,Higress 和 Kong 在云原生网关的基础上,演进出了专门面向 AI 场景的能力,此外,还有 Traefix、Cloudflare 均设计了 AI 网关的产品和服务。关于 AI 网关的核心能力,可以参考我们之前的文章 AI 网关需要具备的10大基本能力。
由于围绕 API 提供的网关能力繁多,涉及的角色众多,我们将所有能力基于使用方进行分类,包括研发、供应和消费三类场景,分别对应 API 接口的研发团队、API 平台的研发和运维团队、API 平台的外部调用方。
API First 是先定义好 API 规范,再 code。不同于不定义 API,直接 coding,API First 强调的是在构建应用程序之前优先设计和开发 API 接口,将 API 视为系统的核心架构组件,通过定义良好的接口规范实现模块化。例如公共云的云产品都提供了 API 的调用方式,微信小程序、钉钉开放平台也面向开发者提供了 API 接口,类似乐高积木的模块化系统,通过标准接口实现服务间的灵活组合,提升系统的可扩展性和维护性,从而提升生态效率。在研发场景下,API 网关可以覆盖 API 的设计、开发、测试、发布、售卖、运维监测、安全管控、下线等围绕 API 的各个生命周期。
API 供应场景指 API 提供方(如企业、平台或服务)通过标准化接口对外暴露数据或功能的过程。其核心是创建、管理和维护 API,确保其可用性、安全性和高效性。核心能力包括:
API 消费场景指调用方(如应用、开发者)通过集成外部 API 快速实现功能或获取数据的过程。其核心是使用平台方提供的能力或数据,实现业务需求。
下列演示中,提供3个场景供参考:
已集成模型接入 AI 网关
通用模型接入 AI 网关
阿里云云原生 API 网关中已经集成部分大模型供应商,该类模型可通过选择供应商及配置 API-KEY 直接接入。包含:阿里云百炼、DeepSeek、OpenAI、Azure、Claude、月之暗面、百川智能、零一万物、智谱AI、混元、阶跃星辰、星火、豆包(火山引擎)、MiniMax、Gemini。
网关通过服务发送请求,创建 AI 服务参考以下方式进行:
登录云原生API网关控制台。
在左侧导航栏,选择实例,并在顶部菜单栏选择地域。
在实例页面,单击目标网关实例名称。
在左侧导航栏,选择服务,并单击服务页签。
创建完成的AI API界面中,点击调试。
指定模型为 deepseek-r1,和阿里云百炼的 DeepSeek 进行对话。
该场景中通过自定义服务地址,支持以下几种情况:
对于云原生 API 网关中未集成大模型供应商,且该模型支持 OpenAI 协议。
对于通过在阿里云 PAI 或者 FC 等方式部署的 DeepSeek 服务。
当前云原生API网关支持同时基于已集成模型+通用模型的方式接入,提供多模型代理服务,并支持调用异常情况下Fallback;在该类场景下,用户使用统一调用方式,同时调用不同的三方模型服务。
如图所示的配置会按照下列规则执行
创建完成的 AI API 界面中,点击调试。
填写模型名称为ep-20250219155230-28l6f、DeepSeek-R1-Distill-Qwen-1.5B时,会按照规则响应火山引擎、PAI。
当填写一个错误的名称,此时没有对应的DeepSeek模型,因此会触发Fallback,调用到阿里云DeepSeek-R1:
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-02-22
DeepSeek 为什么总是服务器繁忙?
2025-02-22
2000刀设备跑满血版Deepseek-R1,性能可达人类阅读速度水平!
2025-02-22
DeepSeek-R1硬件配置对比:如何根据需求选择最佳硬件?(含价格参考)
2025-02-22
AutoMouser:AI Chrome扩展程序,实时跟踪用户的浏览器操作,自动生成自动化操作脚本
2025-02-22
小米 AI 智能眼镜或售价 1499起?
2025-02-22
小米AI眼镜M2442G1提前发布:开启智能穿戴新纪元
2025-02-22
联通广东产互× DeepSeek:1 天轻松完成私有化部署
2025-02-21
DeepSeek PC在淘宝火了!低配高价套路多,我劝你别买
2024-03-30
2024-05-09
2024-07-07
2024-07-23
2024-06-23
2024-07-01
2024-06-24
2024-10-20
2024-06-08
2024-12-29