AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


长文本大模型API服务kimi-free-api
发布日期:2024-04-19 07:08:56 浏览次数: 2539 来源:各种折腾


原本计划先发 GPT4Free 的,但看很多人在后台反馈 FreeGPT35 、aurora 遇到的问题,基本上都是网络原因,所以先发个不用折腾网络的国产 API 服务,让大家先用起来


什么是 kimi-free-api ?

kimi-free-api 是长文本大模型白嫖服务,支持高速流式输出、联网搜索、长文档解读、图像解析、多轮对话,零配置部署,多路 token 支持,自动清理会话痕迹。与 ChatGPT 接口完全兼容。

最近一段时间,国产大模型 Kimi 火了,起因是它的 200 万字超长上下文输入,这使得它能够处理和分析大量的文本信息,为用户提供深度的理解和分析

kimi-free-api 是和 FreeGPT35 、aurora 类似的 Kimi 的免费大模型接口,由 LLM 大模型红队(LLM Red Team) 提供,除此之外,还提供了其他几家大模型的 API,有兴趣的可以去看看

kimi-free-api 相比 FreeGPT35 、aurora 等国外大模型 API 服务,最大的优势不是长文本,而是不用折腾网络 ?

在使用前,请仔细阅读并理解官方的免责申明

安装

在群晖上以 Docker 方式安装。

在注册表中搜索 kimi-free-api ,选择第一个 vinlic/kimi-free-api,版本选择 latest

本文写作时, latest 版本对应为  0.0.25

端口

本地端口不冲突就行,不确定的话可以用命令查一下

# 查看端口占用
netstat -tunlp | grep 端口号
本地端口容器端口
81268000

环境

可变
TZ时区,设为 Asia/Shanghai

命令行安装

如果你熟悉命令行,可能用 docker cli 更快捷

# 运行容器
docker run -d \
   --restart unless-stopped \
   --name kimi-free-api \
   --init \
   -p 8126:8000 \
   -e TZ=Asia/Shanghai \
   vinlic/kimi-free-api:latest

--init 标志用于在容器内部启动一个 init 进程。

也可以用 docker-compose 安装,将下面的内容保存为 docker-compose.yml 文件

version: '3'

services:
  kimi-free-api:
    image: vinlic/kimi-free-api:latest
    container_name: kimi-free-api
    restart: always
    ports:
      - "8126:8000"
    environment:
      - TZ=Asia/Shanghai

然后执行下面的命令

# 新建文件夹 kimi 和 子目录
mkdir -p /volume1/docker/kimi

# 进入 kimi 目录
cd /volume1/docker/kimi

# 将 docker-compose.yml 放入当前目录

# 一键启动
docker-compose up -d

运行

在浏览器中输入 http://群晖IP:8126 就能看到主界面

获取 refresh_token

从 kimi.moonshot.cn 获取 refresh_token

进入kimi 先要登录,然后随便发起一个对话,接着按 F12 打开开发者工具,从Application --> Local Storage 中找到 refresh_token的值,这将作为Authorization Bearer Token 值:Authorization: Bearer TOKEN

下面这种情况没遇到过,来自于 kimi-free-api 的说明

如果你看到的 refresh_token 是一个数组,请使用 . 拼接起来再使用。

目前 kimi 限制普通账号每 3 小时内只能进行 30 轮长文本的问答(短文本不限),你可以通过提供多个账号的 refresh_token 并使用,拼接提供:

Authorization: Bearer TOKEN1,TOKEN2,TOKEN3

每次请求服务会从中挑选一个

命令行

kimi-free-api 支持与 OpenAI 兼容的 /v1/chat/completions 接口,所以要验证 API 服务是否正常,可以用下面的示例

SSH 客户端登录到群晖后,在命令行执行下面的命令

curl http://192.168.0.197:8126/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer [refresh_token]" \
  -d '{
    "model": "kimi",
    "messages": [
      {
        "role": "user",
        "content": "你是谁?"
      }
    ],
    "use_search": true,
    "stream": false
    }'

服务正常的话,很快会得到响应数据

{
    "id""cobts9maoforsk2g47c0"
    "model""kimi"
    "object""chat.completion"
    "choices": [
        {
            "index"0
            "message": {
                "role""assistant"
                "content""我是Kimi,由月之暗面科技有限公司开发的人工智能助手。我擅长中英文对话,并且能够提供安全、有帮助、准确的信息。如果你有任何问题或需要帮助,随时可以问我!"
            }, 
            "finish_reason""stop"
        }
    ], 
    "usage": {
        "prompt_tokens"1
        "completion_tokens"1
        "total_tokens"2
    }, 
    "created"1712840230
}

kimi-free-api 除了对话接口,还有文档解读、图像解析、refresh_token 存活检测等接口

因为 refresh_token 比较长,所以还是推荐用 API 工具比较好,比如 PostmanApifoxApiPost

客户端

还可以使用与 OpenAI 或其他兼容的客户端接入接口,还是以 ChatGPT-Next-Web 为例

文章传送门:跨平台私人ChatGPT应用ChatGPT-Next-Web

如果你还没安装 ChatGPT-Next-Web ,可以用下面的命令一键搞定

# 运行容器  
docker run -d \  
   --restart unless-stopped \  
   --name chatgpt-next-web \  
   -p 3059:3000 \  
   -e OPENAI_API_KEY=<你的refresh_token> \  
   -e BASE_URL=http://<你的群晖IP>:8126 \  
   -e CUSTOM_MODELS="-all,+kimi" \  
   yidadaa/chatgpt-next-web

如果你已经安装过ChatGPT-Next-Web,需要修改三个环境变量参数

  • OPENAI_API_KEY:之前不论你是安装的 FreeGPT35 还是 aurora,这个值都是随便填的,现在必须改为我们前面获取的 refresh_token
  • BASE_URL:填写 kimi-free-api 服务的地址 + 端口
服务名称服务地址
FreeGPT35http://192.168.0.197:3044
aurorahttp://192.168.0.197:8328
GPT4Freehttp://192.168.0.197:1337
kimi-free-apihttp://192.168.0.197:8126
  • CUSTOM_MODELS :用来控制模型列表,使用 + 增加一个模型,使用 - 来隐藏一个模型,使用 模型名=展示名 来自定义模型的展示名,用英文逗号隔开。需从 -all,+gpt-3.5-turbo 改为 -all,+kimi

进入 ChatGPT-Next-Web 的设置,可以看到模型已经被设置为 kimi

现在可以开始聊天了

做个文档解读,

文档地址:https://mj101-1317487292.cos.ap-shanghai.myqcloud.com/ai/test.pdf

还能做图像解析

图片地址:https://www.moonshot.cn/assets/logo/normal-dark.png

自己用用就行,千万不要对外提供服务或商用,避免对官方造成服务压力,且用且珍惜!

其他

这块的内容和上文没啥直接关系,是给大家推荐两款 Kimichrome 插件,功能都是用来做网页内容总结的

  • Kimi copilot 网页总结助手,特点是极简,除了一键总结没有其它花里胡哨的功能
  • Kimi 阅读助手,可以自己预设提示词,根据自己需要定义提示词工程


    53AI,企业落地应用大模型首选服务商

    产品:大模型应用平台+智能体定制开发+落地咨询服务

    承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

    联系我们

    售前咨询
    186 6662 7370
    预约演示
    185 8882 0121

    微信扫码

    与创始人交个朋友

    回到顶部

     
    扫码咨询