微信扫码
与创始人交个朋友
我要投稿
FastAPI(极简、快速、高性能Web框架)+redis(数据缓存、存储服务)
pip install fastapi uvicorn openai redis
设置如上-会话存储的 hash 结构:具体的 value 即回答的 N 条真实记录(可结合实际会话ID进行关联),到这里准备工作就已经完成了。
建立 Python Project:这里 LLM 采用 KIMI(moonshot):
模型版本选择(moonshot-v1-32k)+ 精妙提示词(prompt)设定(高质量的提示词可以帮助模型理解人类的目标,换言之人类直接向模型提出命令或一条通向目标的推理路径。设计一个更有效的交互策略,使得模型生成的内容能符合人的意图和需求)
输入如下命令,启动开发服务器并在代码变更时自动重新加载。
uvicorn main:app --reload --host 127.0.0.1 --port 8888
这样,就能够提供对外的 API 接口出来了,接口调用效果如下:
当然,我们也可以使用 Restlet Client 进行 Rest API Testing:
这里,我们给定一些日常话题来看看咨询效果:
因为在之前调试的时候,有些问题已经有了记忆属性,但还是能够看出 AI 可以精准理解我们的输入意图。
对应在 Jupyter Notebook 中的回答效果如下:
接下来,以一个真实案例嵌入:多语-国际化,这里选择一个在多语言环境存在不一样词性的词。
输入请帮我用中文繁体翻译下这段话:
即将发布一个带有新发型妆造的广告
对应 Jupyter Notebook 回答:可以看出对“发”这个词依旧准确地给出了答案。
诚然,Encoder-Decoder的过程:从信息的压缩与抽象->信息的还原与创造。
Encoder 它能够将图像、文本等复杂数据转换成高维向量空间中的特征表示,这些特征既保留了原始数据的核心信息,又便于后续的模型处理与理解。
Decoder 它负责将 Encoder 处理后的数据还原回人类可理解的形式,无论是文字、图像还是声音,并且它还能在解码过程中融入创造力,通过生成对抗网络(GANs)等先进技术,生成全新的、逼真的内容,如高清图像、逼真语音等。
架构,这一架构在机器翻译、语音识别、图像生成等众多领域展现出了惊人的能力。以机器翻译为例,输入源语言的句子经过 Encoder 编码成一系列向量,再由 Decoder 解码成目标语言的句子,整个过程流畅自然,几乎达到了人类翻译的水平。
架构也被广泛应用于环境感知与决策制定。车辆通过摄像头、雷达等传感器收集到的海量数据,经过 Encoder 处理后提取关键信息,再由 Decoder 转化为车辆的控制指令,实现安全高效的自动驾驶。
Ok,now,那我们来继续检测一下上下文联想效果:看看之前咨询的问题,在其背后是如何经过决策并将答案呈现至用户眼前的?
*温馨提示*:上述case经过多次调试-调优过程,对背后技术实现原理感兴趣的可后台私信一起探讨><
【末尾彩蛋】
task1:采用 RAG(Retrieval-Augmented Generation)理念。
我们首先将历史对话记录整合进知识库。接着,通过嵌入技术(embedding)处理
这些记录,并将它们存储于向量数据库(vector store)中。
在接收到查询(query)时,系统会执行搜索匹配,筛选出与查询最相关的文本片段。
这些文本片段随后将与查询一同提交给大型语言模型(LLM),以生成回答。
task2:保持对话连贯性、最新信息的实时性。
此外,系统会分阶段对对话进行汇总,但最近N条记录将保持独立,不进行汇总,
直接用于 LLM 的回答过程中。这样的设计旨在保持对话的连贯性,同时确保最新信息的实时性。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-05-28
2024-04-26
2024-08-21
2024-04-11
2024-08-13
2024-07-09
2024-07-18
2024-10-25
2024-07-01
2024-06-17