AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


SuperSonic 0.9.4版本发布
发布日期:2024-07-01 21:24:56 浏览次数: 2118 来源:SuperSonic超音数


6月份在社区传播下,SuperSonic关注度跃升,Github Star将近1.5K,微信群用户超过1K,在此首先要对热心推广的伙伴表达感谢!

与此同时,社区群里每天有很多用户提出使用疑问,使得产品易用性】成为我们不得不重视的问题,有些一直处于规划中的issue被提升了优先级。另一方面,如何通过工程化提升BI问答可靠性】仍是核心的迭代方向。因此,本文从易用性和可靠性两个视角来展开SuperSonic 0.9.4版本的主要特性。Release下载地址

https://github.com/tencentmusic/supersonic/releases/tag/v0.9.4

【易用性】

上线文档中心官网

文档包含【快速体验】、【项目架构】、【构建部署】、【FAQ】以及各功能模块的【概念释义】与【使用指南】,内容还在持续更新中,有任何关于项目的疑问可先通过文档了解,访问地址:https://supersonicbi.github.io/

支持Docker容器化部署

过往不少用户在部署阶段会遇到各式各样的环境问题,最好的解决方式是引入Docker容器化。从0.9.4版本开始发布官方Docker镜像【supersonicbi/supersonic】,在docker daemon运行情况下只需要下载docker-compose配置文件启动即可:

wget https://raw.githubusercontent.com/tencentmusic/supersonic/master/docker/docker-compose.ymldocker-compose up -d

启动成功后,通过Docker Dashboard可以查看到3个运行容器,分别是 supersonic、mysql、chroma,然后可通过浏览器登录界面,访问地址:http://localhost:9080/

支持对接更多的大模型

社区群里提出最多的问题当属“是否支持XXX大模型”,尤其是近期openai禁用公告出来后,国产大模型自不必说要当自强。0.9.4以前主要通过openai接口协议来对接各厂商MaaS,包括Qwen、DeepSeek、GLM、MoonShot等,一般来说厂商为了兼容性都会支持。

然而,如果想要对接开源或自定义大模型,就需要有其他协议支持。0.9.4我们将langchain4j版本做了升级,站在巨人肩膀上,理论上只要langchain4j支持的接口协议,都能对接上。其中,最重要的是Ollama接口协议,它事实上已成为本地运行大模型的标准化协议,不管是发布还是使用,都类似Docker。

如何配置Ollama,其他还有哪些协议支持,请关注官网相关文档的更新,或者查看源码文件langchain4j-prd.yaml。

支持对接更多的向量库
SuperSonic通过语义模型来增强Text2SQL,本质上也是一种RAG方案,因而离不开向量数据库的使用。0.9.4之前为了部署方便,默认采用可持久化的in-memory向量库,但生产上大家一般会使用Chroma, Milvus这类向量库。依然是借助langchain4j框架的能力,从0.9.4本开始可以与主流的向量库对接。
如何配置不同的向量库,其他还有哪些向量库支持,请关注官网相关文档的更新,或者查看源码文件langchain4j-prd.yaml。

支持测试大模型连通性

从0.9.2开始SuperSonic支持在智能助理的粒度动态配置大模型,但是配置过后是否连通可用,并没有便捷的操作方式。参照传统BI平台,配置数据库后都可以一键测试连通性,0.9.4开始可直接在配置完大模型后,一键测试连通性

支持闲聊对话模式

接着大模型连通性测试的特性,另一种测试连通性的方式,可直接与大模型开启闲聊对话,开启方式是在助理里不配置任何工具。当然,有了闲聊模式,用户也可以把SuperSonic当作是大模型的UI客户端。

升级智能助理配置界面
SuperSonic通过智能助理的抽象,可支持不同主题的问答对话,与大模型对话产品的智能体定位一致。因此,0.9.4对智能助理的配置界面做了重新设计,支持更丰富的自定义配置,包括【大模型配置】、【工具管理】、【记忆管理】(什么是记忆?且听下分解)。
【可靠性】
引入Memory记忆机制
今年,业界的关注点开始从LLM转移到Agent,普遍认为Agent才是真正通往AGI的希望。有一个简化的公式来描述Agent:
Agent = LLM + Knowledge + Memory + Tool
当前,SuperSonic将语义数据模型转换为【知识】,来增强大模型的语义理解能力;将第三方插件转换为函数调用,来引导大模型使用【工具】。上述公式中的最后一块拼图是【记忆】
回到Text2SQL来说,memory可以让助理具备self-evolution能力,随着历史对话的经验积累,通过动态few-shot in-context learning,对当前主题的语义理解(包括数据语义和问答语义)应该越来越擅长。
0.9.4对记忆机制做了初步的实现,将该助理下运行成功的历史对话存储为memory,定期借助大模型来做审核,给出评估结果。当前,大模型评估结果仅供参考,最终需要人来做复审,给出正确的评估,才会正式用于后续的对话中作为few shot example。

支持带with的语义查询
当用户的提问较为复杂,可能一个SQL难以满足。实际上,大模型具备生成带with语句的SQL能力,从而将复杂问题拆解分而治之。过往SuperSonic语义层无法解析带with语句,从0.9.4版本开始增加对with语法的支持,进而打开对复杂场景的支持空间。这个特性还在初步探索阶段,后续会持续迭代演进,这里暂时不展开。
增加Text2SQL回归测试
当提示词策略发生变更,或者切换了新的大模型,过往验证过的问答样例是否还work?这是项目迭代过程中开发人员的高频需求。为了提升开发测试效率,在0.9.4中增加了Text2SQL测试用例,以便对不同的提示词策略、大模型配置做自动回归测试。开发人员可以在本地运行com.tencent.supersonic.evaluation.Text2SQLEval执行回归。

- End -



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询