大模型应用分析:腾讯ChatBI提高查询准确性的方法
发布日期:2024-12-06 15:21:57
浏览次数: 1708
来源:Bear探索AI
大模型应用数据分析的背景
1、降低用户门槛,提升市场覆盖
传统 BI 产品上手困难、效率低下、获取不便等痛点一直困扰着用户。而 ChatBI 的出现,改变了这一局面。企业中有不少数据分析小白,如零售行业的一线门店人员、教育行业的老师等,他们往往对传统 BI 工具望而却步。但通过ChatBI,自然语言问数便可获取结果,有效降低了门槛。多轮对话、智能追问:当用户得到一份数据分析结果后可以紧接着继续提问,ChatBI 将结合上下文进行回答。当用户的提问较模糊时,ChatBI 能对模糊部分进行智能追问,充分理解意图后再进行回答。例如,用户询问 “2023 年腾讯云 BI 每个月收入是多少?” 后,又接着提问 “2023 年上半年呢?”,ChatBI 能够准确理解用户的意图,给出相应的回答。输入联想和猜你想问:输入联想可根据用户输入的关键词,快速联想相关问题进行推荐。猜你想问可根据用户当前提问智能推荐相关问题,让分析思路持续不间断。比如,用户输入 “商品销售数据”,ChatBI 会智能推荐 “2023 年各商品品类的销售额分别是多少?”“2023 年销售量前五的商品分别是?” 等相关问题。导入 Excel 秒出分析结论,并生成可视化图表:除了对数据表进行分析外,ChatBI 还支持从 Excel 文件导入,秒出分析结论,并支持继续提问刨根问底。有效满足小型企业的轻量化数据分析场景。用户只需点击上传按钮,选择微信文件中的 Excel 文件,ChatBI 就能快速解读文件内容,如分析文件中的核心内容、用折线图显示每个月的销售趋势等。丰富的自定义能力,可配置知识库、数据源、示例问题等:可添加 “知识库”:让大模型听得懂行业 “黑话”,提升问答的准确率,成为领域专家。用户可以根据自己的业务场景,在 ChatBI 平台上,导入 excel 方式或手动录入一些业务场景知识,如某个指标的定义,专业术语的业务定义,这些知识内容通过向量转换的方式存入到向量数据库中。当用户发起问题的时候,ChatBI 检索知识库信息随后与用户的原始查询一起被送入生成模型,生成更加准确和丰富的回答。可配置 “示例问题”:灵活支持各种业务场景。例如,订单数据表中,用户可以尝试点击示例问题,如 “4 月截止目前毛利易数量大于 0 的经销商”“4 月鞍止目前毛利务数量为的童代”“3 月存在单日发送小订单数大于 15 前业代” 等。还可灵活调整 “数据表”:自主控制接入模型的数据。ChatBI 默认不获取数值,只获取表头用于大模型,并返回 SQL 至数据库查询并生成图表,客户数据全程没有出数据库,无需担心数据安全。多端适配,随时随地进行数据分析: ChatBI 支持移动端(小程序 / H5 页面)、PC 端多个终端展示,能更好的满足不同角色、不同场景下的问数分析需求。例如,一线销售人员或高层领导去见客户的途中,需要查询一些客户相关数据好进一步沟通,通过 ChatBI 支持移动问数,能有效解决随时随地获数难的问题。
ChatBI 提高查询准确性的方法
选择合适的问答模式
可信模式:在查询条件百分百准确时,ChatBI 会给出回答。这种模式确保了结果的准确性,适用于对数据准确性要求极高的场景。例如,当用户明确知道所需查询的具体时间、条件、维度和指标时,选择可信模式可以获得可靠的结果。
专业模式:当查询条件非百分百准确时,ChatBI 仍会给出回答。在这种模式下,用户可以通过查看 SQL 进行二次校验结果的准确性。如果查询条件是由 AI 大模型生成,可能存在幻觉问题,此时查看 SQL 可以帮助用户确认结果是否正确。例如,用户提问较为模糊时,ChatBI 会尝试给出回答,用户可以通过查看 SQL 来判断结果是否符合预期。
多轮对话与追问
进入追问模式:通过「继续追问」按钮,用户可以进入追问模式。在这个模式下,ChatBI 会自动联系上下文内容回答问题。例如,用户在查询了 “2023 年腾讯云 BI 每个月收入是多少?” 后,点击「继续追问」按钮,接着提问 “2023 年上半年呢?”,ChatBI 能够结合上下文准确回答。
退出追问:如果追问效果不佳,用户可以退出追问回到单轮问答状态。这样可以避免在追问过程中出现混乱,让用户能够重新整理思路,以单轮问答的方式更清晰地提出问题。
生成总结与验证结果
自动生成数据总结:ChatBI 能够基于问答展示的图表,自动生成数据总结。通过描述性统计,帮助用户快速获取全面且准确的数据概述。例如,当用户查看 “每季度营业积分的趋势” 时,可以点击 [生成总结] 查看图标描述统计概述,同时图表会标注对应数值的参考线。
验证结果准确性:用户可以通过自然语言透出的取数逻辑判断结果的准确性,也可以查看 SQL 进行二次校验。自然语言方式透出所选的数据表和 AI 的取数逻辑,业务用户可以通过取数逻辑判断结果的准确性。对于熟悉 SQL 的用户来说,图表右侧更多按钮下,可点击「查看 SQL」,通过取数 SQL 二次校验结果准确性。
干预问答结果
校正答案:用户可以自定义修改查询条件、删除多余条件或添加新条件,对答案进行校正。例如,如果 AI 给出的回答不符合用户的预期,用户可以调整查询条件,使其更加准确。
换表查询:如果 AI 选错了数据表,用户可点击「换表查询」,校正为正确的数据表。这样可以确保查询结果来自正确的数据源,提高结果的准确性。
提升结果准确性
用户可以反馈回答是否正确,标记及优化查询结果的 badcase,迭代改进模型。下次问题若命中 “标记为正确” 的问题,则自动返回原回答,让模型 “越用越聪明”。通过用户的反馈,ChatBI 可以不断优化自身的性能,提高查询结果的准确性。
与 DataFocus、FocusGPT、Tableau Ask Data、Qlik Sense Insight Advisor、IBM Watson Analytics 等产品对比,分析各自的优缺点。1)DataFocus:通过多轮对话功能,让用户可以逐步深入地提问,从总体数据到细节数据,系统都能准确理解并提供答案。同时,引入了符号推理系统和白盒 text2sql 解析技术,试图提高查询的准确性和透明度。但要达到 100% 的准确性,还需要持续努力。2)FocusGPT:多轮对话功能灵活且高效。但也不能完全避免模型幻觉和复杂指令的问题。3)Tableau Ask Data:自然语言查询功能实用,不用再费心去写复杂的 SQL 语句。但自然语言处理能力不如一些新兴的 ChatBI 工具,处理复杂查询时能力有限,用户可能需要手动干预。4)Qlik Sense Insight Advisor:通过自然语言处理技术,帮助用户生成洞察报告和数据分析,还能根据数据自动生成分析建议。但在处理复杂指令和确保数据隐私安全方面,仍然面临挑战。5)IBM Watson Analytics:结合了 IBM 强大的人工智能和机器学习技术,支持自然语言查询和高级数据分析,能回答问题、提供数据可视化和分析报告。但实施和维护成本较高,对于一些资源有限的企业来说,可能难以负担。ChatBI 在多轮对话、自定义能力、多端适配等方面具有优势,但也面临模型幻觉、复杂指令执行等挑战。ChatBI 的多轮对话功能可以让用户深入挖掘数据,自定义能力可以让用户根据自己的需求配置知识库、数据源、示例问题等,多端适配可以满足不同角色、不同场景下的问数分析需求。然而,ChatBI 也面临着模型幻觉和复杂指令执行等问题,需要持续优化大模型和符号推理系统,提升查询的准确性和透明性。
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业