How Microchip Uses Memgraph’s Knowledge Graphs to Optimize LLM Chatbots

如何将大型语言模型（LLMs）与知识图谱结合起来？Microchip Technology最近在由Memgraph主持的网络研讨会中强调了这一点。他们演示了Memgraph的知识图如何增强他们基于LLM技术的聊天机器人。本次研讨会侧重于使用检索增强生成（RAG）来优化聊天机器人的互动。这使得聊天机器人更具上下文感知性和响应性。让我们一起探索网络研讨会中的关键见解。

如果您错过了这场研讨会，这里是完整的网络研讨会录音：Microchip Optimizes LLM Chatbot with RAG and a Knowledge Graph。

https://app.livestorm.co/memgraph/microchip-optimizes-chatbot-llm-queries-with-a-memgraph-knowledge-graph/live?s=7e4424a3-a69c-46cd-a67a-e7a27294a566#/chat

精简的视频介绍

讨论要点1：LLMs与知识图谱的整合

LLMs通常仅根据它们接受训练的数据生成响应。这经常导致答案在特定情境中缺乏准确性或相关性，因为它们不考虑实时或特定领域的数据。这就是知识图谱发挥作用的地方。

知识图谱通过提供结构化、互连的数据来解决这一局限性，为LLMs生成的响应添加了真实世界的背景信息。这种整合通过将LLMs基于可验证数据的输出融合，增强了LLMs输出的准确性和可靠性。

讨论要点2：增强RAG技术

RAG通过引入检索阶段改善LLMs的响应，系统在生成响应之前积极搜索并从外部来源（如数据库或互联网）检索信息。
这种方法通过用最新和具体情境的数据丰富LLMs的响应来导致更加详尽和相关的输出。该技术显著降低了生成幻觉的风险。

讨论要点3：通过“权力的游戏”进行实际演示

该演示通过使用《权力的游戏》系列的示例，阐明了独立LLM的响应与使用知识图谱增强的响应之间的差异。

通过利用关于系列角色和情节的复杂关系和数据点，知识图谱增强的LLM提供了更准确和详细的答案。

讨论要点4：在实际商业解决方案中的应用

我们的客人William Firth，Microchip Technology的高级数据科学家，详细介绍了Microchip如何将知识图谱和LLMs从理论或受控场景中的使用，转向将它们应用于实际商业环境。

他强调了一个客服聊天机器人，利用知识图谱快速提供有关客户订单和物流的详细准确信息，提高服务效率和客户满意度。

讨论要点5：自定义LLM实施和数据隐私

为了解决数据隐私问题并改进系统整合，Microchip开发了自己的定制LLM。这个LLM专门定制，可以与他们的内部图数据库无缝互动。

定制LLM使Microchip能够控制敏感数据和流程，确保通过避免依赖像ChatGPT这样的公共API来维护数据隐私，从而确保数据隐私得到保护。

谈话重点 6：可扩展性和运营效率

我们讨论了在业务环境中集成LLMs与知识图谱时，可扩展性是至关重要的。解决可扩展性问题可以确保解决方案在更大的组织结构或更复杂的查询环境中是有效且可行的。

Memgraph处理大量数据节点和关系而不降低性能的能力在应用程序扩展方面起着关键作用。这种能力使得像Microchip这样的企业能够在各个部门和面向客户的应用程序中实施知识图谱增强的LLMs。

学到的经验教训：

• 将LLM连接到图形数据库并构建链/代理是很容易的。

• 搭建私人LLM很困难。

• 此解决方案旨在为最终用户提供更多访问其消费的数据，而不是针对经验丰富的Cypher开发人员。

• Agent是功能强大且灵活的工具。

快速看点：

• 架构的直觉性（以及大小）直接影响您的性能。

• 模板提示效果不错，但有很大的改进空间。

• Text2Cypher 比微调模型慢，但可以实现实时访问数据，无需重新训练/部署。

• 安全考虑 - 分离删除、合并等。

Q&A

为了增加价值，这里是网络研讨会问答环节中提出的一些问题的总结，以及从讨论中得出的答案：

1. 你有看到agent的回复出现失败或幻觉吗？如果你必须给出一个百分比，它会是多少？

威廉：我们并没有看到太多幻觉，至少在最终结果中没有，因为我们生成的是一个Cypher查询。所以这个查询要么运行，要么不运行，要么会给你正确的信息，要么不会。我们经常看到我们生成的Cypher查询有问题，或者它漏掉了问题的一部分。

2. 你是如何克服构建图模型和确保LLM能够有效理解它的挑战的？有关边缘和节点类型以及命名约定准确性的特定障碍吗？

威廉：图的直觉性非常重要，特别是当您试图将这种方法应用于现有的图数据库时，在那里您以前可能不必担心命名约定的直觉性。确保我们的图模型直觉是至关重要的，因为这有助于LLM更有效地理解和与之互动。节点和边的类型化和命名的精度可以显著影响LLM响应的性能和准确性。这一点非常重要，因为它直接影响LLM正确解释和利用图中相互关联的数据的能力。

3. 如果图谱schema超过模型的内容最大标记时，您会如何处理？

威廉：我还没有遇到图谱schema如此庞大以至于超过标记限制的问题。如果是这种情况，您的模式可能太大了，所以我会尝试裁剪它。我不认为本机工具可以做到这一点，但您不一定要将整个模式传递到提示符中。

结论

本网络研讨会侧重于使用知识图谱与大型语言模型（LLMs）相结合，以增强聊天机器人功能的实际实施和优势。我们强调了这些技术如何弥合数据与决策者之间的差距，改善业务流程和客户服务效率。

下一步是什么？

以下是您可以使用Memgraph和聊天机器人快速入门的方法。

1. 安装 Memgraph

2. 安装 LangChain 和相应的客户端库。我们推荐 Python 因为使用简便。

3. 使用 LangChain 初始化 MemgraphGraph 连接

4. 将您的数据导入 Memgraph 并刷新模式。

5. 使用 MemgraphGraph 和 LLM 模型创建 GraphCypherQAChain 来处理您聊天机器人的自然语言查询。

进一步阅读

这里是我们的嘉宾演讲者威廉推荐您使用的构建Chatbot的资源。

• LangChain – Custom LLM

• Memgraph Community Call w/ Brett Brewer

• LangChain has added Cypher Search

• LangChain Cypher Search: Tips & Tricks

• Prompt Engineering Guide