系统中有6个关键模块，包括（1）网页处理，（2）属性预测器，（3）数值计算器，（4）大语言模型知识提取器，（5）知识图谱模块， (6)推理模块。我们通过这些模块增强了系统在信息提取、减少幻觉、数值计算精度、高阶推理等方面的能力。此外，我们还对极端情况进行了特殊处理。

1. 网页处理：使用Trafilatura和BeautifulSoup提取网页上的文本块和表格，并使用Blingfire将文本分句。文本块根据启发式规则进行分组，表格转换为Markdown格式。
   
   
2. 属性预测器：开发了属性预测器，评估每个问题的类型和事实变化率，以优化所有问题类型的性能。使用了上下文学习和支持向量机（SVM）两种方法进行分类。
3. 数值计算器：通过提示技术鼓励大型语言模型生成有效的Python表达式，并将实际数值计算任务委托给外部Python解释器。
4. LLM知识提取器：开发了LLM知识提取器，利用大型语言模型的知识丰富的响应作为参考材料，增强推理能力。
5. 知识图谱模块：使用手动规则从查询中提取实体，并生成查询。由于时间和资源限制，最终版本回归到基线方法。
6. 推理模块：设计了提示模板，让LLM从所有参考材料中进行推理，得到最终答案。控制了推理路径和输出格式，并处理了许多角落案例。
   

• 无效问题。有些问题的前提是错误的，这意味着查询与事实相矛盾。对于这些问题，模型应该输出“无效问题”。为了识别此类问题，模型需要仔细分析所提供的参考文献。我们在附录C.5所示的推理提示中添加特殊规则
• 减少幻觉。我们采用两种方法来减轻幻觉：属性预测和推理。我们发现，时变问题（被属性预测器标记为动态)对于我们的系统来说很难，我们没有足够的时间和资源来改进它们。所以我们手动让系统对这些问题回答“我不知道”。此外，我们在推理模块中添加了一些规则和提示工程技术，让模型在不确定时回答“我不知道”。最终，我们将系统配置为专门输出“我不知道”，并且在初始响应中包含“我不知道”时避免添加任何其他单词。
• 格式不正确。由于我们没有对推理输出进行约束采样，因此模型有可能输出无法解析的答案。为了处理这种情况，我们设计了一个备份摘要代理，在解析失败时根据推理模块的输出准确、简洁地总结最终答案。

03

不足与建议