微信扫码
与创始人交个朋友
我要投稿
机器之心编辑部
让模型知道自己擅长什么、不擅长什么是一个很重要的问题。
我们遵循的原则是,后训练应使模型「知道它知道什么」,而不是增加知识。我们的主要方法是生成数据,使模型生成与预训练数据中的事实数据子集保持一致。为此,我们开发了一种知识探测技术,利用 Llama 3 的 in-context 能力。数据生成过程包括以下步骤:
1、从预训练数据中提取数据片段。 2、通过提示 Llama 3 生成一个关于这些片段(上下文)的事实问题。 3、采样 Llama 3 关于该问题的回答。 4、以原始上下文为参照,以 Llama 3 为裁判,评估生成的回答的正确性。 5、以 Llama 3 为裁判,评估生成回答的信息量。 6、对于 Llama 3 模型在多个生成过程中提供的信息虽多但内容不正确的回答,使用 Llama 3 生成拒绝回答的内容。
我们使用知识探测生成的数据来鼓励模型只回答它知道的问题,而拒绝回答它不确定的问题。此外,预训练数据并不总是与事实一致或正确。因此,我们还收集了一组有限的标注事实性数据,这些数据涉及与事实相矛盾或不正确的陈述。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-19
o1发布后,信息量最大的圆桌对话:杨植麟、姜大昕、朱军探讨大模型技术路径
2024-09-19
杨植麟、姜大昕、朱军云栖激辩:我们对大模型发展的预测,都过于保守了
2024-09-19
大模型Agent:人工智能新前沿的深度解读
2024-09-19
LlamaIndex报告:未来Agentic App,不仅是RAG
2024-09-19
从案例分析到客户沟通:AI提示词如何优化律师工作流程?
2024-09-19
o1 能带我们走进 AGI 吗?
2024-09-19
端到端的 NL2SQL 引擎: Super-Analysis 震撼来袭,一个不同于市面已有产品的存在
2024-09-19
解锁医疗新未来:Sunsimiao-7B 中文医疗大模型震撼登场
2024-07-18
2024-03-30
2024-04-26
2024-04-11
2024-05-06
2024-06-12
2024-07-09
2024-05-09
2023-07-01
2024-07-25
2024-09-19
2024-09-19
2024-09-19
2024-09-19
2024-09-18
2024-09-18
2024-09-18
2024-09-18