1、语料的基本介绍

什么是语料

语料：在机器人中一般是指“知识标题”和“相似问”统称语料（在多轮对话中称为“意图名称”和“用户话术”）

2、语料的整理规范

知识标题和相似问整理规范

知识定位结构——知识标题，需要遵循一定的梳理逻辑：

• 将重点放在常见的用户问题上，在经过预处理的语料中，筛选出用户的真实提问来提炼知识标题；

• 意思相近的提问，如果可以用同一个答案回答，就放到同一个知识点的知识标题和相似标题中；

• 描述简洁，句意完整；

• 根据实际的用户问题颗粒度，把握知识的颗粒度；

• 举个例子：

3、语料的收集来源

4、语料的清洗方法

语料清洗的目的：将所有搜集到的语料进行清洗，语料清洗的目的是将冗长、不符合规范的相似问进行规范化，一边提升识别命中。

• 一条问题中包含多个问句，如问句表达的含义一致，应合并成一条知识标题。反之，应拆分成多条知识标题。

• Case1

• 错误写法：我曾经开通过XXX业务，现在想取消可以吗？

• 原因分析：合并为一条知识标题（合）

• 正确写法：

• 1、XXX业务的取消方法

• Case2

• 错误写法：开通XXX业务有什么方法？收费怎样的？

• 原因分析：拆分为两条知识标题（拆）

• 正确写法：

• 1、XXX业务的开通方法

• 2、XXX业务的资费标准

  
  

• 知识标题中主体部分的信息需要完整，如业务名称。并去掉五十级意义的前缀词和语气词。

• Case1

• 错误写法：我想问一下，怎么办理信用卡，谢谢！

• 原因分析：去掉无实际意义前后缀语气词。

• 正确写法：

• 1、怎么办理信用卡

• Case2

• 错误写法：临时额度调整

• 原因分析：在实际业务中，很多不同类型的银行卡都有临时额度调整，如A卡临时额度调整，B卡临时额度调整。因此需要特别强调“A卡”。

• 正确写法：

• 1、A卡临时额度调整

  
  

5、注意事项

一、语料收集数量

1、建议每个FAQ的标准问有不少于20条符合规范的相似问

2、建议每个多轮对话意图拥有20个以上表述，以及适当配置一些LGF规则

二、语料清洗注意事项

1、语料、相似问不可过长（不建议超过30个字）

2、标题不规范（含有空格、符号）

3、同一标题不能包含多个含义、语义

4、标题语义不完整，需要进行完善

5、语料、标题中剔除含有无意义词语、语气词