0 写在前面

随着人工智能技术的飞速发展，大模型以强大的数字处理能力和深度学习能力，不断与各领域交叉融合，逐步成为产业创新的关键抓手。2024世界人工智能大会(WAIC)恰逢全球大模型蓬勃发展之时，今年参会的人们更加关注大模型技术在未来可以如何作用于人们的生活。

然而，大模型产业发展如火如荼的同时，其训练数据规模的增长速度跟不上、语料质量参差不齐，尤其是高质量中文语料短缺的问题日益凸显，成为各方关注焦点。阿里研究院5月发布的《大模型训练数据白皮书》显示

高质量数据的生成速度远低于AI大模型训练数据需求量的增长速度，数据短缺问题已初现端倪。本次世界人工智能大会期间，合合信息为中文大模型打造的“加速器”重磅上线，为工业界大模型语料和幻觉问题提供了全新的解决方案。

下面就让我们一起看看吧~

1 高速文档解析引擎：拓宽大模型认知边界

语料即大模型训练所需数据，是大模型训练的基础，也是决定大模型性能和专业性的关键因素。中文高质量语料相对缺乏是国内外大模型面临的共同问题。目前已有的中文语料库不仅规模较小，且其电子化和网络化程度明显不足。

在这种情况下，电子书、报告、论文、报纸等高质量语料对大语言模型训练就产生了重要意义。首先，这些海量的语言数据源提供了丰富多样的文本内容——涵盖了各种领域的知识、专业术语、实际应用场景等，可以使得大语言模型在训练过程中接触到更广泛、多样化的语言表达，提高其语言理解和生成能力；其次，这些语料通常被精心编写、编辑和组织，具有较高的语言质量和结构性。这些文档中的标注、标题、章节、段落等信息可以为大语言模型提供更可靠的上下文提示和语言规则，帮助模型更好地理解和生成文本。因此，通过这类未完全开发的语料进行训练，大语言模型能够学习到不同的语境和用法，更好地理解和应对各种现实世界的语言任务和挑战。

当前，大模型算力算法能力显著提升，进一步发展取决于数据和场景，应构建高质量的数据集。一方面，大模型厂商需要高质量数据支撑，以解“巧妇难为无米之炊”的困境；另一方面，高质量中文语料库的数据拥有者，如拥有各类图书、文献的出版商等，也期望在智能化时代实现数据增值。然而，要推动数据供需双方建立合作并非易事，研究者需要明白：大模型语料处理中的“拦路虎”到底是什么？

答案是：表格、公式、图表等复杂元素的处理，这大大制约了大模型的训练语料处理及大模型文档问答的应用能力。例如文档的多样性和复杂性问题：文档类型和格式繁多，包括报告、合同、发票、证明、证件等等。不同类型的文档有不同的格式和布局，难以用统一的方法处理。而且智能文档处理受到图像质量、文字字体、文字大小、文字颜色等噪声因素的影响，容易出现误识别。此外，还有图像质量不一、文档获取繁琐等等。

本次人工智能大会上，合合信息带来的大模型加速器——高速文档解析引擎，为大语言模型受限于高质量语料版面解析的窘境提供了全新的解决方案，我们先来看一个案例：

前段时间，合合信息发布的文本向量化模型acge_text_embedding（简称acge模型），获得被公认为是目前业界最全面、最权威的中文语义向量评测基准C-MTEB榜单第一的成绩，在文本分类、文本聚类等任务上表现优异，打通了文本嵌入模型领域的底层原理。

acge位居C-MTEB榜首

acge模型，通过多层次的表示学习和信息融合机制，改进了语义表示和上下文感知能力。在问答任务中，这种能力可以帮助模型更好地理解问题和文本，提供更精准的答案，从而真正理解人的意图特性。

acge模型在神经网络广泛存在的灾难性遗忘问题上也做出了贡献。灾难性遗忘指的是随着新任务的增加，先前学习的处理之前任务的能力不应（显著）随时间降低。类比人类的学习过程：人类在不断学习新概念的过程中可能会逐渐忘记一些已学习的概念，但是新信息的学习不会使得人们大量遗忘旧概念，例如人体的体感皮层可以在运动学习期间吸收新信息，而不会破坏先前获得的运动技能的稳定性；当回忆旧概念的时候，人类可以直接调取已学习的知识。

灾难性遗忘最早出现在连接主义网络中，在一定条件下，学习一组新模式的过程中突然彻底地抹去了网络对其已学知识的了解，这种现象称为灾难性干扰，造成这一现象的根本原因就是网络共享一组权重。为了克服灾难性遗忘，学习系统应防止学习的新知识显著干扰甚至覆盖已有的知识。但是，在不针对这一问题改进训练过程的情况下，网络在学习过程随着新概念的学习，必将遭受旧概念的灾难性遗忘。这一问题的存在使得现在常用的人工神经网络等模型无法在常规训练方法下持续不断地学习不同任务的知识，而只能用于处理单一任务。

事实上，灾难性遗忘体现了神经网络的可塑性-稳定性矛盾：可塑性指的是模型学习新任务的能力，而稳定性则是指在更新时保留旧任务知识的能力。完全稳定的模型，可以很好的保留旧任务的知识，但没办法很好的学习新任务，而性能完全可塑的模型，可以即时学习好新任务，但无法很好的保留旧任务的知识。过度关注新任务的性能，必然会使得过去任务的性能下降，反之亦然。因此，如何设计一个能够同时对新输入敏感但不受新输入的干扰，是解决灾难性遗忘问题的关键。

通过引入持续学习训练方式，合合信息acge模型克服了神经网络存在灾难性遗忘的问题，对维护大模型长期记忆并保持其学习能力有着重要意义，推动大模型在多个任务和领域中持续学习和适应。同时，减少反复训练模型的需要，节省大量的计算资源和时间。

3 行业赋能：以百川智能为例

在金融报表、行业报告等高知识密度的文档中，版面包含的信息量巨大，总结来说包含两个关键点：

• 物理版面（Physical Layout）：即文档在视觉上可见的外观和布局，包括页面的大小、页面边距、页眉页脚、文本框的位置和大小等与文档视觉呈现相关的元素。物理版面的分析有助于对文档进行可视化处理、重构和呈现；

• 逻辑版面（Logical Layout），即文档的结构和组织方式，独立于具体的视觉呈现。它关注的是文档中各个元素之间的关系和层次结构，例如标题、段落、列表、表格等。逻辑版面的分析可以帮助系统理解文档的内容和结构，从而进行文本解析、数据提取和语义分析等任务。
  

针对版面分析问题，虽然在近年来在学术界涌现出一批能够取得较好效果的方法，但是仍然在业界难以进行产品化和商业化，实时性模型结构的设计方案缺失、文档的具体内容边界模糊等挑战性难题层出不穷。

挑战与机遇并存。对文档的智能处理的前景非常广阔，应用场景也会不断拓展。举例来说：

本次世界人工智能大会现场，合合信息与百川智能携手，推动复杂专业领域与大模型接轨，促进大模型从“可用”朝着“好用”的水平发展，使大模型能够真正变成赋能千行百业的生产力。

总结

当前，大模型正从通用场景快速拓展到各行业的细分领域，为传统产业插上人工智能的翅膀。从文娱到医疗，从制造到金融，我们已经看到越来越多定制化的行业大模型应运而生，赋能各行业的数字化智能化转型。合合信息带来的大模型加速器方案，为高质量语料数据流通与治理、大模型专业化定制化落地服务等提供了核心驱动力。欢迎各位感兴趣的朋友到textin.com或小程序了解更多关于智能文字识别产品和技术的信息，体验智能图像处理、文字表格识别、文档内容提取等产品。

让我们拭目以待，期待合合信息在模式识别、深度学习、图像处理、自然语言处理等领域的持续深耕，用技术方案惠及更多的人！