大语言模型(Large Language Model，LLM [1])具有完备的世界知识，通过有监督指令微调和人类反馈强化学习[2]的加持，自然语言精准理解和推断能力得到极大加强，使得模型具备零样本交互能力。搜索广告投放方式和引擎链路依托于自然语言构建，可以借助大模型强大的生成能力进行改造，在不损失用户体验的前提下，极大的提高系统变现能力的天花板。

2023年，LLM兴起之初，为了快速验证大模型应用潜力，在不改变当前搜索广告引擎链路和客户投放模式的情况下，我们在多个环节开展了预研和实验工作，将LLM直接以萃取蒸馏的方式应用在现有召回和相关性计算模块中，ABTest并取得显著收益。

2024年，在有了LLM在搜索广告应用经验之后， 我们决定对现有召回系统进行改造重塑，以端到端在线生成式召回方式替换原有的部分多个级联模块，提升链路效果进而增加广告收入，ABTest取得非常显著的收益。接下来，我们将详细介绍下LLM在搜索广告的探索应用历程。

搜索广告引擎链路设计成多模块级联方式，以实现系统性能和效果的平衡。召回模块是搜索广告引擎中的一个关键环节，它的主要作用是从海量候选中快速地筛选出与用户查询相关的广告。同时，引擎系统需要相关性过滤模块，来保证用户搜索体验。

在召回和相关性服务中，主力模型以类Bert模型为主，在线实现query和广告的匹配与过滤。LLM因参数量过大，在23年时还无法直接应用于线上来提升广告收益。为此，我们借助LLM对query和广告进行理解，生成查询意图和多个广告营销意图，从而萃取蒸馏Bert来提升引擎匹配效果，具体方式如下图。

为进一步发挥LLM在召回侧的作用，我们设计了一套端到端的召回模型，可以根据用户请求query直接生成广告， 简化链路提升召回效果。整体架构图如下所示

生成式召回模型的上线，要依赖于召回架构的升级改造，主要分两个阶段。首先将在粗排模块中的标题优选和相关性服务前移至召回模块，其次利用LLM生成式召回模型取代标题优选和相关性服务，生成式召回服务可以直接给出合适的广告，下面分别从召回架构升级、生成式召回模型和LLM推理服务三方面进行介绍。

为了适配LLM生成式召回技术的演进，我们需要重新梳理召回架构，完成大规模重构升级，建立起一套高效的统一召回架构。

统一召回架构的定位是直接输出带标题且满足相关性要求的广告。首先，把粗排阶段的标题优选和相关性服务前移至召回阶段，这样既可以将传统召回和生成式支路并行，又能为生成式召回腾挪更多的时延。生成式召回支路基于大模型直接生成带标题的广告，架构采用在线推理和离近线相结合的方式，头部高频query使用离线大尺寸模型（13B）进行近线KV缓存，长尾部分请求走小尺寸（1B）模型实时计算。

虽然大模型具有很强的文生文能力，但直接应用并不能获得很好的效果，需要结合搜索广告的业务特性，深度定制模型。

在海量搜索广告领域数据中，精选高价值、有代表性商业数据构建领域知识，对混元通用LLM底座进行知识注入，以提升混元模型对商业内容的理解能力。具体的，领域数据的构建主要来自于用户查询词、投放客户的经营范围以及结构化的log日志，同时我们也混入了一些百科数据防止增训过程导致LLM对通用知识产生灾难性遗忘。

在搜索广告的业务场景下，领域基座模型能带来的优势包括：

以“海马体”这个query为例， 对比知识注入前后query理解差异。未经过知识注入的模型（混元13B-Dense），仅能识别海马体是人体器官组织；而知识注入后，模型可以理解海马体是一家照相馆品牌，可以触发高商业价值的广告。

完成了知识注入后，针对query生成标题的任务，我们精选高质量人工标注和用户反馈数据精调LLM，并通过Direct Preference Optimization(DPO)[3]的方式让模型感知高商业价值的广告。

与业界多使用ID类特征（例如DSI[4]，Tiger[5]等）表征广告不同， 搜索场景具有明确的query输入序列，而推荐类需要先将用户画像等信息转为语义ID序列，再使用生成式模型进行训练。使用标题文本表征广告，可以实现新广告快速更新、有效利用LLM的推理能力以及具有可解释性等优点。

以“棚户区住房”的请求为例，生成式召回方案，在保证生成结果准确的前提下，也提升了广告召回的多样性。如下表，生成的广告标题覆盖房屋租赁、买卖、装修、拆迁、改造等多样化需求，而传统召回策略（BM25, Bert等）只能覆盖房屋租赁、房屋买卖的广告。

受限解码推理：为保证生成标题在预定义广告集合中， 我们开发了一套基于CUDA版本的beam-search受限解码策略，并将其与LLM推理过程进行集成，以实现beam size个业务点的并行生成，有效提高解码效率，实现LLM实时推理。

受限解码优化：在受限beam search框架中引入阈值截断功能，允许丢弃得分较低的单个token以提高模型输出的准确性，并设计diversity beam search[6]，从而有效提升了生成业务点的多样性。

当前业界vLLM[7]、TensorRT-LLM[8]等各大LLM推理引擎均提供了Beam Search解码策略，但都无法支持受限解码的业务需求。所以，我们与混元团队合作共建，基于混元AngelHCF（Angel High-performance Computing Framework）开发落地支持受限解码的LLM实时推理服务。为了能够在搜索广告业务上实线在线推理，需解决以下两个问题：

1. 输出范围限制：大语言模型输出 Token 覆盖整个词表，为了避免幻觉现象对广告效果的影响，在生成式召回场景需实现受限解码，将输出限制在候选广告内。

2. 性能优化：广告场景使用 Beam Search 生成候选广告，相比于传统 LLM 应用场景，具有计算量更大，延迟要求更高的特点，为了实现高吞吐，需进行极致性能优化。

随着大语言模型（LLM）兴起至今，我们不断探索利用大模型来提升搜索广告的匹配能力，并取得显著收益。后续将在领域模型、强化反馈和融合索引生成等多方面继续研究与应用。