LLM 驱动前端创新：AI 赋能营销合规实践

引言

自从OpenAI在22年年底发布GPT-3.5 大型语言模型（LLM）以来，LLM正在快速的进入各个领域，但是部分前端开发同学产生了一个误区，认为LLM是后端或者AI工程师的事，与咱们前端开发无关。

笔者认为，咱们前端开发作为用户直接交互的关键环节，是比较容易发现业务痛点的，这正是我们运用LLM技术解决问题的优势所在。

下面是从实际业务场景出发，探讨 LLM 在前端开发中的实践应用。

发掘业务痛点

在货运微信小程序运营过程中，曾多次因营销文案不符合微信平台规范，导致分享功能受限，甚至影响微信搜索曝光，直接阻碍用户增长和订单转化

通过历史案例分析发现，活动参与人数超出限制、诱导下载行为等是最常见的违规类型。而LLM恰好具备出色的语义理解和多模态识别能力，因此我们尝试利用该能力对营销素材做前置的检测，提前识别并规避潜在的风险，从而降低违规风险

LLM 驱动的合规检测方案

方案架构

我们构建了一套基于 LLM 的智能合规检测系统，包括以下核心流程：

1. 1. 文本合规检测：LLM 解析营销文案，识别活动参与人数、诱导下载等是否违反微信的运营规范。
2. 2. 图片合规检测：借助多模态 LLM 识别营销图片中的违规元素。
3. 3. 前端集成：在活动配置页面提供 AI 检测功能，运营人员提交文案后，系统自动检测并通过飞书机器人反馈异常素材。

提示词（Prompt）优化

合理设计提示词对 LLM 识别和优化文案至关重要，优化关键点包括：

• • 任务描述清晰：确保 LLM 准确理解目标，减少误判。
• • 合规标准明确：提供具体的微信运营规范，减少误报和漏报。
• • 输出格式结构化：使用 JSON 结构输出结果，便于前端解析。
• • 示例引导优化：提供违规与合规的示例，提升 LLM 处理准确性。

以微信合规检查中的【滥用分享行为^[1] - 组队分享人数过多】规则为例，分析得出该规则的要求：参与人数不得超过 5 人，邀请人数不得超过 4 人。

基于这些关键点，我们来编写 Prompt。

可以通过 LangGPT 生成初版提示词，然后在该基础上进行迭代优化

1. 1. 月之暗面 Kimi × LangGPT 提示词专家: 传送阵^[2]
2. 2. OpenAI 商店 LangGPT 提示词专家：传送阵^[3]

模型选择与测试

在 LLM 方案落地之前，选择合适的模型是至关重要的一步。正确的模型选择不仅能够提升检测准确率，还能有效控制成本，提高系统的稳定性和可靠性。

评估标准

选择 LLM 时，需要综合考虑以下因素：

• • 准确性：模型能否精准识别违规内容，减少误报和漏报。
• • 成本控制：不同模型的 API 调用费用差异较大，需要在性能和成本之间找到平衡。
• • 合规性：确保模型符合数据安全等要求

测试方法

为了选择最优模型，我们可以采用类似 Jest 测试的方法，进行标准化评测：

• • 构建测试集：收集 20-30 个具有代表性的案例，涵盖常见违规和非违规文案和图片。
• • 多模型对比：将测试集输入不同LLM（自己可选择各个大厂的模型）的调用服务上进行分析。
• • 结果评估：比较各模型的输出结果，与期望输出结果的准确度做对比
• • 最终决策：综合准确度和成本，选择最优模型。

为了方便批量测试不同 LLM 的准确度，我借助 AI 开发了一个测试页面。该页面为每个数据集设置了期望值，并对比各 LLM 的输出结果与期望输出的匹配度。

技术上主要是大厂 LLM 的调用和数据解析，这里我重点展示测试页面的交互部分。

前端集成

前端集成主要包括两部分：一是将运营素材输入预先设定的 Prompt，让 LLM 进行检测；二是通过飞书机器人将异常素材反馈给对应的运营人员。

检测的核心代码

这部分代码可以参考各大厂的 API，调用方式基本遵循 OpenAI 的协议，各大厂之间并无差别。

飞书机器人通知

这块主要涉及两个，一是创建机器人，二是创建消息卡片并与机器人绑定

我将对应的文档贴在这里，有兴趣的小伙伴可以自行了解。创建机器人^[4]、创建卡片^[5]

实践效果

自该方案上线一周以来，已成功拦截多起潜在违规案例。同时，该方案还推动了运营规范在公司各业务线的标准化落地。

挑战与优化方向

尽管LLM在运营规范中能降低违规风险，但是实际应用中也面临一些挑战，比如，LLM 的模型输出可能存在一定的不确定性和偏差，需要我们进一步优化提示词，提高检测准确性和可靠性；再比如，提示词的迭代如何确保历史检查的准确度是否受到影响等。

思考

在违规检测这个案例中，我们采用'三步走'的方法，第一步要关注业务，发掘业务中存在的痛点；第二步，分析痛点，探索如何借助 LLM 解决问题；第三步，验证可行性，并推动方案落地。

对于研发而言，前端开发是最贴近用户的一环。我们不妨从使用者的角度出发，主动挖掘业务痛点，并结合‘三步走’方法，借助 LLM 在语言理解与推理方面的优势，来优化产品体验，解决产品问题。

例如，当用户在文本输入框中输入文案时，LLM 可基于用户提供的内容或背景，智能生成更优质的文案，这不仅提升了用户体验，也为业务增长贡献了力量。

结语

希望这篇文章能为前端开发者提供新的思路，让 AI 更好地赋能业务，创造更大价值。