支持私有化部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


浅谈大模型时代的谣言治理:挑战、对策与中外实践对比

发布日期:2025-04-12 05:02:22 浏览次数: 1704 作者:模安局
推荐语

在大模型时代,谣言治理面临前所未有的挑战,本文全面探讨了中外在技术、政策、社会治理等方面的实践与对策。

核心内容:
1. 大模型时代谣言传播的新特点及风险
2. 国内外在AI辅助谣言检测、辟谣方面的技术手段对比
3. 政策监管、社会治理在谣言治理中的作用与挑战

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家


00

引言

在大模型广泛应用的背景下,谣言传播迎来了新的挑战和风险。
一方面,社交媒体和通信平台上的虚假信息早已是全球性难题,新冠疫情期间就出现“信息疫情(Infodemic)”现象,80%的网民曾接触过有关疫情的假消息
另一方面,生成式AI极大降低了造谣成本,提升了造假逼真度。过去人工杜撰假消息往往漏洞百出,而现在大模型可以“专业”地编写包含完整5W要素的假新闻并自动生成逼真的配图,使得谣言更具迷惑性
例如,2023年5月一张利用AI合成的“五角大楼爆炸”假图在推特上传播,甚至一度引发美股短暂下跌[1];又如中国甘肃一网民使用ChatGPT编造火车事故假新闻并在网上传播,造成数万人次阅读,被警方以新颁布的AI深度合成法规拘留查办[2]
世界经济论坛将错误和虚假信息列为2023年全球五大风险之一,足见大模型时代谣言治理刻不容缓。
本文将从技术手段产品设计政策监管社会治理四方面,系统对比国内外在谣言治理上的实践,总结大模型带来的新增风险及应对措施,并剖析典型案例。
01

技术手段:AI辅助谣言检测与辟谣

▎国内技术手段
我国高度重视运用人工智能技术来辅助谣言治理。一方面,社交平台和官方辟谣机构开发了文本挖掘和机器学习模型对海量信息进行筛查,识别潜在谣言。
比如,全国辟谣平台就集成了多家辟谣数据库[3],并利用AI自动比对网民举报的信息,判断其真伪一些研究机构也构建了结合内容、传播模式、用户信誉等特征的谣言检测模型,提高检测准确率。
另一方面,对于AI生成的合成内容,我国也在探索多模态检测技术,例如通过图像取证算法识别AI合成图片的瑕疵和水印,以及训练模型发现AI文本特征。
实际效果表明,AI技术能够在海量信息中高效捕捉可疑内容,如新冠期间国内平台借助算法删除了数百万条不实帖文。不过,模型也面临误判和对抗样本等挑战,需不断升级迭代。
与此同时,国内也在研发自动辟谣与回应工具。部分权威辟谣平台会针对传播中的热点谣言自动生成辟谣文章或图解,通过弹窗、公告等方式广而告之。还有研究尝试让聊天机器人根据事实库对用户的疑问实时给出辟谣答复。
例如,微信“辟谣助手”小程序允许用户提交可疑信息,系统自动匹配权威信息并反馈真相。总体来看,国内倾向于由官方牵头,利用AI提高谣言监测的覆盖面和响应速度,实现谣言的“早发现、早处置”。

国外技术手段
国外同样依赖AI来应对虚假信息,但更强调技术的辅助作用而非完全替代人工。
大型科技公司投入大量资源开发内容审核算法,Facebook、YouTube等使用机器学习模型对帖子、视频进行扫描,检测仇恨言论、虚假消息等并标记或删除。
尤其在重大公共事件和选举期间,这些平台会启用强化的AI过滤,迅速拦截已知谣言模式。
研究表明,先进的AI系统可以通过分析语言模式、传播行为来识别不实信息,从而辅助内容审核和事实核查。
例如,世界经济论坛报告指出,AI不仅是制造深度伪造的帮凶,也可通过模式识别和语言理解来侦测虚假信息并协助审核。
此外,许多第三方机构和学术团队也开发了自动化辟谣工具。英国FullFact等事实核查组织利用AI抓取社交平台上的海量帖子,自动比对其中的可疑论断与事实数据库,提示人工核查人员关注。
在选举等敏感时期,AI还能帮助分析海量社交媒体内容,及时发现谣言传播源头和传播路径,供平台采取针对性措施。
值得注意的是,一些国家探索利用水印和指纹技术来溯源AI生成内容,以技术手段防范谣言。
比如,美国OpenAI等公司承诺研发AI输出内容的水印标记,欧洲也在推动制定检测和标记合成媒体的标准。不过目前水印检测仍有局限,仍需配合人工举报和专业机构的鉴别。
总体而言,国际上倾向于让AI作为“助手”——批量甄别可疑信息、提供证据线索——再结合人工专业判断,提高辟谣效率
02

产品设计:限制谣言传播的功能机制

国内平台设计
中国各大社交平台在产品功能上采取了多种策略遏制谣言传播。首先是标识和提示机制。
新浪微博等平台会对经核实的谣言内容打上醒目的“谣言”标签或附上官方辟谣链接,提醒用户谨慎辨别;
微信则在近期发布新规,要求自媒体公众号对内容来源和真实性进行显著标注,例如涉及时政新闻必须注明信息来源,使用AI合成或虚构情节的内容必须明显标明“AI生成”或“演绎”标签。
对于未标明来源且易引发误解的帖子,微信将弹出“未呈现可信消息来源,请注意甄别”的提示,敦促创作者澄清并提醒读者小心核实。这一系列强制标注措施在国内平台形成了对不实信息的前置警示。
其次是传播权限限制。当某条内容被判定为谣言或高疑似谣言时,国内平台往往会降低其可见度,限制转发和分享功能。
例如,微博曾规定造谣帖文不可转发或推荐;微信朋友圈对疑似谣言的文章限制传播,同时在聊天转发时弹出辟谣提示。
平台还建立了快速下架机制:一旦权威部门(如网信办、公安网安)通报某信息为虚假,平台会立即屏蔽相关帖文链接,防止进一步扩散。
再次,国内平台注重辟谣内容的嵌入。如抖音、快手这类视频平台在搜索热点谣言关键词时,会优先推送央视、新华社的辟谣短视频或权威解释,使用户获取真相。
总的来说,国内平台通过标签警示+转发管控+权威信息导流等产品功能设计,形成对谣言传播的多层遏制。尤其在大模型时代,平台也在升级功能,如研发AI生成内容的识别标记系统,对AI合成的视频、图片自动加注来源水印,提示“此内容由AI生成”以免误导受众。
国外平台设计
海外社交媒体在遏制虚假信息方面也推出了多样的产品功能,注重提高信息透明度和减少误导性传播。一个重要手段是内容标签与警告。
Twitter(现X)等在2020年前后对经核实有误导风险的推文加注“Misleading(误导)”标签,并附上感叹号警示标识。严重误导性的内容(例如关于疫苗的谣言)还会被附上红色警示,此类推文将被禁止回复、点赞或转推,以最大限度降低传播影响。
Facebook则在帖子下方显示第三方核查机构的事实核查结果和说明,标明“此信息不实”,并限制其算法推荐。
YouTube在与公共议题相关的视频下方设置信息面板,提供来自维基百科、世卫组织等可信来源的简介链接(例如关于新冠的科普链接),为用户提供内容的背景知识,防止谣言断章取义[4]
同时,用户参与的注释机制逐渐兴起。Twitter推出了“社区备注(Community Notes)”功能,允许有资质的用户给有争议的推文添加事实核查附注,上下文说明会对所有用户可见,以群体智慧纠偏谣言。
这类似于微博正在内测的“附注”功能,由用户提交事实考据来补充帖子背景,实现去中心化的内容校验。
另一项关键设计是传播控制。针对私密通讯应用WhatsApp上谣言易爆炸式扩散的问题,WhatsApp在全球将消息转发上限设为5人次,从技术上阻断链式传播。
研究显示,将群转发上限从原先的20降低到5后,信息扩散速度减缓了一个数量级,80%的消息在两天内就停止传播。这证明简单的产品改动(如增加转发摩擦)就能明显遏制谣言蔓延。
面对生成式AI带来的内容真伪难辨,各大国际平台也在加强透明标记。TikTok宣布对使用AI生成的内容统一加贴“AI生成”标签,特别是针对非本平台制作上传的视频,检测到AI痕迹即自动标识。
TikTok解释称,AI带来创意的同时也可能误导用户,不知情情况下容易信以为真,因此明确标注有助于观众理解内容背景。
同样,Meta公司(Facebook母公司)表示将与行业合作制定图像和视频的AI内容识别标准,未来Facebook和Instagram上由AI制作的图片会直接标明来源。
这些设计在前端界面就提醒用户,从而提高内容可信度辨别。
总的来说,国外平台侧重通过信息标识用户提醒传播限流等方式来“减速”谣言,在保障言论空间的同时尽量减少虚假信息对公众的危害。平台也在积极引入内容溯源技术(如数字水印Content Credentials),希望从内容制作环节就注入可信凭据,在各个平台间传递,从根本上解决AI谣言的鉴别难题。
03

政策监管:法律法规与监管策略

国内监管政策
中国对网络谣言一直采取高压严管态势,并与时俱进出台新规应对AI生成内容带来的挑战。在法律层面,《治安管理处罚法》《刑法》等对编造、传播谣言危害社会秩序的行为规定了处罚措施。
2013年“两高”司法解释明确:网络谣言被点击浏览超过5000次或转发超过500次,即可按诽谤论处,情节严重者可判刑入狱。因此“大V”造谣往往触及刑责,起到了强力震慑作用。
2018年,中央网信办联合新华社上线了全国辟谣举报平台“辟谣”,整合了40多个地方辟谣渠道,接受公众举报、统一辟谣信息,并运用AI识别谣言线索。
“辟谣平台”的上线体现了我国以官方平台为枢纽的治理模式:一方面畅通民众举报和获取真相的渠道,另一方面由党委宣传和网信等部门统筹协调各方力量及时处置谣言。官方宣传也强调谣言的社会危害,如扰乱社会秩序、引发恐慌、侵害他人名誉等,营造“造谣可耻、传谣可罚”的舆论氛围。
针对生成式AI的监管,中国走在全球前列。2023年1月,《互联网信息服务深度合成管理规定》正式施行,俗称“深度伪造管理规定”。该规定明确禁止利用深度合成技术制作传播虚假新闻等违法信息,要求使用AI生成内容需显著标识,并不得用于危害国家安全、损害公共利益等目的[5]
这部法规是全球首批专门针对AI合成内容的监管法令,为打击AI谣言提供了法律依据。实际上,上文提及使用ChatGPT造假火车事故的网民,就是依据此规定被采取刑事强制措施。
此后,国家网信办又发布《生成式人工智能服务管理暂行办法》(2023年8月实施),要求提供生成式AI服务的企业落实内容安全主体责任,确保AI不生成违法和虚假信息,并建立用户实名和数据留存制度。当AI输出可能违规时必须及时采取过滤、拒绝等措施。这一系列政策为大模型应用划定红线,倒逼厂商在模型训练和调用层面加入防谣言的对策[6]
另外,网信部门还发布了《人工智能生成内容标识管理办法》,进一步细化了AI内容标识的标准和技术要求。尽管规定细致,但现实中全面落实仍有难度,一些平台对AI内容的提示不明显或审核滞后,使虚假信息有空子可钻。因此监管机构也在不断督促平台强化技术能力和执行力度,真正做到“生产有标识、传播可溯源”[7]
国外监管政策
相比之下,西方国家在谣言治理上更多依赖平台自律和行业规范,政府直接立法干预较为谨慎,主要出于言论自由保护的考虑。
然而,随着假消息对公共安全和民主选举的威胁加剧,各国也开始制定针对虚假信息和AI内容的政策框架。欧盟是其中的先行者之一。
2022年通过的《数字服务法案》(DSA)要求超大型在线平台(45百万以上用户)必须建立遏制虚假信息传播的机制,包括风险评估、与独立机构合作审核内容等,否则将面临高达全球年营收6%的巨额罚款,甚至在欧盟境内被禁用[8]
这一法律于2023年正式生效,对于社交媒体、搜索引擎等提出了法律义务,标志着欧盟将打击网络虚假内容纳入了强制监管范畴。
与此同时,欧盟更新了其《打击虚假信息行为准则》,这是自愿性质的行业承诺文件。新版准则特别增添了针对深度伪造和AI生成内容的条款,签署的科技企业需承诺明确标识合成媒体,不得利用AI制造虚假账号和信息干扰公众舆论。虽然准则本身不具法律约束力,但结合DSA的强制报告要求,实际形成了对平台的不间断监督。
在美国,政府并没有专门的“反谣言法”,主要依托于互联网公司自行制定的社区准则来处理虚假信息。不过,近年来美国政府也日益关注AI深度伪造的风险,采取了一些软性监管举措。例如,2023年10月白宫发布《人工智能安全行政命令》,其中要求商务部制定内容认证和水印标准,鼓励AI生成内容在产生时即打上标记。
此前7月,白宫已与多家AI头部企业达成自愿承诺,要求它们研发技术手段(如水印)标识AI产出,主动分享AI安全测试结果等。另外,在选举相关方面,美国少数州立法禁止发布针对候选人的深度伪造音视频(在临近选举时段),若违反可追究法律责任。这表明西方也开始精准立法应对AI谣言在选举、金融等特定领域的危害。
总体上,国外更倾向于通过行业规范+平台自治来治理谣言,法律主要在边界条件下约束最恶劣的造谣行为(如诽谤、选举操纵等)。但随着大模型使虚假信息“武器化”的可能性上升,欧美监管者也在探索更积极的干预,如英国《网络安全法案》最初计划要求平台限制危害社会的虚假内容(尽管最终版本有所妥协)。各国政府还加强了与科技公司的对话合作,敦促其提高算法透明度、支持独立研究评估谣言传播的影响等,以形成协同治理。
03

社会治理:公众教育与第三方力量

国内社会治理
在官方和平台之外,中国的谣言治理还依靠公众教育和各类社会力量。政府相关部门和媒体持续开展“提升全民媒体素养”宣传,通过公益广告、科普文章等提醒公众“不信谣、不传谣”。中小学和高校的课程也开始涵盖网络素养教育,培养学生辨别网络信息真伪的能力。
另一方面,各级政府和公安机关的官方账号(如各地网警巡查执法账号)会及时发布辟谣信息,澄清网络传言。例如地震、疫情等突发事件后,权威部门通常几小时内就在微博微信上开设辟谣专栏,逐条澄清流传的谣言,以正视听。
国内还涌现出不少专业辟谣团队和栏目。新华社、人民日报等中央媒体开设了辟谣平台或专页,集中发布权威辟谣信息。在地方层面,各省市宣传部门指导主流媒体运营“XX辟谣”公众号或网站,与属地网信办配合治理本地谣言。
可以说,中国已经形成从中央到地方、从媒体到群众的辟谣网络。公众也逐渐养成习惯:当遇到可疑消息时,上“新华社辟谣平台”等查询真相,再决定是否转发。这种官方牵头、全民参与的模式在疫情等重大事件中发挥了重要作用,大幅减少了谣言的生存空间。
值得注意的是,随着AI谣言增多,国内社会也出现对“AI污染”的警惕和讨论。一些科技向自媒体开始科普如何鉴别AI合成的图片和视频,例如通过细节破绽识别假图等,提高网民自我防护能力。
同时,有民间志愿者组织在社交平台上自发辟谣。一些热心网民组成“辟谣联盟”,看到谣言就主动@官方辟谣账号或贴出权威来源链接加以反驳。这种群众纠错在国内虽不是主流,但也体现了一定的自净能力。
总体而言,中国的社会层面辟谣以权威机构主导为主,辅以教育和民众举报,实现了谣言治理的广覆盖
国外社会治理
在国际上,社会层面的谣言治理更多依赖独立的事实核查组织和媒体素养建设。诸如PolitiFact[9]、Snopes[10]、FactCheck.org[11]等事实查核网站在西方广为人知。
这些第三方机构常由新闻界或学术机构发起,遵循公开的证据和评判标准,对政治言论、网络谣言进行打分和评述,并公开发布详细的核查报告。它们在揭露谣言、提供可信解释方面扮演了重要角色。
例如,美国的PolitiFact自成立以来已发表上万篇对公众关心论题的真假判定报告,被社交媒体广泛引用;非洲的Africa Check则针对当地流行的网络传言,用多语言进行事实核对,提升了非英语圈国家的谣言应对能力。
大型社交平台也与这些机构合作,如Facebook曾与全球50多家事实核查组织合作,对标记可疑的帖子由后者来核实,一旦判定为假则在平台上打上警示标签并减少推送。
除了专业核查,媒体和NGO的公众教育也是重要一环。许多国家推行了媒体素养(Media Literacy)项目,教导公民如何质疑网络信息、查证来源。
例如,欧盟启动了针对中学生的数字素养课程,提高青少年对网络谣言和深度伪造的防范意识;加拿大等国的公益机构制作了简明指南,提醒公众注意标题党、求转发的信息往往是不可靠的。事实表明,提高受众辨识能力,被视作治本之策,可以从需求侧减少谣言的市场
此外,国外也存在社区驱动的辟谣努力。例如在Reddit等论坛上,有专门板块让用户求助核实图片或消息的真伪,志愿者们会利用开放信息来源进行调查反馈。Twitter上的许多用户也自发充当“事实纠察”,对热门谣言贴出证据反驳。
在新冠疫情期间,各国还成立了官方-民间合作的疫情谣言追踪项目,如WHO与各国专家合作建立了COVID-19谣言数据库,供媒体和公众参考。国际组织层面,联合国教科文组织(UNESCO)牵头成立了国际事实核查网络[12],定期发布全球谣言治理报告,分享各国经验。
总的来说,国际社会治理强调多元参与:媒体、NGO、学者、普通公民共同组成生态,一方面压缩了谣言生存土壤,另一方面也监督政府和平台,防止以治理谣言之名妨碍言论自由,力求在信息自由流动与真实性之间取得平衡。
04

大模型时代的新增风险与应对措施

大型语言模型等生成式AI的普及,为谣言治理带来了新的风险挑战,同时也催生了相应的对策创新。
首先,风险主要体现在:
1)造假门槛大幅降低
不法分子利用大模型可以批量生成高仿真的虚假文本和合成媒体。例如我国查处的南昌某MCN机构,借助AI每日炮制4000-7000篇包含配图的假新闻帖文,流量变现收入高达日赚万元。这一“AI水军”现象表明谣言生产已进入工业化,大规模信息污染成为现实威胁。
2)谣言迷惑性增强
大模型生成的内容在语法、逻辑、视觉效果上更具迷惑性,不易被普通网民察觉破绽。例如AI可以模仿官方措辞撰写假通告、伪造新闻报道格式,甚至根据真实人物照片生成逼真的伪造视频,让谣言“有图有真相”,更容易以假乱真地传播。
3)传播速度更快
借助社交机器人和算法推荐,AI生成谣言可以在极短时间内分发到众多平台和群组,形成闪电扩散。在资本市场、公共安全等领域,瞬时爆发的假消息可能造成难以挽回的冲击(如前述假爆炸图引发股市波动的案例)。
4)溯源打击难度加大
AI谣言往往由匿名账号散布,内容高度定制多变,传统基于关键词和固定模式的筛查方法受到挑战。尤其深度伪造的视听内容,可能逃过现有鉴别系统的法眼,在社交平台跨平台传播,增加了监管部门取证溯源的难度。
针对上述新风险,国内外也在积极探索对策。
技术方面,研发AI鉴别AI的工具成为重点方向许多顶尖实验室正攻关更高级的谣言检测算法,包括利用深度学习模型识别AI生成文本的细微统计差异,应用区块链等技术追踪内容来源,以及构建跨媒体的检测框架同时分析文字与图像一致性。
一些初步成果已投入使用:比如微软开发的文本纠错AI--"Correction"可标记出聊天机器人输出中的不实信息供审核人员参考;又如有研究利用GPT模型本身来复核社交媒体谣言的可信度,发现大模型在某些受限领域可以辅助判断但仍需人工确认[13]
image.png
水印和数字签名也被寄予厚望,在政策和行业合作推动下,像TikTok采用的Content Credentials这样在内容文件元数据中嵌入生成信息的方案开始普及。这类方案有望让各平台自动识别出AI内容并打上标签,从源头削弱AI谣言的欺骗性。
平台方面,则在升级现有治理机制以应对AI谣言。国内平台正加强与科研机构合作,提升AI内容实时检测拦截能力,并针对AI谣言制定专项处置流程,如开启辟谣加速通道(一旦怀疑为AI假消息则优先核查处理)。
国际平台则推进更严格的验证和提示:例如要求政治广告或新闻类账号标明真实身份,防范AI马甲号;遇到引发热议的突发消息,第一时间由官方账号发布澄清说明(如前述五角大楼谣言中,当地消防部门立即在推特声明澄清);在搜索引擎结果中,对时事相关查询提供多源核实信息和AI生成内容的警告。
各国政府也在完善应急响应,如建立跨部门的谣言快速反应小组,在危机事件中24小时监测网络动态,及时协调媒体和平台辟谣。
舆论层面,媒体加大了对AI谣言案例的曝光和讨论,提高公众意识,让更多人了解例如AI图像常见破绽(背景细节错误、不自然融合等),增强全民“数字免疫力”。
可以预见,随着AI技术的发展,谣言治理也将持续演进,形成“以AI治AI”的新格局:即利用人工智能的力量来对抗由人工智能引发的谣言问题。
05

典型案例分析

为了更直观地了解大模型时代谣言治理的成效与不足,以下选取国内外几个典型案例加以剖析:
案例1:ChatGPT生成火车事故假新闻(国内,2023年)
一名中国网民利用翻墙手段访问ChatGPT,并让其撰写了一篇编造的甘肃某地火车事故新闻,声称造成多人伤亡。随后该网民运营的20多个自媒体账号在短时间内转载了这篇假新闻,累计获得超过1.5万次浏览。
当地公安网安部门监测到异常后,会同网信办迅速核查,确认该事故纯属捏造,并根据《深度合成管理规定》对涉事人员采取刑事措施。
此案是中国首例因使用大型AI生成假新闻而被惩处的案例,体现了新法规的威慑力。
从治理成效看:警方能在谣言扩散早期就介入查处,得益于国内全网监测和实名制环境,使造谣者难以藏匿;同时ChatGPT本身有地域访问限制,但仍被不法分子钻空子,说明技术封锁并非万全之策。该案促使平台进一步加强对AI生成内容的审查,监管部门也呼吁提高对类似AI造谣的警惕。
案例2:“顶流明星澳门赌输10亿”谣言(国内,2025年)
2025年3月,一则耸人听闻的娱乐圈传闻刷屏网络,称“某超一线男星在澳门赌博输光10.3亿元身家”。该消息热度极高,引发网友疯狂转发讨论,一度登上微博热搜。然而几天后警方通报这是一起AI生成的谣言:造谣者利用某自媒体平台内置的AI写作工具,输入热点关键词自动生成了这一标题夸张的假新闻,并附带P图伪造了所谓“权威报告”作为佐证。他散布谣言只为博取流量牟利,最终被行政拘留8日。
该事件揭示出现阶段AI文本生成的监管难点:这位造谣者使用的是国内合法平台提供的AI功能,但平台缺乏对输出内容真假的审核把关,导致谣言得以上线传播。好在由于涉及公众人物且金额巨大,专业媒体和知情人士很快质疑其真实性,多位被影射的男星也出面辟谣,使谣言在扩散三日后热度骤降。平台随后屏蔽了相关话题并配合调查。
此案促使国内内容平台反思AI功能的开放策略,开始在AI生成模块加入敏感内容过滤和输出审核,以避免再次被人利用造谣。也提醒治理需要技术提供方承担一定责任。
案例3:五角大楼假爆炸图事件(国外,2023年)
2023年5月22日上午,美股开市后不久,多个经过验证的推特账号几乎同时发布了一张照片,声称美国五角大楼附近发生爆炸。图片显示五角大楼建筑旁升起浓烟,看似真实。消息迅速在社交媒体扩散,并被一些财经资讯账户转载,导致股市出现短暂下挫——标普500指数一度下跌0.3%,美国国债和黄金价格上涨,市场显现避险情绪。
然而几分钟后,五角大楼警方和当地消防部门就在推特澄清:并无此事,网络流传的爆炸消息不实。进一步调查和专家鉴定指出,这张爆炸照片极有可能是通过生成式AI合成的:图中围栏、草地和建筑细节存在不合理之处,是AI图像常见破绽。发布该图的账号名字仿冒彭博新闻,而真正权威媒体很快辟谣平息了恐慌。
这一案例反映了几个问题:其一,社交媒体的身份认证漏洞被利用——推特新政下蓝勾账号并不等同权威,给了谣言可乘之机;其二,金融市场对即时信息反应极快,高频算法交易甚至可能无法分辨消息真伪就已下单,放大了谣言的危害。
所幸官方澄清及时,损失有限。事后,推特被批评未能迅速下架该假图帖文,监管机构也警示AI深度伪造对国家安全和金融稳定的风险。该事件推动美国国土安全等部门加速研究跨平台联合预警机制,要求社交平台改善身份验证和谣言发现速度,并提醒媒体和公众提高对突发消息的鉴别意识。
案例4:WhatsApp谣言引发印度暴力事件(国外,2018年)
这一案例虽发生在大模型兴起前,但体现了产品机制在谣言治理中的作用。在2018年,印度多地发生因社交应用WhatsApp上的儿童拐卖谣言而引发的暴力群体事件,多人被私刑殴打致死。
谣言以视频和语音形式在WhatsApp群组中疯传,由于WhatsApp消息高度私密难以监控,警方难以及时阻止传播。这暴露出点对点加密平台上的谣言治理真空。
事件促使WhatsApp在全球范围对消息转发功能作出重大改变:将单次可转发的最大群聊数从256逐步下调至5,并在转发多次的消息上标注“双箭头”标识提示用户此为转发链条消息。印度政府也要求WhatsApp上线公告广告,提示用户不要轻信未证实的信息。
研究表明,这些措施实施后,WhatsApp总体转发量下降了25%,谣言扩散速度显著放缓。这一案例被视为平台产品设计遏制谣言的成功范例。当然,它也引发关于隐私与监管平衡的讨论:在保护用户通信隐私的同时,如何防止封闭网络内谣言酿成恶果,是一项长期挑战。
06

结语

综上所述,大模型的普及既放大了谣言治理的难度,也推动着技术、产品、政策和社会多方面协同创新。
国内在治理谣言上强调政府主导和强监管,通过法律高压和官方辟谣体系来严控谣言传播,并积极规范AI内容;国际上则更依赖平台自治和社会共治,通过产品机制、行业准则和公众教育来减缓谣言危害,近年也开始关注AI带来的新风险并制定相应对策。
可以预见,未来的谣言治理将日益呈现智能化体系化特征:一方面运用更先进的AI技术进行全网实时监测、溯源打击,另一方面构建起政府、平台、民间组织协同的治理网络,以动态应对信息生态的威胁。
在大模型时代,信息治理需要全球合作和经验分享。唯有在保障信息自由流动与真实性的平衡中不断探索,才能有效遏制谣言肆虐,营造清朗可信的网络空间。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询