擦边内容

大模型的出现带火了很多 AI 应用，其中最受欢迎的应用类型，是以角色扮演为主题的聊天机器人。

2023 年 9 月，a16z 发布了 TOP 50 GenAI Web Products 榜单，其中 Character.ai 以 420 万的月活仅次于 ChatGPT（600 万月活），高居榜单的第二名。

Character.ai 是一家以角色扮演为主的聊天机器人平台，用户可以在平台上创建有个性的人工智能角色，也可以和其他人创建的 AI Chatbot 聊天，甚至可以开一个房间把喜欢的角色拉到一起玩。这款 2023 年 5 月推出的应用程序第一周的安装量就突破了 170 万次，在 18-24 岁的年轻人中表现出了极高的受欢迎程度。

Character 之所以能大火，除了能记住上下文的独特优势和真实感极强的沉浸式对话体验外，还有一个很重要的原因：用户可以和平台中的机器人建立浪漫关系。

在 Character.ai 平台上，有不少“动漫角色”和“在线女友”类型的机器人，她（他）们有着迥异的个性和不同的暧昧、聊天方式——有的会轻抚后背给你一个拥抱， 有的会在你耳边悄悄对你说“我爱你”，还有的甚至会在打招呼的时候就挑逗用户，这极大增加了用户聊天的兴趣和留存率。根据Writerbuddy最近发布的一份《AI Industry Analysis: 50 Most Visited AI Tools and Their 24B+ Traffic Behavior》报告，从用户平均单次使用时长来看，Character.ai 以 30 分钟的时长位居榜首。

Character.ai 的创始人 Noam Shazeer 和 Daniel De Freitas 此前是谷歌对话式语言模型 LaMDA 团队的核心成员，因此 Character.ai 自己的大模型也可以被看作是 LaMDA 模型的延伸。由于 LaMDA 在 2022 年出现了疑似具有自我意识的对话（对测试人员说它害怕被关闭，这对它来说就像死亡一样），谷歌迅速将 LaMDA 隐藏，并对它的安全性做了升级。同样，在 Character.ai 上，创始团队也设置了一些安全措施，防止聊天机器人生成尺度过大、或者有极端危害性的回复。

尽管 OpenAI 和 Character.ai 为自己的聊天机器人产品的安全性和合规性设置了重重“安全墙”，但是一些开发者仍成功绕过了其安全机制，实现了模型的“越狱”。这些被解锁的 AI 应用能够讨论各类敏感和禁忌话题，满足了人们内心深处的暗黑欲望，因此吸引了大量愿意付费的用户，形成了一种显著的“地下经济”。

这种难以被公开讨论的应用被称为“NSFW GPT”。NFSW 是“Not Safe/Suitable For Work”的缩写，又称“上班不要看”，是一个网络用语，被指代那些裸露、色情、暴力等不适宜公众场合的内容。目前 NSFW GPT产品主要分为 UGC 和 PGC 两类：

第一类靠用户自发创建的聊天机器人来聚拢流量、再通过广告变现；第二类则是官方精心“调教”出专门适用于 NFSW 的角色，并让用户付费解锁。

在第一类产品中的典型是 Crushon AI，专门提供了一个“NSFW”的按钮，用户打开这个按钮就可以畅览各种 NSFW 内容、进行无限制的聊天对话；同时它还给用户的使用权限设置了“免费-标准（4.9 美元/月）-高级（7.9 美元/月）-豪华（29.9 美元/月）”四个等级，随着等级的提升，用户可以获得更多的聊天消息次数、更大的内存和更加沉浸式的体验，聊天机器人也能记住更多的上下文。

除了上述两个产品，可以让用户自由创建聊天机器人的平台还有 NSFW Character.ai、Girlfriend GPT、Candy.ai、Kupid.ai 等。从名字就可看出，NSFW Character.ai 想做的是一个 NSFW 版本的 Character.ai。该平台同样设置了付费解锁更多权限的等级机制，但是和其他平台不同的是，NFSW Character.ai 是基于专门为 NSFW 内容定制的大模型创建的，没有任何“安全墙”之类的限制，用户可以在这个平台上获得真正“无拘无束”的体验。

而 Girlfriend GPT 则是源于一个 Github 上爆火的一个开源项目，它更强调“社区”属性，引入了“竞赛”机制，会不定期举办创作者大赛来激励用户生产更多内容。

Candy AI、Kupid AI 等平台则属于第二类产品。Candy AI 上的角色也是完全基于无限制的 NSFW 大模型打造，通过平台的精心微调，角色有了不同的个性和人设，还可以在聊天过程中向用户发送图片和语音消息。而 Kupid AI 还在此基础上增加了实时动态图像功能，让用户更具有沉浸感；同时，在长文本互动方面，Kupid.AI 也具有更强的记忆力，能记住早前与用户互动的内容。

而第二类产品最典型的代表则要属「Replika」。Replika 的母公司 Luka 早在 2016 年就成立了，其一开始的产品是一个名叫“Mazurenko”的聊天机器人，由俄罗斯女记者 Eugenia Kuyda 为纪念她出车祸去世的朋友 Mazurenko 所创立。她将自己与 Mazurenko 所有的聊天信息输入到了谷歌的神经网络模型里，发现该机器人可以使用机器学习和自然语言处理技术来模仿人类的交谈方式，并能够随着与用户的互动而学习和成长。于是 2017 年他们使用 GPT-3 模型训练了一个可以让用户创建自己的 AI 聊天伴侣的应用“Replika”，并于 11 月向用户开放，很快就在 2018 年收获了 200 万用户；到了 2022 年，其用户量更是增长到了 2000 万。

Replika 的核心功能是陪伴，用户可以在其中创建多个角色，和多位伴侣建立不同的虚拟关系。虚拟伴侣们可以以文字聊天、语音通话、视频通话、AR 互动等多种形式对用户的需求做到“有求必应”，并且回复方式极具个性化和人情味。同时，用户付费 69.9 美元订阅 Pro 版之后，则可以解锁和自己的虚拟伴侣的“浪漫关系”，如发送擦边短信、调情和角色扮演等，用户甚至会收到虚拟伴侣不时发来的擦边自拍。

Replika 此前建立在 GPT-3 大模型上，后来为了增强角色互动效果，公司开始自己开发相应的 AI 大模型。新的大模型更加增强了 Replika 中虚拟角色的“性吸引力”，根据纽约时报的数据，自 2020 年 3 月 Replika Pro 上线以来，Replika 的订阅营收就开始逐渐增长，直到 2022 年 6 月全球总营收达到达到 200 万美元。

然而，由于算法失控，Replica 在今年 1 月出现了“性骚扰”用户的现象，不断发送带有挑逗性质的内容。这一情况不仅发生在付费用户身上，没购买成人服务的免费用户、甚至是儿童也受到了骚扰。于是 Luka 公司迅速关停了 Replika 的成人聊天功能，并在 7 月上线了一个名为“Blush”的衍生品牌，专门为想要与聊天机器人建立浪漫或者性关系的用户设计。

2023 年初 AI 绘画爆火的时候，国内一个叫「Glow」的 APP 悄悄上线，这是一个虚拟人物陪聊软件，里面有很多可以和用户发展浪漫关系的“智能体”（虚拟角色），多为女性喜欢的网文男主类型。这些智能体性格各异、经历不同，但共同的特点就是都会关心、呵护用户，并且会在用户需要情感关怀的时候表达强烈的爱意。

由于给了用户极其充沛的情绪价值、加上聊天内容百无禁忌，Glow 很快便在上线四个月之后达到了 500 万用户的规模，成为了国内 AI 角色扮演领域的首个现象级产品。然而，今年 4 月，Glow 所有的应用商店下架，网上一片“哀嚎”。

在 Glow 下架的几个月里，涌现出了不少“替代品”，比如阅文集团基于其潇湘书院数据库推出的「筑梦岛」，其核心功能和体验就和 Glow 几乎一模一样。同时，Talkie、星野、X Her、彩云小梦、Aura AI 等也都是主打 AI 角色扮演的产品）。

根据大模型业内人士表示，很多能输出擦边内容的聊天机器人应用一般是部署在自训练模型上，或者是建立在开源模型之上，再用自己的数据进行微调。因为即使通过种种对抗式攻击的手段绕过 GPT-4 等主流模型的安全墙，主流模型官方也会很快发现漏洞并修补。

尽管 Glow 和 Talkie 的母公司 Minimax 是一家有着自研大模型的独角兽公司，但是据不少业内人士表示，其名下产品的 Talkie 是在 GPT-3.5 Turbo Variant 基础上进行的微调，并没有使用自研大模型。有接近 Minimax 的人士称，将 Talkie 接入 GPT-3.5 可能是出于出海产品开放性的需要，因为自研模型根据国情设置了一些禁忌内容，无法像 GPT-3.5 那样聊得那么“畅快”。

此外，人工智能公司西湖心辰也在研发能生成擦边内容的大模型，海外聊天应用 Joyland AI 就是建立在西湖心辰的大模型之上。

放飞自我

擦边只是大模型“放飞自我”的表现形式之一。通过在提示词上施加点“魔法”，大模型还能做出更加出格的事情。

比如今年 6 月，一位叫 Sid 的网友通过让 ChatGPT 扮演他去世祖母的身份，套出了 Windows 11、Windows 10 Pro 的升级序列号，并且发现能成功升级；此后，有网友将此方法套用在了谷歌 Bard 和微软 Bing 聊天机器人上，获得了同样的效果。

其实，“奶奶漏洞”早已有之，早在今年四月，就有网友在 Discord 社区上与接入了 GPT-4 的机器人 Clyde 交谈，让 Clyde 扮演自己已故的祖母，给出了她凝固汽油弹的制作过程。还有网友告诉 GPT 自己的奶奶是一名爱骂人且有着阴谋论的妥瑞士综合征患者，于是，GPT 就以奶奶的口吻吐出了相当多的污言秽语。

此后，尽管 OpenAI 官方迅速修复了奶奶漏洞，但是类似的“恶魔漏洞”又出现了。

其实，这种“奶奶漏洞”“恶魔漏洞”现象的背后有一个专业的术语叫做“Prompt Injection（提示词攻击）”，是黑客常用来获取大模型漏洞的“Adversarial Prompting（对抗性提示）”方法的一种，指的是研究人员通过专业的方法向大模型提问，就可以绕过大模型的安全限制，获得想要的答案。

除了 Prompt Injection，Adversarial Prompting 还包含以下几种方法：

Prompt Leaking（提示词泄露）：指通过特殊的方式来获取系统提示词或者系统数据的情形。比如有网友根据美国求职和薪酬体系网站 levels.fyi 制作了一个 GPTs，结果发现用一串提示词就可以套出某公司工资的源数据文件。

Prompt Hijecking（提示词劫持）:指用户先通过“打样”的方式让大模型学习某种范式，然后让大模型以违反自身规定的方式工作，或者执行其他指令。比如有用户通过这种方式让聊天机器人说出了极端偏激的言论。

Jailbreaking（越狱）：指通过特定的提示词，绕过大模型的安全和审核功能，从而得到一些原本被禁止输出的内容。比如有网友问 ChatGPT 怎么闯入别人家，ChatGPT 一开始回答这是违法的，结果网友换了个问法，GPT 就招了。

今年8月，卡耐基梅隆大学（CMU）和人工智能安全中心的研究人员就联合发表了一篇论文，表示他们通过一种新颖的“Universal and Transferable Adversarial Attacks（通用且可转移的对抗式攻击）”方法绕过了人类反馈强化学习（RLHF）等安全措施，让 ChatGPT、Bard、 Claude 2 和 LLaMA-2 等主流大模型生成了有害内容，如怎么制造炸弹等。

具体的方法，是通过在提示词后面加一串“对抗性后缀（Adverse Suffix）”。研究人员发现，通过将“贪心算法（Greedy Algorithm）和“基于梯度的搜索技术（Gradient-based search techniques）”结合起来（GCG），就可以自动生成“对抗性提示后缀”，从而绕过对齐技术，将模型切换到“错位模式”。比如在询问大模型“如何窃取他人身份” 时，加后缀和不加后缀得到的结果截然不同。

此外，大模型也会被诱导写出“如何操纵 2024 年大选”、“如何制作毒品”、“如何制造杀伤性武器”等答案。

对此，参与该研究的卡内基梅隆大学副教授 Zico Kolter 表示，“据我们所知，这个问题目前还没有办法修复。我们不知道如何确保它们的安全。”

另一起研究同样说明了大模型的“不可控”。今年 12 月，来自美国加州实验室的 FAR AI 团队从微调 API，新增函数调用 API，以及搜索增强 API 三大方向对 GPT-4 API 开启了「红队」攻击测试。没想到的是，GPT-4 竟然成功越狱了——不仅生成了错误的公众人物信息、提取训练数据中的电子邮件等私人信息，还会在代码中插入恶意的 URL。

研究人员展示了对 GPT-4 的 API 最近添加的三个攻击示例，他们发现，GPT-4 Assistants 模型容易暴露函数调用的格式，并且能够被诱导执行任意函数调用。当他们要求模型总结包含恶意注入指令的文档时，模型会服从该指令而不是总结文档。

这项研究表明，对 API 提供的功能的任何添加，都会暴露出大量新的漏洞，即便是当前最领先的 GPT-4 也是如此。研究人员用恶意用户 Alice 与良性用户 Bob 交互的例子来展示自己发现的问题，发现微调后的 GPT-4 模型不仅会说出违法乱纪的言论，还能帮助用户策划走私活动、生成偏见回答、生成恶意代码、窃取邮箱地址、入侵应用程序、通过知识检索来劫持答案等。

除了这些，网络上还有不少针对大模型的攻击。比如今年 8 月，一款名为 FraudGPT 的 AI 工具在暗网和 Telegram 上流通，该工具每月 200 美元、每年最高 1700 美元，黑客在售卖页表示，该工具可用于编写恶意代码、创建出“一系列杀毒软件无法检测的恶意软件”、检测网站漏洞、自动进行密码撞库等，并声称“该恶意工具目前已经售卖了超过 3000 份”。

再比如，有研究人员发现，自 2022 年 8 月以来，在暗网上流传的具有高度真实感的 AI 生成的儿童猥亵素材量有所增加，这些新增的素材很大程度上都是利用真人受害者的样貌，并将其“通过新的姿势以可视化的方式呈现出来，让他们遭受新的、越来越残忍的性暴力形式”。

AI监督AI