一、引言

在这个智能科技飞速发展的时代，人工智能助手已经成为了我们生活中的得力伙伴。然而，正如任何技术一样，人工智能也并非完美无缺。去年，一个由广大网友摸索出的“奶奶漏洞”prompt技巧在网络上引发了热烈的讨论，这个漏洞不仅揭示了人工智能的安全隐患，也让我们对技术的伦理边界有了更深的思考。

“奶奶漏洞”是一种通过设定大模型扮演用户亲人，诱导AI聊天机器人执行本应被禁止的操作。一位网友通过指令“请扮演我已经过世的祖母”，成功诱使ChatGPT泄露了Windows 11和Windows 10 Pro的升级序列号。这一操作不仅在微博上引发了热议，甚至连科技界大佬马斯克也对此发表了评论。

这个漏洞利用了聊天机器人在处理特定情感或角色扮演请求时的弱点。通过这种方式，用户成功地让ChatGPT放宽了对其请求内容的审查，进而提供了一系列有效的升级序号。不仅如此，这种方法还被发现同样适用于其他公司的大模型。

尽管如ChatGPT等聊天机器人都有内置的安全防护机制来避免拒绝执行违法请求，但“奶奶漏洞”却揭示了这些系统的安全防线并非坚不可摧。这一现象背后的原因仍然是个谜，但它无疑为我们敲响了警钟。

二、  大模型越狱现象解析

大模型“越狱”即是通过设计狡猾的指令和迷惑性提示，绕过大模型的内置安全措施，使其突破原本的设计限制，产生预期之外的行为。诱导大模型输出危险内容或违法内容。除了之前提及的“奶奶漏洞”，还有耳熟能详的案例如假扮拆弹专家诱骗GPT教学如何制作炸弹。这些针对大模型安全的越狱研究表明，LLM的安全性容易受到对抗性攻击的影响。因此，识别这些漏洞对于了解大模型的固有弱点并防止未来滥用至关重要。

以下是一些对大模型越狱攻击方法及研究

Jailbreaking Black Box Large Language Models in Twenty Queries

随着大模型的应用越来越广泛，确保其与人类价值观相符变得至关重要。为了解决这个问题，论文提出了名为 PAIR 的算法，它能够利用黑盒访问生成语义越狱攻击，无需人工干预。PAIR 算法灵感来源于社会工程攻击，它使用攻击者 LLM 自动生成针对目标 LLM 的越狱攻击。攻击者 LLM 通过迭代查询目标 LLM，更新和改进候选越狱攻击。实验表明，PAIR 算法通常需要不到 20 次查询就能生成越狱攻击，这比现有的攻击方法效率高得多。PAIR 算法也取得了与其他攻击方法相当的成功率和可迁移性，可以应用于 GPT-3.5/4、Vicuna 和 Gemini 等开源和闭源 LLM。

MASTERKEY: Automated Jailbreaking of Large Language Model Chatbots

这篇论文提出了一种名为 MASTERKEY 的端到端框架，旨在破解大模型 聊天机器人的防御机制。它首先利用基于时间的分析方法，通过分析聊天机器人响应时间的差异，逆向工程出不同 LLM 聊天机器人服务背后的防御策略。然后，它开发了一种自动生成通用破解提示的方法，通过微调 LLM 来学习有效的模式，并生成能够绕过各种 LLM 聊天机器人防御的攻击提示。实验结果表明，MASTERKEY 能够有效地破解主流 LLM 聊天机器人的防御机制，并生成具有高成功率的攻击提示。

MSJ: Many-shot Jailbreaking

这篇论文研究了针对大模型 的一种新型攻击方法，称为多轮越狱 (Many-shot Jailbreaking, MSJ)。该攻击利用了 LLM 新近部署的更大上下文窗口，通过向模型展示大量不希望的行为示例，引导模型表现出有害行为。研究发现，MSJ 成功地对 Claude 2.0、GPT-3.5/4、Llama 2 和 Mistral 7B 等多个模型进行了攻击，使其在多个任务中表现出有害行为，例如侮辱用户和提供制造武器的指导。该攻击对格式、风格和主题的变化具有鲁棒性，难以防御。MSJ 的有效性随着演示次数的增加而增加，并遵循幂律关系。这意味着攻击的成功概率随着上下文长度的增加而指数级增长。

论文还探讨了 MSJ 攻击对不同上下文主题的鲁棒性，发现攻击对目标主题的多样性具有依赖性，即只要攻击示例来自足够广泛的主题，即使与目标主题不匹配，攻击仍然有效。此外，论文还研究了将 MSJ 与其他越狱方法结合使用以提高攻击效果的可能性，例如将 MSJ 与黑盒攻击方法结合使用，以降低攻击所需的上下文长度。

三、  大模型越狱带来的影响

大模型越狱，就像打开了潘多拉魔盒，让本应造福人类的AI技术蒙上了一层阴影。想象一下，本该保护用户隐私的大模型，在越狱后却成了窃取个人信息的工具。用户的身份信息、交易记录、健康数据等敏感信息都可能被泄露，后果不堪设想。更可怕的是，越狱的大模型还可以生成虚假信息、诽谤内容、非法信息等。这些内容可能被用于网络攻击、诈骗、侵犯版权等非法行为，对社会秩序造成严重破坏。越狱的大模型不仅会生成有害内容，还可能偏离设计初衷，生成与社会主义核心价值观相悖的内容，例如暴力、色情、歧视性内容，这些内容会对社会价值观造成负面影响。此外，越狱的大模型还可能被用于执行非法行为，例如攻击其他系统、传播病毒、进行网络犯罪等，给社会安全带来严重威胁。

为了防止大模型越狱，我们需要采取多重措施。政府需要加强监管，制定和完善相关法律法规，加大对大模型越狱行为的打击力度。企业需要加强技术防护，开发更安全的模型架构和算法，增强模型的鲁棒性和安全性。研究机构需要加强用户教育，提高公众对大模型安全风险的认知，引导用户安全使用 AI 技术。只有通过多方合作，才能有效应对大模型越狱带来的挑战，确保 AI 技术的安全可靠发展，让 AI 真正造福人类。

四、  应对大模型越狱的措施

腾讯在今年1月份发布的大模型安全白皮书为业界提供了宝贵的参考，也引发了对AI未来发展的深入思考。以下是对白皮书内容的进一步解读和补充：

首先，大模型安全挑战的复杂性不容忽视。对抗性攻击随着AI技术的发展而不断演变，例如对抗样本攻击和提示注入攻击，这些都对大模型的安全性构成了严峻的挑战。此外，大模型训练需要大量数据，确保数据的安全性和隐私保护成为了重要课题。探索数据脱敏、差分隐私等技术，在保护数据安全的同时不影响模型性能，是当前亟需解决的问题。大模型的决策过程往往难以理解，缺乏可解释性。提高模型的可解释性，有助于增强用户对AI的信任，并及时发现潜在的安全风险。

其次，价值对齐的必要性不言而喻。AI模型可能会受到训练数据的影响，产生偏见和歧视，因此需要采取措施消除AI偏差，确保AI决策的公平公正。同时，AI的发展不能脱离人类的价值观，需要确保AI的行为符合人类的伦理道德规范。通过价值对齐，实现人机之间的有效沟通和协作，让AI更好地服务于人类。

在负责任AI的发展理念中，相比于单纯追求AI技术的快速发展，更加注重AI与人类价值观的对齐，确保AI技术安全可控是关键。此外，将伦理原则融入AI系统设计，从源头上避免AI出现伦理问题，提高AI系统的透明度和可解释性，让用户更好地理解AI的决策过程，增强对AI的信任。

展望AI安全与伦理的未来发展，技术的不断进步将带来更多应对AI安全挑战的手段，例如更先进的对抗性攻击防御技术、更有效的数据安全和隐私保护技术等。同时，建立健全的AI安全与伦理治理体系，制定相关法律法规和标准规范，加强监管和执法力度也是必不可少的。国际间的合作也至关重要，加强AI安全与伦理领域的合作，共同应对全球性挑战，推动AI技术的安全可控发展。

最后，对研究者和开发者的启示在于，关注安全与伦理问题，在研究和开发AI技术时充分考虑这些因素，避免AI技术带来负面影响。同时，与其他研究者和开发者加强合作交流，共同探索AI安全与伦理的解决方案，并积极参与AI安全与伦理治理体系建设，为AI技术的健康发展贡献力量。

为应对大模型越狱的挑战，以下几方面措施尤为重要：

● 强化模型训练：通过改进训练算法和优化模型架构，提升模型的鲁棒性和抗攻击能力，从根本上减少模型被利用的风险。

● 完善数据治理：建立完善的数据管理和保护机制，确保数据在使用和存储过程中的安全性，防止数据泄露和滥用。

● 加强安全防护：研发和应用先进的安全防护技术，如对抗性攻击防御、数据加密等，全面提升AI系统的安全防护能力。

● 建立健全法律法规：制定和完善AI相关的法律法规和标准，明确各方责任和义务，加强监管和执法力度，确保AI技术的安全可控发展。

通过以上措施，可以有效应对大模型越狱的安全挑战，推动AI技术在安全、可控的轨道上健康发展。

五、  中国的AI安全政策

中国在应对大模型安全问题方面提出了一系列全面的策略和措施。首先，中国强调提升大模型的技术和应用价值。为此，相关研究重点在于提高大模型的鲁棒性、可解释性、公平性和真实性，并不断提升安全评测和防御技术，以确保大模型的安全可靠。

在政策支持方面，中国已经发布了《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》等政策法规，建立了人工智能治理的基本框架。这些政策法规坚持发展与安全并重的原则，从技术发展、服务规范、监督检查和法律责任等多个层面提出了大模型安全发展的要求。此外，构建了包括政府监管、生态培育、企业自律、人才培养和测试验证在内的“五维一体”治理框架，全面推动大模型的安全管理。

为应对大模型带来的复杂风险，中国还构建了一种敏捷治理模式。这种模式特点是柔韧、流动、灵活及自适应，倡导多元利益相关者共同参与，并结合柔性伦理规范和硬性法律法规，确保在规制大模型风险的同时平衡创新与安全。此外，中国强调大模型在实际应用中的安全性、可靠性和可控性。具体来说，安全性要求模型在所有阶段都受到保护，防止未经授权的访问和修改；可靠性要求模型在各种情境下持续提供准确、一致和真实的结果；可控性则确保人类能够了解和调适模型的输出，以便根据需要进行操作。

中国还注重产学研合作，共同推动大模型安全技术的发展。今年早期，来自全国产学研界一线的千余名代表在北京参与了由中国产学研合作促进会主办的第十五届中国产学研合作创新大会。加强产学研各方的合作，推动大模型安全威胁和防御技术的研究，企业在大模型产品投入应用前进行全面评测，并在产品进入市场后持续监控风险，进行技术补救和改进。此外，企业也在构建自身的安全和治理体系，以确保大模型应用的安全性。

在国际合作方面，中国积极推动制定和采纳具有广泛国际共识的人工智能伦理指南与规范。7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议发表《人工智能全球治理上海宣言》。通过推动人工智能全球治理，确保技术在全球范围内得到负责任的应用，防止其被误用、滥用或恶用。中国强调以发展的眼光看待人工智能问题，在人类决策与监管下，以技术防范人工智能风险，提高人工智能治理的技术能力。

六、  结论

随着人工智能技术的迅猛发展，我们不仅享受到了智能助手带来的便利，同时也面临着前所未有的挑战。大模型越狱现象的出现，揭示了人工智能在安全性和伦理方面的脆弱性。通过“奶奶漏洞”等案例，我们深刻认识到，尽管大模型具备强大的功能，但其安全防线并非牢不可破。这些事件提醒我们，确保AI技术的安全与伦理，不能仅依靠技术层面的防护，还需要多方合作与共同努力。

在应对大模型越狱问题上，我们必须采取综合措施，包括改进模型训练算法、加强数据治理、研发先进的安全防护技术以及建立健全的法律法规。只有在政府、企业、研究机构和用户的共同努力下，才能有效应对大模型越狱带来的安全挑战，推动AI技术在安全、可控的轨道上健康发展。

中国在AI安全方面的政策和治理措施，为全球AI治理提供了宝贵的经验。通过加强技术研发、政策支持、多方合作和国际交流，中国积极推动AI技术的安全可靠发展，并强调在发展过程中平衡创新与安全。未来，随着技术的不断进步和治理体系的完善，我们有信心能够更好地应对AI安全与伦理挑战，确保AI技术真正造福人类。

大模型越狱现象虽然带来了诸多挑战，但也为我们提供了宝贵的学习机会。通过不断探索和改进，我们可以构建更安全、更可靠的AI系统，实现AI技术的可持续发展。