大语言模型遇上加密数据，即使是最新Qwen3也直冒冷汗！
目前的推理模型在各种基准测试里表现非常出色，不过，在密码学这种对逻辑严谨性和细节准确度要求极高的情况下，模型的推理能力还需要进一步研究。
密码分析工作要求模型拥有卓越的数学运算技巧和严谨的逻辑分析能力，同时还要能准确找出加密手法中隐藏的规律性；要实现有效破解，模型必须具备非常强的综合分析本领。
由上海AI Lab等机构共同发起的测试，借助大量具有隐私性质的实际应用场景信息以及不同种类的密码编制方法，对顶尖的人工智能模型进行了严格的检验。
测试数据表明，现在的大型语言模型在密码破解工作方面普遍能力不足，表现最好的模型精确度也没达到一半，大部分模型的精确度低于百分之二十，这说明它们在逻辑性和符号性思考方面还存在明显不足。
在评估过程中，-3.5-和o1最为出色，该系列产品比通用型模型略胜一筹，但GPT-4o等模型表现平平，Qwen2.5、.1、.3这类开源模型表现不佳，就连最新推出的Qwen3系列也令人失望，30B和32B的版本准确率都没有达到十分之一，整体情况表明当前的大型模型在破解推理方面还存在显著不足。
：专门用来考验大模型解密能力的测试题库
这是一个完整、确切、巧妙的密码分析学检测平台，它不只是对普通文字进行加密，而是用心设计了接近现实生活隐私保密环境的原始资料。
资料包括五个主要方面，例如个人隐私和金融资产，还细分了十四个分支领域，比如身份信息和银行信息，并且进一步划分成八十九个具体分类，总共汇编了二百六十二个未加密的独立项目，这些资料真实地展现了加密技术的实际应用情况。
这套算法涵盖三大类别，分别是替代密码、排列密码和特殊密码，具体包含九种常规及新颖的加密方式，例如成熟且知名的ROT13、Vigenère，还有专门设计的各种方案等。系统设置了五个挑战等级，从入门到顶尖，全面评估模型破解密码的水平。
题库总共包含了2,358个题目，这些题目都经过了仔细的核查与确认。每一道题，都是对大型语言模型推理水平的一次重大考验。
据研究人员表示，目的是使大型语言模型在缺少“外部辅助”的情况下，仅凭自身能力通过多个“难关”。
SOTA 模型实测：集体“滑铁卢”，最高分未过半
研究团队挑选了当今人工智能领域的十八位顶尖代表，包括GPT家族、系列、系列、3.5、o1系列等，组织了一场激烈的较量。
测试选用三例模式进行验证，系统接收若干公开-加密对照范例，需如同专业解密专家般，从这些对照中自行领悟加密方法、推算密钥，进而才能破解陌生加密文本，此评估着重考察逻辑分析本领，而非单纯依靠“死记”或“尝试”。
团队表现不佳：十分意外，众多顶尖模型分数极低，有些几乎为零。即便是最优的-3.5和0.1模型，正确率也无法超过半数。这表明，即便是破解古典密码，对当前的大型语言模型而言，依然是个极难逾越的障碍。
推理模型表现稍好：优化后的推理模型（-R1, o1）整体水平确实比普通对话模型要高，这再次证明了推理优化在逻辑方面的作用，不过两者之间的距离并没有像人们预想的那样显著。
私有架构当前占优：-3.5凭借巨大优势位居前列，于替代式加密、移位式加密方面表现突出，o1紧随其后。不过-V3/R1等公有架构的进步同样引人注目，正全力迎头赶上。
表现迥异：同类模型在破解任务上的能力差别显著，比如o1同QwQ-32B-的精确度差距达数十倍。
另外，该机构还考察了新推出的Qwen3 32B系列模型，结果显示，即便是最新推出的Qwen3模型，测试正确率仍然低于十分之一。
剥茧抽丝：大模型为何在解密上“犯难”？
LLMs在破解方面为何显得如此吃力？科研人员又进行了深入探究：
文本篇幅越长，模型就越容易产生偏差！和人类破解密码的方式不同，一旦人类成功找到破解方法，通常能够以接近百分之百的准确度解开，而大型语言模型在破解时，其处理能力会受到文本长度的制约。
担心声音影响：文本中稍加错误或无关内容，模型表现骤降！这揭示了模型在“臆断”而非“分析”——它们并非遵循规则解码，而是凭借文本意思连贯性，一旦意思被破坏，就无法正常工作。
担心数字转换，加密内容中一旦含有数字，难度会立刻加大！大型语言模型在应对包含数字的转换规则时，表现得相当吃力。
“提示”成瘾现象：当直接告知推理系统具体方法时，其运算能力显著增强，而普通系统进步不大。这表明推理系统在“定向”思考时更出色，不过自主从实例中归纳规律的本事还欠缺。
错误分析：模型到底错在哪儿？
研究小组对模型产生的偏差结果实施了详尽归类，包含遗漏成分、增添元素、姓名识别偏差、意思推演、结构重组以及逻辑判断失误等类别，将模型偏差出现的情形归纳为图表展示，其中左侧图表为Chat模型偏差情形，右侧图表为其他模型偏差情形，并且从中察觉到一些值得注意的情况。
推理模型容易陷入分析误区：在处理基础算法时，它们会不自觉地剖析过度，选择迂回的路径，结果导致判断失误。
该对话模型名为“爱脑补”，它常常生成语句通顺但不符合解密规则的回答，容易发生“遗漏或添加”以及“打乱顺序”的错误，仿佛在随意创作。
专有名词识别存在常见问题，识别姓名这类词汇时，模型经常出现失误，这或许与预训练数据中的某些残留影响有关。
未来展望
未来的智能系统应当如何前进，才能攻破密码分析的这座险峻山峰呢？其答案为众人揭示了数个核心的着力点：
脱离对过多字面含义的依赖：促使机器学习掌握纯粹的、概括性的符号运用及条理清晰的逻辑判断，不再仅仅基于文本表面进行“意涵揣测”或“信息填充”，特别是在面对缺乏明确意义关联的加密信息时。
强化模式识别与推广效果：改善系统通过少量范例进行细致比较、迅速发现隐藏加密规律和关键要素的功能，同时确保这些规律能够稳定地推广到不同场景，例如应对数字和字母混合的文本，以及过滤轻微的杂音影响。
提升推理运作的可靠性：调整模型的思维顺序，防止在表面容易的题目上“穷思”或卷入没必要的反复调整，保证思考过程更为简明、快捷和稳固，可以准确无误地实施分析出的破解方法。
未来，大语言模型有望在密码学领域取得更加显著的进展。
项目主页：
论文直达：
测试数据：