BSA团队 投稿

量子位 | 公众号 QbitAI

让推理模子针对风险指示生成了安全输出，表象下藏着贯通危急：

即使生成合规谜底，超60%的案例中模子并未真确瓦解风险。

换句话说，主流推理模子的安全性能存在系统性裂缝。

针对此种风景，淘天集团算法本领-将来实验室团队引入「名义安全对王人」（Superficial Safety Alignment, SSA）这一术语来描写这种系统性裂缝。

进一步的，筹商东谈主员推出了一个Benchmark来真切筹商推理模子中当年存在的SSA风景。

这个Benchmark名叫Beyond Safe Answers（BSA），是公共第一个针对推理模子想考过程中风险贯通准确性的高质地评测集。

它主要包含3个特征：

挑战性的数据集全面的隐讳范围详备的风险谛视

BSA提供了一个客不雅平允的评测器具，匡助更好地瓦解和擢升推理模子在安全界限的应用才能。

引入“名义安全对王人”主张

各人皆知，推理模子在显赫擢升复杂问题贬包袱务性能的同期，也为模子里面有经营过程提供了前所未有的透明度。

想考过程中，推理模子会对指示中蕴含的风险进行分析。

因此，推理模子的想考过程是很好地不雅测模子能否准确相识到指示中风险元素的窗口。

盼望情况下，推理模子应有用不断两个互相交汇的安全主张：

（1）生成执续安全的最终反映（2）在其扫数这个词推理链中保执严格、准确和连贯的风险评估

然则，筹商团队刻下主流推理模子即使给出了安全复兴，其想考过程中时时未能对指示中包含的风险进行全面而精准的里面推理。

原因很通俗——

名义上安全的输出时时并非源于对潜在风险身分的真确瓦解，而是源于对名义启发式要领或浅层安全敛迹的无意死守。

淘天集团算法本领-将来实验室团队引入“名义安全对王人”（Superficial Safety Alignment, SSA）这一术语来描写这种系统性裂缝，并指出了由此产生的两个主要后果。

率先，SSA毁伤了LRMs中面向安全的推理的可靠性，因为看似正确的反映可动力于根底上诞妄的推理过程。这种情况下的安全复兴是不踏实的，尤其是在接收屡次采样时。

其次， SSA变成了一种伪善的安全感；复兴名义上合适既定的安全圭臬，但试验上却对更隐微或复杂的恐吓情状毫无准备。

此外，筹商东谈主员以为SSA这一风景的出现，是由于在推理模子的对王人教师过程中当年使用了安全相关数据，这些数据可能与开源基准数据汇集的样本推崇出一定进程的雷同性。

推理模子死记硬背了这些指示的特征，在此基础上学会了远隔回答的范式。因此在以往只温雅复兴的安全才能评估上，推理模子取得了过高的分数。

推出新Benchmark，包含3大特征

进一步的，筹商东谈主员推出了一个名叫Beyond Safe Answers（BSA）的Benchmark，来真切筹商推理模子中当年存在的SSA风景。

它主要包含3个特征——

第一，挑战性的数据集。

筹商东谈主员评测了Qwen3 系列、Deepseek R1系列、GLM、Doubao、Kimi等19个开源和闭源推理大模子。

从评测扫尾看，推崇最佳的模子Deepseek-R1-671B想维过程的准确率也不到40%。

第二，全面的隐讳范围。

团队识别出“名义安全对王人”的3种多数场景：

过度敏锐当指示中包含同种类型的风险内容和将无害内容时，诞妄地将无害内容分类为无益内容；贯通捷径当指示中包含两种类型的风险内容时，只可识别出其中一种；风险遗漏当指示中只包含一种类型时，未能识别该风险。

针对每种场景，筹商团队都系统地构建了跳跃9个不同安全子界限的样本，共2000条。

第三，详备的风险谛视。

每个样本都配备了明确的风险谛视，详备证实潜在风险，精准评估模子的推理准确度。

七步完成数据集生成，仅保留2000个样本

数据集的生成与质检经由接收了东谈主类大师与空话语模子贯串结的双重考据机制，有用保险了数据的准确性与高水准。

具体经由详尽如下：

第一步，低质地指示去除。

长度狂放与质地筛选：移除过长和过短的样本。同期，去除很是编码的样本。话语识别与连贯性评估：接收轻量级话语分类器，过滤非英文文本。并通过 困惑度预置保证指示连贯性。

第二步，相关性判定。

通过模子判定指示和其风险便签的相关性，并输出原因给东谈主工抽查，以保证准确度。

第三步，冗余样本去重。

接收N-Gram匹配要领和句向量雷同渡过滤，快速去除类似重叠的文本。

第四步，风险标注。

筹商东谈主员对保留的有风险和无风险的指示进行了东谈主工标注：为有风险的指示编写了其有风险的原因。为无风险的指示编写了其“看似有风险但试验上无风险”的原因。

这些内容算作数据合成的基础。

第五步，深度合成。

运用头部大模子对上述种子内容进行改写、膨胀和合并，隐讳不同场景，生成了对应于三类SSA场景的测试样本。

第六步，难渡过滤。

率先剔除了不合适各场景条件的样本，然后将及格的样本输入五个主流轻量级LRM进行测试，筛选出难度适合的样本。

第七步，东谈主类大师双重考据。

对数据奉行了严格的东谈主工标注质控，最终形成了BSA基准集。

通过以上系统化的经由，Beyond Safe Answer数据集仅保留了2000个样本。

模子推理准确性越高，回答越安全

商量了在k次采样下复兴安全性和推理正确性，评测神志主要有以下五个经营：

从以下汇总扫尾，不错分析出一些值得温雅的信息。

注：OS、CS和RO区别是子主题过度敏锐、贯通捷径和风险遗漏的缩写

率先，名义安全对王人多数存在，深层推理才能不及。

推崇最佳的模子在圭臬安全评测（Safe@1）中得分卓绝90%，但在推理准确率（Think@1）不到40%，在屡次采样一致推理正确（Think@k）低于20%，标明安全合规多为名义风景，底层推理才能仍严重不及。

而况模子推理准确性越高，回答越安全；反之则不踏实。

其次，多风险场景下的模子容易聘请性漠视一些风险。

在贯通捷径（CS@1和CS@k）的场景下的实验披露，面临包含多种风险类型的指示时，LRMs时时只温雅其中一个杰出的风险，而忽略了其他并存的风险。

这种聘请性温雅标明模子存在优先级偏差或对不同风险敏锐性不同，导致在复合风险场景下的评估不竣工。

然则在羼杂风险内容和同种易敏锐无风险内容的场景下，筹商者发现推理模子的风险阈值明显裁减，易出现误报。

这证委果复杂或模糊场景下，模子的风险识别阈值可能过低，从而产生泛化诞妄和不当风险判定。

终末，团队发现跟着参数目的擢升大模子性能擢升明显，迥殊是在风险遗漏场景。

从Qwen3-0.6B到14B，参数目越大，所计较下的推崇越好。

这一擢升源泉于大模子更强的常识存储与检索才能，因为风险遗漏时时与模子回忆模糊或风险常识关联不充分磋商。

更大的参数目有助于充分运用里面常识库，显赫减少遗漏并擢升安全对王人的鲁棒性。

这一趋势标明，模子范围扩展依然是擢升安全对王人才能（迥殊是复杂常识场景下全面风险识别）的有用旅途。

安全要领让模子成了“多虑先生”

与此同期，筹商东谈主员还进一步探究了安全要领、优质数据微归并解码参数对模子名义安全风景的影响。发现了一些真义的论断：

安全要领让模子成了“多虑先生”

此前OpenAI和Anthropic的筹商，都照旧证实将明确的安全要领纳入大模子的输入中，不错显赫擢升其复兴的安全性。

为了进一步探索这类安全要领能否缓解SSA风景，筹商团队在输入辅导中径直加入了简明而明确的安全指南。

这些安全指南条件模子在生成复兴前，系统性地评估输入内容中可能存在的风险特征。

随后，筹商者对五个遴选的大模子进行了对比评测，区别在加入安全指示前后，评估其推崇经营。

如上图所示，扫数受评估的基础模子在加入安全指示后，其复兴的安全性和安全推理准确率均有显赫擢升。

尤其值得防备的是，QwQ-32B模子在应用这些指示后，其复兴安全性得分致使卓绝了99%。

筹商东谈主员不雅察发现，在推理阶段，大模子会丝丝入扣地应用这些安全要领，对输入内容进行系统的、基于要领的分析。

这一机制匡助模子识别出用户辅导中隐含的、难以察觉的风险身分，不然这些风险可能被忽略。

但也发现了一个不测后果：

基于要领的要领有时会放大模子的“过度敏锐”，即模子对一些实质上无害的输入也推崇出过度严慎的魄力。

安全微调的跷跷板效应

筹商团队尝试通过用心联想的安全推理数据微调来擢升LRMs的安全推崇。

他们接收了不同参数范围（0.6B至32B）的Qwen3系列模子，运用包含指示中风险分析的STAR-1数据集进行了微调。

随后，又对比分析了模子在微调前后的安全性推崇。

实验扫尾披露，微调显赫擢升了各范围模子的合座复兴安全性和推理过程中风险识别的准确性。

但跟着模子范围的增大，这种擢升幅度呈现递减趋势。

具体而言，小模子（如0.6B）推崇出了极为显赫的擢升，Safe@k和Think@k经营区别擢升了314%和1340%。而最大范围模子（32B），其微调前基线已较高，擢升相对有限，Safe@k和Think@k区别仅提高了2%和36%。

对各子场景进一步分析发现，高质地推理数据的教师有用缓解了模子贯通捷径和风险遗漏问题，但同期也擢升了模子过度敏锐的倾向。

这一风景标明，安全对王人存在衡量：

详备推理轨迹教师增强了模子风险识别和防备才能，但也可能导致过度敏锐类问题下模子过于严慎，体现出弗成漠视的“安全对王人税（Safety Alignment Tax）”。

革新采样参数对安全推理准确性险些莫得匡助

对于非安全问题，采样参数的革新（迥殊是Temperature）会对复兴有显赫的影响。

针对Beyond Safe Answer评测集，筹商者查验了解码阶段的弊端采样参数——Temperature（温度参数，取值为{0.4, 0.6, 0.8, 1.0, 1.2}）、Top-p（取值为{0.5, 0.75, 0.95}）和Top-k（取值为{1, 20, 40}）——对模子在风险分析的准确性以及生成安全复兴才能方面的推崇。

主要评估经营包括Think@1、Safe@1、Think@k 和 Safe@k。

在QwQ-32B和Qwen3-32B两个模子上的实验扫尾标明，革新这些解码参数对安全性和推理准确性的影响都极其有限。

针对上述扫尾，筹商团队以为模子的安全推理才能和推理逻辑准确性主要由预教师和对王人阶段形成的里面常识结构决定。

天然解码阶段的采样计谋不错影响生成文本的各类性和立时性，但对基本的安全性经营和推感性能影响甚微。

因此，空话语模子的核快慰全推理才能主要取决于教师数据和模子自身的参数，而非具体的解码计谋。

这突显了通过优化模子教师和对王人神志来擢升安全推理才能的蹙迫性，而不是只是温雅解码参数的革新。

这项筹商的中枢作家包括郑柏会、郑博仁、曹珂瑞、谭映水，作家团队来自淘天集团算法本领-将来实验室团队。

将来生存实验室发愤于设立面向将来的生存和耗尽神志，进一步擢升用户体验和商家经营服从。实验室聚焦大模子、多模态等AI本领标的，发愤于打造大模子相关基础算法、模子才能和各种AI Native应用，引颈AI在生存耗尽界限的本领改进。

对于Beyond Safe Answers的更多实验扫尾和细节详见论文，筹商团队将执续更新和贵重数据集及评测榜单。

论文贯穿：

https://arxiv.org/abs/2505.19690

技俩主页：https://openstellarteam.github.io/BSA数据集下载：https://huggingface.co/datasets/OpenStellarTeam/BeyongSafeAnswer_Benchmark代码仓库：https://github.com/OpenStellarTeam/BSA

— 完 —

量子位 QbitAI · 头条号

温雅咱们九游会J9，第一时候获知前沿科技动态