你有莫得想过，语音识别系统里阿谁讲求"听"的部分，到底有多贫乏？
当今的语音大模子，比如你手机里的语音助手，背后时时是这样一套架构：先有一个音频编码器把声息讯号形成机器能妥洽的特征，再有一个桥接层把这些特征翻译谚语言模子解析的"词向量"，临了语言模子讲求把它们组织成一句开通的话。这套经由里，音频编码器要处理每一帧声息，一刻都弗成偷懒，是以它时时亦然最耗蓄意资源的部分。
这就带来一个很本体的问题。要是你想让语音助手在车机、手机这些算力有限的缔造上跑得更快，第一个想动刀的地方即是音频编码器。但平直砍掉几层相聚，会发生什么？
XPeng（小鹏）的臆度团队作念了这件事,他们拿阿里的Qwen3-ASR-0.6B模子开刀,把18层的音频编码器一步步砍到14层，试图找到既能省资源又不太伤性能的甜密点。这篇论文即是纪录这个"手术过程"的论说，论文名字叫X-AuT。
**要是平直砍掉几层会若何**
先说说不这样作念会有多惨。
论文里提到一个很关节的风光：平直删除音频编码器的几个齐全模块，会让模子的输出出现"过早完结"的问题,也即是说,模子本该说一大段话,纵脱说了没几个字就觉得讲结束,平直停驻来。这在语音识别里是致命的,因为漏掉的内容平直形成了删除格外,拉低举座准确率。
为什么会这样?臆度者的阐明是,音频编码器输出的特征,出奇于语言模子妥洽声息的"字据"。你砍掉几层相聚,这些字据的分散就变了,原来教练时学到的"字据强度"和"该不该完结"之间的对应关系被打乱了,语言模子误觉得字据不够了,该扫尾了。
援用块：EOS（End of Sequence）*：指模子在生成文本时判断"这句话说结束"而输出的完结符号，要是模子在音频信息还没说完时就提前触发EOS，就会漏掉背面该识别出的内容。
这里我想打个譬如。你把一个精通读唇语的翻舌人顷刻间换成了一个见识暧昧的翻舌人，他看着言语东说念主的嘴型,信息量骤减,很容易在对方还没说完的时候,就凭着暧昧的印象猜"应该说结束"，草草完结翻译。要是不作念任何挽救，这个翻舌人会漏掉无数后半句的内容——这恰是论文里不雅察到的"删除格外"和"过早完结"风光的起原。要是什么都不作念，平直砍层,这种误判会无数发生。
那若何办?论文给出的谜底不是节略的"砍完就完事"，而是一整套"手术后的康复教练"。
**用行动测试挑选要砍哪几层，而不是拍脑袋决定**
这里有个出奇值得说的遐想。
常常作念模子剪枝，好多程序会给每一层打一个"贫乏性分数"，分数低的就先砍。但X-AuT的团队发现，这个念念路有个致命裂缝：单独看某一层似乎不贫乏，但一朝确切把它砍了，驾驭的层因为要相接一个被"曲解"过的信号，反而变得举足轻重。
论文里作念了一个出奇有劝服力的施行。他们测试了单独砍某一层的效劳，发现第8层和第6层是最佳砍的两层，单独砍掉弱点最小。听起来很合理，那把这两个"最容易砍"的层放在沿途砍，应该效劳更好吧？
纵脱偶合相悖。同期砍掉第6层和第8层，举座弱点是7.78%，反而比砍掉第5层和第6层这个组合的6.93%更差，差了快要1个百分点。
援用块：TER（Text Error Rate，文本格外率）*：量度语音识别输出和标准谜底之间互异的方针，数值越低阐明识别越准。
这阐明层与层之间的关系不是节略的加法。臆度者管这个风光叫"非加性交互"。
这里适合打一个类比。假定你在解决一个团队，你想裁掉两个"看起来最不贫乏"的东说念主来省资本。单独捕快时,这两个东说念主的KPI如实是团队里最低的两个。但要是你真把他们俩沿途裁了,你会发现团队配合出了大问题,因为其中一个东说念主天然产出不高，却是唯独一个能和另一个关节部门沟开通畅的桥梁。要是换成裁掉另外两个"KPI稍高一丝但配合更好"的东说念主，团队反而运行得更顺。这即是为什么X-AuT坚握要用"组合测试"而不是"单独打分"来决定裁人名单：单独的分数骗不了举座的配合关系。
是以X-AuT遐想了一套"行动探针"机制:每次要砍层之前，先拿几个固定的评测基准，快速跑一遍各式候选层组合的阐扬，谁的短期收复效劳最佳就选谁。这比单纯打分贵，但更信得过。
**三阶段康复教练：先对皆，再模拟确凿场景，临了精调**
砍完层，若何让模子从新"学会言语"?
这是整篇论文最中枢的工夫部分。X-AuT遐想了三个阶段的收复经由。
第一阶段叫representation alignment（表征对皆）。
援用块：表征对皆*：让被砍瘦的学生模子的中间层输出，尽量效法一个没被砍过的、更强的憨厚模子的对应输出，目的是让学生模子的"念念维过程"尽量向憨厚靠近。
这里用到了一个"憨厚模子"，是参数目更大的Qwen3-ASR-1.7B，它的音频编码器有24层，遮蔽层维度是2048，而学生模子的维度只消1024。维度不一样若何对皆？论文里用了一个两层的微型神经相聚，把憨厚的2048维特征压缩成256维的瓶颈，再投影到学生的1024维空间。这一步只占通盘这个词教练过程的5%，但作用类似给刚作念完手术的病东说念主先作念基础查验和局部理疗，把最曲解的部分先捋顺。
第二阶段是主力教练阶段，占了95%的教练时间。这里除了陆续让学奏效法憨厚的输出分散，还引入了一个很玄妙的机制:让模子不仅在"标准谜底"的率领下老到(教师强制)，还要在我方生成的、可能有格外的文本基础上陆续老到(学生政策)。
援用块：教师强制（Teacher-forced）*：教练时给模子看正确谜底看成上文领导，让它展望下一个词，这样效劳高但和确凿推理场景有差距。
学生政策（Student-policy）*：让模子根据我方也曾生成的内容(可能包含格外)陆续生成，更贴近确凿使用场景，但教练起来更不褂讪。
为什么要汉典加入学生政策这一步？因为模子部署之后，本体推理时是莫得"标准谜底"喂给它的，它只可看着我方前边生成的内容陆续往下说。要是教练时长期只在标准谜底的温室里长大，一朝推理时我方说错了一个字，背面就可能随着全错，这叫"格外累积"。
这个设定让我意料练车。造就车长期配一个副驾驶刹车，你开错了造就随时能篡改，练得很顺。但真确动身开车没东说念主帮你踩刹车，你需要在我方犯错之后依然能把车开回正确的车说念上。要是只在造就车里练，从没体验过我方犯错后若何挽救，一朝真确孤独动身,第一次打场地盘打晚了，可能就平直压线甚而出事。X-AuT里的学生政策教练，即是让模子提前适合"我方说错了若何往回拉"这件事，而不是等部署以后才第一次濒临格外。
不外论文也很敦厚地阐明了这一步的风险：要是学生生成的内容齐全跑偏,形成类似的乱码大略提前完结，硬拿这种"孔殷文本"去和憨厚对比，学习不到灵验信号，反而是杂音。是以他们设了保护机制,生成的内容至少要有3个新词,最多256个词,要是一个批次里起初一半的样本被判定为"生成失败"，这个批次就反璧老本分实的教师强制步地。
第三阶段是LoRA精调，用干净的标准谜底作念一轮低学习率微调，主要目的是针对主见使用场景(比如车机语音这种特定场景)作念适配，这一步不再需要憨厚模子参与。
援用块：LoRA（Low-Rank Adaptation，低秩适合）*：一种轻量级模子微调工夫，毋庸退换通盘这个词模子的全部参数，只在关节的介怀力层插入微型的可教练模块，大幅裁减教练资本同期保留原模子的大部分学问。
三个阶段走完，从18层砍到16层的模子，宏不雅平均格外率从5.61%降到了5.27%，果然比没砍过的原始模子还准了。陆续砍到14层，格外率形成5.75%，比原始模子略差一丝，但音频塔的参数目减少了20.7%。
**大憨厚和小憨厚，差的不是一丝点**
论文里还作念了一个很特地念念的对照施行，专门考证"憨厚模子"到底有多贫乏。
一种作念法是用没被砍过的0.6B模子我方当憨厚，教被砍过的0.6B学生，这叫自蒸馏。另一种是用参数更大的1.7B模子当憨厚。除了憨厚不同，其他教练配方、数据、超参数全部保握一致。
纵脱差距大到有点吓东说念主。用小憨厚自蒸馏,平均格外率是8.45%，比原始模子足足差了50.6%的相对弱点。而用大憨厚作念跨范例蒸馏,平均格外率只消5.55%星空app，比原始模子还略好一丝，相对弱点降了1.1%。
援用块：跨范例蒸馏（Cross-scale distillation）*：用一个限度更大、材干更强的憨厚模子来指挥限度更小的学生模子学习，"跨范例"指师生模子架构和参数限度不同。
这个差距在具体基准上更直不雅。用小憨厚教练的模子在Tedlium这个英文测试集上格外率是11.28%，而用大憨厚教练的只消3.92%,差了快要三倍。
这就好比找家教补课。要是找一个跟你水平差未几、甚而没比你强若干的同学来给你补课，他我方都还在犯的格外，根本没法帮你篡改，酌定能陪你类似老到也曾会的东西。但要是找一个真确学识裕如、见过无数题型的憨厚,他能一眼看出你那处妥洽错了，指出你我方都没意志到的学问盲区。这阐明了为什么论文出奇强调，光有蒸馏这个框架不够,憨厚本人的实力才是拉开差距的关节变量。
**渐进式砍层，比一步到位更稳**
还有一个对照施行值得说。臆度者比拟了两种砍层政策:一种是渐进式，先砍18层到16层，收复教练，再砍16层到14层，再收复教练；另一种是平直从18层一步砍到14层，用相似的总教练预算收复。
纵脱渐进式决议的格外率是5.75%,而平直一步砍到位的决议格外率是6.73%，渐进式在全部十个测试基准上都阐扬更好。
这背后的真谛真谛其实挺直观的。你不错把这妥洽成减肥速率的问题。一个东说念主要是想健康地减重20斤，常常建议依次渐进，先减10斤，让身体适合新的代谢水平，再陆续减下一个10斤。要是一上来就用顶点节食法一次性砍掉20斤的主见热量摄入，身体来不足适合，很容易出当代谢零散，甚而反弹得更严重。模子的"康复材干"亦然有限的，一次性剪掉太多层，留给收复教练的"缓冲空间"就不够了，收复效劳天然打扣头。
**重新到尾莫得丢掉冻结的解码器**
有一个细节容易被忽略，但其实很贫乏。通盘这个词教练过程中，语言模子的中枢解码器权重是齐全冻结不动的，只消挂载在介怀力层上的LoRA小模块，还有和词表绑定的输出层(tied output embedding)是不错教练的，况兼这个输出层还只在前两个阶段可教练，到第三阶段精调时也被冻住了。
援用块：Frozen backbone（冻结主干）*：教练过程中保握模子主体参数不变，只更新极少额外挂载的模块，这样能大幅裁减教练资本，也能能干语言模子原来积存的无数语言学问被教练过程中的杂音温情掉。
为什么要这样保守？因为语言模子的解码器部分,是在海量文本上预教练出来的语言妥洽材干，这部分学问和"若何听懂声息"其实是两件不齐全关联的事。要是把解码器也放开教练,很容易在小限度的语音数据上把它原来学好的语言材干带偏,这叫"灾祸性渐忘"。
这就像你想给一位也曾精通汉文写稿的作者，额外培训一门新的方言白话识别技巧。你细则不但愿在教他听方言的过程中，把他原来写著述的功底也带坏了。是以机灵的办法是，只在他身上加装一个"方言翻译插件"，中枢的写稿材干保握不动。这阐明了为什么论文里反复强调"decoder backbone frozen"，这不是偷懒，而是刻意的保护政策。
**效劳进步是确切，但别指望端到端速率翻倍**
临了说说本体部署效劳。臆度者在车载芯片和英伟达H800上差别测了推理速率。
砍到14层之后，音频编码器本人的处理时间在车载芯片上减少了21.4%，在H800上减少了11.4%。但举座的端到端处理时间，只减少了4.7%和2.6%。
为什么差这样多？因为语言模子生成翰墨的过程是自追究的，也即是一个字一个字往外蹦，这个过程本人占用了大部分的总耗时，音频编码仅仅经由里相对较短的一环。砍音频编码器就像给一辆车换了一个更省油的引擎，但整趟旅程大部分时间其实花在了红绿灯和堵车上，引擎升级带来的省油效劳，会被这些没法优化的部分稀释掉。
这个纵脱挺贫乏，因为它提醒咱们，压缩模子的某一个部件，不代表举座系统的速率会成比例进步，尤其是在自追究生成占主导的架构里。
论文的作者们也很坦诚地承认，这些纵脱都是单次施行，莫得作念屡次类似施行来考证纵脱的褂讪性，也莫得作念统计权贵性闇练。他们明确写说念，这些是"形容性不雅察"，不是"统计学真谛上的字据"。这种严慎的格调，在一篇宣传我方程序的论文里其实挺罕有的。
Q&A
Q1：X-AuT是什么？
A：X-AuT是XPeng团队冷漠的一套语音大模辅音频编码器压缩程序，通过渐进式砍层加三阶段收复教练，把Qwen3-ASR-0.6B的音频编码器从18层砍到14层，同期尽量保住识别准确率。
Q2：砍掉音频编码器的层数会不会让语音识别变差？
A：平直砍层如实会导致过早完结、漏字等问题，但X-AuT通过表征对皆、跨范例蒸馏和LoRA精调三阶段收复教练，让16层模子的格外率反而比原始18层模子更低，14层模子的格外率也只略高一丝。
Q3：用更大的憨厚模子指挥压缩效劳离别有多大？
A：离别很大。用同限度模子自我蒸馏，平均格外率是8.45%，比原模子差了50.6%；用参数更大的1.7B模子当憨厚，平均格外率只消5.55%，比原模子还略好。