2 比特是膝点:说话人确认中量化误差从哪里来、如何翻转判决
该文用均匀 K 均值量化感知训练在 ResNet-36 与 ResNet-200 上定位 2 比特为主要退化区间,以分数漂移与阈值附近有害翻转解释退化,并用 2/3/4 比特校准级联在接近 FP32 性能下降低平均计算代价,但三模型常驻带来内存代价。
该文用均匀 K 均值量化感知训练在 ResNet-36 与 ResNet-200 上定位 2 比特为主要退化区间,以分数漂移与阈值附近有害翻转解释退化,并用 2/3/4 比特校准级联在接近 FP32 性能下降低平均计算代价,但三模型常驻带来内存代价。
该文以脉冲成形原理重访脉冲表合成,用按基频索引的单周期脉冲加时变低通、成形噪声与混响生成铜管音色,并以小号三八度与起振微调制案例说明表情来自三条控制曲线的联动,代价是脉冲与轮廓仍难从混响录音中稳健自动提取。
针对流式语音大模型边听边推理容易出错且不能回滚重说的问题,RetroThinker 用三阶段事后反思微调让 Moshi 在文本内心独白中自验自改,在 TTS 版 GSM8K 上以相近延迟取得 11 个百分点的绝对准确率提升,代价是反思会先拉长推理链,需再用 Early Reasoning 和 LengthDPO 压回延迟。
该研究固定 Qwen2-Audio-7B-Instruct 做受限英译中语音翻译,只对 gate_proj、up_proj 和 down_proj 做有损量化加无损 Zstandard 压缩,本地 416 条对比中 q3 加 Zstd 以 0.7767 的 COMET 最接近 0.7792 的基线而体积降到 10.312 GB,q2 加 Zstd 以 …
该文针对单条未归一化板混响脉冲反推六维物理与观测参数的问题,用离线仿真训练的归一化树集成一次回归代替逐条迭代优化,在两组仿真验证集上把归一化均方误差降到约 0.012 并把默认粒子群的估计时间从 2252.59 秒降到 10.75 秒,代价是只给点估计且参数精度只在仿真匹配分布下成立。
针对语音对话中停顿与轮次结束难以区分的问题,论文构建含合成与真实对话的 OpenETD 数据集并提出 SpeculativeETD 两级协作推理,用端侧轻量模型逐块判有声无声、只在静音段触发服务端大模型判暂停还是结束,在混合训练下真实集上取得更好分割效果,代价是服务端调用与传输延迟仍需计入部署预算。
针对脉冲神经网络在语音命令识别中时序建模弱的问题,论文提出多视角脉冲时间感知注意力与上下文精炼 MLP 构成的 SpikCommander,在 SHD、SSC、GSC 上以 100 时间步取得更高精度,代价是更长的时序展开与更复杂的分支结构。
论文针对音频问答中统一长度推理导致的简单题冗余和难题推理不足,提出随模型感知难度调节长度奖励的 GRDR 与 GA2DR,在保持准确率的同时报告平均推理长度下降至少 50%,代价是 GRDR 在强噪声与高难度集上更易出现奖励投机与不稳定。
针对流匹配语音生成中 ODE 反复调用神经网络导致推理慢的问题,WaveEx 用单层小波分解加一阶泰勒分频外推替代部分求解步骤,在四类任务上报告 2.75-5.73 倍加速,代价是早期高曲率段仍需保留少量 ODE 步且高频外推带来轻微波动。
针对 Transformer 伪造语音检测器深层冗余且域外泛化差的问题,论文用 XLS-R 加 1 到 4 层 MTLA 分类器并以角距离把浅层向末层对齐,在 19LA 训练、多域评测下以 479.11K 分类器参数取得域外增益,但过强对齐与过深堆叠仍会退化。
针对 Qwen3-ASR-0.6B 的 18 层音频编码器,X-AuT 用短预算行为探针选择可恢复层组合,再经表示对齐、跨尺度蒸馏与 LoRA 微调分两跳压到 14 层,单次运行显示 16 层宏平均误差从 5.61% 降到 5.27%,14 层为 5.75% 且音频塔参数减少 20.7%。
针对音视频大模型推理时 KV 缓存过大问题,AccKV 按层自适应聚焦关键模态并先模态内合并再跨模态校准,在 MVBench 与 AVSD 上用 10% 缓存与 120 词元预算维持接近全缓存精度,但未测量延迟与吞吐提升。
论文针对多模态 token 与文本从第 0 层共同走完全部语言模型层造成的算力负担,提出仅让文本走完全程而把多模态 token 直接送入中间层的 DeepInsert,并在视觉、音频、分子模态中显示第 4 层插入可持平基线,而更深插入可用可接受回落换取推理加速。
共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读
针对同声传译需在部分语音下增量输出的问题,EASiST 用多延迟语义分块构造单调交错数据、全单向语音编码器加 LLM 与轻量读写策略头经三阶段训练实现自适应低重算推理,在 MuST-C 与 Europarl-ST 英德英西上取得更好的延迟质量权衡,但自适应增益依赖分块对齐质量与阈值调节。
针对扩散说话头推理慢与长视频接缝断裂问题,READ 用 32×32×8 时空压缩加 SpeechAE 对齐音频与 A2V-DiT 生成,并在 HDTF 上以 4.421 骨干耗时取得 Sync-C 8.658 的竞争精度,代价是需 8 步采样与 Split-CFG 增加约 50% 耗时。
针对固定帧率对静音与稳态元音浪费而对快速过渡欠分配的问题,VARSTok 用时间感知的密度峰聚类做变长切分并用扩展索引隐式编码时长,在平均 30.95 Hz 下重建 UTMOS 达 3.8949 超过 40 Hz 固定基线,但更低码率与说话人相似度上仍有代价。
针对语音分离模型分离网络最重、均匀剪枝易伤轻层的矛盾,SepPrune 用结构分析定位、可微掩码选通道、剪后微调恢复的分布优化,在三数据集多骨干上降低参数与计算量,而一轮微调即可恢复大部分性能,但大幅剪枝时恢复速度因结构而异。
该文把随语音手势生成改成随音频推进的滚动扩散窗口,用逐帧递增的噪声排布和一次性解码多帧的梯子加速,在 ZEGGS 与 BEAT 上提升连贯性与多样性,代价是梯子步长增大时在表现力强的数据上会出现平滑与抖动问题。
针对音频问答中少样本演示不稳定且每次推理都要重复传入演示音频的问题,论文提出每个任务只归纳一次纯文字指令的 Audio-Induct,并在 9 个大音频语言模型与两个基准上验证其准确率与推理开销,代价是小模型自行归纳仍不稳定且对策略思维链仅边缘显著。