论文解读

噪声下别硬听:用稀疏对齐与视觉离散单元约束大模型的音视识别

针对强噪声下音频不可靠而视觉融合又难以精细控制的问题,AVUR-LLM 用上层稀疏对齐、声学不确定性门控融合与视觉离散单元重打分三步处理,在 LRS3 上干净 0.75% 与 0 dB 噪声 1.7% 词错误率显示改进,代价是两阶段流程与额外视觉编码和大模型重打分开销。

 · 更新于 2026-10-16 · 约 20 分钟 · 9559 字 阅读 →
论文解读

不看源数据时多设备声场景如何对齐:先校准偏置再按一致性加权

针对无源数据的多源声场景适配中设备异质导致的预测偏置问题,论文提出先做后验校准再按标签一致性加权的 FASOLA,在 DCASE 2020 六个仿真目标设备上平均准确率报告为 54.43%,代价是需要遍历目标集估计全局统计量且依赖多模型间的一致性假设。

 · 更新于 2026-10-16 · 约 19 分钟 · 9046 字 阅读 →
论文解读

不用多条件训练做流式鲁棒识别:在线分离前端加干净训练后端的解耦路线

论文研究噪声混响和重叠说话下的零前视流式识别,采用在线语音分离前端加只用干净语音训练的流式识别后端的解耦框架,最强证据是在 LibriSpeech 模拟噪声、CHiME-4 和 LibriCSS 上用 oTF-CrossNet 加干净后端超过同等数据量的多条件训练基线,代价是系统好坏高度依赖分离前端的强度。

 · 更新于 2026-10-16 · 约 20 分钟 · 9719 字 阅读 →
论文解读

用跳读和复读的失败样子教流匹配走稳:RobustSpeechFlow 的对齐鲁棒训练

针对流匹配零样本语音合成中跳词和复读的对齐失稳,RobustSpeechFlow 用等长复读与跳读隐变量构造难负样本做对比流匹配,在 0.06B 参数下把 Seed-TTS-eval 词错误率从 1.44 降到 1.38,并把 ZERO500 在 NFE=24 的英韩字符错误率分别降到 0.35% 和 0.57%,代价是公开基准说话人相似度未提升且主观听感尚 …

 · 更新于 2026-10-16 · 约 18 分钟 · 8922 字 阅读 →
论文解读

只给低阶镜像反射,也能补出完整房间脉冲响应吗

针对用低阶镜像声源法早期反射补全完整房间脉冲响应时会出现不连续的问题,该文采用以信号预测为目标并以模拟早期反射为条件的扩散模型,结合能量衰减曲线损失与分类器无关引导,在混合训练下改善了早期补全与衰减曲线重建,但推理需要完整 200 步反向扩散而慢于单次前向基线。

 · 更新于 2026-10-16 · 约 18 分钟 · 8905 字 阅读 →
论文解读

测量点稀少时,用日常双耳声音补上数据库检索不到的个人线索

针对稀疏测量下个性化头相关传输函数难以估计的问题,论文用数据库检索先验与双耳声音感知线索做双分支协同预测,在 SONICOM 上以对数谱失真为指标在各测量点数下取得最低误差,但语音等窄带声音与定位偏差仍需专门处理。

 · 更新于 2026-10-16 · 约 18 分钟 · 8525 字 阅读 →
论文解读

试内切换下脑电不可靠且有延迟,SAGE 用双路候选加软门控做平滑选择

针对试内自发注意切换导致的脑电噪声与神经延迟问题,SAGE 用双候选分离加脑电引导软门控、延迟补偿与不确定性保守平滑处理,在自发切换数据集上报告 8.67 dB SI-SDR、88.24% STOI 与 2.04 s 平均切换延迟,代价是依赖同步脑电与三阶段训练。

 · 更新于 2026-10-16 · 约 20 分钟 · 9865 字 阅读 →
论文解读

状态记忆不够用时,音频编码器如何向 Mamba-2 低头:SAM 的紧凑表征与结构化问答

SAM 用 Mamba-2 替代 Transformer 做音频语言模型主干,以 2.7B 参数在 AudioSet 上报告 21.1 mAP、在 AudioCaps 上报告 17.6 SPICE,并以联合微调音频编码器、保持 64 个紧凑音频 token、加入结构化推理监督为代价换取推理能力从 22.8 到 56.8 的提升。

 · 更新于 2026-10-16 · 约 20 分钟 · 9694 字 阅读 →
论文解读

同一句话不同语气看到不同脸:把韵律单独送进扩散模型的尝试

论文要解决文本相同但语气不同时图像该如何变化的问题,用 ProsodyCLIP 加解耦适配器把韵律信号单独注入 280M 蒸馏 U-Net,在 RAVDESS 上报告 71.3% ECA 但 FID 落后于大模型且只限面部表情评价。

 · 更新于 2026-10-16 · 约 18 分钟 · 8708 字 阅读 →
论文解读

把家庭练习留住、把错误讲清楚:SayCheck 如何连起游戏诱因与属性级诊断

针对儿童需要在家反复练但难坚持、且传统音素级判断只说对错不说错在哪的问题,SayCheck 用 Say Bananas 做采录与动机层、用 PhoneAid 做音素与音系属性两级分析,展示了从选词到录音再到汇总报告的可走通流程,但原文未报告受控实验数字与训练细节因而只支持可行性判断。

 · 更新于 2026-10-16 · 约 25 分钟 · 12231 字 阅读 →
论文解读

冻住已发货检测器再长出新词分支:参数封顶的模块化关键词扩展

为在拿不到原始训练数据且不允许老词退化的条件下增加新触发词,该文冻结约 150k 参数的基座并只训练不超过 10k 参数的扩展分支与新词头,在固定 1% 误接受率下把新词平均漏检率从可部署独立模型基线的 6.46% 降到 4.37%,最坏情况计算量为 16.34M,低于同预算适配器与低秩适配的 18.45M 与 20.52M。

 · 更新于 2026-10-16 · 约 21 分钟 · 10231 字 阅读 →
论文解读

拉丁拼写不等于英语发音:为坦库尔语和马林语从零建库并训练字符级 TTS

针对曼尼普尔两种拉丁拼写藏缅语的数据空白,论文用教科书录制加自动切分流水线建成 9.58 小时坦库尔语和 10.79 小时马林语单说话人库,并在相同划分上训练 Tacotron 2 与 FastSpeech 2,最强组合 FastSpeech 2 加 StyleMelGAN 在主观盲测取得 3.06 与 3.51 分,代价是方言差异与声调建模仍限制可懂度。

 · 更新于 2026-10-16 · 约 19 分钟 · 9427 字 阅读 →
论文解读

连续扩散语音语言模型仍沿幂律走:损失可预测,语言性可测,长连贯仍缺席

论文以连续扩散直接建模对数梅尔谱研究无文本语音语言模型的可扩展性,用音素 JSD 度量语言性并在十档算力上拟合验证损失与下游指标的扩展律,发现最优词元参数比随算力下降且等损失带变宽,但把模型推到 16B 参数与数千万小时对话数据后长程连贯仍是主要代价。

 · 更新于 2026-10-16 · 约 18 分钟 · 8775 字 阅读 →
论文解读

一步去噪去混响:薛定谔桥轨迹为何要配 Mamba 的状态演化

针对联合去噪去混响,论文用薛定谔桥中间状态训练 Mamba 主干并在退化端单步推理,在真实录音与混响集上取得多项领先,代价是干净对照集上部分语义指标未胜出且需补流式与统计验证。

 · 更新于 2026-10-16 · 约 15 分钟 · 7283 字 阅读 →
论文解读

用低频子带先验带路:SCNet 如何让黑盒声码器先看清再重建

针对梅尔谱到波形重建中频谱细节丢失与相位卷绕监督不准的问题,SCNet 用低频子带条件网络提供频域先验并用幅度加权相位损失强调高能量区,在域内与跨域评测上优于同量级基线,代价是引入双分支与耦合模块的额外计算。

 · 更新于 2026-10-16 · 约 19 分钟 · 9180 字 阅读 →
论文解读

众包听音为何变扁:P.808 与 P.800 对照下的筛选补救

论文以 20 种经典与神经编解码条件的 P.800 实验室与 P.808 众包 DCR 对照为基准,证明未筛选众包存在量程压缩与方差增大,并以陷阱题加最低参考分与量程加锚点排序的组合筛选把条件均值误差降到 MAE 为 0.230,代价是仅保留 7 人因而需超额招募。

 · 更新于 2026-10-16 · 约 17 分钟 · 8017 字 阅读 →
论文解读

当词错误率把合法连写判错:SCRIBE 用分类误差向量补上印度语丰富转写缺的诊断信号

针对词错误率把声学失败与格式失败混为一数且在马拉雅拉姆语等黏着语中因合法连写被结构性夸大约三成的问题,论文用带连音容忍对齐的四维误差向量做诊断评估,并用大模型清洗管线训出印地语等三语丰富转写模型,最强证据是数字维度与专家评分相关达负 0.92 而词错误率多维不显著,代价是标点仍高达百分之十以上且本次未能确认代码权重可达。

 · 更新于 2026-10-16 · 约 16 分钟 · 7844 字 阅读 →
论文解读

一句输出谁、何时、说了什么:SDR-LLM 用先进先出序列统一说话人、文本与毫秒时间戳

针对多人对话中谁在何时说了什么难以联合建模的问题,SDR-LLM 用双编码器语音大模型加先进先出结构化输出统一预测说话人编号、转写文本与毫秒级起止时间,并在三类会议播客数据上以更低的说话人归属错误取得与级联系统可比的分割错误,代价是四说话人与高重叠下分割误差仍偏高且自回归推理开销大。

 · 更新于 2026-10-16 · 约 19 分钟 · 9188 字 阅读 →
论文解读

先保住小声说话,再统一音量:SE-AGCNet 把增强与增益放进一次联合优化

针对会议中噪声与音量起伏并存的问题,SE-AGCNet 用 MP-SENet 做增强加轻量 AGC 做响度归一并联合训练,在 LibriAGC 与两套真实会议数据上把响度拉回 -23 LUFS 附近并降低识别错误率,代价是依赖仿真数据与两阶段课程训练。

 · 更新于 2026-10-16 · 约 15 分钟 · 7238 字 阅读 →
论文解读

发音错误不够采时,让模型在测试句上自己再学一步:SEA-MDD

针对 L2 发音错误分布多变而标注难以覆盖的问题,SEA-MDD 在 wav2vec 2.0 的 Transformer 块中插入以重构为自监督任务的 TTT 模块,使每个测试句都能触发内循环权重更新,最强可运行配置在 CU-CHLOE 上取得 8.03% 的 PER 和 81.54% 的 F1,代价是单块或全块适配带来毫秒级额外延迟与数百万可更新参数。

 · 更新于 2026-10-16 · 约 18 分钟 · 8614 字 阅读 →