只看低频孤立共振:多分辨率谱图反推板混响物理参数
该研究把板混响脉冲响应转成多分辨率幅度谱图加相位通道后用 ResNet-18 回归七个原始物理参数,在 200 条 5 秒对照上把平均 NMSE 从基线 0.0605 降到 0.0058,代价是依赖下采样到 1470 Hz 的低频段与仿真分布。
该研究把板混响脉冲响应转成多分辨率幅度谱图加相位通道后用 ResNet-18 回归七个原始物理参数,在 200 条 5 秒对照上把平均 NMSE 从基线 0.0605 降到 0.0058,代价是依赖下采样到 1470 Hz 的低频段与仿真分布。
该研究用母语语料的上下文相关音素类中心加截断奇异值分解建立母语参照坐标,把每条二语话语的同名音素类投影进去算距离,在自发口语上与综合熟练度呈负相关,在朗读上与发音质量呈负相关,但偏离中仍混有流利度和覆盖度因素。
针对逐字转写中局部一两个字符的不确定性,论文把通配符旁路从词级下移到词元级并与熵调度的混合图结合,在 25 个任务上相对 CTC 平均降低 9.45% 词错误率,代价是需要按语料调旁路权重与验证集熵进度。
跨语言零样本合成中参考音频的源语言口音会泄漏到目标语音,本文用同一合成代理声音在两种语言下预测之差估计口音方向并在采样时减去,在 OmniVoice 等四个公开模型上实现等口音下更高的说话人相似度,代价是每步增加代理计算与每模型需小幅扫描去口音强度。
AdaptDuplex 针对全双工对话中时机与认知负荷逐窗变化的问题,把窗口时长与动作组合都做成显式词元决策并配三阶段课程训练,在 FDB 与 HumDial-FDBench 上取得更低响应延迟与更高终分,代价是仅覆盖中英、三档窗口与最多四路并发外部推理。
论文把 Fisher 白化后的输入误差互协方差用于构造语音模型的低秩适配子空间,并在相同可训练参数量下比较均匀秩、自适应秩与跨层共享,报告自适应秩分配在 Whisper 与 Qwen3-ASR 上对标准 FCCA 最稳定地降低词错误率,但仍落后于大预算 LoRA 与全量微调。
论文追问音频越狱成功是认不出有害意图还是认出后未触发拒绝,用逐层探测定位到后者并提出中层风险门控加后层安全适配的先检测后干预方法,在六个大音频语言模型和三类异构音频越狱上把平均不安全率从 17.9% 降到 0.4%,代价是良性过拒绝平均上升 6.3 个百分点。
针对长音频中领域术语不一致和声学混淆问题,Agentic-GER 用全文转写做全局上下文来发现可疑片段并定点重转写核对,在 GigaSpeechBench 上中文 Whisper 基线最高获得 36.8% 术语相对误差下降,代价是思考模式大幅增加输出 token 与耗时。
论文发现联合视频生成中视频到伴随模态的对应强而反向弱,提出以停止梯度的强方向分布为目标的 KL 正则 RecCAR,在视频-动作上把人体解剖学得分从 0.69 提升到 0.75,在视频-音频上把绝对失同步从 0.804 降到 0.752,代价是只微调 LoRA 且需保留原生成损失权重。
针对单说话人声学到完整声道轮廓反演跨说话人几何失配问题,论文用一帧/u/标定的 12 点仿射加 14 点薄板样条映射复用固定模型预测,在 8 个新说话人上把 Full10 误差从未适应的 8.87 mm 降到 3.19 mm,但喉部与唇部改善不均匀且 P4 出现回退。
针对手腕动作相似但物体材质不同时惯性传感器难分辨的问题,AnomaSense 用只在无声动作上训练的异常检测器决定何时打开麦克风至多一秒并做掩码,在 15 人 20 类受控实验中把识别从惯性单模态的 78.98% 提升到融合无掩码音频的 96.89%,而 90% 连续掩码下仍保持 86.32%,代价是触发器相对声音事件的召回为 74.28% 且结论限于安静离 …
ARIS 用神经网络只做从波形到声码器系数的分析、用无参数 DSP 做合成,在每人不足 1 小时的五个单人语料上达到与 WORLD 可比的拷贝合成质量,并以约一半于 KlattGrid 的 F2/F3 误差实现单线索编辑,但高频自然度预测分仍略低于微调后的 HiFi-Glot。
针对语音匿名后词错误率与人耳可懂度脱节的问题,该研究用 96 组最小对立体做众包实测可懂度,并让 12 个语音识别模型同样参加二选一测试,发现多模型硬投票在条件聚合上达到 0.985 的决定系数,而后验置信加权没有带来增益。
针对联合音视频生成中混合奖励难归因与双塔联合更新成本高的问题,AV-GRPO 用模态锚定分组、轨迹锁定加冻结对方塔、交替更新来解耦学习,基座 LTX-2.3 22B 上的 JavisBench 与 VABench 报告显示质量、对齐与同步多项提升,但不同训练方式与指标间仍存在权衡。
针对孟加拉语缺少长篇单人 TTS 数据的问题,作者构建 20 小时有声书语料 BanglaKontho 并配套文本归一器,用同构 MB-iSTFT-VITS 基线显示 WER 9.5% 与 MOS 4.46 优于 IndicTTS-Bn 复训基线的 16.0% 与 3.16,代价是单说话人叙述风格与非商业许可限制。
该研究针对孟加拉语会话缺少轮次结束标注问题,用播客音频加说话人日志加语言模型初标加人工全检构建 35374 条语料,并用 Whisper 编码器加多尺度池化做二分类,在 319 条异源平衡测试集上达到 84.33% 准确率,代价是误报率升至 23.75%。
论文在特维语、达格巴尼语和埃维语上先用圣经通用域与青少年性与生殖健康域对比五种语音识别系统,再把微调目标从算力不可行的 Gemma 4 转到可在 T4 上训练的 Qwen3-ASR-0.6B 并在严格隔离的人录域内音频上验证,最强证据是埃维语词错误率下降 44.5 个百分点,代价是残余错误仍高且依赖域内验证数据的持续投入。
针对 STM32N6 上 Neural-ART 只支持静态整数量化卷积图的问题,该研究把 LiSenNet 双路 GRU 瓶颈改为卷积频率混合加因果空洞时间卷积并配套可折叠归一化与有界激活,最终以 46.2k 参数实现板载 int8 PESQ 3.01 与每 16 ms 跳 4.83 ms 处理,代价是 154 KiB 的 25 个 FIFO 流状态。
该研究用 47.88M 参数的双向 Mamba2 编码器在 250 小时 67 语种无标注语音上做掩码离散单元预测,主检查点以 ARI 0.735 超过四个基线,但语种识别与识别错误率仍明显落后,代价是后期训练出现音素泛化退化与本地诊断失效。
针对机械与水下录音中弱而宽带的循环调制检测问题,论文用 CARFAC 内毛细胞通道包络谱代替 FAM 加 ICMC 的谱相关面,在合成音、CWRU 轴承与 ShipsEar 工作船录音上恢复了主要的低频循环线,并把同任务墙钟耗时降到约 2 至 37 分之一,代价是真实水下宽带噪声下归一化后噪声基更高。