能听出杂音却听不出读错重音:平均意见分预测在声学与韵律上的双重分离
论文用声学劣化、重音翻转、基频与语速操纵三组可控扰动比较 15 名日语母语听众与 6 个预测模型,显示模型能跟踪杂音却对 1.84 分的重音下跌至多只动 0.1 分,并对平均基频呈现人类没有的强偏置,代价是标量平均意见分丢失了韵律维度。
论文用声学劣化、重音翻转、基频与语速操纵三组可控扰动比较 15 名日语母语听众与 6 个预测模型,显示模型能跟踪杂音却对 1.84 分的重音下跌至多只动 0.1 分,并对平均基频呈现人类没有的强偏置,代价是标量平均意见分丢失了韵律维度。
论文用四系统配对消融与 768 个人评证明神经 MOS 在离散野外 TTS 上相关性塌到零且错罚噪声而漏判语义错误,代价是不能再单独用它做系统排序。
该研究用同一批句子在朗读、助手、演员、动画角色和自发对话五种设定下同时测人类相似度和合适度,发现合适度随场景独立变化,最强的证据是人类相似度与合适度的句级相关从演员域正相关转为助手域负相关,而常用客观指标在表情丰富的域失效。
该研究用假词听辨加功能磁共振比较性别、年龄、口音三种判断,显示双侧颞上区是共享声音核心但口音激活更强且各自另有外延区,代价是口音准确率最低且反应时最长、样本与刺激均为特定构造。
针对端到端语音对话状态跟踪缺目标域语音的问题,论文用共享连接器与 LoRA 的语音加文本联合训练把文本域知识迁到语音管线,在 SpokenWOZ 与 MultiWOZ 互为源目标时缩小与域内语音训练的差距,但文本权重与大模型规模决定保留源域与提升目标域的折中。
该研究在 29 种语言 33 个数据集上冻结 11 个自监督语音主干只训练分类头,发现跨语言迁移更多受语言结构类型制约而非预训练量或参数规模,最强平均 F1 来自 Whisper 而达罗毗荼语系系统性失效且增大参数不能解决。
针对语音抑郁检测中样本标签可能标错且抑郁线索只藏在片段里的问题,论文用似然比加原型融合做样本级标签校正再用最大规则与聚合器双流多示例学习做片段级检测,在 DAIC-WOZ 上报告 UAR 0.651 与 F1 0.642,代价是两阶段流水线与多个阈值和权重需要调参。
针对注册与测试语言不一致导致的性能下降,论文冻结 w2v-BERT 2.0 只训练轻量适配器,用 19-24 层选择加共享潜在交叉注意力和卷积前馈提说话人嵌入,并用嵌入级 margin-mixup 正则,在 TidyVoiceX 开发集上报告 EER 1.40% 和 MinDCF 0.66,代价是依赖说话人感知的骨干初始化和有限多语言数据。
针对单通道双人语音分离中生成模型易跟错说话人的问题,该文用冻结的端到端 diarization 吸引子作为唯一说话人条件,只训练潜在空间流匹配 U-Net,并用免训练的对抗说话人引导推开干扰说话人,在 LibriMix 上以可运行的分离策略报告了质量、可懂度和说话人混淆对照。
LavaSR 把 8-48 kHz 输入先重采样到 48 kHz 再用 Vocos 式生成器补高频并用平滑交叉精修拼接,在 VCTK 上以 0.85 的 8→48 kHz 对数谱距离持平强基线,代价是相位精细度略逊于双分支结构但 CPU 与 GPU 吞吐高出一个数量级以上。
针对 DAIC-WoZ 与 Androids 双向跨库迁移中说话人和语料等多源偏移沿编码器逐层累积的问题,论文提出逐层多因子自适应解耦 LMAD,用 HSIC 约束中间层并自适应加权,在 ECAPA-TDNN 上把跨库宏 F1 做到 0.62 与 0.56,代价是需预先选定关键层且依赖无监督域适应的混合批次构造。
论文用冻结 Whisper 编码器加逐层线性探测研究孟加拉语电话样单元在第几层最线性可分,最强证据是中到后层峰值加 large-v3 晚层平台与 XLSR 陡降的对照,代价是标签为 uroman 粗代理且片段极短因而只宜做可分性解读。
该研究把固定零向量换成每个条件独立可学习的空嵌入并解耦说话人与文本引导,在相同模型与训练条件下提升说话人相似性与稳定性且在大引导权重下更稳,代价是绝对感知质量分数略降且需在推理时手工权衡相似性与自然度。
该研究在 MSP-Podcast 2.0 九类任务上对比硬共识与主次投票分布监督,报告分布目标把 Test1/Test2 的 JSD/KLD 系统性压低而 Macro-F1 差异较小,代价是 Other 类 F1 大幅下降且高熵区硬判决依然困难。
针对串联语音对话缺少训练时中间引导的问题,该研究用目标回答加随机采样回答构造引导流,在合成对话上达到与大模型模拟相当的回答质量,并在 3.8k 小时真实对话上提升轮转顺滑度和听感自然度,代价是打断处理仍弱且真实数据模型回答分略低于合成基线。
该研究用 2×3 被试间对话熟悉化实验检验自然度与注意指向对声音再认的影响,发现对话熟悉化提高旧说话人命中率与信心但同时增加对新说话人的误认,信号检测显示为反应偏向变宽松而非辨别力提高,注意指向无显著主效应。
针对抑郁相关模式在语音中稀疏分布的问题,该研究用自适应跨模态门控对声学帧和文本词元重新加权,在 PDCD2025 上跨模态门控达到 81.25% 平均准确率并在 DAIC-WOZ 上达到 69.39% 的 F1,同时可视化显示门控偏向低能量语音和消极词汇,但预训练模型冻结与聚合口径等细节仍需按原文条件理解。
针对流式语音到文本翻译中固定等待策略在静音和变速语音下被迫输出或掉队的问题,该文在 Bestow 架构上引入以已听音频和已生成文本为条件的学习型等待策略,在英法和英韩 Fleurs 上用更低延迟保持质量,并在前置 5 秒静音的 SilFleurs 上保持分数不变而固定策略大幅下降。
在相同训练条件下比较声学、韵律、文本七种组合,声学加韵律以 utterance F1 0.93、7.8% 误报、400 ms 中位延迟取得最佳平衡,加文本反而增加抢话且不提升性能。
针对语音、文本、视频情绪标签经常不一致的问题,MoLD 为每个模态单独预测标签分布再与融合表示拼接做最终判断,在 EmotionTalk 七分类上多模态达到 58.96% UAR 和 59.67% F1,代价是需要模态级标注和三路编码加两步交叉注意力的额外开销。