说话人身份不是一块整板:共享声音核心与性别年龄口音各自的外延
该研究用假词听辨加功能磁共振比较性别、年龄、口音三种判断,显示双侧颞上区是共享声音核心但口音激活更强且各自另有外延区,代价是口音准确率最低且反应时最长、样本与刺激均为特定构造。
该研究用假词听辨加功能磁共振比较性别、年龄、口音三种判断,显示双侧颞上区是共享声音核心但口音激活更强且各自另有外延区,代价是口音准确率最低且反应时最长、样本与刺激均为特定构造。
针对端到端语音对话状态跟踪缺目标域语音的问题,论文用共享连接器与 LoRA 的语音加文本联合训练把文本域知识迁到语音管线,在 SpokenWOZ 与 MultiWOZ 互为源目标时缩小与域内语音训练的差距,但文本权重与大模型规模决定保留源域与提升目标域的折中。
该研究在 29 种语言 33 个数据集上冻结 11 个自监督语音主干只训练分类头,发现跨语言迁移更多受语言结构类型制约而非预训练量或参数规模,最强平均 F1 来自 Whisper 而达罗毗荼语系系统性失效且增大参数不能解决。
针对语音抑郁检测中样本标签可能标错且抑郁线索只藏在片段里的问题,论文用似然比加原型融合做样本级标签校正再用最大规则与聚合器双流多示例学习做片段级检测,在 DAIC-WOZ 上报告 UAR 0.651 与 F1 0.642,代价是两阶段流水线与多个阈值和权重需要调参。
针对注册与测试语言不一致导致的性能下降,论文冻结 w2v-BERT 2.0 只训练轻量适配器,用 19-24 层选择加共享潜在交叉注意力和卷积前馈提说话人嵌入,并用嵌入级 margin-mixup 正则,在 TidyVoiceX 开发集上报告 EER 1.40% 和 MinDCF 0.66,代价是依赖说话人感知的骨干初始化和有限多语言数据。
针对单通道双人语音分离中生成模型易跟错说话人的问题,该文用冻结的端到端 diarization 吸引子作为唯一说话人条件,只训练潜在空间流匹配 U-Net,并用免训练的对抗说话人引导推开干扰说话人,在 LibriMix 上以可运行的分离策略报告了质量、可懂度和说话人混淆对照。
LavaSR 把 8-48 kHz 输入先重采样到 48 kHz 再用 Vocos 式生成器补高频并用平滑交叉精修拼接,在 VCTK 上以 0.85 的 8→48 kHz 对数谱距离持平强基线,代价是相位精细度略逊于双分支结构但 CPU 与 GPU 吞吐高出一个数量级以上。
针对 DAIC-WoZ 与 Androids 双向跨库迁移中说话人和语料等多源偏移沿编码器逐层累积的问题,论文提出逐层多因子自适应解耦 LMAD,用 HSIC 约束中间层并自适应加权,在 ECAPA-TDNN 上把跨库宏 F1 做到 0.62 与 0.56,代价是需预先选定关键层且依赖无监督域适应的混合批次构造。
论文用冻结 Whisper 编码器加逐层线性探测研究孟加拉语电话样单元在第几层最线性可分,最强证据是中到后层峰值加 large-v3 晚层平台与 XLSR 陡降的对照,代价是标签为 uroman 粗代理且片段极短因而只宜做可分性解读。
该研究把固定零向量换成每个条件独立可学习的空嵌入并解耦说话人与文本引导,在相同模型与训练条件下提升说话人相似性与稳定性且在大引导权重下更稳,代价是绝对感知质量分数略降且需在推理时手工权衡相似性与自然度。
该研究在 MSP-Podcast 2.0 九类任务上对比硬共识与主次投票分布监督,报告分布目标把 Test1/Test2 的 JSD/KLD 系统性压低而 Macro-F1 差异较小,代价是 Other 类 F1 大幅下降且高熵区硬判决依然困难。
针对串联语音对话缺少训练时中间引导的问题,该研究用目标回答加随机采样回答构造引导流,在合成对话上达到与大模型模拟相当的回答质量,并在 3.8k 小时真实对话上提升轮转顺滑度和听感自然度,代价是打断处理仍弱且真实数据模型回答分略低于合成基线。
该研究用 2×3 被试间对话熟悉化实验检验自然度与注意指向对声音再认的影响,发现对话熟悉化提高旧说话人命中率与信心但同时增加对新说话人的误认,信号检测显示为反应偏向变宽松而非辨别力提高,注意指向无显著主效应。
针对抑郁相关模式在语音中稀疏分布的问题,该研究用自适应跨模态门控对声学帧和文本词元重新加权,在 PDCD2025 上跨模态门控达到 81.25% 平均准确率并在 DAIC-WOZ 上达到 69.39% 的 F1,同时可视化显示门控偏向低能量语音和消极词汇,但预训练模型冻结与聚合口径等细节仍需按原文条件理解。
针对流式语音到文本翻译中固定等待策略在静音和变速语音下被迫输出或掉队的问题,该文在 Bestow 架构上引入以已听音频和已生成文本为条件的学习型等待策略,在英法和英韩 Fleurs 上用更低延迟保持质量,并在前置 5 秒静音的 SilFleurs 上保持分数不变而固定策略大幅下降。
在相同训练条件下比较声学、韵律、文本七种组合,声学加韵律以 utterance F1 0.93、7.8% 误报、400 ms 中位延迟取得最佳平衡,加文本反而增加抢话且不提升性能。
针对语音、文本、视频情绪标签经常不一致的问题,MoLD 为每个模态单独预测标签分布再与融合表示拼接做最终判断,在 EmotionTalk 七分类上多模态达到 58.96% UAR 和 59.67% F1,代价是需要模态级标注和三路编码加两步交叉注意力的额外开销。
针对自监督语音离散化会丢信息的问题,论文在训练保持硬聚类、推理改用簇后验加权嵌入,在 ASR 与语音合成上优于硬赋值并在非母语等域外数据上更稳,代价是推理要算全簇距离并为每任务调温度参数。
针对自注意力平方复杂度与语音帧间高冗余的矛盾,该研究用查询保持原分辨率、键和值做平均池化压缩的非对称注意力,并在 Zipformer 中按层设置不同步长,报告在 AISHELL-1 上最高降低 0.2% 字错率、在 LibriSpeech 上降低 0.3% 词错率,代价是干净语音小模型细节可能被平滑以及流式部署仍待验证。
针对声音印象数值控制中无公开语料与参考音频导致印象泄露的问题,论文构建 LibriTTS-VI 并提出双话语解耦训练与无参考生成,最强证据是 11 维印象均方误差客观从 0.61 降到 0.41、主观从 1.15 降到 0.92,代价是无参考方法说话人相似度略降且部分维度仍难控。