从单人情绪标签转向互动场:重叠共现时的亚秒级声音耦合
该文把情感计算从单人状态推断转向多人声音互动场,用 WavLM 连续表征加双变量与四人条件 Granger 检验在 AMI 会议上验证亚秒级方向性耦合集中于重叠共现,而独白对照与循环位移校准显示短窗检验存在明显尺寸膨胀。
该文把情感计算从单人状态推断转向多人声音互动场,用 WavLM 连续表征加双变量与四人条件 Granger 检验在 AMI 会议上验证亚秒级方向性耦合集中于重叠共现,而独白对照与循环位移校准显示短窗检验存在明显尺寸膨胀。
针对歌声转换中内容与音色解耦和生成质量的权衡,该文用 K 近邻映射到共享说话人空间去除源音色,再用两处最小池化对抗分别修补内容特征与谐波,最强证据是零样本下自然度和音色相似主观分同时超过基线,代价是需要分两阶段训练与额外判别器。
针对防欺骗说话人确认中说话人判别与伪造检测目标不一致且分数分布易漂移的问题,论文提出以开发集等错率阈值边距为置信度的软门控分数融合,在两个基准集与四种声学模型组合上报告相对基线最高约 90% 的 a-DCF 相对改进,但阈值贴近 0 或 1 时会明显失效。
针对自监督前端加图池化后端这一语音防伪路线,SpAArSIST 把可学习图池化与堆栈节点注意力换成可控稀疏与轻量聚合,在后端计算量下降 20.7% 条件下把 In-the-Wild 等错误率从 4.64% 降到 2.82%,代价是 ASVspoof5 域内等错误率从 4.49% 微升到 5.05%。
针对印度语言语音评测碎片化问题,该研究用统一预处理与多指标流水线同时评测 ASR 与 TTS,最强证据是 2B 参数 AudioX 并未稳定超过 600M 的 IndicConformer 且 TTS 自然度与可懂度明显分叉,代价是仍依赖预测 MOS 与公开评测集覆盖。
论文用 10 名卢森堡政治人物各 20 句卢森堡语加 20 句法语共 400 句自发话语提取 41 个魅力相关声学韵律特征并以混合效应模型做方差分解,报告说话人中位 ICC 为 0.56 而语言仅占约 0.5%,语言差异集中在法语更高的 shimmer 与句末 F0 和卢森堡语更强的中频谱能量,但合成魅力指数无语言主效应。
该研究用 10 名政客各 20 句卢森堡语加 20 句法语共 400 句自发话语的辅元音标注与成对检验,显示元音时长与语速随语言系统性重组而辅音保留说话人指纹,且语言与性别无稳健交互,但样本限于精英政客与聚合分析。
针对单声道到双耳合成中耳间差异难复现的问题,Spec2Spatial 先做时域几何对齐再在时频域学习左右耳关联与位置调制,在 Binaural Speech 上取得 DILD 1.250、DITD 0.034 和 MRSTFT 1.174,代价是仍依赖小规模同域录音与位置姿态输入。
针对标签转指令中超过 40% 改写存在语义漂移的问题,论文用受控多样化扩大覆盖、用大模型校验过滤保忠实、再用扰动配对补齐韵律控制,在中文评测上把平均遵循率从 34.5% 和 51.0% 提升到 56.4%,代价是仅保留约 61.5% 候选。
针对零样本跨语言语音阿尔茨海默检测,ORBIT 用双向交叉注意融合多语言语音与文本预训练表示并以多抽头对抗与球面-双曲共识聚类抑制语言信息,在 mHuBERT+Qwen3 组合上取得 LOLO 平均 86.98% 准确率与 85.29% 宏 F1,但希腊语转写依赖 Whisper-large-v3 生成且 LTLO 仍明显低于混合训练。
该研究用在线辨别与改良识别任务问了男男与女女配对是否一样难、辨别与识别共享多少方差、语音技能是否预测表现,最强证据是跨性别配对显著优于两种同性别配对且语音工作记忆只预测识别,代价是在线小样本与同性别试次为主的相关分析限制推广。
针对无声肌电到语音映射模糊难控的问题,TAP-ETS 用帧级音素嵌入经交叉注意力直接条件化解码,并在推理时把外部文本校正重分布回肌电帧,在 Gaddy 无声测试集上把词错误率从 25.12% 降到 19.77%,代价是依赖外部语言模型校正质量与精确时长结构。
针对自监督音频伪造检测模型过大难以端侧部署的问题,论文用跨域知识蒸馏补监督、用移动分数引导结构化剪枝保关键结构,在 90% 稀疏下做到 31.9M 参数与 6.3× FLOPs 下降而多数据集平均性能只降 1.30%,代价是蒸馏仍受教师在无标注域外数据上误差的上限约束。
针对开集噪声标签无法用闭集纠正解决的问题,论文提出时间集成阈值做样本选择与邻居感知标签混合做标签纠正,并在 VoxCeleb 对称与非对称噪声下把平均等错率降到 3.71% 左右,但高噪声与跨评估集上的优势幅度并不一致。
针对边缘端算力受限下语音分离需要低计算量而非小参数的问题,论文提出在 mel 带切分的 Conformer 双路径上对前馈层做时间维与频率维稀疏专家路由,在 Libri2Mix 上以 4.1 GMACs/s 达到 17.7 dB SDR,代价是专家参数量成倍增加与专家数过大时路由难学。
该文在匹配主干与数据轮次预算下比较全局分类锚定与成对验证做开放集语音合成源头追溯,报告域内全局锚定 8.61% 等错误率优于成对变体的 12–15%,并以瓶颈对照与 k99 分析支持差距来自目标函数对嵌入方向的塑造而非单纯维度降低。
针对语音识别语料标注偏松导致日志边界虚胖的问题,该研究用因果与反因果模型取交集生成紧伪标签并协同训练,在理想紧标签增益中恢复约 70% 并改善下游识别,但以漏检上升和仍需紧标注验证为代价。
该工作用分层向量量化变分自编码器把 Greenwood 频谱映射为每个时频格的 Gamma 分布参数并随机采样出平均发放率神经图,在低中频与静默段复现了原电刺激听神经模型的分布与结构,但高频与跨通道精细时间相关仍有明显误差,而计算时间从近 70 秒降到毫秒级。
论文提出合成心音检测任务 SHAC 并构建 CARDIOFAKE 基准,用 MFCC 与 WavLM 的 Gram 最优传输融合 GROOT 在可见编解码器上达到 93.20% 准确率与 5.86% 等错误率,但跨编解码器泛化仍下降约 7 个百分点且推理开销未报告。
针对 Efik 数据稀缺与声调易错问题,研究用约 3 小时 2632 句单人语料微调 VITS、MMS-TTS、SpeechT5 和 Orpheus-TTS 四种模型,母语者评测显示 MMS-TTS 以 3.80±0.63 居首且长文本更稳,但声调与特殊音素问题仍未解决。