论文解读

不用逐层试错:让自监督目标自己选出 Whisper 适配层

针对儿童与方言等低资源域偏移,Gumbel-BEARD 用可训练的硬 Gumbel-Softmax 在每步自动选择 Whisper 编码器预测层并配合 BEST-RQ 自监督适配,在 MyST 上以 10 小时标注达到全量 133 小时微调相当的 9.35% 词错误率,并在全量时达到 8.21%,代价是仍需两阶段适配与有限标注微调。

 · 更新于 2026-10-16 · 约 17 分钟 · 8157 字 阅读 →
论文解读

从有无烦躁到有多烦躁:以强度与时间建模服务对话升级

该文针对客服语音中烦躁强度难以及时量化的问题,用银行客服表演录音加三维度 1 到 10 分众包标注与一致性筛选构造时序语料,最强证据是微调后 XLSR 模型在攻击性强度上平均绝对误差 1.333 而相关系数 0.710,代价是表演口音、非说话人无关划分与小样本内部验证限制了外推。

 · 更新于 2026-10-16 · 约 20 分钟 · 9659 字 阅读 →
论文解读

重叠帧算了两遍:HALO 把主干内部帧率减半再复原

针对 50% 及以上重叠 STFT 相邻帧高度相关造成的轻量模型冗余计算,HALO 在不改 STFT/ISTFT 流程下用两个自适应动态卷积做降帧与复帧,使主干处理半帧率序列,在 DNS3 上以相近 MAC/s 加宽通道后 GTCRN 的 PESQ 提升 0.1、SI-SNR 提升 0.5 dB,代价是同一步内要一次生成两帧而峰值计算并未降低。

 · 更新于 2026-10-16 · 约 15 分钟 · 7496 字 阅读 →
论文解读

编解码把真话推向假话一边:盯住难正例拉开边界

针对神经编解码处理后真语音更易被误判为假的问题,该工作用难正例挖掘加引导损失和三元组损失拉开编解码后真与假的嵌入距离,在未见编解码上把等错误率从约三成降到约一成二,代价是需构造特定小批量并调两个间隔超参数。

 · 更新于 2026-10-16 · 约 18 分钟 · 8980 字 阅读 →
论文解读

低码率先保低频:HARP 用分组残差让 RVQ 按频率分工

针对标准残差向量量化各阶段频率纠缠与并行子带解码丢失谐波上下文的问题,HARP 只改训练损失、把 9 个阶段按低到高分成 4 组并做累积解码与软子带监督,在语音音乐通用音频上同时报告了客观与 MUSHRA 增益,代价是训练期约 2-3 倍解码器前向开销。

 · 更新于 2026-10-16 · 约 18 分钟 · 8971 字 阅读 →
论文解读

侧方听不清:用头戴偶极麦克风阵列把侧向语音捞出来

针对单侧聋用户听不清聋侧正侧方语音的问题,该工作用眼镜侧挂的偶极加全向混合阵列做侧向最小方差无失真波束形成,在 90 度侧向仿真中以 2 偶极加 1 全向组合相对 3 全向提升 0.78 dB 信号失真比和 0.04 扩展短期客观可懂度,但前方和后方优势有限且依赖理想噪声协方差。

 · 更新于 2026-10-16 · 约 17 分钟 · 8386 字 阅读 →
论文解读

先保住是谁,再改嘶哑程度:分阶段条件流把音高性别与气息嘶哑分开建模

针对改大或压住 creak 时音高与性别感知易被连带拖走的问题,论文用两段条件连续归一化流分别处理高层说话人属性与低层嗓音品质并在中间层做对抗去相关,在 LibriTTS-R 与 YourTTS 主干上以更小的音高偏移和更稳的性别与说话人验证指标完成 creak 编辑,代价是强操作仍会损失部分说话人相似度且抑制方向的主观 creak 变化不显著。

 · 更新于 2026-10-16 · 约 22 分钟 · 10564 字 阅读 →
论文解读

低资源也有高质量:用语言学定制数据加自监督模型做阿姆哈拉语和阿凡奥罗莫语合成

该工作针对阿姆哈拉语和阿凡奥罗莫语从零搭建录音室级多说话人语音合成数据与基于 SpeechT5 的微调流程,用 100 小时加 13 小时针对性数据的规模与主观平均意见分 4.65 和 4.43 证明语言学知情数据是关键,代价是同形异义消歧仍依赖规范化输入且未开源验证。

 · 更新于 2026-10-16 · 约 16 分钟 · 7726 字 阅读 →
论文解读

双语发音动作能从语音自监督表示中线性读出吗:芬兰语与俄语 EMA 的跨语言探测

该文用芬兰语俄语双语者的电磁发音仪数据做线性探测,检验自监督语音表示是否编码发音动作,最强证据是多语言模型平均相关约 0.69 且约 5 分钟配对数据即饱和,代价是自发任务与上唇垂直通道明显更难预测。

 · 更新于 2026-10-16 · 约 19 分钟 · 9363 字 阅读 →
论文解读

词频省时间、音节省口舌?单双音节德语整句产出中的加性预期与选择性交互

该研究在德语整句产出中同时操纵词频与音节惊奇度,发现反应时与长元音时长不支持离散串行模型的加性预测,而呈现随单双音节变化的选择性交互,且句中与句末位置效应稳定存在。

 · 更新于 2026-10-16 · 约 23 分钟 · 11217 字 阅读 →
论文解读

先变多再变稳:用无监督音节发现刻画 5 到 15 岁发音发展的三条曲线

针对儿童发音高度可变而成人音素识别会强制归类的问题,该研究用无监督音节发现模型 Sylber 对 957 名 5 到 15 岁儿童做自底向上分析,报告了边界一致性随年龄上升、音节簇数量先升后降、簇纯度单调上升的证据,代价是需要成人对齐参考和额外儿童适配训练且边界未做严格评测。

 · 更新于 2026-10-16 · 约 20 分钟 · 9904 字 阅读 →
论文解读

唤醒度易迁移、效价值价贵:英语到普通话情感属性的跨语言适配要多少小时

在英语 MSP-Podcast 约 104 小时与台湾普通话 BIIC-Podcast 约 102 小时上用 WavLM Large 做唤醒度、效价、优势度回归,发现唤醒度用 2 小时适配即可追平 100 小时单语模型而效价需约 20 小时,且优势度测试集绝对值极低限制了结论外推。

 · 更新于 2026-10-16 · 约 16 分钟 · 7739 字 阅读 →
论文解读

稀疏实测补全任意方向双耳脉冲响应:HRIR-Former 的时域网格自由重建

针对每人仅有少数方向实测时如何补全任意方向双耳头部脉冲响应的问题,论文提出直接在时域做掩码补全的 HRIR-Former,用正弦方向编码加 Transformer 与双耳线索辅助头实现网格自由推理,在 SONICOM 上 M 等于 19 时以归一化均方误差负 8 点 24 分贝和强度差误差 0 点 95 分贝为证据,代价是仍限同库训练且缺少听感验证。

 · 更新于 2026-10-16 · 约 18 分钟 · 8574 字 阅读 →
论文解读

不用进消声室:用仿真 HRTF 反推个人参数再切换到真实域

该文要解决无实测条件下的人头相关传输函数个性化问题,选择在神经场上加被试参数与域参数并用仿真重建梯度一步反推被试参数,最强证据是在 SONICOM 上把平均谱误差降到 3.60 dB 并在 HUTUBS 上优于已有精修方法,代价是仍只建模对数幅度谱且依赖高质量头模仿真。

 · 更新于 2026-10-16 · 约 17 分钟 · 8204 字 阅读 →
论文解读

跨语言也认得出是谁:说话人嵌入与人耳判断共用声学线索

用粤语英语双语语音在同语言与跨语言配对下比较 18 个说话人嵌入模型与人耳相似度判断,显示嵌入能区分同一人与不同人但跨语言时区分度下降,且依赖语速与共振峰等共享声学线索,而粤语微调并未带来可运行的提升。

 · 更新于 2026-10-16 · 约 17 分钟 · 8119 字 阅读 →
论文解读

离散省步数、连续补细节:HybridCodec 在 6.25 Hz 下如何保住说话人

针对低帧率离散化丢失音色和微韵律的问题,论文用离散 token 做自回归骨架加单步连续残差精修,在 LibriTTS 上于 12.5 Hz 把 TTS 自然度从 1.99 拉回 4.10,代价是需维护双路编解码与两类损失的联合训练。

 · 更新于 2026-10-16 · 约 18 分钟 · 8681 字 阅读 →
论文解读

只给一句话守候意图,模型何时该开口、何时该沉默

论文把连续监听下的何时提醒形式化为四态决策,用打断与静默两种解码标记在 Qwen2-Audio-7B 上实现主动辅助,在 ESC-50 上报告 99.6% 打断 F1 与 100% 去重召回,在 Epic-Sounds 零样本下保持 96.7% 起始召回,代价是噪声域静默召回偏低且平均延迟约 3.5 秒。

 · 更新于 2026-10-16 · 约 18 分钟 · 8950 字 阅读 →
论文解读

用可懂度去调制声学通道:在冻结 HuBERT 上做构音障碍识别

针对构音障碍语音可懂度差异大而数据少的问题,该工作冻结 HuBERT-large-ll60k 主体、只训练可懂度调节器与识别器,用通道级缩放平移把可懂度信息注入声学特征,在 TORGO 留一说话人测试下把平均词错误率从 54.0% 降到 21.0%,代价是仍需 utterance 级可懂度嵌入与两阶段训练流程。

 · 更新于 2026-10-16 · 约 20 分钟 · 9764 字 阅读 →
论文解读

在机器敏感、人耳不敏感的维度上做防御:解耦内容与声纹再加扰

针对零样本声音克隆的未授权冒用问题,该工作先解耦内容与说话人表示再在说话人嵌入空间加对抗扰动并用心理声学掩蔽约束不可听性,在 VCTK 上报告 87.2% 防御成功率、MOS 4.18、WER 5.30%,代价是需要两阶段训练且黑盒迁移后防御率明显下降。

 · 更新于 2026-10-16 · 约 21 分钟 · 10138 字 阅读 →
论文解读

声门闭合不是硬裁剪:用软接触与软分离重写几何声带振动

针对发音合成中声带碰撞阶段被硬裁剪为零而不够自然的问题,该研究用指数过渡的软接触与软分离加偏斜控制重建声门面积波形,在保持相同合成器与参数网格的听辨中以 58.1% 的偏好率和 3.02 对 2.68 的平均意见分胜出,但优势随预发声开度和相位等条件变化。

 · 更新于 2026-10-16 · 约 18 分钟 · 8689 字 阅读 →