论文解读

在时频谱上同时看清纹理与归属:TF-MossFormer 的局部-全局注意力分工

针对单通道语音分离需要同时建模短时连续性与长时说话人一致性的问题,TF-MossFormer 在时频域交替做频率与时间建模并先局部后全局地融合注意力,在 WSJ0-2Mix 上报告 S/M/L 三档 22.6、24.0、24.4 dB 的 SI-SDRi,代价是 M/L 档计算量分别达到 283.4 与 425.0 G MACS/s。

 · 更新于 2026-10-16 · 约 21 分钟 · 10253 字 阅读 →
论文解读

假共振:情绪嵌入余弦相似度为何量不出真情绪

论文检验参考与生成语音的情绪嵌入余弦相似度作为情绪评价指标的有效性,用受控三元组、对抗干扰和人类偏好对照证明其在说话人与文本干扰下失效,最强证据是语言干扰下准确率跌至个位数且与人类判断基本无关。

 · 更新于 2026-10-16 · 约 18 分钟 · 8893 字 阅读 →
论文解读

听懂与否如何改变人格判断:SPC V2 把语言理解变成可对照的实验条件

该文用 640 段法语新闻短语音、100 名懂法语与 101 名不懂法语评分者的 0 到 100 分标注研究自动人格感知,最强证据是法语组尽责性多模态准确率 67.1 的分类结果,代价是整体精度仍在 50 到 67 之间且多模态不总是优于单模态。

 · 更新于 2026-10-16 · 约 18 分钟 · 8761 字 阅读 →
论文解读

同音不同形:时间归一化频谱如何暴露音段层面的发音差别

该研究以 35 对英语异形同音词共 14000 个自然语料 token 为对象,用 50 帧时间归一化梅尔频谱与音素对数值比较同对词的音段实现,并用广义加性模型检验语境语义可分性对语音可分性的调节,代价是结论依赖强制对齐、线性判别与观察性建模而非因果操纵。

 · 更新于 2026-10-16 · 约 22 分钟 · 10704 字 阅读 →
论文解读

去掉时间步还能增强语音吗:自洽整流流如何只看当前位置推断去噪方向

针对线性路径下目标速度场与时间无关的问题,论文提出去掉时间步嵌入的自洽整流流 ARF,只用当前状态与带噪观测估计噪声,在 VoiceBank+DEMAND 上 NFE=5 时 PESQ 达 3.11 且 NFE=1 时 RTF 低至 0.02,代价是混响泛化仍明显下降。

 · 更新于 2026-10-16 · 约 16 分钟 · 7914 字 阅读 →
论文解读

不只降调就行:跨男性群体声音满意度与基频基准的众包语料库

论文用 196 份问卷加 66 份自录语音建成跨男性态度与语音库,证明自我感知的男性度与平均基频只有弱线性关系而满意度关系更顺,并揭示 Praat 与 REAPER 在同一批朗读上存在系统性基频偏差,但众包录音条件与横断面设计限制了因果推断。

 · 更新于 2026-10-16 · 约 21 分钟 · 10204 字 阅读 →
论文解读

缺一个模态就别硬融合:用跨模态一致性决定查人时要不要多模态

针对广播档案中目标可能只闻其声、只见其人或两者兼有的问题,该文用单模态 Top-n 检索集在另一模态下的打分一致性来判别活跃模态并切换融合权重,在 BBC Rewind 上以 94.2% P@1 超过单模态与固定融合,但仍距真值标签上界 96.6% 有差距。

 · 更新于 2026-10-16 · 约 16 分钟 · 7746 字 阅读 →
论文解读

拥挤声调空间里,纯音训练为何只救得了部分粤语声调

29 名粤语母语者在 126–217 Hz 纯音上做 8 次 ABX 自适应训练后,oddity 测得的平调与曲折调恰可察觉差都下降,而词识别增益几乎只出现在 0 dB 和 -5 dB 噪声下且 T1、T3、T4 能泛化到新说话人,T2、T5、T6 则不能。

 · 更新于 2026-10-16 · 约 18 分钟 · 8662 字 阅读 →
论文解读

只看舌头超声能说话吗:用三维编码加 Transformer 补上协同发音

针对仅用舌部超声视频合成可懂语音的问题,论文用 4 层三维卷积加 6 层 Transformer 预测梅尔谱并经 HiFi-GAN 发声,在 TaL 单人集上词错误率做到 15.93%、多人混合训练做到 31.64%,代价是跨说话人零样本泛化仍弱、需对新用户微调。

 · 更新于 2026-10-16 · 约 22 分钟 · 10783 字 阅读 →
论文解读

不删除参数而是合并参数:用聚类做无数据免训练的语音大模型压缩

针对语音基础模型难以在无原始数据和无再训练条件下做结构化压缩的问题,该文用通道级 k-means 聚类合并注意力头和前馈中间单元,并在 HuBERT-large 50% 稀疏度上相对幅度剪枝取得微调前 27.73%/18.61% 绝对词错误率下降,代价是极高稀疏度和跨层方差差异大时仍会失效且需微调恢复。

 · 更新于 2026-10-16 · 约 15 分钟 · 7427 字 阅读 →
论文解读

宽描述做不了逐词提示时:用元数据推理链教语音大模型改稀有词

针对稀有词和命名实体识别难的问题,该工作用视频元数据生成上下文改错推理链并微调语音大模型做先转写再推理再改错,在 M³AV 等集上降低了稀有词错误但宽描述带来的整体增益有限且推理链仍不完美。

 · 更新于 2026-10-16 · 约 17 分钟 · 8321 字 阅读 →
论文解读

口音信息藏在哪里:用稀疏自编码器称量神经音频编解码器的可解释性

该文以英语口音二分类为可测量任务,用 TopK 稀疏自编码器分解四种神经音频编解码器的句级表示并以相对 F1 损失度量可解释性,最强证据是 DAC 与 SpeechTokenizer 在 16 种稀疏配置下下降最小,而代价是高稀疏下全部分解表示均出现明显性能损失且位置与幅度编码方式因模型取向而异。

 · 更新于 2026-10-16 · 约 21 分钟 · 10401 字 阅读 →
论文解读

只在英语上训练的语音反演,为何能猜出法语和俄语的舌唇动作

该研究用英语音频加电磁发音数据同时估计 6 个口腔声道变量和周期性、非周期性、基频 3 个声源特征,再以鼻音度为腭咽代理跨语言测试,在未见过的法语和俄语上分别保持约 0.83 和 0.74 的平均相关,代价是俄语受噪声和鼻化差异影响更大且腭咽评估样本很少。

 · 更新于 2026-10-16 · 约 19 分钟 · 9166 字 阅读 →
论文解读

一个模型管十种说话任务:用混合 DoRA 专家统一自杀风险语音检测

针对十种诱发范式各需专用模型且简单混训不增益的问题,论文用 Qwen2.5-Omni 语音大模型加 10 个 DoRA 专家动态路由统一建模,在 1223 名青少年数据上把平均准确率从单范式 0.628 提升到 0.656 并改善未见范式泛化与校准,代价是专家数、负载均衡与温度缩放都需仔细配置且个别范式仍不占优。

 · 更新于 2026-10-16 · 约 22 分钟 · 10744 字 阅读 →
论文解读

谁的声音可以被收录:以酷儿语音为镜的参与式数据治理框架

该文以酷儿语音数据难收、风险高为案例,提出由社区、项目形成、参与方式与个人自主构成的双向共创框架,但未做定量实验与新数据集验证,代价是落地成本与治理复杂度上升。

 · 更新于 2026-10-16 · 约 19 分钟 · 9087 字 阅读 →
论文解读

一个全局模型不够用:按说话人相似度分别平均构音障碍语音模型

针对构音障碍说话人差异大而单一全局模型建模不足的问题,该文把模型拆为说话人无关与说话人相关两部分并用说话人相似度加权平均,在 UASpeech 上最高降低 0.99% 绝对词错误率、在 TORGO 上最高降低 0.56%,代价是每轮要分步训练并额外计算相似度。

 · 更新于 2026-10-16 · 约 17 分钟 · 8368 字 阅读 →
论文解读

转写要留、身份要走:面向说话人级遗忘的 ASR 表征驱散

该文把说话人遗忘定位到 ASR 微调后 HuBERT 中间层,用辅助说话人头加 K-Means 质心驱散做表征级遗忘,在 VCTK 上把遗忘集成员推断压到接近重训练金模型的 52.6%,同时保留保留集与未见说话人的转写能力,代价是遗忘集词错误率向金模型抬升且保留集成员推断略高。

 · 更新于 2026-10-16 · 约 19 分钟 · 9193 字 阅读 →
论文解读

固定声码器之后,检测证据还剩多少在声学模型里

该文在固定 BigVGAN 的 F5-TTS 管线中用配对重合成把检测分离归因到声学梅尔生成,再用不含检测器的对抗微调抬高固定检测器的等错误率,并用只见过微调输出的检测器适应把两类输出重新检出,代价是遗留基准性能随适应语料不同而回落。

 · 更新于 2026-10-16 · 约 18 分钟 · 8755 字 阅读 →
论文解读

只查可疑词片段:用同一语音大模型先定位领域词错误再做上下文重识别

针对大词典直接偏置会引入无关词的问题,该文用同一预训练语音大模型一次生成初识结果并标出疑似领域词错误片段,只用这些片段做音似检索再做第二遍重识别,在医疗、空管、金融三域上把每句查询从十余次降到约 1 次并降低了领域词错误率,但低频词增益在领域词占比低时变小且仍依赖提示与检索排序质量。

 · 更新于 2026-10-16 · 约 21 分钟 · 10415 字 阅读 →
论文解读

文本定范围、语音做选择:不训练也能转写实际读音

针对同时有语音和文本时如何低成本得到实际读音的问题,该文用词典与工具生成受限候选再以冻结语音转读音模型做整句负对数似然贪心选择,在日语三语料上把字符错误率降到 0.04 到 0.17%,代价是仍依赖候选覆盖与按语言校准的阈值。

 · 更新于 2026-10-16 · 约 20 分钟 · 9997 字 阅读 →