在时频谱上同时看清纹理与归属:TF-MossFormer 的局部-全局注意力分工
针对单通道语音分离需要同时建模短时连续性与长时说话人一致性的问题,TF-MossFormer 在时频域交替做频率与时间建模并先局部后全局地融合注意力,在 WSJ0-2Mix 上报告 S/M/L 三档 22.6、24.0、24.4 dB 的 SI-SDRi,代价是 M/L 档计算量分别达到 283.4 与 425.0 G MACS/s。
针对单通道语音分离需要同时建模短时连续性与长时说话人一致性的问题,TF-MossFormer 在时频域交替做频率与时间建模并先局部后全局地融合注意力,在 WSJ0-2Mix 上报告 S/M/L 三档 22.6、24.0、24.4 dB 的 SI-SDRi,代价是 M/L 档计算量分别达到 283.4 与 425.0 G MACS/s。
论文检验参考与生成语音的情绪嵌入余弦相似度作为情绪评价指标的有效性,用受控三元组、对抗干扰和人类偏好对照证明其在说话人与文本干扰下失效,最强证据是语言干扰下准确率跌至个位数且与人类判断基本无关。
该文用 640 段法语新闻短语音、100 名懂法语与 101 名不懂法语评分者的 0 到 100 分标注研究自动人格感知,最强证据是法语组尽责性多模态准确率 67.1 的分类结果,代价是整体精度仍在 50 到 67 之间且多模态不总是优于单模态。
该研究以 35 对英语异形同音词共 14000 个自然语料 token 为对象,用 50 帧时间归一化梅尔频谱与音素对数值比较同对词的音段实现,并用广义加性模型检验语境语义可分性对语音可分性的调节,代价是结论依赖强制对齐、线性判别与观察性建模而非因果操纵。
针对线性路径下目标速度场与时间无关的问题,论文提出去掉时间步嵌入的自洽整流流 ARF,只用当前状态与带噪观测估计噪声,在 VoiceBank+DEMAND 上 NFE=5 时 PESQ 达 3.11 且 NFE=1 时 RTF 低至 0.02,代价是混响泛化仍明显下降。
论文用 196 份问卷加 66 份自录语音建成跨男性态度与语音库,证明自我感知的男性度与平均基频只有弱线性关系而满意度关系更顺,并揭示 Praat 与 REAPER 在同一批朗读上存在系统性基频偏差,但众包录音条件与横断面设计限制了因果推断。
针对广播档案中目标可能只闻其声、只见其人或两者兼有的问题,该文用单模态 Top-n 检索集在另一模态下的打分一致性来判别活跃模态并切换融合权重,在 BBC Rewind 上以 94.2% P@1 超过单模态与固定融合,但仍距真值标签上界 96.6% 有差距。
29 名粤语母语者在 126–217 Hz 纯音上做 8 次 ABX 自适应训练后,oddity 测得的平调与曲折调恰可察觉差都下降,而词识别增益几乎只出现在 0 dB 和 -5 dB 噪声下且 T1、T3、T4 能泛化到新说话人,T2、T5、T6 则不能。
针对仅用舌部超声视频合成可懂语音的问题,论文用 4 层三维卷积加 6 层 Transformer 预测梅尔谱并经 HiFi-GAN 发声,在 TaL 单人集上词错误率做到 15.93%、多人混合训练做到 31.64%,代价是跨说话人零样本泛化仍弱、需对新用户微调。
针对语音基础模型难以在无原始数据和无再训练条件下做结构化压缩的问题,该文用通道级 k-means 聚类合并注意力头和前馈中间单元,并在 HuBERT-large 50% 稀疏度上相对幅度剪枝取得微调前 27.73%/18.61% 绝对词错误率下降,代价是极高稀疏度和跨层方差差异大时仍会失效且需微调恢复。
针对稀有词和命名实体识别难的问题,该工作用视频元数据生成上下文改错推理链并微调语音大模型做先转写再推理再改错,在 M³AV 等集上降低了稀有词错误但宽描述带来的整体增益有限且推理链仍不完美。
该文以英语口音二分类为可测量任务,用 TopK 稀疏自编码器分解四种神经音频编解码器的句级表示并以相对 F1 损失度量可解释性,最强证据是 DAC 与 SpeechTokenizer 在 16 种稀疏配置下下降最小,而代价是高稀疏下全部分解表示均出现明显性能损失且位置与幅度编码方式因模型取向而异。
该研究用英语音频加电磁发音数据同时估计 6 个口腔声道变量和周期性、非周期性、基频 3 个声源特征,再以鼻音度为腭咽代理跨语言测试,在未见过的法语和俄语上分别保持约 0.83 和 0.74 的平均相关,代价是俄语受噪声和鼻化差异影响更大且腭咽评估样本很少。
针对十种诱发范式各需专用模型且简单混训不增益的问题,论文用 Qwen2.5-Omni 语音大模型加 10 个 DoRA 专家动态路由统一建模,在 1223 名青少年数据上把平均准确率从单范式 0.628 提升到 0.656 并改善未见范式泛化与校准,代价是专家数、负载均衡与温度缩放都需仔细配置且个别范式仍不占优。
该文以酷儿语音数据难收、风险高为案例,提出由社区、项目形成、参与方式与个人自主构成的双向共创框架,但未做定量实验与新数据集验证,代价是落地成本与治理复杂度上升。
针对构音障碍说话人差异大而单一全局模型建模不足的问题,该文把模型拆为说话人无关与说话人相关两部分并用说话人相似度加权平均,在 UASpeech 上最高降低 0.99% 绝对词错误率、在 TORGO 上最高降低 0.56%,代价是每轮要分步训练并额外计算相似度。
该文把说话人遗忘定位到 ASR 微调后 HuBERT 中间层,用辅助说话人头加 K-Means 质心驱散做表征级遗忘,在 VCTK 上把遗忘集成员推断压到接近重训练金模型的 52.6%,同时保留保留集与未见说话人的转写能力,代价是遗忘集词错误率向金模型抬升且保留集成员推断略高。
该文在固定 BigVGAN 的 F5-TTS 管线中用配对重合成把检测分离归因到声学梅尔生成,再用不含检测器的对抗微调抬高固定检测器的等错误率,并用只见过微调输出的检测器适应把两类输出重新检出,代价是遗留基准性能随适应语料不同而回落。
针对大词典直接偏置会引入无关词的问题,该文用同一预训练语音大模型一次生成初识结果并标出疑似领域词错误片段,只用这些片段做音似检索再做第二遍重识别,在医疗、空管、金融三域上把每句查询从十余次降到约 1 次并降低了领域词错误率,但低频词增益在领域词占比低时变小且仍依赖提示与检索排序质量。
针对同时有语音和文本时如何低成本得到实际读音的问题,该文用词典与工具生成受限候选再以冻结语音转读音模型做整句负对数似然贪心选择,在日语三语料上把字符错误率降到 0.04 到 0.17%,代价是仍依赖候选覆盖与按语言校准的阈值。