不改模型参数,用多分辨率真伪判断来管住离散语音解码
针对神经编解码语言模型自回归解码中词元级伪影累积与偏离自然分布的问题,MSpoofTTS 冻结 NeuTTS2 等基座模型并用 5 个多分辨率词元级真伪判别器做分层剪枝与重排,在 LibriSpeech 和 LibriTTS 上把感知质量做到最好或次好,但以多候选并行解码的推理开销为代价。
针对神经编解码语言模型自回归解码中词元级伪影累积与偏离自然分布的问题,MSpoofTTS 冻结 NeuTTS2 等基座模型并用 5 个多分辨率词元级真伪判别器做分层剪枝与重排,在 LibriSpeech 和 LibriTTS 上把感知质量做到最好或次好,但以多候选并行解码的推理开销为代价。
针对固定下采样在不同采样率下帧移错位的问题,MSR-HuBERT 用按采样率分流的自适应下采样卷积把多率波形对齐到统一 20 毫秒时间网格并保留掩码预测与 Transformer,在 16 至 48 kHz 的识别与全带重建对照中给出可核对的收益与代价。
MSU-Bench 针对多人对话提出从说话人接地到对话推理的两层 16 任务 2300 题评测,用统一四选一和错误类型诊断揭示时间定位难与说话人归因错是主要瓶颈,闭源 Gemini-3-Flash 以 0.77 整体准确率领先但仍未解决复杂接地与交互推理。
针对标注少且情感线索分散在能量与时序中的问题,该文用信噪比控制的混合增强扩大能量分布、用帧级注意力挑选关键帧,并以四种损失联合优化,在四个数据集上报告了最高准确率,但代价是更多的超参数与训练分支。
针对音频推理中大模型幻觉与工具误差并存的问题,该工作用双语音大模型独立观察加 25 个分级声学工具交叉验证做音频问答,在 MMAR 上以推理质量 69.8 分居首,代价是单样本 8 到 10 分钟的流水线延迟。
针对正面视角假设在转头时失效的问题,该工作用多视角张量融合在训练期学习跨视角唇动关联,单视角测试平均 15.718 dB,最强证据是比正面训练对照高 1.616 dB,代价是训练需同步多视角视频与少量额外计算。
该研究用 175 人的真实护理对话检验自然语音能否补充结构化病历做早期认知损害检测,最强组合达到 AUC 0.92 与 F1 83.08,代价是更长录音、缺失插补与小样本解释的局限。
针对多麦克风通信中只想在接收端合成可配置指向虚拟麦克风的问题,论文提出联合空间编码与滤波的神经方向性编码,用 0.25 kbps 空间边信息加单通道参考在四麦 16 kHz 上达到与 7.5 kbps 级联基线相当或更好的 SDR 与 PESQ,代价是依赖单通道编解码质量与无混响训练条件。
针对多通道远场会议中重叠与混响导致说话人日志不稳的问题,该文在神经 FCASA 上为说话活动倾向引入贝塔先验并用变分下界代替交叉熵训练,在 AMI 上报告 DER 至少下降 3 个百分点且 JER 至少下降 4 个百分点,代价是只验证了说话人日志而未评价分离质量与计算开销。
该研究用粤语声调外在归一化双任务加脑电时频分析回答负荷下如何维持知觉恒常,发现行为准确率不受视觉负荷影响,但顶枕 alpha 同步增强与高负荷前额 delta 去同步共同支撑主动控制,代价是视觉任务准确率下降与额外抑制资源投入。
针对 4 人并发下单线索易选错人的问题,NeuroMultiSpEx 用耳脑电并行提取包络时间线索与说话人身份线索再门控融合,在 PKU 耳脑电数据上达到 9.613 dB 的 SI-SDRi 并以 82.4% 的四分类注意准确率支撑提取,代价是依赖同组说话人且试验内划分的评测条件。
针对句中停顿易被误判为结束的问题,Next-Turn 用从语音时间戳直接算出的到下一次语音起始时长做细粒度监督,在 1185 句人工标注评测上以 86.7% 的 320 ms 内准确率和 5.0% 早打断率超过声学与语义基线,但小评测集与中文单语料限制了推广结论。
该研究以三维可压缩流动仿真为基准检验一维模型中 Fant 噪声缩放因子,显示/a/正常闭合时常规值可用,而在气息声不完全闭合与/u/声道收缩下最优值明显偏移,因而一维噪声需按流动构型调整。
论文以 Buckeye 自发语音 262342 词例检验语义相关度对词时长的预测力,用广义加性混合模型分离出低中段促进、高段延长的 U 形效应,且该效应主要出现在低频词,最强证据是含语义相关度的 M1 取得最优 AIC 而去语义项损失 23.2,代价是高语义中心词存在竞争与规划成本且结论限于英语访谈语料。
NVV-SuperBench 针对笑、叹息、哭泣等非言语发声提出 45 类双语可控生成基准,用客观、人听与大模型多评分者三路评估 15 个系统,报告显示可控性常与语音质量脱钩,而低信噪比口腔音与长时情感发声仍是最难的瓶颈,且加非言语发声会抬高词错误率并改变自然度偏好。
论文把冻结说话人嵌入放到含大量干扰者的 1:N 检索中,测信道、噪声、语言、年龄四类失配,发现 ERes2Net 等多尺度监督模型抗滤波和老化但都过拟合英语语音,自适应对称归一化不改前端只校准分数即在电话到网络失配下带来普遍增益,但自监督跨语言骤降等短板仍在。
针对时间对齐的电喉转自然语音数据稀缺问题,该研究用 13 分钟真实电喉语音把预训练任意到多说话人转换模型先微调为自然到电喉合成器以批量生成合成平行数据,再用合成数据监督微调出可转多目标音色的一到多电喉到自然模型,最强证据是合成电喉语音的频谱失真和转换后语音的韵律与可懂度优于基线,代价是仍需预训练转换模型与大规模自然语音库且对特殊音素与情感韵律覆盖不足。
该文研究用可移动机器人作已知位置校准源时的分布式麦克风几何标定问题,以含时钟捕获偏移的到达时间差模型推导克拉美罗下界并最小化该下界来求最优声源位置,最强证据是在高斯噪声与声学仿真下定位与偏移估计误差均低于随机放置,代价是一阶段联合优化计算量随声源数增大而显著上升。
针对语音增强被动处理与主动投毒假设的矛盾,论文用训练集内高信噪比干净语音作触发器并配对静默目标,仅做数据投毒就在四种模型和两个数据集上实现近 100% 静默攻击成功率,而正常增强的 PESQ 下降多在 2% 以内。
该研究为毛利语构建首个 16 类情感表演语料 Pā-Kakare 并用听辨与基频、强度、语速验证其可区分性,最强证据是八选一听辨 36.15% 显著高于 12.5% 机会水平且三项声学特征方差分析均显著,代价是表演语料自然度有限、混淆集中在相近唤醒度类别且数据需申请受管访问。