从持续元音到连续儿化音:受限形变如何让三维声道既解剖可信又声学可解释
该研究用持续音三维磁共振做端点形状、用中矢面实时磁共振轮廓约束大形变微分同胚映射生成连续三维声道,再用有限元求解亥姆霍兹共振验证其共振峰轨迹,代价是系统性偏高与第三共振峰在释放段仍有约 257 赫兹残差。
该研究用持续音三维磁共振做端点形状、用中矢面实时磁共振轮廓约束大形变微分同胚映射生成连续三维声道,再用有限元求解亥姆霍兹共振验证其共振峰轨迹,代价是系统性偏高与第三共振峰在释放段仍有约 257 赫兹残差。
论文在 BVCC 上揭示男听众系统性打分更高且差距随质量变化,证明平均标签训练的 SSL-MOS 预测更贴近男性标准,并用抽象二值组嵌入的双分支模型同时提升总体与分性别预测精度。
针对重型自监督模型难以部署到实时边缘端的问题,MSMC 用无泄漏遮罩卷积编码器加均值教师多尺度蒸馏,在 IEMOCAP 即兴子集十折留一说话人验证下达到 76.0% 加权准确率,代价是仍只在该数据集与该协议下验证且依赖 60% 时域遮罩等特定训练条件。
针对神经编解码语言模型自回归解码中词元级伪影累积与偏离自然分布的问题,MSpoofTTS 冻结 NeuTTS2 等基座模型并用 5 个多分辨率词元级真伪判别器做分层剪枝与重排,在 LibriSpeech 和 LibriTTS 上把感知质量做到最好或次好,但以多候选并行解码的推理开销为代价。
针对固定下采样在不同采样率下帧移错位的问题,MSR-HuBERT 用按采样率分流的自适应下采样卷积把多率波形对齐到统一 20 毫秒时间网格并保留掩码预测与 Transformer,在 16 至 48 kHz 的识别与全带重建对照中给出可核对的收益与代价。
MSU-Bench 针对多人对话提出从说话人接地到对话推理的两层 16 任务 2300 题评测,用统一四选一和错误类型诊断揭示时间定位难与说话人归因错是主要瓶颈,闭源 Gemini-3-Flash 以 0.77 整体准确率领先但仍未解决复杂接地与交互推理。
针对标注少且情感线索分散在能量与时序中的问题,该文用信噪比控制的混合增强扩大能量分布、用帧级注意力挑选关键帧,并以四种损失联合优化,在四个数据集上报告了最高准确率,但代价是更多的超参数与训练分支。
针对音频推理中大模型幻觉与工具误差并存的问题,该工作用双语音大模型独立观察加 25 个分级声学工具交叉验证做音频问答,在 MMAR 上以推理质量 69.8 分居首,代价是单样本 8 到 10 分钟的流水线延迟。
针对正面视角假设在转头时失效的问题,该工作用多视角张量融合在训练期学习跨视角唇动关联,单视角测试平均 15.718 dB,最强证据是比正面训练对照高 1.616 dB,代价是训练需同步多视角视频与少量额外计算。
该研究用 175 人的真实护理对话检验自然语音能否补充结构化病历做早期认知损害检测,最强组合达到 AUC 0.92 与 F1 83.08,代价是更长录音、缺失插补与小样本解释的局限。
针对多麦克风通信中只想在接收端合成可配置指向虚拟麦克风的问题,论文提出联合空间编码与滤波的神经方向性编码,用 0.25 kbps 空间边信息加单通道参考在四麦 16 kHz 上达到与 7.5 kbps 级联基线相当或更好的 SDR 与 PESQ,代价是依赖单通道编解码质量与无混响训练条件。
针对多通道远场会议中重叠与混响导致说话人日志不稳的问题,该文在神经 FCASA 上为说话活动倾向引入贝塔先验并用变分下界代替交叉熵训练,在 AMI 上报告 DER 至少下降 3 个百分点且 JER 至少下降 4 个百分点,代价是只验证了说话人日志而未评价分离质量与计算开销。
该研究用粤语声调外在归一化双任务加脑电时频分析回答负荷下如何维持知觉恒常,发现行为准确率不受视觉负荷影响,但顶枕 alpha 同步增强与高负荷前额 delta 去同步共同支撑主动控制,代价是视觉任务准确率下降与额外抑制资源投入。
针对 4 人并发下单线索易选错人的问题,NeuroMultiSpEx 用耳脑电并行提取包络时间线索与说话人身份线索再门控融合,在 PKU 耳脑电数据上达到 9.613 dB 的 SI-SDRi 并以 82.4% 的四分类注意准确率支撑提取,代价是依赖同组说话人且试验内划分的评测条件。
针对句中停顿易被误判为结束的问题,Next-Turn 用从语音时间戳直接算出的到下一次语音起始时长做细粒度监督,在 1185 句人工标注评测上以 86.7% 的 320 ms 内准确率和 5.0% 早打断率超过声学与语义基线,但小评测集与中文单语料限制了推广结论。
该研究以三维可压缩流动仿真为基准检验一维模型中 Fant 噪声缩放因子,显示/a/正常闭合时常规值可用,而在气息声不完全闭合与/u/声道收缩下最优值明显偏移,因而一维噪声需按流动构型调整。
论文以 Buckeye 自发语音 262342 词例检验语义相关度对词时长的预测力,用广义加性混合模型分离出低中段促进、高段延长的 U 形效应,且该效应主要出现在低频词,最强证据是含语义相关度的 M1 取得最优 AIC 而去语义项损失 23.2,代价是高语义中心词存在竞争与规划成本且结论限于英语访谈语料。
NVV-SuperBench 针对笑、叹息、哭泣等非言语发声提出 45 类双语可控生成基准,用客观、人听与大模型多评分者三路评估 15 个系统,报告显示可控性常与语音质量脱钩,而低信噪比口腔音与长时情感发声仍是最难的瓶颈,且加非言语发声会抬高词错误率并改变自然度偏好。
论文把冻结说话人嵌入放到含大量干扰者的 1:N 检索中,测信道、噪声、语言、年龄四类失配,发现 ERes2Net 等多尺度监督模型抗滤波和老化但都过拟合英语语音,自适应对称归一化不改前端只校准分数即在电话到网络失配下带来普遍增益,但自监督跨语言骤降等短板仍在。
针对时间对齐的电喉转自然语音数据稀缺问题,该研究用 13 分钟真实电喉语音把预训练任意到多说话人转换模型先微调为自然到电喉合成器以批量生成合成平行数据,再用合成数据监督微调出可转多目标音色的一到多电喉到自然模型,最强证据是合成电喉语音的频谱失真和转换后语音的韵律与可懂度优于基线,代价是仍需预训练转换模型与大规模自然语音库且对特殊音素与情感韵律覆盖不足。