不听原声也能量房间:用混响语音重建反推长房间脉冲响应
针对单通道带噪混响语音的盲房间脉冲响应估计问题,Rec-RIR 用去噪加去混响加卷积传递函数估计的多任务网络做混响谱重建再经伪侵入式测量转成波形,在 SimACE 上取得声学参数与早期反射的最优精度,代价是需要直达声对齐监督和 0.96 秒建模上限与 35.2 GMACs 每秒计算量。
针对单通道带噪混响语音的盲房间脉冲响应估计问题,Rec-RIR 用去噪加去混响加卷积传递函数估计的多任务网络做混响谱重建再经伪侵入式测量转成波形,在 SimACE 上取得声学参数与早期反射的最优精度,代价是需要直达声对齐监督和 0.96 秒建模上限与 35.2 GMACs 每秒计算量。
针对端到端脑电引导目标语音提取在跨试次上因试次特异结构走捷径而失效的问题,论文提出冻结编码器的两阶段框架 TRUST-TSE,用同目标说话人负采样的对比预训练加置信度加权提取,在 KUL 上达到 62.27% 选择准确率、在 DTU 上达到 70.40%,代价是仍需处理部分脑电引导模糊片段的参考切换与加权。
针对扩散语音增强缺语言约束的问题,该工作用冻结 wav2vec 2.0 特征经 FiLM 在 U-Net 瓶颈调制并做指数平滑,在 VoiceBank-DEMAND 上 PESQ 比同宽 StoRM 提升约 0.4,代价是 SI-SDR 略降且 128 通道仍非实时。
针对威尼托语 gambellarese 方言半自发陈述句中升调是否只是偶发变体的问题,论文用 269 个完整宽焦点陈述句的听辨分类与归一化基频建模证明升调与降调约各占一半且不受重音位置制约,但词尾重音会改变曲线形态与整体音高。
针对人工嗓音采集存在交互偏差、标注分割繁琐与数据迁移不畅的问题,论文提出离线独立运行的 CalliOpeNLP 工具,用合成语音指令加 18 项临床嗓音任务与轻量语音转写合规检查实现自动采集,初步测试显示同任务采集约 18 分钟对比人工约 28 分钟且省去手动分割,但合规阈值与病理嗓音识别准确性仍待验证。
该研究用 20 名言语治疗学生在岗前讲解中对比自然锚音与可控合成样例,报告合成组在感知敏感度与专家一致性上提升更大而自然组无显著变化,但粗糙维度是唯一明显获益项且样本与讲解时长限制了推广。
论文以芦苇为声源、以双手为外部滤波器研究卡西五个元音,用手部运动追踪、共振峰声学与 24 人听辨证明手部可构成可懂元音空间,但高基频压缩与 o-e 混淆带来准确率与反应时损失。
针对语音到音乐的域漂移与打分尺度不一致,CAQA-Net 用可训练波形分支学生成可塑性、用冻结频谱分支做稳定性锚、用多头加蒸馏正则与原型门控做任务无关推理,在五数据集序列上报告与联合学习上界相差 0.036 SRCC,而冻结与门控等设计带来推理与调参代价。
该研究用 12 条合成声调连续统和辨认加区分双任务比较 27 名景颇母语者和 23 名普通话母语者,报告显示除二声与三声之间未形成范畴知觉外其余声调对均有边界,但景颇组在多对声调上的边界宽度更大而分辨峰更矮,且全程未训练神经网络模型。
针对非平行语音转换中训练与测试的内容音色组合不一致问题,CFLOW-VC 在 VITS 与 FreeVC 骨干上用归一化流的可逆变换加 StarGAN 式循环一致性训练,并引入梅尔风格编码器与波形增广,在干净、噪声与口音三组测试上提升音色相似度与自然度,代价是干净条件下词错误率略高于个别基线且需两阶段训练。
针对语音情绪标注主观且噪声大的问题,论文用众包感知一致性与意图对齐定义由易到难的课程,在 CREMA-D 上用 LSTM 和 Transformer 验证了规则课程的精度与梯度更新效率,但随机划分课程无效且最难类的划分与代价依赖特定数据集。
针对构音障碍数据少且严重程度声学差异大的问题,该工作冻结 WavLM 主干、在底层用共享 LoRA 学通用声学、在高层用临床监督路由的专家 LoRA 做严重程度特化,在 UA-Speech 上 5 分类宏 F1 达 61.55%、2 分类 F1 达 94.54%,代价是依赖说话人独立划分与临床严重度标注做路由监督。
该研究用 ResNet34-MHA 嵌入加 LDA-PLDA 与校准似然比,在 102 名香港粤语青年男性数据上并行比较 G.711、AMR-NB 高低码率与 Opus 失配及 5s 到 90s 检材时长,报告系统级 Cllr 在 30s 后饱和且低码率 AMR-NB 损伤最大,但个体级 Cspkllr 显示少数说话人持续偏高且整体越差者对编解码更敏感。
针对语音 AD 检测数据稀缺且通用增强丢失认知特征的问题,该研究用检索增强大模型生成认知受约束文本再用属性引导语音合成补齐声学一致样本,在 ADReSSo 等多模型对照中提升检测性能,代价是需要精细标注、微调与控制增强比例。
针对整句标注掩盖帧级情感动态的问题,该文只用声学信号做协同推理与冲突回填的多粒度监督,在 IEMOCAP、EmoDB 和 MELD 上报告了 78.10% WA、97.30% WA 和 55.48% WF1,代价是需要先训练 K 组上游子模型并调平衡系数。
针对合成语音 MOS 只给点估计不可靠的问题,ConformalMOS 用冻结上游表征加高斯平滑序回归做点估计,再用分裂共形校准输出区间,在 BVCC 上以系统级 MSE 为 0.08 取得相对 FUSE-MOS 约 7.0% 的降低,代价是 utterance 级 MSE 略升且保证只在可交换性成立时有效。
针对自监督语音特征中说话人、韵律和通道信息泄漏进语义标记的问题,论文用平行话语加增强对齐微调 HuBERT 得到 PINT,最强证据是说话人探针从 93.1% 降到 1.2% 且语言模型困惑度降低 27–30%,代价是仍残留部分情感信号并依赖强制对齐与平行数据构造。
针对固定降采样忽略语速与内容变化的问题,该工作用连续积分触发机制按转写词元数动态压缩声学帧,在 AISHELL-1 等数据集上以更短的平均语音嵌入长度取得可比或更优的识别精度,代价是依赖转写长度监督与分词器选择。
针对客服多轮对话中实体易错问题,论文在冻结 SLAM-ASR 主干上只训练上下文投影器并搭配关键词提示,报告平均相对带来整体约 2.5% 与偏置词约 7.2% 的改善,但纯关键词会抬高整体词错误率而长原始上下文会直接恶化识别。
针对持续广义类别发现中声音频谱重叠与基类偏置问题,论文用实例自适应正则加高斯混合自适应阈值与指数滑动平均动态教师做伪标签稳定,在 ShipsEar 上累计平均精度报告 74.14%,代价是新类精度仍低于 Happy。