该说就说、该沉默就沉默:多方对话中助手何时不该插话
论文把每次停顿后的说与不说做成二分类预测,用三域 12 万标注点证明八个大模型零样本都不行,再用带推理蒸馏的有监督微调把平衡准确率提高至多 23 个百分点,代价是仍需文本上下文与标注监督且未验证实时多模态部署。
论文把每次停顿后的说与不说做成二分类预测,用三域 12 万标注点证明八个大模型零样本都不行,再用带推理蒸馏的有监督微调把平衡准确率提高至多 23 个百分点,代价是仍需文本上下文与标注监督且未验证实时多模态部署。
该文研究单通道两人语音分离能否只用说话人身份做唯一监督,通过对比分离输出嵌入与辅助话语嵌入来训练分离器,在 Libri2Mix 上从零训练到 8.1 dB SDR 并能向含噪域自适应到 8.7 dB,但仍低于全波形监督的 14.4 dB 与 9.7 dB 上界。
论文用双耳掩蔽级差检验 9 个冻结模型的微秒级耳间相位编码,发现通用双耳模型靠谱-时干扰纹理而非跨通道相位计算,专用相位感知模型才获得实质但未达解析上限的释放量,而宽带语音中的高检出率是包络混淆。
针对 154 通中文心理热线三级危机分类,该研究把语音副语言线索文本化后交给文本大模型微调,并用推理生成做辅助约束,在呼叫级五折上报告准确率 0.805 与宏 F1 值 0.802,代价是依赖分块扩增与模型生成的非金标准推理目标。
该研究把频域声码器 Vocos 改写为脉冲版本,用脉冲 ConvNeXt 加幅度捷径、自结构蒸馏和时间移位解决二值信息瓶颈,4 步模型在感知质量接近基线时仅消耗约 14.7% 能量,但信号级精度指标仍有差距。
针对多个移动说话人方向接近时纯空间线索难以稳定归属的问题,SpkGuideDOA 用压缩分辨率的说话人门控对直接路径相位差估计器做残差调制,在仿真与 LOCATA 上报告了更低的漏检与角度误差,代价是引导分支带来的参数增加与联合排列约束。
针对不足 3 秒的自定义短语验证不稳定问题,论文用文本相关与文本无关混合注册加并行交叉注意力帧级重打分,在 VoxPhrase 上用冻结骨干加轻量验证器持续降低等错率,代价是需要同时准备两种注册语音并额外训练验证器。
针对整段语音才能对齐而流式只能看到局部帧的矛盾,该文把流式语音做查询、注册文本做键值实现逐帧计算,在 LibriPhrase 上难负样本达到等错误率 28.21% 与曲线下面积 79.19%,代价是易负样本略弱于 CTC 对齐基线且依赖两阶段训练。
针对级联大语言模型语音交互中需等整句才能合成的问题,S5-TTS 用编码器解码器语言建模加单调对齐做逐词增量合成,以前视因果掩码和交错多源蒸馏在两词前视下接近全上下文质量,代价是自然度仍需蒸馏恢复且过大前视反而损害可懂度。
针对跨被试想象语音脑电解码中通道拓扑被打散与被试特异谱空特征混入任务表示的问题,该文用预训练时序编码加电极对齐池化、滑动窗多视角动态连接先验注入图偏置注意力与梯度反转对抗去被试化,在两个 15 被试五词任务上以严格留一被试交叉验证达到 31.20% 与 30.36% 左右的平均准确率,代价是短窗连接估计仍 noisy 且绝对精度仍只约三成。
针对噪声下可懂度任务,论文用流匹配语音合成同时控制发声努力与清晰度两个维度,在发音拉开时词错误率明显下降,但极端用力合成会偏离识别器分布并带来自然度代价。
针对空中交通管制英语口音重、信道噪声强且真实标注仅 4 小时的问题,该工作用文本转语音、声音转换、双向口音转换加声学仿真合成训练数据,在 ATCO2 上把 Whisper-small 从开箱 63.32% 词错误率降到纯合成 24.18% 与混合训练 21.64%,代价是需先做分离增强、过滤约 35% 幻觉样本并承担额外微调耗时。
论文在 Whisper tiny.en 与 base.en 上做 80 余组训练后量化对照,证明把激活从 16 位降到 8 位带来 1-3 个百分点词错误率损失,而 NVFP4 的 W4A16 以 6.4 倍压缩做到接近无损,代价是细粒度带来双精度运算需求与 MXFP4 在标准流程下失效。
针对大音频语言模型把不存在的声音判为存在的肯定偏置,论文提出免训练的静音对照加首步门控解码 TAD,在 AudioCaps-Hallucination 上相对固定强度 AAD 把 Qwen2 的 F1 提高 0.059 到 0.117,代价是更保守的是否边界和部分真阳性召回下降。
针对台语老年居家紧急意图识别,论文构建 21 人 3079 条真实数据集并对比两种野外数据挖掘路线,最强证据是戏剧挖掘预训练再经 1600 条域内适配后达 90.21% 准确率,而直接跨域仅约 70% 上下,代价是细粒度紧急类仍易混淆且轻量模型远落后。
针对颈表加速计长期监测中全天平均会稀释病理信号的问题,该研究用日内时间分段与言语歌唱分离做特征工程,再以树模型与逻辑回归集成区分结构性与功能性高功能,在盲测集上取得音创伤型曲线下面积 0.925 与非音创伤型 0.820,但长窗平均对后者反而有害且神经网络在小被试下过拟合。
ArtComp 用发声努力度连续调控下颌开度,同步采集 7 名瑞典语者的电磁发音、声门和音频数据,以 3000 个元音样本支撑补偿性发音研究,代价是基频耦合与传感器干扰仍需使用者自行控制。
该研究把提示拆成社会地位、职业与人格三轴,用单变量基线加双维与三维组合量化交互,报告显示冲突组合可把护士类强女性先验从女性概率约 0.99 拉到约 0.17,而通用多样性提示不足以覆盖这类深层绑定。
针对正式语料与日常口语失配导致波斯语识别与翻译退化的问题,论文构建 36.77 小时口语优先的非正式平行语料 T-PID 并做针对性文本规范,再在该语料上微调 Whisper 与 Wav2Vec2-BERT 和 NLLB-200,在 T-PID 及正式集上同时降低词错误率并提升 BLEU,代价是英文译文主要由机器生成加抽检、附着词等细节未统一且资源当前不可用 …
论文针对火济晋语 T1 与历史促声 T5 在基频上压缩重叠且尾段周期性脆弱的问题,用统一低频参数对比三种时域基频估计器并叠加发声质量度量,发现只用基频时 T5 恒为 T1 最近邻,而加入 HNR05 与 H1 星差后离散指数明显扩张,代价是结论仅限发音端且未做听辨验证。