把嵌出在球面换到单纯形:用几何约束关闭模态间隙
论文把冻结编码器后的输出域从单位球面换到概率单纯形并用全变差打分,在五个音频文本与图文检索基准上把质心距离缩小 97 到 99% 且检索质量不下降,但线性加 Softmax 在部分相对间隙指标上仍有残留。
论文把冻结编码器后的输出域从单位球面换到概率单纯形并用全变差打分,在五个音频文本与图文检索基准上把质心距离缩小 97 到 99% 且检索质量不下降,但线性加 Softmax 在部分相对间隙指标上仍有残留。
针对可穿戴设备低算力实时增强能力不足的问题,论文用冻结的大容量云端模型以延迟输出、中间层特征和协方差融合三种方式辅助边缘小模型,在标准集上把 SI-SDR 从 1.97 dB 提升到 5.74 dB,在挑战集上从 -1.16 dB 提升到 2.33 dB,边缘侧仅增加约 1.5% 参数和 2.4% 计算量。
针对语音增强语言模型受上下文窗口限制、难以从大规模偏置名单中识别多目标罕见词的问题,COALA 用判别投影做偏置打分并提出 MPD 与 DPD 损失,在 LibriSpeech 上把过滤后识别的偏置词错误率明显压低,代价是仍需两阶段训练与 Top-K 截断。
该文针对神经音频编解码与基于其的大语言模型语音克隆在英语口音上的泛化问题,构建含 4000 样本、24 个系统、32 说话人和 10 种口音的平均意见分基准并收集 19600 条三维度标注,报告说话人相似与口音相似高度相关、客观指标可预测主观感受,但同口音听音人存在显著偏置且自然度评价需区分重合成上限与克隆去噪效应。
针对印度初学者母语混英语代码词的口语提问,CodeVaani 用分语种语音识别加代码感知转写修正再接代码模型作答,在 500 条真人语音上把词错率降到 8.1% 左右并获得超 89% 公平以上评价,代价是依赖双 H100 异步流水线且未验证多轮与延迟。
论文用 85 人配对健康与感冒录音检验感冒对说话人嵌入的影响,发现传统声学特征经多重校正后大多不显著,而四种现代嵌入均出现可测量的有向偏移,其中 TitaNet 相对偏移最大但验证错误率仍保持在 1.51% 到 3.10% 之间。
针对混合结构先把频率轴塌缩再做全局建模会丢失显式谱时结构的问题,C2D-ST 在主干全程保留二维谱时网格并用邻域注意力做局部、用轴向注意力做频率与时间全局建模,仅在最后阶段做时间建模,在 VoxCeleb 上以 6.9M 参数达到平均 EER 0.507,代价是最终仍需时间聚合与 AS-Norm 等评分补偿。
针对自然语音难以手工刻画心衰失代偿的问题,该研究用 3 天内拉近、100 天以上拉远的对比预训练学习录音表征,在 68 例入院与出院排序任务上以跨中心稳定性为主要证据,代价是小样本下差异不显著且高分辨率预训练指标更好但临床迁移更差。
针对语音帧等距整数序号与语义弹性不匹配的问题,论文用深度可分离卷积从输入预测有界时间偏移并加到 RoPE 序号上,在 Branchformer 上以更少参数在全部 LibriSpeech 测试集和时间扰动下取得词错误率下降,但评估限于单数据集单种子且未做部件消融。
在约 20400 小时芬兰广播音频上比较 4 种递增过滤策略后,神经网络语音活动检测加语言标识用 42.3% 数据带来最高 12.7% 绝对词错误率下降,但能量法过滤反而有害且越 selective 的策略在 8 个非语音任务中通用音频理解下降最多 9 个百分点。
针对普通话书面歧义仅看文字难以判定意图的问题,DEBATE 用 1001 条歧义文本配 10 人按意图朗读的 10010 条语音构造发音、停顿、重音三类二选一任务,零样本评测显示三个大语音语言模型最好准确率约 58-68% 且明显低于人类,重音任务最弱并接近随机水平。
论文比较基于三音子后验不确定性的 PHOBI 与基于 WavLM 加教师-学生模仿 HASPI 的 HASA-Net+,在 10500 余条双耳可懂度与听觉费力度评分上总体相关超 0.88,而 PHOBI 平均误差更小但在食堂噪声低信噪比处出现可复述的失效模式。
该研究用同一批声学特征同时训练临床诊断模型与人类听判预测模型,发现两者整体部分对齐但在希腊语与男性组完全失齐,而病理模型在该两组未超随机水平,代价是全局可解释性会掩盖这种分组失效。
论文用冻结语音自监督模型的分层聚类信息量与下游可学习层权重的排序比较,证明在 10 分钟监督下对比式模型的权重分布能系统反映预训练音素与词信息结构,而 1 小时监督与聚类式目标会削弱这种对齐。
该文把语音编码器表示聚成系统发生树并与 Glottolog 标准树比较,报告词典统计上限仍明显优于所有神经表示,而 Whisper-LID 相对最好、XEUS 最差,且多数模型在未见语言上反而重建得更好。
DsNA 针对合成语音难溯源问题,在文本转语音输出之后把音频切成 2 块、把音频与元数据派生的密码签名切成 3 个碎片再交错拼接,报告在 250 条样本上原始与指纹音频信噪比同为 45.2 dB 且平均意见分、字错率基本不变,代价是未验证压缩噪声与对抗篡改下的鲁棒性。
针对孟加拉语语音情感识别,该工作用 80 维谱特征走 DNN、51 维多尺度韵律描述子走轻量 KAN,再经双向交叉注意力和情绪自适应门控融合,在说话人无关评测下以 1.1M 参数在 SUBESCO 取得 92.12%、在 BanglaSER 取得 82.79%,代价是跨库与会话语音泛化仍受语料差异限制。
该研究用 9 名新西兰英语发音人在仰卧、坐、站三种静态姿势下复读同一套 11 个/hVd/单词,以线性混合效应模型检验姿势对 F1、F2 的影响,发现总体差异小且最清楚的对比都涉及仰卧相对直立姿势,并集中在少数高元音和高前元音上,女性和年轻女性条件下的差异更清楚,但样本小因而只能作为本数据集的描述。
该文把近端聆听增强做成在谱-时间调制域上学习全局掩蔽并保持总能量不变,在多种噪声和客观加主观指标上报告了优于时频基线的平均增益,但低信噪比下个别条件仍被基线反超且主观验证规模很小。
论文发现语音大模型的推理差距集中在需跟踪实体的逻辑任务上,用推理时强制枚举实体并绑定的提示把语音准确率拉回接近文本水平,代价是生成长度从 256 增至 1024 词元带来的延迟增加。