能分清语言又不分家:语言判别如何缩小多语言语音模型的额外代价
在英法双语 HuBERT 等总时长对照下,增强语言判别把连续音素 ABX 从 11.6% 降到 10.4%、把 sWUGGY 从 52.1% 提到 56.7%、把 ProsAudit 词汇子任务从 68.9% 提到 72.9%,但最终离散单元无改善且过晚干预会增加语言分隔。
在英法双语 HuBERT 等总时长对照下,增强语言判别把连续音素 ABX 从 11.6% 降到 10.4%、把 sWUGGY 从 52.1% 提到 56.7%、把 ProsAudit 词汇子任务从 68.9% 提到 72.9%,但最终离散单元无改善且过晚干预会增加语言分隔。
论文针对语音指令识别中脉冲神经网络被认为比比特串行量化网络更慢的问题,提出带延迟控制的发放内核与流水延迟搜索,在匹配映射下用建模核延迟证明跨时间步重叠可更快,并在 GSC 上以 96.31% 精度达到 119.64 μs 建模延迟,代价是等待位置选错会同时变慢变差。
论文针对目标声被三个干扰源淹没时音频大语言模型感知崩溃的问题,提出不训练模型只在音频到语言边界上用类别长期记忆做重构加插值的方法,在二十类四声源混合上把分类准确率平均提升 29.53 至 46.15 个百分点,而语音转写需再加逐词元门控才能把词错误率从 23.07% 降到 14.77%。
该研究用从全遮挡到原声的归因轴分解部分掩膜输出,发现 41% 到 77% 的位移是标量方法看不见的正交偏离,且其方向稳定性和维度随模型与填充组合而变化,代价是仍需依赖填充选择的忠实度评估才能谈修正。
论文在笔记本与手机上实测四种神经音频解码器与 AAC-LC 和 Opus 的解码能耗与 ViSQOL 质量,报告神经端以更低码率达到相近质量但解码能耗更高,并用传输能量系数门限量化何时省下的传输能耗才能抵消多出的解码能耗,其中 EnCodec 门限最低而手机端 DAC 与 SNAC 多组超过 200 mJ/kbit 且全频段解码慢于实时。
针对纯音听阈无法反映的耳蜗神经退变,研究用内毛细胞到听神经的互信息损失在低语境 VCV 音节上比较时间与噪声探针,发现 40% 压缩加调幅噪声的建模损失最大,且该组合是行为实验中唯一显著区分自报噪声聆听困难组的条件,但安静下接近天花板与个体阈值校准限制了因果归因。
该综述把目标说话人提取组织为音频、视觉、空间、文本语义、神经五类目标线索与判别到生成建模的演进,报告了混淆与失配等条件下的定量变化,并强调无统一最优线索与范式,需按传感、同步与部署约束选择与评估。
针对长时多方全双工对话缺数据缺评测的问题,论文用两阶段脚本合成加 IndexTTS2 渲染构建 57.6k 小时中英并行流语料并以两阶段微调 Moshi,在 MultiTalkBench 上最终分从 4.66 升到 13.15 但仍远低于人类 68.74。
MyoCodec 针对肌电信号的流式与多任务需求,用因果 Transformer 编码加六级残差向量量化把 2 千赫兹肌电压成每通道 50 赫兹 2400 比特每秒的离散表示,在十二个公开数据集上训练后重建与四个下游任务上可复现地优于对照,但数据偏向打字与手势且下游结构未为离散 token 重设计。
在机载旋翼自噪声下识别十个飞行指令词时,跟踪窗前两秒每频带噪声地板并做条件化输入,能在保持对数梅尔基线误报率的同时把低信噪比检出率转成实际增益,而直接相减的归一化虽能提逐段准确率却会放大连续噪声上的误报。
该文用激活交换、解码与转向证明三款大音频语言模型都在中间层把粗粒度相对时间绑到事件名表示上并能因果改变前后判断,但该表示只能粗解码到约 3.5 至 4 秒且不能一致移动预测的起始时间戳。
论文把文本到音乐拆成 25 Hz 语义规划加扩散声学渲染,用固定接口、三级语料和全链路产物清单重建 Qwen-Music 范式,最强证据是标注审计与量化误差的固定协议测量,代价是自动监督误差、离散信息损失与端到端人声不稳定仍未解决。
针对瓶鼻海豚哨声结构研究缺深纵向数据的问题,论文用半自然定点连续录音加两阶段标注构建约 18 万哨声语料与 8354 条专家标注子集,并以域内 Wav2Vec2.0 线性探测在分类与检测上超过通用生物声学模型,但两任务仍留有明显误差空间与单点单群等限制。
该挑战要求在多轮对话下同时给出前 20 首排序和有依据的回复,最强可复述证据是多路候选加保留来源证据的学习排序在受控对比中提升 nDCG,而冷启动与模糊单目标仍是主要代价。
该文把是否融合写成共因推断,用冻结音频与视觉估计做后验加权融合,在画面内方向误差上取得可核对的下降,而代价是画面外存在小幅回升。
论文以可听偏好为目标检验两种 PESQ 辅助损失,显示它们虽抬高匹配集上的 PESQ 与复合指标,却未改善多数独立指标并在主观盲听中被无 PESQ 模型稳定胜出,而复合指标的方差分析揭示其高度依赖 PESQ 本身。
该研究用典型性与干扰相似度双因子控制的 sounding actions 基准探测约 30 个大音频语言模型,发现典型样本到非典型样本与近干扰下的准确率系统性坍缩到接近随机,而层级分解有助、事件显式 grounding 普遍有害,人类仍大幅领先。
针对复数谱对数幅度难以直接求近端算子的问题,论文提出经指数耦合辅助变量间接施加倒谱稀疏等先验的 EPILOG 正则,给出分量近端算子与交替极小 ADMM 流程,去混响实验显示倒谱稀疏版本取得最高平均指标,但收敛性证明留待后续工作。
针对原生大词表 CTC 需物化帧乘词表激活的问题,论文用目标词并集加 blank 做对齐、用全词表归一化加分块重算保持等价,并以有限波束剪枝和因果查询读出把预训练 LLM 做成非自回归与流式识别,在编码器上全步显存降 2.3 至 5.1 倍、LLM-CTC 保持在 LLM-CE 的 7% 相对词错率内并快 7.2 至 10.3 倍,代价是每步增加约 14 至 …
针对说话人音频驱动听众头部反应的时滞对齐与局部表情随机性问题,REALM 用延迟先验门控融合做粗轨迹再只在表情子空间做音频条件随机残差,在 ViCo 与 L2L 上降低表情与姿态误差并改善帧间动态,但刚体姿态分布与部分方差指标仍有基线更优的反例且依赖离线窗口与机器人专用重定向。