麦克风数量可变时,编码矩阵如何既记住阵列又听见信号
该研究用共享麦克风处理加掩蔽自注意力实现可变麦克风数的一阶 Ambisonics 矩阵编码,对比只看阵列传递函数的信号无关编码与同时看观测信号的信号相关编码,在 LibriSpeech 训练后于未见麦克风数、更多声源数和非语音源上仍优于静态最小二乘,而信号相关整体更强但白噪声下绝对重建仍然困难。
该研究用共享麦克风处理加掩蔽自注意力实现可变麦克风数的一阶 Ambisonics 矩阵编码,对比只看阵列传递函数的信号无关编码与同时看观测信号的信号相关编码,在 LibriSpeech 训练后于未见麦克风数、更多声源数和非语音源上仍优于静态最小二乘,而信号相关整体更强但白噪声下绝对重建仍然困难。
论文把语音评测不可比归因于执行方差与打分方差,用工具智能体完成异构上线、主智能体提交协议、确定性程序执行打分,在 18 个公开版本上把一次通过从 12 个提高到 18 个,但统一协议与论文报告仍存在随模型与语言变化的差异。
Tacit-TTS 针对 IndexTTS2 自回归语义解码慢且已有并行方案依赖参考文本的问题,用掩码非自回归生成加免训练语速估计与重流蒸馏实现免文本克隆,跨语言证据显示英文目标相似度 0.789 且词错率 0.10%,代价是中文指标与内容准确率仍低于教师模型。
针对语音指令经转写后关键实体易被改写而词错率无法反映任务成败的问题,Talk2Agent 用 31.82 小时真人语音与固定下游智能体隔离评测语音接口,并以投影到提示可寻址意图的 Native 与 Shapley 免执行指标逼近真实执行,其代价是长提示口语化改写与工作区偏置仍不稳定。
针对能听出副语言线索却不会用它规划回复的感知推理脱节问题,LoopSLM 用权重共享循环块加每轮声学重锚定和两阶段训练实现无文本思维链直接回复,证据是推理精度提升超 20 个点且生成词数减少 64.5%,代价是提示处理与每解码步都要跑 4 轮循环带来的执行深度增加。
针对嵌入聚类时间分辨率与神经 diarization 长录音身份一致性互补但表示不兼容的问题,论文用神经说话人划分调制局部表示构成连续亲和并与多尺度声学亲和相加后做一次全局聚类,在 AMI 与 CALLHOME 上同时超过两个组成系统,而硬用说话人计数则显著变差。
UniAE-MoE 针对语音音乐通用音频统一建模中单编码器偏置与直接融合冗余的问题,选择冻结 Qwen2-Audio 与 Audio-Flamingo 3 并用带共享专家的 SwiGLU 混合专家做融合,在 XARES-LLM 上取得 0.802 总分,代价是两阶段指令调优与任务相关数据补充带来的训练复杂度。
VISTA 用七字段事件评价调节多模态权重来解释情感冲突,在 CA-MER 冲突子集达到 64.5% 准确率,代价是 360 token 评价目标、每种子 72 GPU 小时训练与 15.5 秒中位推理延迟。
针对多用户共享语音助手跨会话谁说了什么的问题,该研究用冻结说话人编码器加可训练轻量投影器生成说话人句柄输入冻结文本大模型,并在受控的 SpeakerBind 上以 70.40% 接近文本标签上限 71.88%,而破坏绑定后性能崩塌,代价是仍依赖转写级联与合成受控评测。
针对流式语音转换中说话人验证嵌入抑制帧级发音差异的问题,VOSSA 冻结内容编码器并从其中间层聚合说话人嵌入,与重建加转换双路径联合训练,在保持可比质量与可懂度的条件下减少约 19% 参数并改善音高与共振峰保持。
论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写,用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致,32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈,但语音区分度与聚合口径限制了细粒度排序。
PACT-SLM 用配对分支与可变起始点检验部分语音是否支撑外显动作,修正后 WavLM 探针在 onset 后语义标签准确率仅 26.03% 且未超过置换参考,完整轨迹准确率仅 5.94%,而时长对照更准地命中时机,说明身份与时机必须分开度量。
针对耳机助听器等电池供电设备的语音去噪功耗问题,Zephyr 把 Spiking-FullSubNet 改写为 INT8 硬件友好版本并配以稀疏感知的复用 PE 阵列,在 Intel N-DNS 上报告 14.54 dB 与 52.9nJ 每帧的估算能耗,代价是相对浮点原版约 0.66 dB 下降且能耗为 45nm 估算而非实测。
τ-Multilingual 把英语语音任务框架原样保留、只做本地化调用者与评测本地化后,用 4500 次全双工通话检验五种语音配置,显示西语葡语印地语任务完成接近英语而韩语普通话明显掉队,且任务、交互、生成三类排名互相不一致。
共分析 55 篇语音/AI 论文
针对对齐感知草稿在加长草稿 horizon 后接受长度饱和的问题,论文用递推的声学进度状态给音频交叉注意力加高斯偏置并做变长联合训练,在五个 ASR 测试集上以无损方式报告了 0.6B 目标 1.657×与 1.7B 目标 1.227×的宏平均端到端加速,代价是引入进度预测器与强制对齐监督。
该文把离线音乐分离模型不改权重地按单跳滑窗流式运行,用读出位置控制算法延迟,证明窗口长度处存在质量拐点,并在 23 与 93 毫秒下用 HT-Demucs 与 SCNet 达到专用实时模型相当的分离质量,代价是除 HT-Demucs 外仍高于实时计算量。
针对广播语料高估方言识别能力的问题,Almieyar 按社区选图与五场景诱发新录 13.7 小时语音并零样本评测 12 个系统,总体最优仍有三成以上词错误率,且语系内部分化与字词指标背离说明必须多指标多社区评估。
论文固定文字、只改声音来要求不同工具调用,用只读文字的级联做零假设对照,报告 28 个系统在保护性来电上都偏向按字面执行、23 个可测系统中仅 11 个超越零假设,且写明规则与描述声音各只能挽回部分损失。
针对低码率一阶 Ambisonics 编码问题,论文保留标准 DirAC 分析合成、只重做空间元数据量化,用三维指向向量加跨频带残差向量量化实现恒定码率,在 750bps 元数据下重建接近 48 kbps 参考并保留可用于声事件定位检测的空间线索,代价是仍依赖外部单声道编解码器恢复 W 通道。