边听边说边想:Rubato 用两套时钟解开实时音频与异步思考的绑定
针对全双工语音模型中实时音频与内部思考共用一条位置时间轴导致变速推理时错位的问题,Rubato 用实时钟与思考钟两套独立位置计数实现零样本变速插值,在只训练两种极端思考预算下保持准确率并随算力提升缩短给出答案的时间,代价是推理需维护多套键缓存与合成数据依赖。
针对全双工语音模型中实时音频与内部思考共用一条位置时间轴导致变速推理时错位的问题,Rubato 用实时钟与思考钟两套独立位置计数实现零样本变速插值,在只训练两种极端思考预算下保持准确率并随算力提升缩短给出答案的时间,代价是推理需维护多套键缓存与合成数据依赖。
论文针对第一视角助手只看拒答率会掩盖伤害对象差异与不懂装拒问题,提出 2,902 条视频加语音查询的 STOU 基准并分离测试拒答与理解,发现理解后仍协助与对佩戴者伤害最弱是主要代价。
论文针对屏幕场景下仅靠音频难以判定的关键词,构建按视觉证据直接程度分三层的评测集 ScreenASR-Bench,用关键词召回与归一化视觉增益度量三类模型在纯音频与加入视觉条件下的变化,最强的提升出现在可直接读屏的层级而间接语义层级提升最小。
论文研究只给文本 N-Best 列表时大模型如何做生成式改写,用参考答案把训练分成可纠正、已正确、无答案三类来教选择与克制,在私有对话数据上从 3B 左右开始稳定优于同量随机数据,而在 CommonVoice 上结论不稳定。
论文针对视频条件下的符号音乐生成中扩散模型内部表示质量不足的问题,提出用高噪声下浅层表示向低噪声下深层表示对齐的 U-SRA 方法,在 BGM909 上以检索精度和接近真实数据的音高节奏指标超过 Diff-BGM,代价是需要额外的教师分支与对齐投影计算。
SoFilNet 只用重建语音做监督就同时估计基频、清浊、五带非周期性与有序共振峰和反共振零点,在 VTR 共振峰与跨库基频上取得最低平均误差,代价是幅度谱建模与固定极零点结构带来的简化。
针对离散语音编码易丢声学细节而连续隐变量难做离散建模的问题,SemiCodec 用同步的离散 token 加连续隐变量做波形重建,并用先保留后接地两阶段训练缓解连续通路捷径,在 LibriSpeech test-other 上以 25 帧每秒实现 PESQ-WB 4.03 与 WER 5.02%,代价是仍需保留连续通路和两阶段训练。
论文针对开放词汇音视事件定位中手工模板敏感与可学习提示偏向已见类的问题,用跨音频视觉的连续提示调优加语义拓扑一致性正则保持类间相似结构,在 OV-AVEBench 上已见平均 71.2% 与未见平均 61.7% 的条件下取得提升,代价是仍依赖冻结编码器与合成类别代理。
该文研究把多步扩散与流模型压缩到 4 次函数求值的问题,提出只做在轨速度回归并加上训练期残差代理与弱预测排斥的 SMD 框架,在图像、编辑、3D、视频与 33B 音频视频联合模型上验证了对齐与质量表现,但结论依赖同网格评测与原文报告的基线配置。
针对仅用环境音频检测鼾声、低通气和阻塞性呼吸暂停并估计 AHI 的问题,论文提出把多分辨率自适应线增强器的置信图直接送入注意力偏置和特征调制,在 APSAA 上取得 Event-F1 0.7105 的最好结果,代价是三路滤波加双流建模带来额外计算和单中心小样本的适用限制。
Sonic-AMG 针对双耳音频流加世界系声源位置输入,用 what 与 where 分离表征加因果 Transformer 与流头逐段生成动作,并以排练训练和空间反馈缓解历史与空间条件失配,在 SAM 上取得最优 FID 与 R-precision 且保持实时流式生成,但结论限于 SAM 划分与已知声源位置条件。
针对重叠与运动下指定声源在指定时刻位置难定位的问题,SonicWorld 用持续声源状态组织声学证据,在 Sonic-Bench 上把单声源方向准确率从 43.75% 提升到 50.00%,代价是需要完整片段离线推理与两阶段微调。
针对非音乐音频到符号音乐的一对多转换问题,Sori 用只在音乐音频上训练的编码器加双解码器结构配合域对抗训练和无分类器引导,在 AudioSet 评测上用连续参数控制贴合输入与音乐性之间的权衡,并以平均实时率 0.82 在消费级 CPU 上实现流式推理。
针对 16 kHz 音频语言模型看不见 8 kHz 以上信号的问题,论文用搬移频带加同时刻双视图融合复用冻结编码器,在高频决定答案的对照测试上取得明显提升,但结论依赖特定的构造评测与微调预算。
论文要解决 Whisper 只出词而丢掉呼吸笑声喇叭声的问题,用统一七个异构数据集的卷积加 Transformer 每 40 毫秒输出 54 类概率的做法,在重叠留出数据的留出集上敏感档找到约三分之二事件但宏观精度只有 0.30,代价是阈值与评估都偏乐观且弱类仍不可用。
论文针对联合音画生成中多目标对齐需要大量模型评估的问题,提出先做方差引导的自适应粒子搜索再做短链局部修正的两阶段推理对齐方法,在匹配计算量下提升七个对齐指标并用图像实验验证分配策略的通用性,代价是需要维护在线调度参数和两阶段奖励设置。
论文把语音指令识别拆成一次编码得到固定记忆、多次共享循环读记忆并修正预测,在三个基准上用 0.16-0.17M 参数取得可比精度,早退能减少循环步数但总能耗节省有限。
论文把多通道复数掩码估计问题交给全连接脉冲网络,用直接编码与率编码两种脉冲序列实现多麦克风空间信息的利用,并在固定仿真条件下刻画了模型宽度与脉冲长度带来的增强质量与计算代价权衡。
SSEmb 只用标准语音转写对训练轻量适配器,把冻结语音编码器接到冻结文本检索向量空间,实现直接语音查文本,在英文与多语言及口语文档检索上接近级联系统且时延更低。
SWEAR 针对音频问答中不同推理阶段难度不一致的问题,用离线五维难度构造分段评分与压缩目标,先让模型在监督微调中学会自评难度,再用课程强化学习按自评调节各段长度,在 MMAU-test-mini 取得 73.5% 准确率和 197.13 词元、在 MMAR 取得 62.0% 准确率和 195.85 词元,相对 CoTA-SFT 减少约六成词元。