粗定位能动,精定位不动:大音频语言模型把时间绑在了事件名上
该文用激活交换、解码与转向证明三款大音频语言模型都在中间层把粗粒度相对时间绑到事件名表示上并能因果改变前后判断,但该表示只能粗解码到约 3.5 至 4 秒且不能一致移动预测的起始时间戳。
该文用激活交换、解码与转向证明三款大音频语言模型都在中间层把粗粒度相对时间绑到事件名表示上并能因果改变前后判断,但该表示只能粗解码到约 3.5 至 4 秒且不能一致移动预测的起始时间戳。
论文把文本到音乐拆成 25 Hz 语义规划加扩散声学渲染,用固定接口、三级语料和全链路产物清单重建 Qwen-Music 范式,最强证据是标注审计与量化误差的固定协议测量,代价是自动监督误差、离散信息损失与端到端人声不稳定仍未解决。
针对瓶鼻海豚哨声结构研究缺深纵向数据的问题,论文用半自然定点连续录音加两阶段标注构建约 18 万哨声语料与 8354 条专家标注子集,并以域内 Wav2Vec2.0 线性探测在分类与检测上超过通用生物声学模型,但两任务仍留有明显误差空间与单点单群等限制。
该挑战要求在多轮对话下同时给出前 20 首排序和有依据的回复,最强可复述证据是多路候选加保留来源证据的学习排序在受控对比中提升 nDCG,而冷启动与模糊单目标仍是主要代价。
该文把是否融合写成共因推断,用冻结音频与视觉估计做后验加权融合,在画面内方向误差上取得可核对的下降,而代价是画面外存在小幅回升。
论文以可听偏好为目标检验两种 PESQ 辅助损失,显示它们虽抬高匹配集上的 PESQ 与复合指标,却未改善多数独立指标并在主观盲听中被无 PESQ 模型稳定胜出,而复合指标的方差分析揭示其高度依赖 PESQ 本身。
该研究用典型性与干扰相似度双因子控制的 sounding actions 基准探测约 30 个大音频语言模型,发现典型样本到非典型样本与近干扰下的准确率系统性坍缩到接近随机,而层级分解有助、事件显式 grounding 普遍有害,人类仍大幅领先。
针对复数谱对数幅度难以直接求近端算子的问题,论文提出经指数耦合辅助变量间接施加倒谱稀疏等先验的 EPILOG 正则,给出分量近端算子与交替极小 ADMM 流程,去混响实验显示倒谱稀疏版本取得最高平均指标,但收敛性证明留待后续工作。
针对原生大词表 CTC 需物化帧乘词表激活的问题,论文用目标词并集加 blank 做对齐、用全词表归一化加分块重算保持等价,并以有限波束剪枝和因果查询读出把预训练 LLM 做成非自回归与流式识别,在编码器上全步显存降 2.3 至 5.1 倍、LLM-CTC 保持在 LLM-CE 的 7% 相对词错率内并快 7.2 至 10.3 倍,代价是每步增加约 14 至 …
针对说话人音频驱动听众头部反应的时滞对齐与局部表情随机性问题,REALM 用延迟先验门控融合做粗轨迹再只在表情子空间做音频条件随机残差,在 ViCo 与 L2L 上降低表情与姿态误差并改善帧间动态,但刚体姿态分布与部分方差指标仍有基线更优的反例且依赖离线窗口与机器人专用重定向。
论文把声道建成可微声学管道,用频域传输线求解与可微湍流门控合成元音辅音,再用神经场参数化做梯度反演,并在自监督声码与无配对语音到 MRI 视频上验证,但逆解不唯一且鼻腔未建模。
针对合成训练与真实对话失配且无信号级真值的问题,该文用合成预训练加目标感知弱监督过渡再做质量过滤的 RemixIT 重混自适应,在 REAL-TSE 未见场景 EVAL-2 上把 TER 从 0.763 降到 0.713,代价是只保留 4.2 小时高置信伪标签且依赖说话人标注与转写质量。
论文用 35 组受控训练比较等错误率与人听相似度的关系,发现等错误率几乎不跟踪人听判断,而有效维度越低对齐越高,压缩嵌入维度可把 AM-Softmax 的对齐从 0.08 提升到 0.738,代价是等错误率升至 20.48% 左右。
针对从混合音乐中检索库中相似分轨的问题,Stembed 用四个槽嵌入分别表示候选分轨并以匹配后的对比损失训练,在 MoisesDB 三轨检索上以 56.8% 全库 R@1 超过单嵌入 CIR 基线 23.6%,代价是需要匹配、存在分数和槽数等额外机制。
针对双声源下声音事件与其方向距离对应关系易丢失的问题,SAIL 用解耦声学空间编码与双流查询对齐保持声源级对应,在单声源基本持平的代价下提升双声源感知与空间推理,但双源间距估计与多于两源场景仍未解决。
针对全双工语音要求持续低延迟而知识推理与工具调用耗时可变的问题,SALMONN-duo 用常开全双工前端负责交互并决定是否异步委派给后端智能体,再用知识边界感知监督与成本感知强化学习控制委派效用,证据显示其在问答与任务对话上改善准确与委派权衡,代价是仍依赖强后端与仿真延迟条件。
针对弦乐四声部在同音高与泛音重叠下难以仅凭混合区分的问题,SCISSOR 用乐谱音高加乐器身份构成逐帧查询去竞争共享音频表示,证据显示在少量真实录音参与训练后其在留出真实集平均 SDR 最高,而乐器身份类乐谱错误仍会使其回落到音频对照以下。
论文先用 80 例平行对诊断冻结 TTS 速度场是否存在可用、无代价分段的情感编辑信号,再提出动态速度搬运的 SEmoEdit,在 600 例基准上以替换 TEP 0.691 与擦除 NP 0.704 超越训练式与转向式基线,代价是说话人相似度下降与跨域控制依赖骨干。
该文把板混响辨识做成基于仿真的推断,用多分辨率谱摘要加神经样条流从脉冲响应学参数后验,再对每个测试样本做三轮定向仿真精修并用波形重建误差做选择,在 50 条测试脉冲上把全局误差降到 0.47×10 的负三次方,代价是每次精修约 2.5 小时。
针对七类浴室助老声事件识别,论文用可学习 sinc 带通前端加深度可分离卷积的 SincDPNet,在环境不相交评估下以 2848 参数达到 75.7% 准确率与 0.661 宏 F1,以 14040 参数达到 80.2% 准确率与 0.760 宏 F1,代价是水声重叠类与门和助行器瞬态仍集中混淆。