冻结语音编码器做多语言轮次结束检测
论文用冻结的 Whisper 编码器加一个小的逻辑回归头做话轮结束检测,在 CALLHOME 五种语言上测零样本跨语言迁移、少量目标语言适配和阈值复用,发现跨语言差距很小且因果流式处理是主要代价。
论文用冻结的 Whisper 编码器加一个小的逻辑回归头做话轮结束检测,在 CALLHOME 五种语言上测零样本跨语言迁移、少量目标语言适配和阈值复用,发现跨语言差距很小且因果流式处理是主要代价。
针对 MusicXML 与 MEI 这类层级化乐谱难以直接逐行比对的问题,论文用有向无环图表示节拍与节奏并做并行递归比对,在演示中以毫秒级核心比对时间给出差异列表与相似度,但完整耗时仍受解析与建图制约。
U-STFT 把窗长选择写成逐帧的三动作序列决策,用归一化三阶 Rényi 熵打分并在格子上做贝叶斯混合,在双曲 chirp 上以 0.526 nats/帧 的后悔低于 0.760 nats/帧 的界,在语音上以 93% 长窗保持 12.27 bits 全局集中度,代价是每帧要算 O(smax) 个候选谱并维护伴随合成流。
Wav2Aug 针对 SpecAugment 只做语谱图且跨任务增益不稳的问题,提出在波形上每次随机串联两种变换的固定策略,在五项非 ASR 任务上相对最强可比 SpecAugment 平均降低 12.8% 误差,在 ASR 上基本持平,而双增强视图带来 19.6% 的平均增益但使批量和计算翻倍。
论文把同一录音中选哪段做提示当作选择问题,用四个零样本模型的几十万条合成输出衡量可懂度、自然度和说话人相似度,并训练只听候选音频的小网络按词错率排序选提示,在不合成时接近逐个试合成的效果。
V33DA 把已检测到的每声鸣叫归给当时可见的某只斑胸草雀,用随身振动信号定真值并扣留该通道,再以三套划分检验熟悉个体识别与可迁移空间归属,代价是单装置、单发声事件与有限无线电特征。
论文把文档、自然图像、音频和视频的十个解析任务统一为带空间与时间锚点的结构化记录,用共享权重的文本初始化编码器做感知、用统一模式做输出,并用自演进的按词角色蒸馏做后训练,在文档基准上达到 96.96 分、在多模态解析基准上以 75.08 分领先开源模型,优势集中在音频和视频,但代价是 55B 稠密解码与自回归输出的推理开销。
共分析 47 篇语音/AI 论文
本文把视觉建模按空间特性拆成小嘴唇图像分支和人脸关键点几何分支,在 LRS3-2mix 统一精简训练下接近轻量图像基线的分离质量,同时把模块级视觉编码计算降到 0.3 至 0.5 GMACs 量级。
该论文把多语言识别误差按语音、形态、句法拆开,让大语言模型智能体据此逐轮选择语言配比、语句和词元监督,在 12 种 Common Voice 语言上用相同 1200 小时训练预算取得更低平均错误率,但结论只在 Whisper-medium 加固定微调配置下成立。
AudioRSI 让同一音频大模型既生成推理又两两比较推理质量,并每隔一段时间用新策略替换旧 cirtic,以结果正确加自我评价的组合奖励做 GRPO 训练,在四个与训练分布 disjoint 的基准上提升分布外推理,且代价是每题 56 次 critic 前向的训练开销。
本文用同一位置、同一编辑流程的同类替换做对照,检验音频语言模型在局部事件类别被换掉时是否改答案并指向新类,三模型上异类比同类多 49.7 到 60.9 个百分点的答案改变,但结论只在 600 条合成声景和给定声学条件下成立。
ConformalMOS 针对合成语音平均意见分只给点估计不可靠的问题,用冻结声学编码加顺序感知分布头做点预测,再用切分共形校准输出有覆盖保证的区间,在 BVCC 上系统级 MSE 做到 0.08 但结论只在同域划分和强骨干下成立。
针对镇静手术中呼吸监测易受环境噪声干扰且人工听诊难连续的问题,Airmod 用双麦克风自适应降噪加 15 秒窗 CNN-BiGRU 吸气呼气检测与后处理拼接来逐次更新呼吸率,在 HF_Tracheal_V2 测试集上吸气检测 F1 约 0.83-0.85,但呼吸率对标二氧化碳描记的结果另文发表且降噪与算力仍有限制。
针对巴斯克语缺少语音指令数据的问题,论文沿用模块化架构加合成数据路线构建语音交互系统,用内容分 3.86/5、语音可懂度词错误率 9.94%、延迟 370 毫秒证明可行,同时留下合成分布内评测与音频质量差距等限制。
EmbeddingGemma 2 用 271M 双向主干加视觉与音频编码器把交错多模态输入映射为 768 维单位向量,经文本预微调、多模态预微调和对比微调三阶段学习,在代码、图像视频文档和音频检索上建立新的参数效率前沿,且支持截断与量化部署。
论文把语音无法决定的书写差异定义为评测端转写规范化问题,用 1098 组最小对和兼顾一致性与语义保留的 SENA 指标检验方法,并用携带现象说明和改写约定的 TACS 智能体把平均成绩从常规工具的 10% 以下提升到 68.8%,但同音替换和符号类仍然困难。
该文用两阶段把定时音符先变成每弦基频与包络曲线再合成音频,在 GuitarSet 上控制保真与主观分领先单阶段与 DDSP-Guitar,但频谱距离指标 MSSL 仍落后于直接优化混音的 DDSP-Guitar。
论文把声纹当作对身份的含噪观察,提出免训练的 EvoSpeakerMem 逐轮路由与门控更新用户实体,并在合成的 LoCoMo-ID 上验证其在干净与录音条件变化下提升身份受限问答,但也暴露碎片化与跨用户污染的权衡。
针对双人关系识别中证据层次与互动类型被混在一起的问题,HiRe-DRR 把低层与高层线索分开构造同质与异质互动,再用稀疏路由选择与层级条件监督做分类,在 NoXi、UDIVA 和 SeamInt 三个切分下取得更高的 UAR 与 mAP,但结论只在短片段切分与给定关系划分下成立。