语音/音乐/音频论文速递 2026-10-03

共分析 16 篇论文

⚡ 今日概览

✅ 筛选入选 16 篇 → 🔬 深度分析完成

🏷️ 标签说明：本期使用新版受控 taxonomy；站点标签页暂时兼容展示历史标签与新标签。

🏷️ 热门方向

方向	数量	分布
#语音编码	2 篇	██
#语音转换	2 篇	██
#全双工语音交互	1 篇	█
#口语理解	1 篇	█
#和弦识别	1 篇	█
#声源定位	1 篇	█
#多说话人语音识别	1 篇	█
#病理语音评估	1 篇	█

📊 论文评分排行榜（16 篇，按分数降序）

排名	论文	总分	分档	文档类型	主任务
🥇	Multi-Party Backchannel Prediction: a Diagnosis, a…	8.0	前25%	数据集与基准	#轮次切换
🥈	Shared-State Local Translations for Training-Free…	7.8	前25%	方法研究	#语音转换
🥉	Beyond Decodability: Do Acoustic Factors Drive…	7.7	前25%	方法研究	#病理语音评估
4.	From Isolated Feature to Orbits: Discovering Music…	7.5	前25%	方法研究	#和弦识别
5.	Teaching LLMs to Hear Who Spoke What: Metadata…	7.1	前50%	方法研究	#多说话人语音识别
6.	Multi-sample Synthetic Supervision for Accent…	7.1	前50%	方法研究	#语音转换
7.	When Intent Arrives Late: A Benchmark for Full-Duplex…	7.0	前50%	数据集与基准	#全双工语音交互
8.	LAST: Looped Audio Spectrogram Transformer	7.0	前50%	方法研究	#音频分类
9.	ReCast: Contract-Preserving Protection for Fixed…	6.7	前50%	方法研究	#音频推理
10.	Q-SPT: Learnable Query-Based Compression for Low-Frame…	6.6	前50%	方法研究	#语音编码
11.	How Robust Are Neural Audio Codecs for African Speech?…	6.4	前50%	数据集与基准	#语音编码
12.	Supervising Sound Localization by In-the-wild Egomotion	6.3	前50%	方法研究	#声源定位
13.	Code-Switching Spoken Language Identification as Multi…	6.1	前50%	方法研究	#语言识别
14.	Exposing the Cost of Deep Learning Audio Development	6.1	前50%	应用研究	#语音增强
15.	PADP: Perceptual Audio Data Perturbation for Probing…	5.8	前50%	方法研究	#音频质量评估
16.	High-Value Synthetic Supervision for Parameter…	5.7	前50%	应用研究	#口语理解

📋 论文列表

🖼️ 有图的论文会在这里展示首张原论文图；原图链接见对应独立页面。

🥇 多人会议中回馈预测为何跨人失效：诊断、基准与行为上限

英文题目：Multi-Party Backchannel Prediction: a Diagnosis, a Benchmark, and a Ceiling

标签：#轮次切换 | #基准设计 | #基准测试 | #语音

评分：8.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

排名：前25% | 文档类型：数据集与基准 | arXiv 原文

👥 作者与机构

Mohammed Hafsati：Enchanted Tools
Ahmed Loughzali：Enchanted Tools；IMT Nord Europe

📌 核心摘要

多人反向通道预测要求从混合语音中实时判断被遮蔽听者是否应发出短促倾听反馈，其难点在于多人混叠、听者角色多变与事件极度稀疏。本文基于AMI会议语料构建遮蔽听者（masked-listener）基准，将每位参会者轮流作为机器人替身并用其余通道混音预测其反馈起点，再以冻结声学编码器接线性探针与重训预测器定位零样本失效来源，最后用条件化与对抗去身份等补救检验跨听者迁移。与双人直接复用预测头不同，重训后仍保留已见听者优势而未见听者无增益，揭示行为本身的个体特异性。在金标测试上零样本曲线下面积（AUROC）为0.499，重训后总体达到0.751，而轮次起始（turn-onset）对照无类似鸿沟。结论仅适用于音频单模态与混合单通道建模，不支持视觉或逐说话人路由的外推。该适用边界受限于音频混合输入与当前基准协议，跨语料与多模态融合等外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源资源

代码相关资源：https://github.com/HafsatiMohammed/bc_multiparty_release — 链接可访问（HTTP 200）
第三方资源：https://github.com/MaAI-Kyoto/MaAI — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🥈 不配对帧也能做音色转换：用共享状态做局部平移的 StateVC

英文题目：Shared-State Local Translations for Training-Free Voice Conversion

标签：#语音转换 | #信号处理 | #自监督学习 | #语音

评分：7.8/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

排名：前25% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Yangyang Qu：机构信息未在 arXiv HTML 中可靠披露
Michele Panariello：机构信息未在 arXiv HTML 中可靠披露
Massimiliano Todisco：机构信息未在 arXiv HTML 中可靠披露
Nicholas Evans：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

单样本免训练语音转换的输入是内容不同的源与参考语音，输出是保留源语言内容但贴近参考音色的波形，难点在于内容失配时无法假设可靠帧对应。所提StateVC先用冻结WavLM-Large第6层提取帧表示并按源时序标准差筛选路由子空间，再将源与参考池化帧联合拟合对角高斯混合模型得到共享状态并计算时域平滑后验路由。接着在原始1024维空间按路由加权估计各状态源均值与参考均值之差作为局部平移，欠支撑状态回退为utterance级全局均值差。最后源帧以自身后验加权组合各状态平移并经冻结HiFi-GAN合成，使不同帧获得不同局部更新。与先配准后变换的最近邻与最优传输类方法不同，该机制无需显式帧匹配即可在同一状态内比较分布。在LibriSpeech one-shot协议评测下，StateVC的WER为8.01%，低于MKL-VC的WER 8.22%。结论目前仅在英语朗读的一参考一源协议下验证，跨语言与强风格迁移尚未验证。原文未披露训练、推理或部署成本。

🔗 开源资源

代码相关资源：https://github.com/eurecom-asp/StateVC — 链接可访问（HTTP 200）
复现相关资源：https://github.com/eurecom-asp/StateVC_listening_samples — 链接不可用（HTTP 404）
第三方资源：https://github.com/bshall/knn-vc — 链接可访问（HTTP 200）
第三方资源：https://huggingface.co/speechbrain/spkrec-xvect-voxceleb — 暂时无法访问
第三方资源：https://huggingface.co/openai/whisper-base — 暂时无法访问

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🥉 能解码不等于会使用：噪声与混响如何系统性推动阿尔茨海默语音预测

英文题目：Beyond Decodability: Do Acoustic Factors Drive Predictions in Speech-Based Alzheimer’s Assessment?

标签：#病理语音评估 | #统计分析 | #鲁棒性 | #语音 | #语音生物标志物

评分：7.7/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前25% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Serli Kopar：机构信息未在 arXiv HTML 中可靠披露
Alkis Koudounas：机构信息未在 arXiv HTML 中可靠披露
Roshan P. Rane：机构信息未在 arXiv HTML 中可靠披露
Sam Gijsen：机构信息未在 arXiv HTML 中可靠披露
Paula A. Perez-Toro：机构信息未在 arXiv HTML 中可靠披露
Kerstin Ritter：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

阿尔茨海默病(Alzheimer’s Disease, AD)语音评估以原始音频为输入并输出二分类诊断，风险在于自监督学习(Self-Supervised Learning, SSL)表征同时编码语言内容与录音声学因素。本文提出四实验干预式审计框架：先在参与人语音(Participant-only, PAT)、完整录音(Full, FULL)与非语音(Non-Speech, NS)三流上做分层线性解码定位信息分布，再冻结决策层分类器并施加噪声与混响输入干预统计预测翻转率，接着在表征空间估计共享声学方向并前向传播转向检验因果效应，最后计算位移与决策权重的余弦对齐刻画方向结构。在ADReSSo训练集166人与测试集71人上，HuBERT-Large层12达到平衡准确率(Balanced Accuracy, BA)0.87，而合成噪声在FULL流层1引发51%翻转，显著高于混响的8%。表征转向在层9达42%翻转，反向转向时对数效应相关为-0.98，且44/48条件超出随机方向95%区间。结论是高精度与无显著组间差异均不足以保证稳健，干预式稳健性测试应成为标准。局限是仅考察事后施加的噪声与混响两类因素与线性分类器，未覆盖真实野外多语言多设备录音与非线性下游模型。原文未披露训练、推理或部署成本。

🔗 开源资源

代码相关资源：https://github.com/neselidondurma/beyond-decode — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

4. 从孤立特征到轨道：用移调对齐恢复音乐概念的关系结构

英文题目：From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment

标签：#和弦识别 | #无监督学习 | #可解释性 | #音乐

评分：7.5/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前25% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Liwei Lin：Computer Science Department, NYU Shanghai；Machine Learning Department, MBZUAI
Gus Xia：Machine Learning Department, MBZUAI

📌 核心摘要

音乐基础模型把和弦与调式存成孤立特征还是可移调结构，现有线性探测与单稀疏自编码器事后标注难以回答，本文输入为冻结音乐表征的帧序列，输出为按半音移调排序的特征轨道及仅用少量锚点传播的语义标签，难点在于跨音高视图的词典置换不定与多义性。方法链第一步构造相邻半音移调音频视图并提取时序对齐的帧表征，为后续对齐提供音高受控的平行输入。第二步用共享Top-K支撑掩码联合训练多个SAE以强制同索引共选，使不同视图的同索引特征进入同一激活通道，其输出直接作为第三步的对齐后词典。第三步在参考SAE内经解码器余弦匹配构造后继映射并迭代成环、定点或链，该机制把移调等变性写进训练时的索引耦合，而非仅在向量相似度上找邻居，具有可验证的结构增益。在POP909估计边界评测设置下，o-SAE的Root WCR指标为80.03，高于s-SAE的Root WCR指标77.42。结论限于12平均律西方音乐的音高相关概念，对节奏与长时聚合未验证。该结论的适用边界受限于西方十二平均律音高概念，节奏与长时聚合尚未验证。原文未披露训练、推理或部署成本。

🔗 开源资源

代码相关资源：https://github.com/Kikyo-16/sae-alignment — 链接可访问（HTTP 200）
演示资源：https://Kikyo-16.github.io/sae-alignment-demo-page → https://kikyo-16.github.io/sae-alignment-demo-page/ — 链接可访问（HTTP 200）
第三方资源：https://en.wikipedia.org/wiki/Circle_of_fifths — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

5. 去掉语音编码器后，大模型如何从频谱里学会分辨谁在说话

英文题目：Teaching LLMs to Hear Who Spoke What: Metadata-Supervised Pretraining for Encoder-Free Speech-LLMs

标签：#多说话人语音识别 | #多任务学习 | #预训练 | #语音

评分：7.1/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

排名：前50% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Mohan Shi：机构信息未在 arXiv HTML 中可靠披露
Ruchao Fan：机构信息未在 arXiv HTML 中可靠披露
Sunit Sivasankaran：机构信息未在 arXiv HTML 中可靠披露
Keqi Deng：机构信息未在 arXiv HTML 中可靠披露
Jinyu Li：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

联合识别任务输入为十到二十秒多说话人混合语音，输出为带说话人归属的转写文本，实际难点在于重叠与静音交替下细粒度声学线索易被语义编码器压缩而丢失。该方法先将八十维对数梅尔谱经轻量卷积与线性投影直接送入冻结大模型，以固定顺序预测性别、情感、语言、说话人标识与内容实现元数据监督预训练。其预训练序列输出进入说话人感知话语组合步骤，通过拼接多话语并模拟重叠与静音间隔构造长序列多说话人输入以强化说话人区分。其组合长序列再经随机片段掩蔽正则化后用于下游微调，分别适配联合识别与副语言理解，与依赖预训练语义编码器及辅助说话人解码器的方法形成机制差异。与随机初始化编码器基线相比，无编码器模型在匹配数据下取得更优的说话人归属与联合词错误率，在 AMI 上词级说话人错误率（Word Diarization Error Rate，WDER）降至 5.27%，联合级联最小置换词错误率（Concatenated Minimum-Permutation Word Error Rate，cpWER）为 20.98%。该结论限于 10 到 20 秒英文近场与电话会话及固定提示词，未验证长时会议、强噪声与未见语言的外推能力。原文未披露训练、推理或部署成本。

🔗 开源资源

第三方资源：https://huggingface.co/emotion2vec/emotion2vec_plus_large — 暂时无法访问
第三方资源：https://huggingface.co/griko/gender_cls_svm_ecapa_voxceleb — 暂时无法访问
第三方资源：https://github.com/SYSTRAN/faster-whisper — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

6. 从一次采样到八次采样：用波形挑选为口音转换选出更可用的合成监督

英文题目：Multi-sample Synthetic Supervision for Accent Conversion

标签：#语音转换 | #数据增强 | #口音与方言 | #语音 | #自回归模型

评分：7.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

排名：前50% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Yangyang Qu：机构信息未在 arXiv HTML 中可靠披露
Michele Panariello：机构信息未在 arXiv HTML 中可靠披露
Massimiliano Todisco：机构信息未在 arXiv HTML 中可靠披露
Nicholas Evans：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

口音转换（Accent Conversion，AC）要求在给定源波形、转录文本与目标口音标签时生成目标口音语音，同时保留内容与说话人音色，但同说话人跨口音平行数据稀缺。方法分三步：先用参考语音条件生成构造伪目标以自举类别型口音生成器，再对同一源-口音条件随机采样多组波形-令牌候选，最后在波形层联合评估口音证据与保留度并把选中波形绑定的离散内容-风格令牌回传为自回归训练目标。与已有单样本合成监督的差异在于把选择放在训练前的数据构造侧，而非在损失加权或推理时多次采样。在相同6600个源-口音组合的受控对比中，八样本监督相对单样本将构建期探针口音准确率提升2.49个百分点，说话人相似度从0.7139变为0.7134，词错误率上升0.29个百分点。最终系统在AC-Eval3K上词错误率为7.81%，为所评系统最低，口音准确率为30.31%，低于StarGANv2-VC的45.50%与SeedVC-v2的42.10%。该结论的适用边界限于6种英语目标口音与转录已知的设定，外部对比系统训练与输入条件并不匹配，无可行候选的条件被排除训练因而存在失败条件，跨更广口音的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源资源

代码相关资源：https://github.com/eurecom-asp/SSAC — 链接可访问（HTTP 200）
代码相关资源：https://github.com/eurecom-asp/SSAC_listening_samples — 链接不可用（HTTP 404）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

7. 意图来得太晚：全双工语音何时抢话与帮错忙

英文题目：When Intent Arrives Late: A Benchmark for Full-Duplex Speech Models under Delayed Intent Revelation

标签：#全双工语音交互 | #基准设计 | #基准测试 | #语音 | #模型评估

评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

排名：前50% | 文档类型：数据集与基准 | arXiv 原文

👥 作者与机构

Yang Xiao：机构信息未在 arXiv HTML 中可靠披露
Tianyi Peng：机构信息未在 arXiv HTML 中可靠披露
Hanyu Meng：机构信息未在 arXiv HTML 中可靠披露
Ting Dang：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

原生全双工语音模型可在用户话语结束前开口，输入为持续到达的语音流，输出为回应起始时刻与对完整请求的最终协助行为，难点是决定良恶的意图信息在话语后段才出现。LateIntent-Bench 先从有害种子行为构造共享模糊前缀与良恶延续的配对请求以固定意图揭示点，再用 CosyVoice 3 合成单话语并经强制对齐在该边界插入可控静音以延迟揭示时刻而不改变语音内容，接着经统一交互协议记录回应起始与完整请求协助情况，最后以揭示点后置的同等时长暂停对照排除单纯静音效应。与只测停顿等待或完整有害请求的已有评测不同，该设计把回应时机锚定到语义可区分点并用良性分支校准回应能力。在 4 个原生全双工模型共 3136 场会话的统一协议评测中，PersonaPlex 在揭示延迟增大到 1.5 s 时有害协助率相对无延迟上升 13.3 个百分点而良性协助保持稳定，暴露延迟揭示下的选择性下降；FLM-Audio 则双分支同时下滑，应解读为广泛脱离而非更安全。该结论限于英语合成单说话人朗读请求与固定静音操作，尚未验证真实口语犹豫与多轮干扰下的表现。原文未披露训练、推理或部署成本。

🔗 开源资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

8. 加深不加参：只循环精炼类别标记的音频频谱 Transformer

英文题目：LAST: Looped Audio Spectrogram Transformer

标签：#音频分类 | #Transformer | #高效推理 | #鲁棒性

评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

排名：前50% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Haider Al-Tahan：机构信息未在 arXiv HTML 中可靠披露
Sean O’Brien：机构信息未在 arXiv HTML 中可靠披露
Anastasia Razdaibiedina：机构信息未在 arXiv HTML 中可靠披露
N. Apurva Ratan Murty：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

音频片段分类的输入为长时对数梅尔频谱图切块后的标记序列，输出为多标签类别预测，难点在于跨数百时间帧的证据需要深度整合而逐层增加参数代价高昂。该方法先用6个共享编码器块对全部频谱标记与类别标记做一次完整前向以构建音频表征。随后将音频标记固定并缓存其键值，仅对类别标记重复施加同一组注意力与前馈变换以迭代汇聚全局证据。最后由线性头基于终态类别标记输出预测。与每轮重算所有表征的全标记循环不同，该设计消除了二次项计算并复用已有权重而不引入新参数。在AudioSet评测中6块10轮模型达到0.3450平均精度（mAP），相对超过12层序列基线的0.3379约2.1%，同时参数减少49.4%、计算量减少42%、吞吐提升9.8%。该结论仅在从零训练12轮、单一种子、AudioSet体系与冻结特征线性探测范围内验证，每个数据点为独立训练模型，未证明已训练模型可通过测试时增加轮次获益，也未验证在大规模预训练或流式部署下的外推性。该适用边界受限于单轮训练设置，尚未验证在流式推理开销下的长期稳定性。

🔗 开源资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

9. 换掉内容留下算式：为固定图表与语音接口重建可计算的保护输入

英文题目：ReCast: Contract-Preserving Protection for Fixed-Interface Multimodal Reasoning

标签：#音频推理 | #知识蒸馏 | #隐私保护 | #语音

评分：6.7/10 | 创新 1.4/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5

排名：前50% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Bingchen Pei：机构信息未在 arXiv HTML 中可靠披露
Lichong Chen：机构信息未在 arXiv HTML 中可靠披露
Bingxi Zhao：机构信息未在 arXiv HTML 中可靠披露
Ziang Wu：机构信息未在 arXiv HTML 中可靠披露
Sirui Wang：机构信息未在 arXiv HTML 中可靠披露
Min Zhang：机构信息未在 arXiv HTML 中可靠披露
Yanhao Chen：机构信息未在 arXiv HTML 中可靠披露
Qingxu Liu：机构信息未在 arXiv HTML 中可靠披露
Qiang Gao：机构信息未在 arXiv HTML 中可靠披露
Chang-Tien Lu：机构信息未在 arXiv HTML 中可靠披露
Bo Gao：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

远程图表与语音数值问答需以固定图像或音频接口送入远端强推理模型，直接上传会暴露实体、主题与数值对应关系，而文本脱敏与身份匿名无法重建可用媒体且仍泄露任务内容。ReCast第一步在本地做证据捕获，将图表转写或语音识别连同问题统一为含标识、模态、上下文与问题的证据查询记录并规范数值写法，为后续改写提供可对齐底本。第二步由蒸馏后的本地4B改写器联合替换证据与问题中的实体与主题并保持数量指派与操作关系，再经角色感知数值映射按关系约束替换数值并在本地保留逆映射，改写输出直接作为重建输入。第三步由重建智能体按受保护记录重绘图表或合成语音并经渲染一致性与源一致性双重校验后发送，远端求解器仅见受保护媒体并返回带标记操作数的Python程序，客户端在本地恢复原始操作数后执行得到答案。与直接匿名化或媒体保护方法不同，ReCast以同一文本记录串联语义改写、数值可逆映射与模态重建，既保留任务关系与接口契约，又实现答案精确恢复。在ChartQA与NMSQA各2000例构成的ID评测设置下，ReCast的准确率为75.10%，高于未蒸馏Qwen3-4B的准确率68.70%。该结论限于单数值答案问答与所用远端求解器及重建服务组合，未验证开放域推理与形式化隐私界。原文未报告端到端延迟与部署成本。

🔗 开源资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

10. 低帧率也要两手抓：可学习查询如何分开压缩语义与声音

英文题目：Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization

标签：#语音编码 | #神经编解码与离散单元 | #语音 | #自回归模型

评分：6.6/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Jeeyoung Yun：机构信息未在 arXiv HTML 中可靠披露
Seohwan Yun：机构信息未在 arXiv HTML 中可靠披露
Sungwoong Kim：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

低帧率语音分词器需将波形压缩为每秒极少离散帧，同时保留可懂语言内容与可重建声学细节，均匀池化易丢语言信息而固定相似度合并又误用语义边界切割声学流，重建目标还对语言内容仅提供隐式监督。本文先用冻结识别编码器与编解码器编码器分别抽取语义流与声学流，再用两组固定速率可学习查询经交叉注意力在各自滑窗内自适应加权聚合至6.25 Hz，随后语义经有限标量量化而声学残差经残差向量量化量化并上采样重建。与规则压缩的关键差异是压缩权重由训练目标优化且双流拥有独立时域上下文与参数，并以自回归文本预测显式监督语义查询。训练在编解码重建与对抗量化损失之外联合自回归文本损失与语义特征重建损失，使语义查询保留可供下游语言建模利用的语言信息。在LibriSpeech test-clean重建中全八流配置取得词错率2.52%与UTMOS 4.07，优于同帧率FlexiCodec与跨距改造DualCodec。结论仅在英文朗读语音与6.25 Hz单帧率点验证，多语、噪声、音乐及可变帧率外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

11. 好看的听感分数为何留不住可懂度和声纹：非洲语音上的编解码器多任务基准

英文题目：How Robust Are Neural Audio Codecs for African Speech? A Multi-Task Benchmark and the Limits of Perceptual Quality

标签：#语音编码 | #基准设计 | #基准测试 | #口音与方言 | #鲁棒性

评分：6.4/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

排名：前50% | 文档类型：数据集与基准 | arXiv 原文

👥 作者与机构

Chibuzor Okocha：机构信息未在 arXiv HTML 中可靠披露
Christan Earl Grant：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

输入为非洲口音英语会话、非洲人名短语与尼日利亚多语言朗读语音，输出是7种神经音频编解码器重建语音的信号质量与下游可用性判定，难点在于声调变化、自发韵律与录音条件差异易被压缩放大。首先将各编解码器预训练权重零样本重建三数据集音频并统一重采样至16 kHz或24 kHz，其输出同时送入信号指标分支与下游任务分支，前者计算NISQA、UTMOS、ViSQOL、STOI与F0-RMSE，后者用固定识别器测WER/CER并用ECAPA-TDNN做穷举说话人验证试验。接着按数据集计算信号与下游误差的Spearman相关以检验指标有效性，再对比后端与领域以揭示身份保持的脆弱性。与headline感知分排序不同，参考型结构与韵律误差更能暴露失效并具有任务特异性。在afrispeech_dialog任务下，DAC 16kbps的WER为28.26%，高于未压缩基线的WER 17.3%。结论仅适用于所测编解码器版本与三非洲域内比较，未设非非洲对照故不能量化相对不公平差距。原文未披露训练、推理或部署成本。

🔗 开源资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

12. 相机动了，声音该往哪偏：用野外自运动监督双耳定位

英文题目：Supervising Sound Localization by In-the-wild Egomotion

标签：#声源定位 | #弱监督学习 | #数据集 | #音视频

评分：6.3/10 | 创新 1.4/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Anna Min：Tsinghua University
Ziyang Chen：University of Michigan
Hang Zhao：Tsinghua University；Shanghai Qi Zhi Institute
Andrew Owens：University of Michigan

📌 核心摘要

该任务输入双通道立体声音频片段，输出声源方位角，难点在于在野录音设备响应各异且多声源重叠间歇，难以仿真。该方法先用SuperGlue与Perspective Fields从视频帧估计相机旋转方向与前后平移方向，再将音频片段经短时傅里叶变换送入ResNet-18输出32类方位分布，最后用旋转一致性损失、平移一致性损失与耳间强度差损失联合训练，使两时刻预测的角度变化与视觉自运动方向兼容。与联合学习视觉位姿的GTRot相比，关键差异在于冻结现成几何估计只取二值运动方向而非精确角度，从而容忍内参未知与匹配噪声。在Overlap Intermittent模拟场景下，Ours-Full的MAE指标为24.1°，低于GTRot的MAE指标26.9°。结论仅适用于方位角且假设声源相对静止并折叠前后半球，远距离与重度混叠下平移线索几乎失效。该结论的适用边界受限于近距离单侧声源与以旋转为主的自运动，远距离与前后半球外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

13. 语码切换语言识别：从原子对分类到可数可辨的语言集合预测

英文题目：Code-Switching Spoken Language Identification as Multi-Label Set Prediction

标签：#语言识别 | #自回归模型 | #代码转换 | #语音

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Shunsuke Mitsumori：机构信息未在 arXiv HTML 中可靠披露
Matthew Wiesner：机构信息未在 arXiv HTML 中可靠披露
Shigeo Morishima：机构信息未在 arXiv HTML 中可靠披露
Shinji Watanabe：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

话语级语码转换口语语言识别（Code-Switched Spoken Language Identification，CS-LID）的输入为整段语音，输出为包含1种或2种语言的无序语言集合，难点在于语言组合随词表平方增长且真实混叠语音会漏过单语过滤器。方法链分为三步：共享 MMS-1B前端提取多层加权语音表示并做话语级归一化，其次由分类器或生成器完成话语级映射，最后经由原子对还原、有序 Top-k截断、阈值判决或直接集合化得到语言集。原子对分类将语言对视为互斥类别，分数分类保留单语词表并外挂基数或阈值，而集合生成器（Set Generator）用 Transformer解码器自回归输出语言词元从而内生预测数量与类别。与已有阈值方案的关键机制差异在于免除全局操作点，避免了单语与混叠语音在得分分布上几乎不重叠的问题。在 CS-FLEURS上带甲骨文基数的 Sigmoid Top-2达到59.7%精确集合准确率，显著高于同数据集合生成器 G1的36.6%。结论仅适用于双语混叠与合成主导条件，三语混叠、非英语混叠与人读真实混叠仍基本失效。原文未披露训练、推理或部署成本。

🔗 开源资源

代码相关资源：https://github.com/espnet/espnet/tree/master/egs2/cs-fleurs — 链接不可用（HTTP 404）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

14. 只算最后一次训练会漏掉多少电：音频深度学习开发全过程的代价

英文题目：Exposing the Cost of Deep Learning Audio Development

标签：#语音增强 | #统计分析 | #语音 | #音乐源分离

评分：6.1/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

排名：前50% | 文档类型：应用研究 | arXiv 原文

👥 作者与机构

Constance Douwes：Centrale Med, Aix Marseille Univ,；CNRS, LIS, Marseille, France
Paul Magron：机构信息未在 arXiv HTML 中可靠披露
Romain Serizel：Université de Lorraine, CNRS；Inria, LORIA, F-54000 Nancy, France

📌 核心摘要

本文输入为Grid5000共享平台作业调度日志与硬件配置，输出为音频深度学习项目全生命周期中开发阶段能耗与碳排放估计，实际难点在于开发跨越数月且混杂大量调试失败与重复试验而无法直接仪表测量。方法链分三步：先解析作业元数据获得归属与时长，再分别用静态热设计功耗估计与基板管理控制器实测分摊计算单作业能耗并按GPU数加权求和，最后经人工标注映射到实验室与团队与项目尺度并换算为法美电网下碳排放，前步作业级能耗直接作为后步汇总与比较的基础。相对仅核算最终训练的已有核算，关键机制差异在于把全部中间作业纳入边界并用目录与命令回溯归因，从而揭示被严重低估的隐性成本并支撑全周期可持续实践。原文未提供可核对的关键定量结果。该结论仅在法国低碳电网与Grid5000回溯条件下成立，跨平台作业缺失与重训练外推会引入系统性低估。原文未披露训练损失、优化器与推理部署成本。

🔗 开源资源

第三方资源：https://app.electricitymaps.com/ — 链接不可用（HTTP 403）
第三方资源：https://co2.myclimate.org/fr/flight_calculators/new — 链接可访问（HTTP 200）
第三方资源：https://ec.europa.eu/eurostat/statistics-explained/index.php?title=Electricity_and_heat_statistics — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

15. 波形大变而听感不变：PADP 用感知无关扰动检验音频质量模型的感知一致性

英文题目：PADP: Perceptual Audio Data Perturbation for Probing Perception Awareness in Audio Quality Models

标签：#音频质量评估 | #信号处理 | #心理声学实验 | #鲁棒性

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究 | arXiv 原文

👥 作者与机构

Guanxin Jiang：机构信息未在 arXiv HTML 中可靠披露
Andreas Brendel：机构信息未在 arXiv HTML 中可靠披露
Pablo M. Delgado：机构信息未在 arXiv HTML 中可靠披露
Jürgen Herre：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

客观音频质量评估以原始与退化音频波形为输入、输出与人耳判断一致的质量分，难点在于波形大幅改变时仍需保持感知不变性，而现有显式心理声学与隐式学习模型是否具备该不变性缺乏严格检验。PADP先经64带正交镜像滤波器组将1024点帧分解为子带并按二进制映射归并为23个感知频带，为后续频带级扰动提供可近无混叠重构的表示。接着分别施加全通带相移组合、频率选择性延迟、缩放编码失真与解相关扩散四种变换，其输出直接作为受控扰动系数进入下一步。最后经QMF合成返回时域并做响度补偿与时幅对齐，供MUSHRA听测与客观模型打分，以检验波形变化与感知透明性的分离。与直接加噪对抗扰动不同，PADP利用临界带内相位不敏感、时域分辨率频率依赖、高码率编码透明与空间解相关音色保持来构造感知无关变化，具有可听性验证的实际意义。在ODAQ子集全PADP条件评测设置下，DeePAQ的SRCC指标为0.74，高于ViSQOL v3的SRCC指标0.38。结论仅适用于单声道、短时音乐与通用音频片段及所验证参数区间，对临界信号、立体声空间印象与大扰动外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

16. 182 条合成监督能让小模型学会日语交接转结构化病历吗

英文题目：High-Value Synthetic Supervision for Parameter-Efficient Adaptation of a Compact Japanese Speech Model

标签：#口语理解 | #LoRA | #语音 | #数据集

评分：5.7/10 | 创新 1/2 | 技术严谨 1.2/1.5 | 实验充分 0.8/1.5 | 清晰度 0.9/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

排名：前50% | 文档类型：应用研究 | arXiv 原文

👥 作者与机构

Sidi Chang：机构信息未在 arXiv HTML 中可靠披露
Peiying Zhu：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

任务输入为日语护理交接语音（Japanese care handoff），输出为 Focus、Subjective、Objective、Assessment、Intervention、Plan 六字段结构化病历式 JSON，难点在于口语压缩表达需拆分为观察与评估及处置计划，且敏感音频难以外传。管线先由场景种子（scenario seed）生成事实清单（fact checklist）与日语口语脚本并渲染为音频，再将音频与目标 JSON 及质量元数据绑定为可溯源监督对象，最后用该对象对同一紧凑音频语言模型进行全量微调与低秩适配并以模型裁判评分。相比仅依赖参数规模的思路，该工作把投入放在样例规格与来源链路上而非新架构。在39例场景种子隔离合成测试集下，全量调优的FCR得分为0.8664，高于未适配基线的FCR得分0.0500。结论仅限于合成基准上的窄变换习得，不支持真实语音迁移、临床有效性与干净云端系统优劣外推。原文未测量训练之外的推理与部署成本，仅报告恢复的墙钟时间作为过程记录。其适用边界受限于全合成语料与未校准模型裁判，真实口音与临床安全的泛化尚未验证。原文明确硬件与随机种子未保留，恢复的墙钟时间仅作过程记录而不构成训练成本与延迟对比。

🔗 开源资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

⚡ 今日概览#

🏷️ 热门方向#

📊 论文评分排行榜（16 篇，按分数降序）#

📋 论文列表#

🥇 多人会议中回馈预测为何跨人失效：诊断、基准与行为上限#

🥈 不配对帧也能做音色转换：用共享状态做局部平移的 StateVC#

🥉 能解码不等于会使用：噪声与混响如何系统性推动阿尔茨海默语音预测#

4. 从孤立特征到轨道：用移调对齐恢复音乐概念的关系结构#

5. 去掉语音编码器后，大模型如何从频谱里学会分辨谁在说话#

6. 从一次采样到八次采样：用波形挑选为口音转换选出更可用的合成监督#

7. 意图来得太晚：全双工语音何时抢话与帮错忙#

8. 加深不加参：只循环精炼类别标记的音频频谱 Transformer#

9. 换掉内容留下算式：为固定图表与语音接口重建可计算的保护输入#

10. 低帧率也要两手抓：可学习查询如何分开压缩语义与声音#

11. 好看的听感分数为何留不住可懂度和声纹：非洲语音上的编解码器多任务基准#

12. 相机动了，声音该往哪偏：用野外自运动监督双耳定位#

13. 语码切换语言识别：从原子对分类到可数可辨的语言集合预测#

14. 只算最后一次训练会漏掉多少电：音频深度学习开发全过程的代价#

15. 波形大变而听感不变：PADP 用感知无关扰动检验音频质量模型的感知一致性#

16. 182 条合成监督能让小模型学会日语交接转结构化病历吗#

⚡ 今日概览

🏷️ 热门方向

📊 论文评分排行榜（16 篇，按分数降序）

📋 论文列表

🥇 多人会议中回馈预测为何跨人失效：诊断、基准与行为上限

🥈 不配对帧也能做音色转换：用共享状态做局部平移的 StateVC

🥉 能解码不等于会使用：噪声与混响如何系统性推动阿尔茨海默语音预测

4. 从孤立特征到轨道：用移调对齐恢复音乐概念的关系结构

5. 去掉语音编码器后，大模型如何从频谱里学会分辨谁在说话

6. 从一次采样到八次采样：用波形挑选为口音转换选出更可用的合成监督

7. 意图来得太晚：全双工语音何时抢话与帮错忙

8. 加深不加参：只循环精炼类别标记的音频频谱 Transformer

9. 换掉内容留下算式：为固定图表与语音接口重建可计算的保护输入

10. 低帧率也要两手抓：可学习查询如何分开压缩语义与声音

11. 好看的听感分数为何留不住可懂度和声纹：非洲语音上的编解码器多任务基准

12. 相机动了，声音该往哪偏：用野外自运动监督双耳定位

13. 语码切换语言识别：从原子对分类到可数可辨的语言集合预测

14. 只算最后一次训练会漏掉多少电：音频深度学习开发全过程的代价

15. 波形大变而听感不变：PADP 用感知无关扰动检验音频质量模型的感知一致性

16. 182 条合成监督能让小模型学会日语交接转结构化病历吗