论文解读

只帮一个类别:人声二分类加人工核验如何省下森林音频标注时间

论文把肯尼亚森林声音工作集里人声说话的二分类交给微调后的音频频谱 Transformer 做初步筛选,再用三份清单加连续听音核验全部机器建议,在保持人工标签权威的前提下把剩余 5026 个文件的标注工作量从约 48.9 人时降到约 28.9 人时。

 · 约 16 分钟 · 7871 字 阅读 →
论文解读

靠参会名单给回头客找到注册语音:跨会议的出席引导注册

论文研究如何只用匿名说话人聚类和带噪声的预期出席名单为重复参会者找出干净注册语音,提出合成基准和跨会话链打分参考方法,核心证据是合成集上成功与污染的权衡以及合成阈值直接搬到真实会议时出现的明显落差。

 · 约 15 分钟 · 7104 字 阅读 →
论文解读

把两份带水印音频平均一下,溯源为什么就失效了

针对同一录音的多份个性化神经音频水印拷贝,论文用逐样本平均证明仅两份混合就能让五种系统大面积无法溯源到共谋者,并对比了可控误指向与置信度筛查的效果与代价。

 · 约 17 分钟 · 8212 字 阅读 →
论文解读

视频生成背后:Kling 如何把多模态理解变成可控生成

本文把生成质量看作理解沿数据—条件—对齐—评测链的投影,用共享的 Kling-MLLM 统一做标注、改写、编码、奖励和评测,并在多组对照中显示密集标注与分布对齐带来可复述的增益,但结论只在同分布条件与固定评测配置下成立。

 · 约 19 分钟 · 9259 字 阅读 →
论文解读

用干净语音锚定输出长度:竞争语音下 CTC 适配的多余发射控制

本文针对竞争语音导致 CTC 识别器多吐词的问题,用冻结模型在配对干净语音上的期望折叠词元数作锚,只惩罚混合语音学生的超出部分,在 147456 参数的早期层适配下降低语音干扰词错误率,但长训练会在噪声和音乐上以删除增加为代价。

 · 约 16 分钟 · 7589 字 阅读 →
论文解读

把多次采样的分歧变成可靠性:面向音频问答的置信度加权聚合

针对单次解码不稳定的音频问答,论文用同一音频问题多次采样再按对数似然置信度加权聚合,在 MMAR 上随采样预算增大提升准确率与校准,尤其在样本分歧大时优于多数投票,代价是需要多次解码与有效性过滤。

 · 约 17 分钟 · 8186 字 阅读 →
论文解读

换一个编解码器重编一次,水印还在吗:跨编解码器鲁棒的语音水印解读

本文用冻结编码器加微调解码器的 DAC 零比特水印系统,研究训练时用哪一种神经音频编解码器做信道增强才能泛化到未见过的编解码器与传统失真,最强的证据是 Mimi 与 SNAC 联合增强在多项未见攻击下保持较高检出率,而代价是混响与连续多次重编码仍然困难且音质需受损控制。

 · 约 17 分钟 · 8336 字 阅读 →
论文解读

CrowdForge:当观众同时指挥 AI 音乐与混合现实舞台时会发生什么

CrowdForge 让现场观众在演出前投票决定生成式音乐与混合现实画面的高层参数,通过两场共 19 人的三条件音乐会发现可观察性决定能动感,音频带来情绪唤起而视觉提供清晰反馈,但结论受小样本与同场共置设置的限制。

 · 约 19 分钟 · 9260 字 阅读 →
论文解读

把检测器放进声码器训练:内生对抗语音合成解读

该文把语音伪造检测器作为可微反馈冻结后接入声码器微调,用合成保真损失加权检测损失直接生成易被判为真人的语音,并在白盒、黑盒和主客观质量上验证了效果与代价。

 · 约 20 分钟 · 9579 字 阅读 →
论文解读

DGC-Net:用跨模态证据选局部线索、再以全局为主做补偿的多模态情感分析

针对文本、声音和画面线索互相冲突且局部线索可靠性随样本变化的问题,DGC-Net 用其他模态的全局上下文指导本模态专家选择、再以稳定的全局语义为主融合可靠的局部补偿,在 CMU-MOSI 和 CMU-MOSEI 等五个基准上验证,但增益并不覆盖全部细粒度指标且部分设计随任务而变化。

 · 约 17 分钟 · 8482 字 阅读 →
论文解读

方向统计怎么做信号建模:从不变性到分布、学习与两个案例

本文把周期、归一化、符号与全局相位、基旋转和半正定约束等不变性对应到圆、环面、球面、投影空间、Stiefel 与 Grassmann 流形和协方差锥,再选相容分布与估计方法,用脑相位相干与车内说话人分离说明表示与模型复杂度如何共同决定无监督状态发现。

 · 约 18 分钟 · 8699 字 阅读 →
论文解读

文字上能记住的多轮对话,换成语音还记得住吗

论文用 354 组十语言严格平行对话检验文字转语音的多轮能力迁移,发现文字成绩好的模型语音未必好,而把历史语音换成文字稿能部分恢复受损最大的两个模型的表现,但代价是增加转写处理且不能推广到所有模型。

 · 约 16 分钟 · 7853 字 阅读 →
论文解读

听到无人机:手工声学特征与预训练嵌入如何分工、融合与防泄漏评测

论文解决用 1 秒音频判断有无无人机的问题,用手工声学描述子加 YAMNet 嵌入的双视角堆叠集成做判断,在按录音源隔离的分组协议下达到 95.29% 准确率,而随机切分会虚高 1.89 到 3.22 个百分点,融合只带来约 1.11 个百分点的小而稳的增益,单条处理约 51.0 毫秒。

 · 约 18 分钟 · 8901 字 阅读 →
论文解读

只看俯视键盘视频如何转写钢琴:KeyWise 的逐键设计

针对延音踏板和缺失音频使声音与按键动作脱节的问题,KeyWise 把校正后的键盘切成 88 个固定按键区域并用一个跨键共享的循环网络逐键判断起始与保持,在 PianoVAM 上以 1.3M 参数达到与 28.2M 参数的 V2N 相当的起始准确率并在 100 ms 容差下更准地找回按键释放与力度,代价是仍需针对新录制条件微调且依赖已知键盘角点。

 · 约 16 分钟 · 7752 字 阅读 →
论文解读

用采集信息调节听诊模型的呼吸音分类解读

本文针对听诊设备、部位和病人差异干扰呼吸音分类的问题,在音频频谱变换器中引入元数据调制,其中软分解调制在官方划分上取得四分类 64.11% 和二分类 72.40%,代价是增加不到 1% 的参数并需要完整的元数据输入。

 · 约 14 分钟 · 6822 字 阅读 →
论文解读

听得见和看得懂之间:PianoBench 如何区分音乐感知与推理

PianoBench 用同一钢琴片段的音频和乐谱文本两种输入考查模型,发现开源音频模型几乎不能从声音中提取答题线索,而前沿模型在给定显式音符加思维链时可达 93.2%,交错排列的教学讲解与演奏记录则能把 Qwen 3.5 9B 无思维链的文本推理从 42.8% 提升到 56.0%。

 · 约 18 分钟 · 8541 字 阅读 →
论文解读

让冻结的音频语言模型自己找证据:ReListen 在小时级录音中的做法

ReListen 用冻结的音频语言模型对短窗口逐个打分找证据再回答,在 VoiceGiraffe 上找准证据并提升答题准确率,但结论依赖单一样本模型与三套评测条件且长尾问题仍需更大预算。

 · 约 17 分钟 · 8410 字 阅读 →
论文解读

SciPhi-Chat:能听方向、能对话、能调工具的空间音频智能体

论文要解决用一阶 Ambisonic 录音把声音身份和方向关联并回答关系问题,方法是冻结双路音频编码加小规模投影与适配器并生成先推理后结构化描述再回答的对话轨迹,在包含真实与仿真场景的 MASU 上得到 44.9% 单轮总分,主要代价是 5.50M 对话的仿真与大模型生成和约八卡四天的微调。

 · 约 17 分钟 · 8251 字 阅读 →
论文解读

ScrambleMark:不擦除水印,只打乱谐波结构来逃避语音水印检测

针对不知道水印方案、不能查询检测器的黑盒条件,ScrambleMark 用分频段谐波扰动破坏水印结构一致性,在七种学术水印和三种商用水印上实现约 0.97 的逃避成功率并保持语音可懂度和主观听感,同时能抵抗知道算法的自适应恢复。

 · 约 20 分钟 · 9662 字 阅读 →
论文解读

输入没说清时,不确定性从哪里来:规格、残余与模型的三项分解

论文把给定输入下的预测风险拆成规格不确定性、残余偶然不确定性和认知不确定性,说明只有第一项对应追问澄清的收益,并用文本、图像和音频问答证明三者在检测欠规格输入和预测错误时各有分工,但估计质量依赖澄清生成器和集成近似。

 · 约 16 分钟 · 7668 字 阅读 →