论文解读

从学会的塔图姆网格出发做拍号与下拍跟踪

该文把节拍跟踪拆成先学局部等脉冲塔图姆网格再在网格上判断每拍含几个脉冲、每小节含几拍,用可微分的网格加子网格分布代替逐帧独立概率,在下拍连续性上超过同基座的无后处理基线,但平均仍落后于带动态贝叶斯网络的最优方法,且网格漏拍会直接限制最终上限。

 · 约 19 分钟 · 9441 字 阅读 →
论文解读

带字段元数据的音频分类:先按录音选字段,再按维度融合声语义

针对标题标签描述字段结构与噪声不同以及单标量融合不区分通道的问题,FAM-Gate 用音频引导的字段注意力先聚合元数据,再用以音频为先验的向量门按维度融合,在 BSD 与 FSD50K 的匹配五种子评测中提升层级与宏平均指标,代价是总参数增加约 0.19% 与每样本多编码三个文本视图。

 · 约 19 分钟 · 9097 字 阅读 →
论文解读

把文字变成可导演的表演:Fish Audio Drama 3 解读

Drama 3 用混合线性注意力骨干加逐码本预测解码器把配音、修订、拼场和补录写成同一种对话,用单一人类偏好奖励做强化学习,在多语克隆和按需修改上测得可复述的提升,代价是更大的总参数和更复杂的推理工程。

 · 约 23 分钟 · 11287 字 阅读 →
论文解读

FLOMSS:用条件流匹配做四轨全频立体声音乐分离

论文把音乐分离写成以混合为条件的生成问题,用流匹配学习从混合到各乐器的传输,在 MUSDB18-HQ 上用频谱与嵌入指标超过同骨干判别基线和已有生成方法,但波形重建类的 SDR 仍弱于强判别方法。

 · 约 19 分钟 · 9160 字 阅读 →
论文解读

用人声分离讲清 FlowGRPO:先分析奖励差距,再改奖励设计

该文研究潜空间流匹配人声分离在波形指标不可微时的后训练对齐,用组内最优与均值差距分析指导 ViSQOL 改写与样本过滤,使 FlowGRPO 在原评价指标上提升分离与感知质量,但结论只在内部 50 秒测试与固定阈值下成立且 MRSTFT 单奖励仍保留最低谱损失。

 · 约 16 分钟 · 7642 字 阅读 →
论文解读

FOAdapter:给冻结单声道编码外挂一条空间码流的低码率 FOA 语音编码

FOAdapter 冻结单声道编码只传 W 声道内容,再用一条 275 bit/s 的空间码流恢复四声道 FOA,在 Spatial LibriSpeech 上把方向误差稳定到约 7 度,代价是语音客观质量低于同骨干的四通道独立编码。

 · 约 18 分钟 · 8613 字 阅读 →
论文解读

从 210 万小时广播音频做芬兰语语音自监督:质量筛选与编码器比较

论文用 VAD、去重和 ASR 置信度把 210 万小时广播音频筛到 47.1 万小时做 wav2vec 2.0 预训练,并在相同参数量下比较四种编码器,Base 规模卷积增强结构域外优势最大,X-Large 规模差距缩小。

 · 约 16 分钟 · 7914 字 阅读 →
论文解读

从声音听到动手:边缘音频智能体为何要按 sensing-to-action 全链路谈安全

本文针对边缘部署的音频大模型智能体提出声学感知到动作的系统模型,沿六个阶段整合攻击、防御与评测证据,指出单点防护不能保证端到端安全,结论成立依赖于最终部署形态、权限绑定与跨阶段传播是否被完整评测。

 · 约 23 分钟 · 11346 字 阅读 →
论文解读

智能眼镜双人对话的带时间戳说话人转写:直接解码与前端辅助的比较

论文针对智能眼镜四通道双人日常对话的重叠与远场转写问题,比较直接微调 SoulX-Transcriber 与 GSS 和多通道 DPRNN 前端辅助两路解码的差异,验证集上前端在高重叠时更优但最终以更稳定的直接微调系统提交并在测试集取得 tcpCER 6.22,代价是前端失真与零填充带来的幻觉和分段解码处理。

 · 约 21 分钟 · 10188 字 阅读 →
论文解读

把何时说话和说什么分开:全双工语音建模 Diffuplex 解读

Diffuplex 用自回归策略决定何时说话、用语音条件离散扩散并行生成说什么,在 VoiceBench 上以思考模式达到 86.9 分并实现每前向 13.0 词元、1872 词元每秒的解码速度,代价是需要三阶段训练与提前固定前缀带来的延迟质量折中。

 · 约 17 分钟 · 8312 字 阅读 →
论文解读

在语音合成中间环节嵌入可追溯水印:GAMW 方法解读

GAMW 针对合成语音事后加水印易被复合处理抹除的问题,把内容自适应的多比特残差写进冻结 TTS 产生的梅尔谱再经冻结声码器发声,并用聚焦调节加动态逐比特加权学习解码,在两条 TTS 链路上保持语音质量的同时提升了单种与复合扰动下的解出率。

 · 约 18 分钟 · 8777 字 阅读 →
论文解读

GeoMER:欧氏与双曲联合建模的多模态情绪识别

GeoMER 针对语音加文本情绪识别中细粒度跨模态对齐与抽象情绪结构难以兼顾的问题,用欧氏分支做词元级融合、用双曲几何核心路由组织抽象情绪表示,在 IEMOCAP 四分类上报告 83.54% 加权准确率和 83.35% 非加权准确率,代价是双分支与双曲运算带来的额外复杂度。

 · 约 20 分钟 · 9831 字 阅读 →
论文解读

国乐声乐数据集如何把装饰音变成可计算的事件

论文用 305 首棚录独唱和 68000 余段音频对齐的装饰音标注解决韩语传统声乐缺乏可计算语料的问题,基线显示音高曲线在分类上超过冻结通用音乐模型,而频谱在线索定位上互补,代价是固定调与速度限制了自然表达。

 · 约 18 分钟 · 8775 字 阅读 →
论文解读

符号音乐 Transformer 里的和声知识藏在哪,又怎么直接调动它

论文以巴赫众赞歌终止式为切口,说明 Aria 模型的和声决策从中间层开始逐步形成,先出现调式后出现具体调性,并证明沿探针方向做推理时干预可以稳定改变终止走向且保持结构完整,但结论只在众赞歌这类规范和声语料上得到验证。

 · 约 19 分钟 · 9143 字 阅读 →
论文解读

HE-NAC:用分频段残差量化保住音乐高频细节

HE-NAC 针对 32 kHz 音乐在约 18 到 23 kbps 下高频易丢失的问题,用核心频段打底加中高频段残差补偿的三路残差向量量化与分阶段训练,在听感测试中超过同码率 DAC 与 24 kbps 商用 HE-AAC,代价是解码头更多与高频客观波形指标仍不高。

 · 约 20 分钟 · 9800 字 阅读 →
论文解读

看得见的移动听得见的方向:StereoBind 的立体声视频音频联合生成

论文要解决声源运动时左右声道空间线索不跟着画面走的问题,用运动轨迹同时约束视频和立体声音频的 StereoBind 在 StereoWorldBench 上取得更好的空间一致性,同时保持整体视听质量,结论只在该合成监督与评测条件下成立。

 · 约 22 分钟 · 10683 字 阅读 →
论文解读

离散规划加连续语义:高保真歌曲生成如何兼顾长结构与声音细节

论文用离散词元做长时规划、用连续语义特征做声音渲染并让流匹配损失回传语言模型,在 192 个共用提示上 Joint-STD-48D 相对离散基线提升 SongEval 并降低音素错误率,但更宽特征与不同渲染路线各有取舍且增益来源尚未分离。

 · 约 8 分钟 · 3632 字 阅读 →
论文解读

HiPAD:用同一融合网络看清人格描述在抑郁检测中的分量

论文用同一 BiLSTM 融合结构参加六个步态与音视频抑郁检测子赛道,发现约 150 词的人格描述带来约 0.5 的赛道分提升,而领域微调大模型虽提高二分类一致性却破坏 PHQ-9 回归校准,在每队列不足百人时小容量加深集成更稳妥。

 · 约 18 分钟 · 8770 字 阅读 →
论文解读

既看谱又听录音:HMU-Bench 如何分层考查全模态模型的音乐理解

HMU-Bench 用 1029 对乐谱问答和 460 对音频问答考查同一批全模态模型,最强系统乐谱得分接近 3.9 而音频最高仅 1.33,且两类排名几乎无关,局部困难音频与移调八度错误进一步暴露了评分与定位短板。

 · 约 17 分钟 · 8371 字 阅读 →
论文解读

情绪维度有多语言无关?英语到汉语普通话的缩放与跨语言适应

论文用约 100 小时英语 MSP-Podcast 训练的 WavLM Large 模型,再用 1 到 20 小时汉语普通话 BIIC-Podcast 做适应,与只用汉语普通话从头训练对比,发现唤醒度只需 2 小时即可追平 100 小时单语模型,而效价需要 20 小时,代价是小数据下直接训练不稳定且效价与优势度整体更难预测。

 · 约 16 分钟 · 7715 字 阅读 →