论文解读

把预训练潜在扩散模型适配到古琴历史录音

论文用 42.5 小时历史古琴独奏适配 Stable Audio 3 Medium 的 DoRA 小参数,以一位专家的七轮盲听驱动决策,最终续弹和场景生成得分最高,但样本小且随机性大,只能作探索性记录。

 · 更新于 2026-10-16 · 约 17 分钟 · 8239 字 阅读 →
论文解读

AdSpark:面向保住产品细节的多镜头广告视频数据集与评测

该论文针对以产品为中心的广告视频生成,构建了 30 万条参考图-提示-视频三元组与六维评测体系,并用微调实验证明数据能改善多镜头连贯性与卖点呈现,但细粒度保真仍有代价与局限。

 · 更新于 2026-10-16 · 约 16 分钟 · 8010 字 阅读 →
论文解读

从双通道录音到轮次与反馈标注:一条先自动后人工的会话切分流水线

该研究解决在分通道自然对话录音中把语音活动还原为轮次和反馈两类交互单元的问题,用语音检测加能量过滤加合并加转写加上下文后处理得到初版标注,在 99 段丹麦语对话上检出 F1 约 0.62 且匹配段的中位边界误差约零点十几秒,代价是仍需人工复核且对参数敏感。

 · 更新于 2026-10-16 · 约 22 分钟 · 10947 字 阅读 →
论文解读

阿拉伯儿童与青少年朗读语音:语料构成与识别差距解读

论文针对成人母语语音训练的识别模型在阿拉伯儿童青少年尤其是第二语言者上误差大的问题,构建 151.72 小时 286 人朗读语料并用未见说话人与提示是否见过的划分评测四种模型,发现第二语言儿童最难而分年龄与联合微调各有适用条件,代价是朗读体与分布不完全均衡且原始音频不公开。

 · 更新于 2026-10-16 · 约 19 分钟 · 9112 字 阅读 →
论文解读

从歌声录音写出合调粤语歌词:ARIA 的两段式做法

ARIA 把粤语作词拆成先从带字槽的歌声估计 0243 声调层级序列、再以该序列为控制生成歌词,TRATE 与 DRA-TCLG 分别解决音频侧相对调高恢复与文本侧一对多选词问题,代价是依赖字符边界且第二阶段一般只实现而不修复第一阶段的错误。

 · 更新于 2026-10-16 · 约 19 分钟 · 9460 字 阅读 →
论文解读

自发对话中声道协调如何随时间变化与趋同

论文用声学到发音反演得到声道变量并以特征谱度量协调复杂度与趋同,证据显示非自闭配对随时间更复杂且趋同更强并与自评会话成功相关,混合配对趋同最弱。

 · 更新于 2026-10-16 · 约 16 分钟 · 7823 字 阅读 →
论文解读

解码器在训练和生成时看到的不一样:AudioGAR 如何搭桥

论文指出隐音频生成中解码器训练用编码器隐变量而推理用生成器隐变量的不一致,用加噪再经冻结扩散模型去噪构造的中间隐变量只微调解码器,在 AudioCaps 和 MusicCaps 上降低 FD 和 FAD,代价是原 AudioX 训练的少量音频小时和单卡时间。

 · 更新于 2026-10-16 · 约 16 分钟 · 7984 字 阅读 →
论文解读

看得见说话人脸的助听放大:AV-NeuroAMP 一次做完增强与个性化补偿

论文要解决竞争说话人下目标难分离且分阶段放大易放大残留干扰的问题,用目标说话人视频加听力图端到端估计 NAL-R 与 WDRC 目标,最强证据是噪声下客观与听感在竞争语音条件提升最大,代价是整句离线处理与视觉编码器带来约 232 GMACs 计算量。

 · 更新于 2026-10-16 · 约 18 分钟 · 8849 字 阅读 →
论文解读

给低层声学数值补上文字说明,让大音频语言模型直接判断构音障碍

论文研究只给语音波形时大音频语言模型难以直接判断构音障碍的问题,提出把用 OpenSMILE 算出的音高、响度、谐噪比和语速等数值连同性别语言信息写进提示词再做监督微调,在 PC-GITA 西班牙语料上以说话人级准确率超过 wav2vec2 与 XLS-R 基线,但增益依赖微调与特定划分且特征顺序是事后按单特征效果排定的。

 · 更新于 2026-10-16 · 约 17 分钟 · 8318 字 阅读 →
论文解读

AuraLuxMuse:把音乐变成可上台的灯光线索

AuraLuxMuse 用音乐与灯光的对比对齐检索专家灯光序列并按偏好适配,证据是演唱会与综艺场景专家评分占优而戏剧场景不显著,代价是依赖固定语料库且单次推理约 7.65 秒。

 · 更新于 2026-10-16 · 约 17 分钟 · 8288 字 阅读 →
论文解读

转录文本与推理多样性如何降低生成式语音增强的幻觉

AuraSE 针对生成式增强会改写内容与说话人的问题,用双流文本声学网络约束内容,再把不同解码配置产生的候选差异变成在线偏好训练信号,在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分,部署时只用固定 10 步 ODE 解码。

 · 更新于 2026-10-16 · 约 21 分钟 · 10204 字 阅读 →
论文解读

僧伽罗语语音识别为什么难:从隐马尔可夫模型到自监督预训练的综述解读

本文综述 2006-2025 年僧伽罗语 ASR,问题是标注语料少、形态复杂导致词错误率高,对比显示同架构下修正 OpenSLR-52 标注可带来 18.1% 相对下降,而跨测试集的 WER 数字不可直接比较,且大模型微调仍需解决方言、噪声和代码混合问题。

 · 更新于 2026-10-16 · 约 19 分钟 · 9262 字 阅读 →
论文解读

AutoSynth:从音频和文本生成可编辑的合成器程序

AutoSynth 把演奏事件、固定音色参数和可变长度调制连接组织成统一序列,用音频条件的自回归模型预测可在 Helm 中直接执行的程序,并用两阶段学习把文本经由生成音频转成可编辑控制,代价是合成器表达范围与渲染反馈开销限制了适用声音。

 · 更新于 2026-10-16 · 约 23 分钟 · 11208 字 阅读 →
论文解读

给音频基础模型植入可用真实声音触发的后门

论文研究在不知道下游任务和预训练数据时如何给语音基础模型植入后门,用固定无关表示拉偏触发样本、用自造聚类维持干净样本表示,在九个任务上保持干净性能并在触发时大幅降级,但彻底清洗需要大量标注和端到端微调。

 · 更新于 2026-10-16 · 约 19 分钟 · 9419 字 阅读 →
论文解读

用函数空间进度衡量并平衡多模态学习

针对联合训练中某一模态主导而其他模态欠优化的问题,论文用相对函数进度校准跨模态比较,并通过重分配响应预算与张量级学习率进行闭环调节,在六个数据集上报告了准确率提升,但额外参考构造与探测开销需要分开评估。

 · 更新于 2026-10-16 · 约 21 分钟 · 10114 字 阅读 →
论文解读

BanglaBox:面向孟加拉语的语音均衡语料与基础模型适配

论文针对孟加拉语合成数据少且难以做零样本声音克隆的问题,用两层均衡语料加三步适配改造英语自回归语音基础模型,并用母语人评测证明自然度和克隆保真度的提升与适用边界。

 · 更新于 2026-10-16 · 约 19 分钟 · 9211 字 阅读 →
论文解读

不解码怎么做语音决策:冻结大模型的单 token 读出

针对全双工语音智能体每轮要做的多个封闭式小决策,DuplexJev 把语音编码器隐状态经小连接器送入冻结大模型并只读答案字母的下一个词分布,一次前向批量回答 80 个决策约 0.1 秒,内容理解接近读文本,而性别与情感需靠答案 token 监督才能从 55% 和 28% 提升到 90%,代价是情感数据会拉低部分内容问答。

 · 更新于 2026-10-16 · 约 19 分钟 · 9186 字 阅读 →
论文解读

从叫声测量到场景推理:BEANS-Next 与 ROOTS 如何拓宽生物声学音频语言能力

论文用四层任务分类同时做评测集 BEANS-Next 和训练集 ROOTS,证明按层补充整理元数据、语言模型合成文本和合成音频能提升已有基座在声学感知、类别识别、场景理解和示例学习上的表现,但计数和开放描述仍弱且结论只在给定划分和指标下成立。

 · 更新于 2026-10-16 · 约 21 分钟 · 10033 字 阅读 →
论文解读

在实验室和日常录音中区分对儿童和对成人说话

论文用同一分类器比较手工韵律特征与冻结自监督表示在两套语料上区分对儿童说话和对成人说话的能力,最强证据是实验室语料上大模型达到约 91.7% 准确率而日常语料仅约 64.4%,代价是协方差池化首层参数膨胀到约 150.8 百万却没有带来对应提升。

 · 更新于 2026-10-16 · 约 20 分钟 · 9608 字 阅读 →
论文解读

电商多视频比较:AdsCVR 基准与主动找证据的 AdSeek

论文针对电商广告视频需要跨视频比较的问题,用 AdsCVR 基准衡量六类比较能力,并用能主动调用视觉与语音工具的 AdSeek 智能体做多轮取证,在 AdsCVR 测试集上达到 74.30% 准确率,代价是多轮交互与训练开销更大。

 · 更新于 2026-10-16 · 约 18 分钟 · 8815 字 阅读 →