论文解读

只用单麦克风加相机定位发声手术器械

本文用图像与声音共现的弱监督对应学习定位电锯电钻骨凿,在独立采集的 21 序列 853 帧上达到总体 IoU 0.36 与中位距离 12 px,代价是仅覆盖三种模拟骨操作且每步依赖 3 s 音频与 16×16 粗热图。

 · 更新于 2026-11-05 · 约 16 分钟 · 7930 字 阅读 →
论文解读

用可执行计划做空间音频生成与编辑:Ambit 如何连起规划与渲染

Ambit 用可执行的场景计划连接自回归规划与整流流渲染,并配合全向恢复与通道间监督的连续变分自编码器和联合在轨自蒸馏,在语音音乐环境声的生成与编辑评测中提升内容与空间指标,但结论只在约 15 秒内、四声道一阶 Ambisonics 与原文数据划分下成立。

 · 更新于 2026-11-05 · 约 11 分钟 · 5507 字 阅读 →
论文解读

预训练音频谱图 Transformer 遇到不同 STFT 前端怎么办

论文量化了预训练 AST 在窗口和跳长偏离预训练设置时分类性能大幅下降的问题,并用冻结主干加轻量 FiLM 条件调制在少数据下恢复未见配置上的性能且基本保持原配置性能。

 · 更新于 2026-11-05 · 约 16 分钟 · 7600 字 阅读 →
论文解读

电动车内噪声四分量分离:混合 Transformer 与合成训练怎么做

论文把电动车内风噪、胎噪、动力总成与辅驱噪声的分解做成有监督双耳分离,用混合时域频谱 Transformer 在物理合成数据上训练,单车合成上宽带分量可分但弱 tonal 分量受限,实测迁移只部分成立且工况条件注入未带来增益。

 · 更新于 2026-11-05 · 约 15 分钟 · 7400 字 阅读 →
论文解读

只知道脏在哪里,能否把干净信号找回来:SORD 的支持引导去污染

SORD 只用干净信号的扩散先验加已知污染位置,通过修复初始化与信号污染交替精炼恢复被局部结构污染的图像与音频,在未知污染类型上更稳,但依赖掩膜准确且计算代价来自多样本多轮扩散采样。

 · 更新于 2026-11-05 · 约 20 分钟 · 9854 字 阅读 →
论文解读

把语音条件写清楚:SURE-Tagger 的结构化标注与组合评测

针对自由描述覆盖不一致、缺省无法区分缺席与证据不足的问题,SURE-Tagger 用专科模型提供证据再由语言模型整合成显式属性加补充描述的半结构表示,在 Tag-Bench 上标注得分最高,并用条件聚类指导一小时微调使 Qwen3-ASR-1.7B 整体误差相对下降 14.3%,代价是需要多模型流水线和候选池打标与评测开销。

 · 更新于 2026-11-05 · 约 19 分钟 · 9437 字 阅读 →
论文解读

电话线上的声音:只留下打电话的人

论文为呼叫转写做因果语音隔离,用从通话自身注册的主讲人线索做掩蔽,在长通话和单人通话的权衡中用因果化的 WavLM 改善两端,并蒸馏出单 CPU 线程可跑的小模型。

 · 更新于 2026-11-05 · 约 17 分钟 · 8169 字 阅读 →
论文解读

TIMUSE:先恢复语义令牌再重建声音的通用语音增强

TIMUSE 把通用增强拆成语义恢复与声学重建两步,用文本扩散语言模型补内容、用流匹配模型保音色,在重度缺失下内容保持更好,但结论只在原文的双基准与配对训练条件下成立。

 · 更新于 2026-11-05 · 约 18 分钟 · 8623 字 阅读 →
论文解读

一个模型同时做流式识别与合成:Uni-Stream 如何交错语音文本并分两阶段训练

Uni-Stream 用时间对齐的流式交错序列把识别与合成放在同一个解码器模型里,先分别适配再联合训练,在约 4 万小时英文数据上接近专用流式模型的识别与合成水平,但表示探测显示语音与文本仍处在不同子空间。

 · 更新于 2026-11-05 · 约 18 分钟 · 8707 字 阅读 →
论文解读

细粒度信用分配何时有效、何时有害:电影预告片剪辑中的多模态智能体强化学习

论文用四种预告片剪辑任务比较轨迹级、轮次级和词元级信用分配,发现衰减的过程奖励只在超长程 Fine Cut 上带来 45.4% 相对提升,而固定权重会导致奖励黑客与任务未完成,词元级自蒸馏则基本无效或崩溃。

 · 更新于 2026-11-05 · 约 21 分钟 · 10129 字 阅读 →
论文解读

融合顺序为什么会影响跨模态视频检索

论文用统一框架 UniPRO 固定编码器和训练条件后比较融合顺序,发现逐个融合优于堆叠融合且顺序本身影响召回,并用缺失难度与查询相关信息保留来解释和预测顺序选择,但结论只在所测数据集与协议下成立。

 · 更新于 2026-11-05 · 约 19 分钟 · 9250 字 阅读 →
论文解读

当人设与台词冲突时:链式思考语音合成在哪里丢失意图

该文用预先声明唤醒度与效价方向的日英冲突基准,定位规划到合成链路的断点,并证明固定合成器时监督与学习式情感控制接口能部分恢复反字面表达,但效果随语言和声学轴而异。

 · 更新于 2026-11-05 · 约 16 分钟 · 7568 字 阅读 →
论文解读

长对话为什么会崩:全双工语音模型的长时间崩溃与无重训修复

论文针对全双工语音模型在数十分钟对话中出现重复、长时间沉默和胡言乱语的问题,用受控重放与实时交互两轨基准定位崩溃,并用保留首个缓存表项与抑制近期复读的无重训方法把滑动窗口模型的崩溃大幅降低,同时保持实时运行。

 · 更新于 2026-11-05 · 约 16 分钟 · 7726 字 阅读 →
论文解读

固定视频不变,译文怎么说才能对上口型和节奏

X-Dubbing 把配音拆成管时间结构的翻译器和看视频说话的合成器,用合成后语音的反馈来挑选译文,在法语到英语演讲视频上同时改善了时长符合度与口唇同步,但结论只在单人独白和给定评测条件下成立。

 · 更新于 2026-11-05 · 约 16 分钟 · 7948 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-27

共分析 80 篇语音/AI 论文

 · 更新于 2026-11-05 · 约 159 分钟 · 79633 字 阅读 →
论文解读

词长短本身能提示是哪个词吗:普通话同音词的时长线索解读

该研究用同音词对的顺序判断任务检验词时长是否直接提示词身份,发现在噪声掩蔽和只剩噪声时长时被试仍把更短的一段对应更高频词,但效应小且只在单说话人、16 对词、固定时长比下成立。

 · 更新于 2026-11-05 · 约 14 分钟 · 6983 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-24

共分析 1 篇语音/AI 论文

 · 更新于 2026-11-05 · 约 3 分钟 · 1124 字 阅读 →
论文解读

只用语料身份就能排抑郁风险吗:混合评估中的患病率捷径诊断

论文针对多语料混合评估抑郁语音时因各库患病率不同而产生的排序捷径,推导只用语料身份和患病率的语料 AUC 诊断式,并在五库 590 人上验证该通道可被语音表征利用且均衡患病率后差异明显缩小。

 · 更新于 2026-11-05 · 约 16 分钟 · 7843 字 阅读 →
论文解读

用学到的“小节内时间坐标” 做钢琴录音到乐谱的转录

本文要解决整首钢琴录音直接转写成乐谱时的拍号节拍定位与自动分段问题,方法是联合学习表示小节内相对位置的下拍相位并用其傅里叶编码条件化解码器,最强证据是整首转录在节拍结构指标上显著提升,代价是相位与乐谱模型只在合成演奏上训练、在真实 expressive 演奏上仍有泛化缺口。

 · 更新于 2026-11-05 · 约 18 分钟 · 8550 字 阅读 →
论文解读

离水之栖:只用几个例子检测布氏鲸叫声

论文研究无大标注时如何检测鲸叫,用固定预训练嵌入加原型小样本分类,通过匹配输入表示和多标签打分在南极蓝长须鲸和南非布氏鲸上验证,代价是仍低于全监督上限且依赖极不均衡下的排序指标。

 · 更新于 2026-11-05 · 约 19 分钟 · 9124 字 阅读 →