论文解读

随输入换压缩宽度、只扰动高频梅尔带:音频伪造检测的泛化框架

论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。

 · 约 19 分钟 · 9167 字 阅读 →
论文解读

用语音编码器里对语言敏感的维度直接发现语码转换

该论文要从整句语音直接判断是否出现语码转换,方法是只用单语语音找出对两种语言反应不同的编码器维度,再把这些维度上的帧级激活聚合成整句判决,在 CS-FLEURS 上 Whisper-small 平均 F1 为 0.798,但结论只在给定评测集和少量标注调参条件下成立,且未验证野外无标注挖掘流程。

 · 约 17 分钟 · 8075 字 阅读 →
论文解读

微调为何先崩溃再恢复 yet 普通话仍变差:语音模型方言适应的全轨迹拆解

论文在方言适应中同步跟踪损失与字错率,把快速崩溃、随后修复与长期普通话漂移拆成三个可分离过程,并用层拼接、梯度谱与更新迁移证明绕开早期崩溃仍会出现源域退化。

 · 约 6 分钟 · 2937 字 阅读 →
论文解读

深层语音表征如何用二维圆周跟踪词内时间

论文用平均词段的二维投影发现圆周式词计时轨迹,再用旋转切分在 HuBERT 第 9 层上以 64.3% 边界 F1 和 39.8% 词 F1 切分出单个词,而未训练模型与对数梅尔特征不能做到同等实例级切分。

 · 约 16 分钟 · 7674 字 阅读 →
论文解读

财报电话语音还需要持续学习正则吗:EWC 与 mini-KFAC 的对照解读

把 Whisper-small 从 TED 演讲语音调到 Earnings22 财报语音时,同域两分区上都出现负遗忘,不加正则的微调取得最低词错误率,而需要正则时 mini-KFAC 比对角 EWC 更低更稳,但差异在 5 个种子下不显著。

 · 约 20 分钟 · 9966 字 阅读 →
论文解读

DuplexAct:如何按动作评价全双工语音模型的交互能力

DuplexAct 把边听边说的交互拆成 8 个动作和 24 种条件,用立即执行与后续跟进两段成功率评价 14 个模型,发现能力分布不均且后续跟进普遍偏弱。

 · 约 20 分钟 · 9551 字 阅读 →
论文解读

从语音信号直接估计惊奇值:抽象词与具体发音该用哪一个

论文用语音语言模型直接从声音算惊奇值,提出对多种发音求平均的重要性采样估计,在听句瞳孔数据上发现词级抽象估计比单次具体发音更能预测瞳孔变化,但总体预测力很弱且受刺激与时间基线限制。

 · 约 18 分钟 · 8573 字 阅读 →
论文解读

用证据和冲突做多模态情绪识别:EMT-DS 解读

针对多模态情绪识别中 softmax 被迫自信的问题,论文提出每个模态输出狄利克雷证据并用 Dempster-Shafer 规则融合,在四个数据集上同时提升精度与校准,而代价是需要调冲突权重与 KL 退火且依赖条件独立假设。

 · 约 18 分钟 · 8698 字 阅读 →
论文解读

GeoMER:欧氏与双曲联合建模的多模态情绪识别

GeoMER 针对语音加文本情绪识别中细粒度跨模态对齐与抽象情绪结构难以兼顾的问题,用欧氏分支做词元级融合、用双曲几何核心路由组织抽象情绪表示,在 IEMOCAP 四分类上报告 83.54% 加权准确率和 83.35% 非加权准确率,代价是双分支与双曲运算带来的额外复杂度。

 · 约 20 分钟 · 9831 字 阅读 →
论文解读

带外国口音的合成语音,自然度该怎么评

论文用同一批日式英语做分析再合成以对齐口音强度,对比四种指示语和两类评测者并对照三种自动打分,说明笼统问自然度会把口音当缺陷,而问像人声程度并请熟悉该口音的人来听能更公平地比出系统差异。

 · 约 17 分钟 · 8405 字 阅读 →
论文解读

在固定 token 预算下学会在哪里切分频带

论文针对固定频带划分难以兼顾不同混合内容的问题,提出随混合自适应移动边界的动态频带切分框架,在三个数据集上用固定带数对照验证了划分自适应的增益,并以消融说明了分块预算与重建细化的代价。

 · 约 21 分钟 · 10143 字 阅读 →
论文解读

Merit:让每个输入都挣得自己的那份多模态注意解码

针对鸡尾酒会中从脑电解码注意对象的问题,Merit 用去均值相关打分堵住音频捷径,用分流打乱与 Shapley 值度量每个输入的贡献,在 MAESTRO 上达到四选一 0.82 与未见被试 0.74 的准确率,同时发现加入行为信号流会让脑电的贡献几乎减半。

 · 约 21 分钟 · 10252 字 阅读 →
论文解读

把不同模态都写成比特再一起生成:连续比特流扩散的多模态共生成

论文把图像、语音、文本、蛋白质序列与结构都写成固定二进制码,用同一套高斯加噪、按比特预测和部分去噪流程训练一个去噪器,通过控制哪些比特可见来切换联合生成与不同条件生成,并在受控加法、语音文本与蛋白质三组实验中验证一致性与主要代价。

 · 约 17 分钟 · 8308 字 阅读 →
论文解读

用语音加文本的两阶段对比学习改善电子喉语音转换

针对电子喉语音与正常语音差异大导致序列到序列转换表示不稳的问题,论文用第一阶段语音文本对比对齐加融合、第二阶段把融合表示作为固定教师蒸馏给纯语音编码器的方法,在两个小规模日语患者数据集上优于纯语音和普通多模态基线,但结论只在原文的数据划分、合成数据增强和评价工具条件下成立。

 · 约 17 分钟 · 8256 字 阅读 →
论文解读

在真人停顿处考语音对话:该沉默时沉默吗

论文把实时语音系统放到 176 段闲聊的真实停顿和话轮末尾,比较它是否像真人一样保持沉默或接话,最强证据是托管 API 几乎从不沉默而全双工模型才会沉默,代价是历史输入通道不同且标注和触发方式影响结论适用范围。

 · 约 19 分钟 · 9188 字 阅读 →
论文解读

把情感做进条件里:Prime-EVC 如何用一步完成富有表现力的情感语音转换

Prime-EVC 把目标情感的音高能量与说话人相关的风格提前做进条件 μ 中,再用 DiT 条件流匹配解码器一步生成梅尔谱,在 ESD 英文集上以单步取得 UTMOS 3.37 与 EECS 0.87,代价是条件分支更复杂且结论只在相同划分与声码器下成立。

 · 约 18 分钟 · 8621 字 阅读 →
论文解读

量子瓶颈如何改变语音防伪造的分数可靠性

论文把压缩语音表示送入 8 比特变分量子电路做瓶颈变换,在匹配经典对照下主要改善固定阈值下的部署代价与校准,最强域外证据是 AASIST 上 EER 相对降低 28% 而真机验证只证明可行且代价不稳定。

 · 约 20 分钟 · 9725 字 阅读 →
论文解读

边说边执行又要能撤回:RASSG 如何处理语音中的自我修正

RASSG 针对流式语音中用户修正参数会导致已启动工具产生不可逆陈旧执行的问题,用三次识别一致启动加校准无效风险在最后可取消时刻否决继续执行,在受控执行时钟下把 ReCAST 修正子集的陈旧率从 50.00% 降到 3.15%,代价是保留 3.676 s 成功延迟并依赖固定工具时间假设。

 · 约 18 分钟 · 8771 字 阅读 →
论文解读

边听边说边想:Rubato 用两套时钟解开实时音频与异步思考的绑定

针对全双工语音模型中实时音频与内部思考共用一条位置时间轴导致变速推理时错位的问题,Rubato 用实时钟与思考钟两套独立位置计数实现零样本变速插值,在只训练两种极端思考预算下保持准确率并随算力提升缩短给出答案的时间,代价是推理需维护多套键缓存与合成数据依赖。

 · 约 19 分钟 · 9417 字 阅读 →
论文解读

SpikCTU:固定记忆加共享循环推理的紧凑脉冲语音指令识别

论文把语音指令识别拆成一次编码得到固定记忆、多次共享循环读记忆并修正预测,在三个基准上用 0.16-0.17M 参数取得可比精度,早退能减少循环步数但总能耗节省有限。

 · 约 18 分钟 · 8961 字 阅读 →