两个全双工语音模型对话时,为什么接得上话却总是慢半拍
论文让两个 PersonaPlex-7B 直接交换音频 token 自由对话,用同一套 floor-transfer 规则测量接话时机,发现模型之间能相互耦合但中位间隔比人大三到四倍,且延迟扫频与分布形状支持反应式等待而非人类式提前预测。
论文让两个 PersonaPlex-7B 直接交换音频 token 自由对话,用同一套 floor-transfer 规则测量接话时机,发现模型之间能相互耦合但中位间隔比人大三到四倍,且延迟扫频与分布形状支持反应式等待而非人类式提前预测。
论文用 500 人德语 RVG1 语料对比十种语音表示在朗读与自发两种风格下的地区分类与连续地理定位,发现 Whisper 同条件最强但跨风格下降最大,而跨风格说话人可检索性越好则地区信息保持越好。
论文用三套 RAVE 模型与 EnCodec 对照,沿解码器逐层测量音高、速度与频谱特征的单神经元相关、超随机比例与联合探针可恢复性,发现合成音编码最强最线性、自然音频需非线性联合读取、联合编码在中间层最强,并只有速度能从跨层聚类中获益。
论文用同一组掩码扩散编解码器语音模型只在推理时增加细化步数,发现可懂度接近可达上限而音色相似度只走了一半路程,相同计算量下用说话人编码器做候选选择才能继续提升音色,但要付出词错误率和编解码器上限的代价。
论文在全双工语音模型 Moshi 中用均值差向量做四种情绪转向,发现残差流可线性解码但转向跟随向量间几何而非标签,只有 sad 稳定转向,代价是可懂度下降。
论文针对语音驱动三维人脸动画中口型到位但过渡太平的问题,提出经过辅音途经点的唇部路径比度量,在四个方法上发现相对真实语音的整形缺失,并用受控阻尼校准与感知试验说明削弱是可感知的。
该论文用配对中性与情感合成加激活补丁,定位出条件前缀源头和每种情感约二十余个注意力头与多层感知机,证明它们能恢复或抑制大部分晚期情感读出偏移并引起解码波形的音高能量变化,但结论只在单说话人单参考英文受控条件下成立。
论文针对用同一折选编码器层又报性能导致的乐观偏差,用朴素与嵌套选择对照、打乱标签与纯噪声控制加以量化,并在无泄漏比较下发现紧凑情感韵律特征与大模型表示相当,而代价是下游可训练参数约少一千倍。
论文用短时傅里叶域遮蔽加对照审计 AdvWave-P 在 Qwen2-Audio 上的表现,发现八频段排序几乎被扰动能量解释,深层音频表示差异与遮蔽必要性正相关但不能定位因果层。
该文在 ADReSSo 上用三条大语音自监督主干做可控噪声与混响的输入与表示干预,证明即使无组间差异的噪声也能以最高翻转率系统性改变预测且方向可逆,而高精度本身不能保证稳健。
论文针对只报告最终训练能耗会低估项目代价的问题,用 Grid5000 作业日志回算实验室、团队和四个音频项目的开发能耗,报告开发能耗约为最优单模型训练的 3 到 256 倍,而法国低碳电网与假设美国电网下的碳排放差距可达近十倍。
以 ACE-Step 1.5 为案例,用线性探测追踪仅由歌词驱动的歌手可解码性从歌词编码器经交叉注意力到生成音频的传播,最强证据是编码器输出 0.344 的百类歌手分类准确率,代价是探测只证相关不证因果且 CoT 路径带来稀释与翻唱式复现的混杂。
该研究用从全遮挡到原声的归因轴分解部分掩膜输出,发现 41% 到 77% 的位移是标量方法看不见的正交偏离,且其方向稳定性和维度随模型与填充组合而变化,代价是仍需依赖填充选择的忠实度评估才能谈修正。
该文用激活交换、解码与转向证明三款大音频语言模型都在中间层把粗粒度相对时间绑到事件名表示上并能因果改变前后判断,但该表示只能粗解码到约 3.5 至 4 秒且不能一致移动预测的起始时间戳。
论文用 35 组受控训练比较等错误率与人听相似度的关系,发现等错误率几乎不跟踪人听判断,而有效维度越低对齐越高,压缩嵌入维度可把 AM-Softmax 的对齐从 0.08 提升到 0.738,代价是等错误率升至 20.48% 左右。
该研究把电磁发音仪记录线性映射到 Maeda 参数空间,再用非对称典型时间规整把数学音节模型轨迹对齐到真实时间轴,用语音内容一致与不一致配对的置换对照证明语音一致时发音与共振峰相关显著更高,但唇高参数与生理延迟仍是代价与边界。
在 SEP-28k 上用冻结 WavLM 加逻辑回归研究去噪响度归一 Opus 与 VAD 链,发现固定阈值下阻塞 F1 损失最大而阈值重调可恢复大部分 F1,但 ROC-AUC 损失留存且匹配重训仅小幅回升。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用 7 名女性流利者的读语句料和广义加性混合模型分析 524 个重读元音,显示塞音语境对第一共振峰影响小而对第二共振峰影响大且贯穿整个元音,代价是仅覆盖青年女性和朗读体且无法分离前后协同发音方向。
论文追问澳大利亚英语词尾/p,t,k/如何实现清音,用声门接触的电信号加喉头镜直视做交叉核对,发现鼻音前/t/靠收缩、/k/靠张开而词尾三处都倾向收缩,但样本小且只做描述性平滑。