语音交互

📄 Enhancing Acoustic-to-Articulatory Inversion with Multi-Target Pretraining for Low-Resource Settings #语音交互 #预训练 #多任务学习 #低资源 #迁移学习 #Transformer 7/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7/10 | 前50% | #语音交互 | #预训练 | #多任务学习 #低资源 | arxiv 👥 作者与机构 第一作者：Jesuraj Bandekar（印度科学学院电气工程系） 通讯作者：Prasanta Kumar Ghosh（印度科学学院电气工程系） 作者列表：Jesuraj Bandekar、Prasanta Kumar Ghosh（均来自印度科学学院电气工程系） 资助信息：本研究由印度科技部（Department of Science and Technology, DST）资助。 💡 毒舌点评 本文用一套组合式多任务预训练给低资源 AAI 打了针强心剂，用廉价的 MFCC 就敢叫板重量级 SSL 特征，工程实用性看似不错。但方法只是将已知预训练目标拼盘，却未深究多目标间的互补与冗余；消融止于最终性能的罗列，没有一丝表征层面的分析。仅抱紧 TERA 和单一数据集，就敢声称“高效替代”，说服力在审稿人看来仍需更多证据。 ...

📄 TurnNat: Automatic Evaluation of Turn-Taking Naturalness in Dyadic Spoken Dialogue #语音交互 #自监督学习 #基准测试 #模型评估 7/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7/10 | 前50% | #语音交互 | #Transformer | #自监督学习 #基准测试 | arxiv 👥 作者与机构 第一作者：Hao Zhang（未说明） 通讯作者：Hao Zhang（未说明）、Laureano Moro-Velázquez（未说明） 作者列表：Hao Zhang（未说明）、Thomas Thebaud（未说明）、Georgi Tinchev（未说明）、Venkatesh Ravichandran（未说明）、Laureano Moro-Velázquez（未说明） 💡 毒舌点评 将轮次预测模型重用作自然度评估器是个巧妙的思路，用似然度统一多种时序故障避免了为每种行为单独设计指标。但这种方法论上的重组创新性有限，且实验完全局限于人工构造的局部扰动，从未在真实全双工对话系统的输出上验证。在缺乏与Full-Duplex-Bench等现有行为特定基准直接对比的情况下，宣称的“统一评分”优势仍停留在纸面上，令人怀疑其在实际嘈杂、混合故障场景中的鲁棒性。 📌 核心摘要 论文提出TurnNat，一种基于似然度的自动评估框架，旨在统一量化双人对话中的轮次自然度。其核心是一个仅由自然对话训练得到的因果轮次预测模型，该模型逐帧估计未来2秒内双说话人语音活动的状态分布。通过计算观测到的真实未来活动状态的负对数似然（NLL）来度量时序的非典型性。为避免全局平均稀释局部异常，TurnNat设计了“轮次边界单元”（TBU），在发言起始和结束前的2秒窗口内集中评分，并通过合并NLL均值和尾部高分NLL的均值（TailNLL）聚合为对话级自然度分数。作者构建了一个经人工验证的轮次扰动基准，包含五种局部时序扰动（延迟响应、过早插话等）。实验显示，最佳配置（基于DualTurn的D4变体）在自然-扰动配对判别准确率达到88.0%，相较VAP基线提升7-8个百分点。主要局限性在于：评测对象仅为人工构造的单点扰动，未在真实系统输出上验证，且未与任何现有的行为特定基准进行对比。 ...

📄 Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning #语音交互 #语音大模型 #模型融合 #低资源 #参数高效微调 8.5/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.1/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 🔥 8.5/10 | 前25% | #语音交互 | #模型融合 | #语音大模型 #低资源 | arxiv 👥 作者与机构 第一作者：Congrui Du（机构未明确给出，但论文匿名期已过，推断来自UC Santa Barbara，因项目主页域名为ucsb.edu） 通讯作者：未明确标示，通常为末位作者Shiyu Chang。 作者列表：Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang。机构均未在论文首页明确注明。 💡 毒舌点评 本文用一个极度精简、甚至有些投机取巧的权重组合方案，试图颠覆SLM必须堆数据和指令微调的昂贵范式，效果竟然出奇地好，尤其在重音检测与生成任务上碾压所有基线。思路的优雅与执行的高效令人印象深刻，但推理时对Whisper ASR、格式强制等一系列外部组件的强依赖暴露出其“伪端到端”的本质，更像是一个精心设计的系统工程集成，而非一个能独立感知与交互的语音原生模型。格式输出的不稳定性问题被作者一笔带过，但这是实用化的致命伤；长思考能力虽由推理模板“免费”激活，却也因缺乏训练监督而容易失效。 ...