语音交互

📄 BFCL Audio: An Audio Function Calling Evaluation for Large Language Models #基准测试 #语音交互 #多模态模型 #模型比较 7.7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | #语音交互 | #多模态模型 | #基准测试 #模型比较 | arxiv 👥 作者与机构 第一作者：Huanzhi Mao（University of California, Berkeley） 通讯作者：Huanzhi Mao（University of California, Berkeley） 作者列表：Huanzhi Mao（University of California, Berkeley）、Aditya Ghai（University of California, Berkeley）、Imra Dawoodani（University of California, Berkeley）、Tony A Ginart（Salesforce AI Research）、Shishir G Patil（University of California, Berkeley）、John Emmons（Salesforce AI Research）、Joseph E. Gonzalez（University of California, Berkeley） 💡 毒舌点评 首次系统评估音频function calling，其可控合成管道和无需LLM裁判的自动评分机制，为语音Agent的鲁棒性问题提供了清晰的归因分析。但工作本质上仍是现有BFCL基准向语音模态的延伸，且完全依赖合成数据，在真实场景的生态效度和结论的泛化性上存在硬伤。 ...

📄 LALM-as-a-Judge: Benchmarking Large Audio-Language Models for Safety Evaluation in Multi-Turn Spoken Dialogues #语音交互 #语音大模型 #基准测试 #内容审核 #多模态模型 8.1/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.1/10 | 前25% | #语音交互 | #语音大模型 | #基准测试 #内容审核 | arxiv 👥 作者与机构 第一作者：Amir Ivry（Technion–Israel Institute of Technology, Electrical and Computer Engineering） 通讯作者：Amir Ivry（Technion–Israel Institute of Technology, Electrical and Computer Engineering） 作者列表：Amir Ivry（Technion–Israel Institute of Technology, Electrical and Computer Engineering）、Shinji Watanabe（Carnegie Mellon University, Language Technologies Institute） 💡 毒舌点评 这篇论文为语音安全评估贡献了一个设计精良的受控基准，最可贵之处在于清晰揭示了“增加音频不一定更安全”这一反直觉结论，并系统解构了模态、转录源和提示策略间的复杂交互。然而，所有对话均基于合成语音，真实的嘈杂环境、口音、自然副语言信息和多轮累积危害的缺失，使得当前结论能否直接迁移到实际部署中仍存较大疑问，而作者在这方面过于乐观的决策流程图可能会误导急于落地的从业者。 ...

📄 Unlocking Speech–Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning #语音交互 #语音大模型 #模型融合 #参数高效微调 #指令微调 #语音合成 6.7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 ✅ 6.7/10 | 前50% | #语音交互 | #模型融合 | #语音大模型 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Congrui Du（University of California, Santa Barbara, USA） 通讯作者：Yang Zhang（MIT-IBM Computing Research Lab, IBM Research, USA） 其他作者：Kaizhi Qian（MIT-IBM Computing Research Lab, IBM Research）、Shiyu Chang（University of California, Santa Barbara） 💡 毒舌点评 这篇论文用一个极其简单的权重算术绕过了SLM领域“卷数据”的军备竞赛，洞察深刻，但成也萧何败也萧何——仅用30k小时数据就达成此性能令人眼前一亮，但其方法的脆弱性同样引人注目：输出格式极度依赖后期强制修正、语音能力上限被韵律分词器锁死、对预训练数据结构的病态依赖，以及依赖外部ASR的pipeline设计，使其离一个实用、鲁棒的SLM新范式尚有距离。它更像一个巧妙的概念验证，而非可直接部署的突破。 ...

📄 Enhancing Acoustic-to-Articulatory Inversion with Multi-Target Pretraining for Low-Resource Settings #语音交互 #预训练 #多任务学习 #低资源 #迁移学习 #Transformer 7/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7/10 | 前50% | #语音交互 | #预训练 | #多任务学习 #低资源 | arxiv 👥 作者与机构 第一作者：Jesuraj Bandekar（印度科学学院电气工程系） 通讯作者：Prasanta Kumar Ghosh（印度科学学院电气工程系） 作者列表：Jesuraj Bandekar、Prasanta Kumar Ghosh（均来自印度科学学院电气工程系） 资助信息：本研究由印度科技部（Department of Science and Technology, DST）资助。 💡 毒舌点评 本文用一套组合式多任务预训练给低资源 AAI 打了针强心剂，用廉价的 MFCC 就敢叫板重量级 SSL 特征，工程实用性看似不错。但方法只是将已知预训练目标拼盘，却未深究多目标间的互补与冗余；消融止于最终性能的罗列，没有一丝表征层面的分析。仅抱紧 TERA 和单一数据集，就敢声称“高效替代”，说服力在审稿人看来仍需更多证据。 ...

📄 TurnNat: Automatic Evaluation of Turn-Taking Naturalness in Dyadic Spoken Dialogue #语音交互 #自监督学习 #基准测试 #模型评估 7/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7/10 | 前50% | #语音交互 | #Transformer | #自监督学习 #基准测试 | arxiv 👥 作者与机构 第一作者：Hao Zhang（未说明） 通讯作者：Hao Zhang（未说明）、Laureano Moro-Velázquez（未说明） 作者列表：Hao Zhang（未说明）、Thomas Thebaud（未说明）、Georgi Tinchev（未说明）、Venkatesh Ravichandran（未说明）、Laureano Moro-Velázquez（未说明） 💡 毒舌点评 将轮次预测模型重用作自然度评估器是个巧妙的思路，用似然度统一多种时序故障避免了为每种行为单独设计指标。但这种方法论上的重组创新性有限，且实验完全局限于人工构造的局部扰动，从未在真实全双工对话系统的输出上验证。在缺乏与Full-Duplex-Bench等现有行为特定基准直接对比的情况下，宣称的“统一评分”优势仍停留在纸面上，令人怀疑其在实际嘈杂、混合故障场景中的鲁棒性。 📌 核心摘要 论文提出TurnNat，一种基于似然度的自动评估框架，旨在统一量化双人对话中的轮次自然度。其核心是一个仅由自然对话训练得到的因果轮次预测模型，该模型逐帧估计未来2秒内双说话人语音活动的状态分布。通过计算观测到的真实未来活动状态的负对数似然（NLL）来度量时序的非典型性。为避免全局平均稀释局部异常，TurnNat设计了“轮次边界单元”（TBU），在发言起始和结束前的2秒窗口内集中评分，并通过合并NLL均值和尾部高分NLL的均值（TailNLL）聚合为对话级自然度分数。作者构建了一个经人工验证的轮次扰动基准，包含五种局部时序扰动（延迟响应、过早插话等）。实验显示，最佳配置（基于DualTurn的D4变体）在自然-扰动配对判别准确率达到88.0%，相较VAP基线提升7-8个百分点。主要局限性在于：评测对象仅为人工构造的单点扰动，未在真实系统输出上验证，且未与任何现有的行为特定基准进行对比。 ...

📄 Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning #语音交互 #语音大模型 #模型融合 #低资源 #参数高效微调 8.5/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.1/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 🔥 8.5/10 | 前25% | #语音交互 | #模型融合 | #语音大模型 #低资源 | arxiv 👥 作者与机构 第一作者：Congrui Du（机构未明确给出，但论文匿名期已过，推断来自UC Santa Barbara，因项目主页域名为ucsb.edu） 通讯作者：未明确标示，通常为末位作者Shiyu Chang。 作者列表：Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang。机构均未在论文首页明确注明。 💡 毒舌点评 本文用一个极度精简、甚至有些投机取巧的权重组合方案，试图颠覆SLM必须堆数据和指令微调的昂贵范式，效果竟然出奇地好，尤其在重音检测与生成任务上碾压所有基线。思路的优雅与执行的高效令人印象深刻，但推理时对Whisper ASR、格式强制等一系列外部组件的强依赖暴露出其“伪端到端”的本质，更像是一个精心设计的系统工程集成，而非一个能独立感知与交互的语音原生模型。格式输出的不稳定性问题被作者一笔带过，但这是实用化的致命伤；长思考能力虽由推理模板“免费”激活，却也因缺乏训练监督而容易失效。 ...