端到端

📄 Dolphin-CN-Dialect: Where Chinese Dialects Matter #语音识别 #端到端 #多语言 #低资源 #数据增强 📝 5.5/10 | 前50% | #语音识别 | #端到端 | #多语言 #低资源 | arxiv 学术质量 5.5/8 | 影响力 1.5/2 | 可复现性 0.5/1 | 置信度 中 👥 作者与机构 第一作者：Yangyang Meng, Huihang Zhong, Guodong Lin, Guanbo Wang, Hu Du（论文中标注为共同第一作者，*） 通讯作者：Zhiming Shao, Wei-Qiang Zhang（论文中标注为通讯作者，†） 作者列表：Yangyang Meng (Dataocean AI)， Huihang Zhong (Dataocean AI)， Guodong Lin (Dataocean AI)， Guanbo Wang (Dataocean AI)， Hu Du (Dataocean AI)， Zhiming Shao (Speech and Audio Technology Lab, Dept. EE, Tsinghua University)， Yukai Huang (Dataocean AI)， Ke Li (Dataocean AI)， Wei-Qiang Zhang (Speech and Audio Technology Lab, Dept. EE, Tsinghua University) 💡 毒舌点评 亮点：工程实践导向明确，提出的温度采样策略有效缓解了方言数据长尾问题，且在小参数量模型上取得了有竞争力的结果，对工业部署友好。双路热词偏置框架的评估较为全面，包括了Oracle分析。 短板：核心贡献多为对已有技术的组合与工程调优，缺乏模型架构或训练范式上的根本性创新；关键超参数（如α）的选择和消融实验缺失，影响了方法深度；大量依赖未公开的内部数据集，使得对比实验的公平性和复现性存疑。 ...

📄 Voice Biomarkers for Depression and Anxiety #语音生物标志物 #预训练 #端到端 📝 1.0/10 | 后50% | #语音生物标志物 | #预训练 #端到端 | #预训练 #端到端 | arxiv 学术质量 1.0/8 | 影响力 0.5/2 | 可复现性 0.5/1 | 置信度 中 👥 作者与机构 第一作者：Oleksii Abramenko（未说明机构） 通讯作者：未说明 作者列表：Oleksii Abramenko（未说明机构）、Noah D. Stein（未说明机构）、Colin Vaz（未说明机构） 💡 毒舌点评 论文的亮点在于其工业背景下的雄心：利用大规模（~6.5万条语音，来自>2.3万受试者）的私有数据集训练端到端深度学习模型，旨在提取“内容无关”的语音生物标志物，并开源最佳模型以推动研究。然而，论文摘要部分存在关键缺陷：未提供与任何具体基线方法的定量对比，仅报告了一个笼统的性能指标（71%敏感性/特异性），使得“显著提升预测能力”的核心声明缺乏直接证据支撑。模型架构、训练细节和消融实验的缺失，严重限制了其技术深度的可评估性和结果的可复现性，削弱了其作为学术贡献的严谨性。 📌 核心摘要 问题：当前从语音检测抑郁和焦虑主要依赖手工特征。直接应用于原始语音的深度学习方法虽有潜力，但通常需要大量高质量标注数据。 方法：作者在一个大规模（~65,000条语音，来自>23,000名受试者，代表美国相关人口统计特征）的专有数据集上训练了一个深度学习模型。 新意：该方法旨在直接从原始语音信号中学习“内容无关”（content-agnostic）的生物标志物表征，以期获得比手工特征更强的预测能力。论文描述了所采用的技术并分析了其对模型性能的影响。 结果：在约5000名独立受试者的未公开数据集上评估，模型（结合从音频中提取的词汇特征后）在生产环境中实现了71%的敏感性和71%的特异性。摘要未提供与任何具体基线方法的对比数字。 意义：提出了一种端到端的深度学习方案用于语音生物标志物检测，并开源了最佳模型以促进心理健康语音评估的进一步研究。 局限：摘要未提及与现有方法的定量对比，实验细节（如基线选择、消融分析）缺失，模型在开放数据集上的泛化能力未知。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中提及在HuggingFace发布最佳模型，但未给出完整URL（例如：https://huggingface.co/xxx/xxx）。 数据集：论文中未提及开源数据集。（论文使��了约65,000条语音的大型“专有数据集”） Demo：论文中未提及。 复现材料：论文中未提及。 论文中引用的开源项目：未提及。 🏗️ 方法概述和架构 论文摘要仅提供了高层次的方法描述，具体架构细节未在摘要中给出，因此以下描述基于摘要中的关键信息和上下文进行合理推断。 整体流程概述：该方法是一个端到端的语音处理系统。它直接以原始的语音波形或其时频表示（如梅尔频谱图）作为输入，通过一个深度神经网络进行编码，提取出一个高维度的、内容无关的生物标志物表征向量。这个表征向量随后与从同一段语音中提取的文本/词汇特征（例如，通过ASR和NLP模型获得）进行融合，最终输入到一个分类器中，用于预测抑郁和焦虑的风险或严重程度。摘要明确指出，论文“描述了所采用的技术并分析了其对模型性能的影响”，暗示论文全文包含更详细的技术描述。 主要组件/模块详解： 深度特征提取器（核心）： 功能：其核心职责是从原始语音信号中自动学习并提取能够表征说话人情绪或病理状态的声学特征，这些特征被假设是“内容无关”的，即与说话的具体词语内容无关，而与发声方式、韵律、音质等副语言学特性相关。 内部结构/实现：论文摘要未说明具体使用的是何种网络结构（例如，CNN、RNN、Transformer或其变体）。然而，从“端到端”和“大规模私有数据集训练”的描述推断，它很可能是一个在大型数据集上预训练过的深度卷积神经网络（如基于Mel频谱图输入）或预训练的语音自监督模型（如HuBERT、WavLM等的变体），作为特征编码器。具体架构需参见论文全文的技术描述部分。 输入输出：输入是原始的语音信号（或预处理后的频谱图）。输出是一个固定维度的嵌入向量（embedding），该向量被视为“语音生物标志物”的数值表征。 特征融合与分类模块： ...

📄 Minimizing Modality Gap from the Input Side: Your Speech LLM Can Be a Prosody-Aware Text LLM #语音大模型 #知识蒸馏 #语音情感识别 #预训练 #端到端 🔥 8.0/10 | 前25% | #语音大模型 | #知识蒸馏 | #语音情感识别 #预训练 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Wenqian Cui（香港中文大学） 通讯作者：Irwin King（香港中文大学） 作者列表：Wenqian Cui（香港中文大学）、Xiao-Hui Li（华为技术有限公司）、Daxin Tan（华为技术有限公司）、Qiyong Zheng（香港中文大学）、Irwin King（香港中文大学） 💡 毒舌点评 亮点：论文精准地指出了当前语音大模型（SLM）性能瓶颈的关键在于“输入侧”，并提出了“让你的语音LLM变成韵律感知的文本LLM”这一极具启发性的解决方案。实验数据证明该思路在大幅降低模态差距的同时异常高效（仅需约1000小时音频训练LLM部分），且在韵律理解上达到了SOTA水平。其设计哲学（使语音输入尽可能贴近文本LLM的原生输入）清晰且有效。短板：工作明确止步于文本输出理解，未构建包含语音合成的完整交互系统进行端到端评估。其韵律表示学习方式（依赖于Mel重建目标）的有效性边界和与更优表示方法的对比有待进一步探索。此外，论文未提供代码或模型，限制了即时复现。 📌 核心摘要 解决的问题：语音大模型（SLM）尽管基于强大的文本大模型（TLM）构建，但在语音问答等任务上的性能与TLM存在显著的“模态差距”，这限制了其实际应用。 方法核心：提出TextPro-SLM，核心思想是从输入侧入手，让语音输入更贴近“韵律感知的文本LLM”的输入形式。它包含两部分：WhisperPro语音编码器（输出同步的文本token和韵律嵌入）和Prosody-Aware LLM主干（通过知识蒸馏保留语义能力，并学习理解韵律）。 与已有方法新在何处：现有工作主要从输出侧（如生成更文本化的语音、分离生成器）来缩小差距，但效果有限。本文首次系统性地从输入表示入手，将语音显式分解为“说什么”（文本）和“怎么说”（韵律），并以TLM兼容的方式注入LLM，从而最小化差距。 主要实验结果：TextPro-SLM在3B和7B参数规模下，均在多个问答基准上取得了最低的平均模态差距。例如，TextPro-SLM-7B的平均差距仅为0.7%，远优于SALAD的7.1%和Qwen2.5-Omni的3.1%。在需要推理的数学任务（VoxEval）上，其模态差距优势更明显。同时，在情感识别、性别、年龄、口音等韵律理解任务上也达到了最佳性能（平均64.8%）。关键的是，其LLM部分训练仅需约1000小时音频，数据效率极高。 实际意义：证明了通过优化输入表示来对齐语音和文本模型是一条高效且效果显著的路径，为构建更强大、实用的语音交互系统提供了新的设计范式。 主要局限性：未包含语音合成模块，因此无法进行端到端的语音对话评估；其韵律表示学习方法和输入注入策略的有效性边界尚未完全探明；未在流式处理或非语音音频场景下进行验证。 方法概述和架构 本文的核心方法TextPro-SLM是一个旨在从输入侧最小化语音-文本模态差距的端到端语音理解系统。其设计哲学是让语音输入在LLM看来，尽可能接近其原生处理的文本输入，同时保留关键的副语言信息。 ...

📄 MiniMind-O Technical Report: An Open Small-Scale Speech-Native Omni Model #语音对话系统 #自回归模型 #端到端 #多语言 #流式处理 ✅ 7.5/10 | 前25% | #语音对话系统 | #自回归模型 | #端到端 #多语言 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Jingyao Gong (Independent Researcher) 通讯作者：Jingyao Gong (gongjy.cs@foxmail.com) 作者列表：Jingyao Gong (Independent Researcher) 💡 毒舌点评 亮点： 这篇论文堪称“开源全模态”的典范级实践，从模型架构、训练数据、到中间层状态桥接等每一个“工程细节”都被清晰设计并完整开源，为研究社区提供了一个可真正拆解和复现的语音原生全模态研究基座。短板： 然而，在0.1B这个参数规模下，模型在中长英文语音生成上的“音素漂移”和“漏词”问题暴露了其表达能力的上限，且评估侧重于内部一致性而非端到端的任务性能或用户感知，使其更像是一个优雅的技术验证原型，而非一个能直接解决实际问题的强劲方案。 📌 核心摘要 要解决什么问题： 旨在探索并证明在极小参数规模（0.1B）下，构建一个完整的、可复现的语音原生全模态（文本/语音/图像输入 -> 文本/流式语音输出）交互循环的可行性。 方法核心是什么： 采用分离的Thinker（负责语义推理）和Talker（负责语音生成）架构。核心创新在于：a) 使用Thinker的中间层隐状态（而非最终层）作为语义桥梁注入Talker，以提供更纯净的声学条件；b) 对Mimi八码本的嵌入和输出头采用低秩适配器参数化，实现参数高效接口；c) 设计并公开了完整的多模态序列格式和训练数据集。 与已有方法相比新在哪里： 不同于追求大规模和高性能的前沿全模态模型，本文专注于在小规模、全开源、可严格复现的约束下，系统研究并量化影响全模态循环的关键设计选择（如桥接层位置、Talker宽度、码本接口等）。同时，模型通过上下文提示（参考码本流+说话人嵌入）实现灵活的声音克隆，而非依赖独立的TTS模块。 主要实验结果如何： 论文报告了两个关键评估结果： 一致性（CER）： 在Thinker-Talker一致性评估中，Dense和MoE变体的平均CER分别为0.0897和0.0900。消融实验表明，768维的Talker宽度是稳定工作的必要条件。 语音克隆（CAM++相似度）： 整体声音克隆相似度分别为0.5995（Dense）和0.5937（MoE），相比仅使用参考码本的基线有提升。 在与Mini-Omni2等更大模型的跨模型英文T2A对比中，minimind-3o在短句（≤15词）上CER/WER接近，但在中长句（16-30词）上差距显著（如minimind-3o CER: 0.1327 vs. Mini-Omni2 CER: 0.0062）。 实际意义是什么： 为语音大模型/全模态模型的研究提供了一个完全透明、可修改、可在消费级GPU（4x RTX 3090）上复现的小规模研究平台。它证明了在资源受限下，通过精心设计桥接层、参数高效接口和开放数据，也能构建并训练一个功能完整的语音原生循环。 主要局限性是什么： a) 性能天花板低：在语音自然度和长文本稳定性上远落后于大型模型；b) 视觉通路弱：使用冻结的SigLIP2和简单MLP投影器，更接近简化的图像描述而非强大的视觉理解；c) 评估窄：主要评估输出文本一致性（CER/WER），缺乏自然度、延迟、鲁棒性等更全面的评估。 🔗 开源详情 代码：https://github.com/jingyaogong/minimind-o 模型权重： HuggingFace：https://huggingface.co/collections/jingyaogong/minimind-o ModelScope：https://modelscope.cn/collections/gongjy/minimind-o 数据集：论文中提及了公开发布的训练数据集，用于复现模型。具体数据集（sft_t2a, sft_i2t, sft_a2a）的Parquet格式文件及获取方式，应通过上述代码仓库或模型集合页面获取。论文未提及单独的、独立的数据集存储库链接。 Demo：论文中未提及独立的在线演示链接。但附录B指出，代码发布中包含了一个HTML演示页面，其中包含可播放的音频示例。 复现材料： 训练配置：论文详细说明了训练流程（train_sft_omni.py）、数据模式（sft_t2a, sft_i2t, sft_a2a）、训练超参数（如学习率、批大小）、硬件要求（4张NVIDIA RTX 3090 GPU）和各阶段训练时间。 检查点：模型权重（检查点）已发布在HuggingFace和ModelScope上。 附录：提供了详细的模块配置、参��计数和评估结果表格。 论文中引用的开源项目： MiniMind (基础语言模型)：https://github.com/jingyaogong/minimind SenseVoice-Small (音频编码器)：论文中引用其来源为 An and others, 2024，但未提供直接链接。通常可通过其官方仓库获取，例如：https://github.com/FunAudioLLM/SenseVoice SigLIP2 (视觉编码器)：论文中引用其来源为 Tschannen et al., 2025，未提供直接链接。 Mimi (音频编解码器)：论文中引用其来源为 Défossez et al., 2024，未提供直接链接。这是Moshi模型的一部分。 CAM++ (说话人嵌入)：论文中引用其来源为 Wang et al., 2023b，未提供直接链接。 Qwen3-ASR-Flash (用于评估的ASR)：论文中引用但未提供链接。 Qwen-VL-Plus (用于视觉评估的参考生成)：论文中引用但未提供链接。 🏗️ 模型架构 Figure 1: MiniMind-O 架构总览。音频和图像由冻结的编码器处理，通过MLP投影器注入到Thinker对应模态的占位符位置。一个中间层的Thinker状态与Mimi码本历史被独立的Talker融合，以预测八个码本层的流式语音。 ...

📄 A Comprehensive Analysis of Tokenization and Self-Supervised Learning in End-to-End Automatic Speech Recognition applied on French Language #语音识别 #自监督学习 #模型评估 #多语言 #端到端 ✅ 7.0/10 | 前50% | #语音识别 | #自监督学习 | #模型评估 #多语言 | arxiv 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Thibault Bañeras-Roux（未说明） 通讯作者：未说明 作者列表：Thibault Bañeras-Roux（未说明）、Mickael Rouvier（未说明）、Jane Wottawa（未说明）、Richard Dufour（未说明） 💡 毒舌点评 本文像一份详尽的“ASR系统配置说明书”，通过大量消融实验清晰地展示了分词策略和SSL模型选择对法语识别性能在多维度上的影响，这对于工程实践极具参考价值。但遗憾的是，它并未提出任何突破性的新方法或新模型，更像是一次站在前人肩膀上的系统性总结与验证，其“分析”重于“创新”的定位限制了其学术高度。 🔗 开源详情 代码：https://github.com/thibault-roux/systems-analysis 模型权重：论文中未提及具体的模型权重下载链接（论文仅提及使用了LeBenchmark的wav2vec 2.0模型，但未提供模型存储地址）。 数据集：论文中提及了以下法语语音数据集，但未提供具体下载链接： ESTER 1 ESTER 2 EPAC ETAPE REPERE Demo：论文中未提及。 复现材料：论文中仅提及“For reproducibility, settings are detailed in our GitHub code repository”，具体的训练配置、检查点等信息需从上述代码仓库中获取。论文中未单独列出。 论文中引用的开源项目： SpeechBrain (语音处理工具包): 论文中作为ASR系统构建基础，但未在文中给出具体链接（通常指 https://speechbrain.github.io/）。 CamemBERT (法语BERT模型): 用于计算SemDist指标的句子嵌入模型基础。论文中未给出具体链接。 SentenceBERT (句子嵌入模型): 论文在脚注中提供了HuggingFace模型链接：https://huggingface.co/dangvantuan/sentence-camembert-large。 PoemesProfonds (音素转换工具): 用于计算PhonER指标的自动图素-音素转换器。论文中提供了GitHub链接：https://github.com/Remiphilius/PoemesProfonds。 LeBenchmark (自监督学习模型集合): 论文引用[7]指代，未提供项目主页链接。 wav2vec 2.0 (自监督学习模型): 论文引用[2]和[12]，未提供项目主页链接。 XLSR (跨语言自监督学习模型): 论文引用[1]，未提供项目主页链接。 补充信息 [细节详述] 补充：论文中明确给出了关键的训练超参数设置。微调时，SSL模型部分的学习率（LR）为1e-5，DNN部分的初始学习率为1e-3。这提供了更精确的复现细节。 ...

📄 MiniMind-O Technical Report: An Open Small-Scale Speech-Native Omni Model #语音对话系统 #端到端 #多模态模型 #流式处理 #语音克隆 ✅ 7.5/10 | 前25% | #语音对话系统 | #端到端 | #多模态模型 #流式处理 | arxiv 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Jingyao Gong（Independent Researcher，独立研究者） 通讯作者：未明确说明（论文中仅提供第一作者邮箱 gongjy.cs@foxmail.com，未指明通讯作者） 作者列表：Jingyao Gong（Independent Researcher） 毛舌点评 该论文的亮点在于它将一个完整的“听-看-想-说”全模态闭环在0.1B的小模型规模上实现并彻底开源，包括训练代码、模型权重和处理过的多模态训练数据集，为社区提供了一个可完全复现和修改的小型研究基线。然而，其短板也十分明显：受限于极小的模型规模，在语音自然度、长句稳定性和复杂指令跟随能力上与大模型存在显著差距，其评估也主要集中在内部一致性而非端到端的用户体验，更像一个验证技术可行性的原型而非实用系统。 核心摘要 问题：旨在探索在极小参数规模（0.1B）下，构建一个能够同时处理文本、语音、图像输入并输出文本与流式语音的端到端全模态模型的可行性与设计范式。 方法：采用“思考者-说话者”分离架构。“思考者”是完整的MiniMind语言模型主干，接收文本、经过投影的语音（SenseVoice）和图像（SigLIP2）特征；“说话者”是一个独立的4层MiniMind模块，接收来自思考者中层的语义桥接状态和自回归的Mimi语音编码历史，以预测8层的Mimi码本用于生成流式语音。说话人身份通过参考语音编码和预计算的CAM++嵌入在说话者模块中进行条件化。 创新：核心创新在于为小规模全模态模型提出的三项设计选择：(1) 使用中层语义桥接，而非首层或末层状态，为说话者提供更干净的语义条件；(2) 公开了用于训练的多模态序列格式和数据集；(3) 为8个Mimi码本设计了参数高效的共享基础加低秩适配器的嵌入与输出头接口。 主要实验结果： 一致性：在内部一致性评估中，密集模型和MoE模型在平均字符错误率（CER）上分别为0.0897和0.0900。 语音克隆：使用CAM++说话人嵌入进行评估，密集模型和MoE模型的总体语音克隆相似度（余弦相似度）分别为0.5995和0.5937。 跨模型对比：在简短英文问答T2A一致性上，0.1B的MiniMind-O（Avg CER: 0.0964， Avg WER: 0.0973）落后于0.5B的Mini-Omni（Avg CER: 0.0101， Avg WER: 0.0185）和Mini-Omni2（Avg CER: 0.0371， Avg WER: 0.0431）。 消融实验：说话者模块的隐藏维度从768降至512或384时，CER显著恶化。低秩适配器消融显示输出头的秩比嵌入层的秩更重要。 实际意义：提供了一个完全可公开审查和复现的小规模全模态交互系统，降低了该领域的研究门槛。其明确的设计选择（如中层桥接）和完全开源的闭环数据，为分析和改进小模型全模态架构提供了可控的研究对象。 主要局限性：语音自然度和长句生成的稳定性不足；视觉通路依赖冻结编码器和固定占位符，能力有限；评估主要关注内部转录一致性，未充分评估自然度、鲁棒性和安全性等。 详细分析 01.模型架构 MiniMind-O 是一个端到端的全模态模型，其核心架构遵循“思考者-说话者”分离范式，整体数据流如图1所示。 ...

📄 A cross-species neural foundation model for end-to-end speech decoding #语音识别 #自监督学习 #跨模态 #端到端 ✅ 7.5/10 | 前25% | #语音识别 | #自监督学习 | #跨模态 #端到端 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Yizi Zhang（Columbia University）， Linyang He（Columbia University）（*表示共同第一作者） 通讯作者：未明确说明（论文中提供了通讯邮箱，但未明确标注“Corresponding Author”） 作者列表：Yizi Zhang（Columbia University）， Linyang He（Columbia University）， Chaofei Fan（Stanford University）， Tingkai Liu（Microsoft）， Han Yu（Columbia University）， Trung Le（University of Washington）， Jingyuan Li（Amazon）， Scott Linderman（Stanford University）， Lea Duncker（Columbia University）， Francis R Willett（Stanford University）， Nima Mesgarani（Columbia University）， Liam Paninski（Columbia University） 💡 毒舌点评 这篇论文堪称BCI语音解码领域的“系统集成大师”，它巧妙地将跨物种预训练、Transformer编码器和音频LLM这几个当前最时髦的模块组装成一个性能SOTA的端到端框架，展现了强大的工程整合能力和扎实的实验功底。然而，其核心创新更多在于“组合”而非“发明”，且最终端到端性能仍未超越精心调优的级联系统，这或许暗示了“神经信号直接生成文本”这条路还有很长的坡要爬。 ...

📄 Automatic Stage Lighting Control: Is it a Rule-Driven Process or Generative Task? #音乐生成 #端到端 #预训练 #迁移学习 ✅ 7.0/10 | 前25% | #音乐生成 | #端到端 | #预训练 #迁移学习 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zijian Zhao（香港科技大学） 通讯作者：Xiaoyu Zhang（香港城市大学） 作者列表：Zijian Zhao（香港科技大学）、Dian Jin（香港理工大学）、Zijing Zhou（香港大学）、Xiaoyu Zhang（香港城市大学） 💡 毒舌点评 亮点：论文开创性地将自动舞台灯光控制（ASLC）从“规则映射”问题重新定义为“生成任务”，并基于BART设计了端到端的Skip-BART模型，其生成效果在人工评估中已接近专业灯光师水平，概念和方法均有新意。短板：尽管开创了新范式，但其构建的RPMC-L2数据集仅包含约700个摇滚/朋克/金属风格的现场演出片段，规模和多样性有限，这严重制约了模型在更广泛音乐类型和复杂舞台场景下的泛化能力上限。 🔗 开源详情 代码：是，提供完整代码仓库链接：https://github.com/RS2002/Skip-BART 模型权重：是，提供训练好的模型参数供下载。 数据集：是，提供了处理后的数据集（RPMC-L2）下载链接。 Demo：论文中未提及在线演示。 复现材料：论文在附录中提供了详细的预训练配置（附录A）、实验设置（附录B）和数据集构建细节（附录C），包括所有超参数、损失函数权重和数据处理流程，复现信息非常充分。 引用的开源项目：论文依赖并引用了多个开源工具/模型，包括：PianoBART（用于迁移学习的骨干）、OpenL3（音频特征提取）、PyTorch（深度学习框架），以及用于生成对比歌曲的Suno。 📌 核心摘要 问题：现有的自动舞台灯光控制（ASLC）大多依赖将音乐分类到有限类别后映射到预设灯光模式，导致结果公式化、单调且缺乏合理性。作者认为灯光控制本质上是艺术创作过程，而非简单的规则映射。 方法：论文首次提出将ASLC视为一个生成任务，并提出了端到端深度学习模型 Skip-BART。该模型以BART为骨干，使用OpenL3提取音频特征，通过离散嵌入处理灯光数据（HSV色彩空间的色相H和明度V）。其核心创新是引入跳连接机制，显式对齐音乐帧与灯光帧，以增强时序对应关系。训练过程采用掩码语言模型（MLM）预训练和端到端微调，并结合了迁移学习（PianoBART）和受限随机温度控制（RSTC）采样。 创新：与传统分类-映射范式相比，新在：(1) 将ASLC建模为序列到序列的生成问题；(2) 设计了包含跳连接的Skip-BART架构；(3) 构建了首个专门的ASLC数据集RPMC-L2。 实验结果：在自建的RPMC-L2数据集上，Skip-BART在定量指标（RMSE, MAE, corr(|Δ|)）上显著优于规则基线方法（见下表）。人工评估（38名参与者）显示，Skip-BART的总体评分（M=4.35）与真实灯光师（M=4.51）无显著差异（p=0.724），但显著高于规则方法（M=2.67，p<0.001）。 | 方法 | RMSE↓ (Hue) | RMSE↓ (Value) | MAE↓ (Hue) | MAE↓ (Value) | corr(|Δ|)↑ (Hue) | corr(|Δ|)↑ (Value) | | :— | :— | :— | :— | :— | :— | :— | | Rule-based | 48.67 | 93.39 | 43.43 | 86.55 | 0.50 | 0.58 | | Skip-BART | 36.13 | 60.74 | 28.72 | 51.27 | 0.88 | 2.94 | ...

📄 End-to-end Listen, Look, Speak and Act #语音对话系统 #端到端 #多模态模型 #大语言模型 #流式处理 🔥 8.5/10 | 前25% | #语音对话系统 | #端到端 | #多模态模型 #大语言模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Siyin Wang (清华大学)， Wenyi Yu (清华大学) [论文中注明两人贡献相等] 通讯作者：Chao Zhang (清华大学) 作者列表：Siyin Wang (清华大学)， Wenyi Yu (清华大学)， Xianzhao Chen (字节跳动)， Xiaohai Tian (字节跳动)， Jun Zhang (字节跳动)， Lu Lu (字节跳动)， Yuxuan Wang (字节跳动)， Chao Zhang (清华大学) 💡 毒舌点评 这篇论文的亮点在于其清晰的架构设计（SA-MoE）和全面的任务验证，成功地将“说”和“做”这两个通常分离的能力整合到了一个全双工框架中，向类人交互迈出了扎实的一步。但短板也同样明显：目前所有验证都停留在模拟环境（LIBERO, CALVIN），缺乏真实世界复杂场景的考验，且“同时说话和操作”时性能出现可感知的下降，暴露出当前模型在处理真正高强度并发多任务时仍显吃力。 ...

📄 From Text to Talk: Audio-Language Model Needs Non-Autoregressive Joint Training #语音对话系统 #扩散模型 #端到端 #多模态模型 #大语言模型 🔥 8.5/10 | 前25% | #语音对话系统 | #扩散模型 | #端到端 #多模态模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Tianqiao Liu（好未来教育集团 TAL Education Group，暨南大学 Guangdong Institute of Smart Education） 通讯作者：Xueyi Li（暨南大学 Guangdong Institute of Smart Education） 作者列表：Tianqiao Liu（好未来教育集团，暨南大学）、Xueyi Li（暨南大学）、Hao Wang（北京大学）、Haoxuan Li（北京大学）、Zhichao Chen（北京大学）、Weiqi Luo（暨南大学）、Zitao Liu（暨南大学） 💡 毒舌点评 论文对端到端语音模型中文本与音频生成范式错配问题的洞察一针见血，并给出了一个理论上优雅、实验上有效的混合训练框架，是当前S2S建模思路的一次重要升级。但论文对模型推理时块级扩散的计算开销分析着墨不多，且训练数据依赖大量合成语音（如CosyVoice2生成），其在真实复杂声学环境下的泛化能力仍是潜在挑战。 🔗 开源详情 代码：论文明确提供了代码仓库链接：https://github.com/ai4ed/TtT。 模型权重：论文中未提及预训练模型权重（如Pretrain+TtT的检查点）的公开下载链接。 数据集：论文中使用的训练数据大多为公开数据集（如AISHELL, LibriSpeech, VoiceAssistant-400K等），但具体的数据处理脚本和混合配方未完全开源。评估数据集如URO-Bench、Audio-QA集等为公开基准。 Demo：论文中未提及提供在线演示（Demo）。 复现材料：论文提供了极其详细的训练细节（超参数、优化器设置、训练策略概率）、模型配置（基于Qwen2.5）、以及架构和注意力机制的示意图（图2, 3），并附有详尽的附录。这些构成了坚实的复现基础。 引用的开源项目：论文依赖并引用了多个开源项目作为基础组件，主要包括： 音频分词器/解码器：GLM-4-Voice (Zeng et al., 2024)。 主干LLM：Qwen2.5系列。 ASR评估工具：Whisper (Radford et al., 2023)、Paraformer。 TTS数据生成：CosyVoice2。 训练框架：DeepSpeed。 论文中提及的开源计划：论文中未提及额外的开源计划（如未来发布模型权重或扩展数据）。 📌 核心摘要 本文针对现有端到端语音到语音（S2S）模型用统一自回归（AR）方法建模文本和音频所存在的范式错配问题，提出了“Text-to-Talk”（TtT）框架。核心问题在于，文本生成是强序列依赖的（目标-目标依赖），而音频生成更依赖输入源（源-目标依赖），强行用AR约束音频会引入不必要的误差传播。方法核心是设计一个混合生成框架，在同一个Transformer中，对文本使用标准AR建模，对音频段使用吸收离散扩散（一种NAR范式）建模，并证明了这种联合训练目标是目标联合分布的上界。与已有方法相比，新在两点：1）首次识别并形式化了文本与音频在依赖结构上的不对称性；2）提出了一个统一的架构和训练框架来适配这种不对称性，而非强行统一生成范式。主要实验结果显示，TtT在Audio-QA、ASR、AAC和URO-Bench等多个基准上，一致超越了纯AR和纯NAR的基线模型。例如，在3B参数规模下，TtT在多个ASR数据集上的WER大幅优于Qwen2.5-3B (AR)，在Audio-QA任务上也显著提升。实际意义在于，为构建更自然、高效、符合生成特性的端到端语音交互系统提供了新思路。主要局限性包括：1）块级扩散推理的效率需要进一步评估；2）模型性能对大规模多模态预训练数据（约200B tokens）有一定依赖；3）尽管在轻量级模型中表现优异，但与某些超大参数量模型（如GLM-4-Voice）在综合基准上仍有差距。 ...