多语言

📄 Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs #语音编辑 #大语言模型 #多语言 #对比学习 ✅ 6.5/10 | 前25% | #语音编辑 | #大语言模型 | #多语言 #对比学习 | arxiv 学术质量 5.5/8 | 影响力 0.5/2 | 可复现性 0.5/1 | 置信度 中 👥 作者与机构 第一作者：Deepak Kumar (IIT Patna) 通讯作者：未说明 作者列表：Deepak Kumar (IIT Patna), Baban Gain (IIT Patna), Asif Ekbal (IIT Patna) 💡 毒舌点评 亮点：论文提出的“先标注，再用LLM在对比学习约束下改写”的多阶段流水线思路清晰，将token级的信号与生成模型的能力相结合，为解决语音转录后处理提供了一个逻辑自洽且易于理解的框架，特别聚焦于多语言场景。 短板：实验部分仅针对三种印度语言展开，缺乏与当前强大的通用文本纠错或改写LLM方法（如基于T5/BART的纠错模型）的细致对比，削弱了方法先进性的说服力；此外，作为核心创新点的对比学习具体实现细节在摘要中描述不足。 📌 核心摘要 要解决什么问题：自动语音识别（ASR）的转录文本中常含有填充词、重复、错误起始等不流畅片段，降低了可读性，并可能损害下游应用（如聊天机器人、语音助手）的性能。现有基于删除的方法会破坏语法结构和语义连贯性。 方法核心是什么：提出一个多语言的纠正流程。首先，一个序列标注器（如BiLSTM-CRF）识别并标记出不流畅的token。然后，这些标记信号被用作指令，指导一个大语言模型（LLM）进行指令微调，将原始转录改写为流畅文本。为了进一步提高可靠性，训练中引入了一个对比学习目标，惩罚模型生成不流畅token，鼓励其保留语法和意义。 与已有方法相比新在哪里：1) 区别于以往仅关注检测或删除不流畅token的方法，本方法执行全面的“改写”。2) 将序列标注器的输出作为LLM指令微调的引导信号，形成两阶段流水线。3) 引入对比学习作为辅助目标，直接约束LLM的生成过程以避免不流畅现象。 主要实验结果如何：论文未提供具体的数值结果。但根据摘要，实验在印地语、孟加拉语和马拉地语三种语言上进行，显示该方法“一致性改进”了包括多语言序列到序列模型在内的强基线，并强调了仅检测策略的不足。 实际意义是什么：为处理多语言（尤其是可能低资源）的语音转录后处理提供了一个实用、可扩展的解决方案，有助于提升语音驱动NLP系统的可靠性。 主要局限性是什么：实验仅限于三种印度语言，其对更广泛语言的适用性有待验证；摘要中未提及与当前强大的通用文本纠错或改写LLM方法的详细对比。 🔗 开源详情 代码：https://github.com/deepak-kumar-98/Mind-the-Pause 模型权重：未提及 数据集：未提及 Demo：未提及 复现材料：未提及 论文中引用的开源项目：未提及 🏗️ 方法概述和架构 本文提出一个名为“Mind the Pause”的多阶段多语言语音转录纠错流水线。该系统并非一个单一的端到端模型，而是一个由多个组件协同工作的两阶段框架。 ...

📄 Towards Fine-Grained Multi-Dimensional Speech Understanding: Data Pipeline, Benchmark, and Model #语音理解 #渐进式课程学习 #基准测试 #数据集 #多语言 前25% | #语音理解 | #渐进式课程学习 | #基准测试 #数据集 | arxiv 学术质量 6.0/8 | 影响力 1.6/2 | 可复现性 0.7/1 | 置信度 高 👥 作者与机构 第一作者：Guojian Li（论文未明确标注，按列表顺序推断） 通讯作者：未说明（论文仅标注“*Corresponding authors”，但未指明具体作者） 作者列表：Guojian Li, Zhixian Zhao, Zhennan Lin, Jingbin Hu, Qirui Zhan, Yuang Cao, Pengyuan Xie, Chuan Xie, Jie Liu, Qiang Zhang, Zhonghua Fu, Lei Xie。 所有作者所属机构：未在论文中提供。 💡 毒舌点评 这篇工作的核心价值在于其“三位一体”的系统性贡献——试图为“细粒度多维语音理解”这一新兴方向同时定义问题、提供评测工具和提出模型方案���其构建的FMSU-Bench基准，特别是引入“语义陷阱”干扰项，对评估模型是否真正“听声”而非“读文”具有重要启发意义。然而，整套方案的基石——数据生产流水线，严重依赖黑箱商业模型（Gemini 2.5 Pro）进行核心标注，这使得后续所有工作的数据源都建立在一个不可控、可能引入系统性偏差且难以复现的基础上。本质上，这更像是一次利用强大工具进行的数据工程和系统集成，而非提出新的感知原理。此外，模型在部分关键微细声学任务（如音高）上性能的显著下降，暴露了当前方法在触及问题本质上的不足。 ...

📄 What makes a word hard to learn? Modeling L1 influence on English vocabulary difficulty #词汇难度预测 #梯度提升决策树 #多语言 #数据集 📝 5.0/10 | 前50% | #词汇难度预测 | #梯度提升决策树 | #多语言 #数据集 | arxiv 学术质量 5.5/8 | 影响力 1.5/2 | 可复现性 0.8/1 | 置信度 高 👥 作者与机构 第一作者：Jonas Mayer Martins (University of Göttingen, Germany) 通讯作者：Lisa Beinborn (University of Göttingen, Germany) 作者列表：Jonas Mayer Martins (University of Göttingen, Germany), Zhuojing Huang (University of Göttingen, Germany), Aaricia Herygers (University of Göttingen, Germany), Lisa Beinborn (University of Göttingen, Germany) 💡 毒舌点评 论文巧妙地将语言迁移理论融入可解释的机器学习框架，清晰地揭示了不同母语背景学习者学习英语词汇时的“难度地图”差异，具有直接的教育应用潜力。然而，其核心迁移特征——字符n-gram相似度——是一个极其粗糙的代理指标，完全忽略了语义、语音和词源层面的迁移，这使得对“迁移”机制的建模深度和结论的普适性大打折扣。 ...

📄 Dolphin-CN-Dialect: Where Chinese Dialects Matter #语音识别 #端到端 #多语言 #低资源 #数据增强 📝 5.5/10 | 前50% | #语音识别 | #端到端 | #多语言 #低资源 | arxiv 学术质量 5.5/8 | 影响力 1.5/2 | 可复现性 0.5/1 | 置信度 中 👥 作者与机构 第一作者：Yangyang Meng, Huihang Zhong, Guodong Lin, Guanbo Wang, Hu Du（论文中标注为共同第一作者，*） 通讯作者：Zhiming Shao, Wei-Qiang Zhang（论文中标注为通讯作者，†） 作者列表：Yangyang Meng (Dataocean AI)， Huihang Zhong (Dataocean AI)， Guodong Lin (Dataocean AI)， Guanbo Wang (Dataocean AI)， Hu Du (Dataocean AI)， Zhiming Shao (Speech and Audio Technology Lab, Dept. EE, Tsinghua University)， Yukai Huang (Dataocean AI)， Ke Li (Dataocean AI)， Wei-Qiang Zhang (Speech and Audio Technology Lab, Dept. EE, Tsinghua University) 💡 毒舌点评 亮点：工程实践导向明确，提出的温度采样策略有效缓解了方言数据长尾问题，且在小参数量模型上取得了有竞争力的结果，对工业部署友好。双路热词偏置框架的评估较为全面，包括了Oracle分析。 短板：核心贡献多为对已有技术的组合与工程调优，缺乏模型架构或训练范式上的根本性创新；关键超参数（如α）的选择和消融实验缺失，影响了方法深度；大量依赖未公开的内部数据集，使得对比实验的公平性和复现性存疑。 ...

📄 RADAR Challenge 2026: Robust Audio Deepfake Recognition under Media Transformations #音频深度伪造检测 #基准测试 #多语言 #鲁棒性 ✅ 6.0/10 | 前50% | #音频深度伪造检测 | #基准测试 | #多语言 #鲁棒性 | arxiv 学术质量 6.0/8 | 影响力 0.7/2 | 可复现性 0.4/1 | 置信度 高 👥 作者与机构 第一作者：Hieu-Thi Luong（Fortemedia, Singapore） 通讯作者：Hieu-Thi Luong（radar-challenge@hieuthi.com） 作者列表：Hieu-Thi Luong（Fortemedia, Singapore）、Xuechen Liu（Xi’an Jiaotong-Liverpool University, China）、Ivan Kukanov（KLASS Engineering & Solutions, Singapore）、Zheng Xin Chai（KLASS Engineering & Solutions, Singapore）、Kong Aik Lee（The Hong Kong Polytechnic University, Hong Kong SAR, China） 💡 毒舌点评 亮点：论文系统性地定义了一个面向真实媒体传播管道的、多语言音频深度伪造检测评测挑战，并发布了大规模的数据集。这为评估模型在复杂现实条件下的鲁棒性提供了一个有价值的、更贴近实际的基准。短板：作为一篇典型的挑战赛总结报告，其核心贡献在于“搭建评测舞台”而非“提出新方法”，因此在算法创新性、深度理论分析和对获胜方法的深入探讨上存在固有局限。文章更像一份详实的“技术文档”和“结果公告”，而非一篇探索性的研究论文。 ...

📄 Rethinking Entropy Minimization in Test-Time Adaptation for Autoregressive Models #语音识别 #领域适应 #自回归模型 #多语言 ✅ 6.0/10 | 前40% | #语音识别 | #领域适应 | #自回归模型 #多语言 | arxiv 学术质量 6.0/8 | 影响力 1.5/2 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Wei-Ping Huang（台湾大学电信工程学研究所） 通讯作者：Hung-yi Lee（台湾大学电信工程学研究所） 作者列表：Wei-Ping Huang（台湾大学电信工程学研究所）、Chee-En Yu（台湾大学电信工程学研究所）、Guan-Ting Lin（台湾大学电信工程学研究所）、Hung-yi Lee（台湾大学电信工程学研究所） 💡 毒舌点评 亮点：理论推导严谨扎实，成功为自回归模型的熵最小化测试时自适应（TTA）提供了第一个统一的数学框架，将先前碎片化的teacher-forcing和RL方法整合到一起，理论贡献清晰且有价值。 短板：理论的普适性声称与实验的验证范围存在显著落差。论文提出了一个声称适用于“任何自回归模型”的通用框架，但所有实验仅在Whisper ASR模型和语音识别任务上进行验证。这使得其“统一”和“通用”的说服力打了折扣，更像是一项针对特定场景的优秀理论分析，而非一个经受了广泛考验的通用解决方案。 📌 核心摘要 要解决的问题：在自回归模型的测试时自适应（TTA）中，熵最小化（EM）方法缺乏统一的数学基础。现有方法要么基于teacher-forcing启发式（直接最小化token熵），要么基于强化学习策略梯度，二者理论不完整且关系不清，导致实现方式碎片化。 方法核心：论文从第一性原理出发，严格推导了适用于自回归模型的EM正确梯度表达式。核心理论贡献在于证明：最小化期望熵的完整目标，可以自然分解为两个可优化的损失分量：token级策略梯度损失和token级熵损失。先前仅优化其中一个分量的启发式方法（如teacher-forcing对应token熵损失，RL对应策略梯度损失）被证明只是这一统一目标的部分实现。论文还通过定理1严格证明了token级熵估计器的无偏性。 与已有方法相比新在哪里：提供了首个严谨推导的、适用于自回归模型的完整EM梯度公式，并从理论上统一了先前看似矛盾的teacher-forcing和RL范式。将该理论应用于Whisper ASR，在超过20个多样化域上系统地验证了完整目标相对于简化启发式方法的有效性。 主要实验结果：在Whisper-base模型上，所提出的EM-tok和EM-tok-b（使用波束搜索）方法在Corrupted LibriSpeech、L2-Arctic和MLS数据集上，平均WER均显著优于源模型和主要基线Greedy-EM（仅使用token熵损失）。例如，在Corrupted LibriSpeech上，源模型平均WER为22.53%，Greedy-EM为21.91%，EM-tok-b降低至19.15%，相对提升约15%。在L2-Arctic上，EM-tok-b将平均WER从19.35%降至16.21%，相对提升约16%。 实际意义：为基于熵最小化的自回归模型TTA提供了正确的理论指导，揭示了现有启发式方法的理论不足（即梯度不完整）。通过在Whisper ASR上的大规模实验证明，使用完整梯度表达式能带来一致且显著的性能提升，为该领域后续研究奠定了基础。 主要局限性：计算开销大，需要多次采样（G=16）和多步适应（T=10），实时性差；实验验证仅限于Whisper ASR模型，未在其他自回归架构（如LLM）上验证方法的普适性；与近期其他先进的语音TTA方法缺乏直接性能对比。 🔗 开源详情 代码：论文中未提及任何代码开源计划或链接。 模型权重：论文使用的基础模型为 Whisper-base，并提供了其官方HuggingFace链接：https://huggingface.co/openai/whisper-base。未提供微调或适应后的模型权重。 数据集： Corrupted Librispeech (LS-C)：论文中提及该数据集是在 Librispeech test-other 集上添加 MS-SNSD 噪声构建而成，但未提供数据集的直接下载链接。 L2Arctic：论文中提及这是一个非母语英语语音语料库，但未提供数据集的直接下载链接。 Multilingual LibriSpeech (MLS)：论文中提及这是一个包含 7 种语言的多语言语音语料库，并提供了数据集链接：https://github.com/facebookresearch/mls-datasets。 Demo：论文中未提及。 多样性：论文中提到在 Whisper ASR 上验证了方法，涵盖了超过 20 个不同领域，包括声学噪声、口音和多语言设置。 复现材料：论文中未提及完整的复现代码、检查点或详细配置文件。但提供了一些实现细节，如使用 AdamW 优化器（学习率 1e-3），在单个 NVIDIA RTX 3090 GPU 上进行实验。 论文中引用的开源项目： TENT：计算机视觉领域EM-TTA的开创性工作。 CoTTA：计算机视觉领域扩展EM-TTA的工作。 SAR：计算机视觉领域扩展EM-TTA的工作。 SUTA：语音处理领域首次将TTA引入非自回归ASR模型（wav2vec 2.0-CTC）的工作。 Whisper：论文所用的基础ASR模型，链接：https://huggingface.co/openai/whisper-base。 SGEM：采用teacher-forcing启发式进行语音TTA的工作。 CEA：采用teacher-forcing启发式进行语音TTA的工作。 SLM-TTA：将类似启发方法应用于生成式语音语言模型的工作。 EM-FT / EM-RL-token / EM-RL-sequence：来自文献 [agarwal2025unreasonable] 的对比基线方法。 CommonVoice (cv)：用于超参数调整的语料库，链接：https://commonvoice.mozilla.org/。 DAPO：论文借鉴了其token-level归一化策略的工作。 REINFORCE：论文使用的基础RL算法。 RLOO：论文使用的leave-one-out baseline方差缩减技术。 🏗️ 方法概述和架构 整体流程概述：本文提出了一种用于自回归模型测试时自适应（TTA）的统一熵最小化（EM）框架。对于每个测试语音样本，该方法在推理前进行多步适应：首先，利用当前模型参数通过多次采样或波束搜索生成多个候选输出序列；然后，基于这些序列计算序列级和token级的熵估计值；接着，根据推导出的完整梯度表达式构造损失函数，仅对模型的LayerNorm参数进行若干步梯度更新；最后，使用更新后的模型进行一次贪心解码得到最终输出，然后参数重置。 ...

📄 Linear Semantic Segmentation for Low-Resource Spoken Dialects #语义分割 #大语言模型 #多语言 #低资源 #基准测试 #阿拉伯语方言 ✅ 7.5/10 | 前25% | #语义分割 | #大语言模型 | #多语言 #低资源 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kirill Chirkunov（Mohamed bin Zayed University of Artificial Intelligence） 通讯作者：Hanan Aldarmaki（Mohamed bin Zayed University of Artificial Intelligence） 作者列表：Kirill Chirkunov（Mohamed bin Zayed University of Artificial Intelligence），Younes Samih（IBM Research AI），Abed Alhakim Freihat（Mohamed bin Zayed University of Artificial Intelligence），Hanan Aldarmaki（Mohamed bin Zayed University of Artificial Intelligence） 💡 毒舌点评 亮点：论文的贡献是系统性的，而非单一的模型突破。其核心价值在于填补了一个关键空白：首次为低资源口语阿拉伯方言提供了经过严格人工标注的、涵盖多种口语体裁的线性语义分割基准（DialSeg-Ar），并在此基础上证明了现有强大模型（包括监督模型和“开箱即用”的LLM）在该任务上的系统性失效。论文提出的解决方案——在多语言LLM基础上进行领域自适应的微调，并引入辅助的分割恢复任务——有效且实用，为该领域设立了可靠的基线。短板：核心模型的创新确实更多体现在“领域适配”而非“架构发明”上，即对现有Gemma-3模型进行任务特异性微调。此外，研究完全基于文本转录，忽略了音频中的韵律、停顿等声学线索，这在处理真实口语对话时是一个明确的局限性，作者也在文末承认了这一点。评估也局限于分割任务本身，未验证对下游任务的影响。 ...

📄 MultiLinguahah : A New Unsupervised Multilingual Acoustic Laughter Segmentation Method #音频事件检测 #异常检测 #多语言 #自监督学习 #音频编码 🔥 8.5/10 | 前25% | #音频事件检测 | #异常检测 | #多语言 #自监督学习 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Sofia Callejas (Université Paris-Saclay LISN, Orsay, France) 通讯作者：论文中未明确标注通讯作者。 作者列表：Sofia Callejas (Université Paris-Saclay LISN, Orsay, France), Nahuel Gomez (Universidad de Chile DCC, Santiago, Chile), Catherine Pelachaud (Sorbonne University ISIR, Paris, France), Brian Ravenet (Université Paris-Saclay LISN), Valentin Barriere (Université Paris-Saclay LISN) 邮箱：论文提供了三个邮箱地址：@universite-paris-saclay.fr, @dcc.uchile.cl, @sorbonne-universite.fr。 💡 毒舌点评 该研究精准地指出了监督式笑声检测模型在“英语中心主义”训练下的跨语言失效问题，并用“笑声声学特征跨语言通用”这一洞察，通过无监督异常检测的巧妙设计来规避这一痛点，展现了清晰的问题导向思维。然而，其流水线中的“基于能量的音频分割”步骤在复杂噪声环境下可能成为瓶颈（论文也承认此为未来工作方向），且对笑声普遍存在的“社交-情感”语境信息完全忽视，仅依赖低级声学特征，这限制了其在高噪声或非典型笑声场景下的鲁棒性上限。 ...

📄 X-Voice: Enabling Everyone to Speak 30 Languages via Zero-Shot Cross-Lingual Voice Cloning #语音合成 #语音克隆 #流匹配 #多语言 #零样本 🔥 8.0/10 | 前25% | #语音克隆 | #流匹配 | #语音合成 #多语言 | arxiv 学术质量 6.0/7 | 选题价值 2.0/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Rixi Xu（上海交通大学，MoE Key Lab of Artificial Intelligence, X-LANCE Lab） 通讯作者：Xie Chen（上海交通大学，MoE Key Lab of Artificial Intelligence, X-LANCE Lab; 上海创新研究院） 作者列表：Rixi Xu（上海交通大学X-LANCE实验室）、Qingyu Liu（上海交通大学X-LANCE实验室; 约翰霍普金斯大学CLSP）、Haitao Li（浙江大学; 北京海天瑞声科技有限公司）、Yushen Chen（上海交通大学X-LANCE实验室; 上海创新研究院）、Zhikang Niu（上海交通大学X-LANCE实验室; 上海创新研究院）、Yunting Yang（吉利汽车研究院(宁波)有限公司）、Jian Zhao（吉利汽车研究院(宁波)有限公司）、Ke Li（北京海天瑞声科技有限公司）、Berrak Sisman（约翰霍普金斯大学CLSP）、Qinyuan Cheng（上海创新研究院; 复旦大学）、Xipeng Qiu（上海创新研究院; 复旦大学）、Kai Yu（上海交通大学）、Xie Chen（上海交通大学X-LANCE实验室; 上海创新研究院） 注：论文明确说明第一作者Rixi Xu与通讯作者Xie Chen贡献相当，且Xie Chen为通讯作者。 💡 毒舌点评 亮点在于其“两阶段免文本提示”训练范式非常巧妙，利用第一阶段模型生成的数据来训练第二阶段的免文本能力，形成了一个优雅的数据自举闭环，并且全套资源（数据、模型、评测）的开源诚意十足。短板是模型规模（0.4B）限制了其在极端复杂口音或高保真场景下的表现上限，且非流式推理的时延对于实时交互应用可能仍是一个瓶颈。 ...

📄 MiniMind-O Technical Report: An Open Small-Scale Speech-Native Omni Model #语音对话系统 #自回归模型 #端到端 #多语言 #流式处理 ✅ 7.5/10 | 前25% | #语音对话系统 | #自回归模型 | #端到端 #多语言 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Jingyao Gong (Independent Researcher) 通讯作者：Jingyao Gong (gongjy.cs@foxmail.com) 作者列表：Jingyao Gong (Independent Researcher) 💡 毒舌点评 亮点： 这篇论文堪称“开源全模态”的典范级实践，从模型架构、训练数据、到中间层状态桥接等每一个“工程细节”都被清晰设计并完整开源，为研究社区提供了一个可真正拆解和复现的语音原生全模态研究基座。短板： 然而，在0.1B这个参数规模下，模型在中长英文语音生成上的“音素漂移”和“漏词”问题暴露了其表达能力的上限，且评估侧重于内部一致性而非端到端的任务性能或用户感知，使其更像是一个优雅的技术验证原型，而非一个能直接解决实际问题的强劲方案。 📌 核心摘要 要解决什么问题： 旨在探索并证明在极小参数规模（0.1B）下，构建一个完整的、可复现的语音原生全模态（文本/语音/图像输入 -> 文本/流式语音输出）交互循环的可行性。 方法核心是什么： 采用分离的Thinker（负责语义推理）和Talker（负责语音生成）架构。核心创新在于：a) 使用Thinker的中间层隐状态（而非最终层）作为语义桥梁注入Talker，以提供更纯净的声学条件；b) 对Mimi八码本的嵌入和输出头采用低秩适配器参数化，实现参数高效接口；c) 设计并公开了完整的多模态序列格式和训练数据集。 与已有方法相比新在哪里： 不同于追求大规模和高性能的前沿全模态模型，本文专注于在小规模、全开源、可严格复现的约束下，系统研究并量化影响全模态循环的关键设计选择（如桥接层位置、Talker宽度、码本接口等）。同时，模型通过上下文提示（参考码本流+说话人嵌入）实现灵活的声音克隆，而非依赖独立的TTS模块。 主要实验结果如何： 论文报告了两个关键评估结果： 一致性（CER）： 在Thinker-Talker一致性评估中，Dense和MoE变体的平均CER分别为0.0897和0.0900。消融实验表明，768维的Talker宽度是稳定工作的必要条件。 语音克隆（CAM++相似度）： 整体声音克隆相似度分别为0.5995（Dense）和0.5937（MoE），相比仅使用参考码本的基线有提升。 在与Mini-Omni2等更大模型的跨模型英文T2A对比中，minimind-3o在短句（≤15词）上CER/WER接近，但在中长句（16-30词）上差距显著（如minimind-3o CER: 0.1327 vs. Mini-Omni2 CER: 0.0062）。 实际意义是什么： 为语音大模型/全模态模型的研究提供了一个完全透明、可修改、可在消费级GPU（4x RTX 3090）上复现的小规模研究平台。它证明了在资源受限下，通过精心设计桥接层、参数高效接口和开放数据，也能构建并训练一个功能完整的语音原生循环。 主要局限性是什么： a) 性能天花板低：在语音自然度和长文本稳定性上远落后于大型模型；b) 视觉通路弱：使用冻结的SigLIP2和简单MLP投影器，更接近简化的图像描述而非强大的视觉理解；c) 评估窄：主要评估输出文本一致性（CER/WER），缺乏自然度、延迟、鲁棒性等更全面的评估。 🔗 开源详情 代码：https://github.com/jingyaogong/minimind-o 模型权重： HuggingFace：https://huggingface.co/collections/jingyaogong/minimind-o ModelScope：https://modelscope.cn/collections/gongjy/minimind-o 数据集：论文中提及了公开发布的训练数据集，用于复现模型。具体数据集（sft_t2a, sft_i2t, sft_a2a）的Parquet格式文件及获取方式，应通过上述代码仓库或模型集合页面获取。论文未提及单独的、独立的数据集存储库链接。 Demo：论文中未提及独立的在线演示链接。但附录B指出，代码发布中包含了一个HTML演示页面，其中包含可播放的音频示例。 复现材料： 训练配置：论文详细说明了训练流程（train_sft_omni.py）、数据模式（sft_t2a, sft_i2t, sft_a2a）、训练超参数（如学习率、批大小）、硬件要求（4张NVIDIA RTX 3090 GPU）和各阶段训练时间。 检查点：模型权重（检查点）已发布在HuggingFace和ModelScope上。 附录：提供了详细的模块配置、参��计数和评估结果表格。 论文中引用的开源项目： MiniMind (基础语言模型)：https://github.com/jingyaogong/minimind SenseVoice-Small (音频编码器)：论文中引用其来源为 An and others, 2024，但未提供直接链接。通常可通过其官方仓库获取，例如：https://github.com/FunAudioLLM/SenseVoice SigLIP2 (视觉编码器)：论文中引用其来源为 Tschannen et al., 2025，未提供直接链接。 Mimi (音频编解码器)：论文中引用其来源为 Défossez et al., 2024，未提供直接链接。这是Moshi模型的一部分。 CAM++ (说话人嵌入)：论文中引用其来源为 Wang et al., 2023b，未提供直接链接。 Qwen3-ASR-Flash (用于评估的ASR)：论文中引用但未提供链接。 Qwen-VL-Plus (用于视觉评估的参考生成)：论文中引用但未提供链接。 🏗️ 模型架构 Figure 1: MiniMind-O 架构总览。音频和图像由冻结的编码器处理，通过MLP投影器注入到Thinker对应模态的占位符位置。一个中间层的Thinker状态与Mimi码本历史被独立的Talker融合，以预测八个码本层的流式语音。 ...