自监督学习

📄 MindAlign: Decoding Inner Speech from fMRI Signals via Multimodal Embedding Alignment under Limited Data #语音识别 #低资源 #数据增强 #多模态模型 #自监督学习 #参数高效微调 5.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.8/10 | 前50% | #语音识别 | #数据增强 | #低资源 #多模态模型 | arxiv 👥 作者与机构 作者：Muxuan Liu, Ichiro Kobayashi, Satoshi Nishida。第一作者Muxuan Liu和第二作者Ichiro Kobayashi隶属于日本御茶水女子大学（Ochanomizu University）人文与科学研究生院；第三作者Satoshi Nishida隶属于日本国立信息通信技术研究所（NICT）先进ICT研究所信息与神经网络中心（CiNet）。 ...

📄 On the Effect of Segmentation Width and Cluster Size on Speech Resynthesis and Continuation in Generative Spoken Language Models #语音合成 #语音生成 #自监督学习 #低资源 #数据增强 7.4/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.4/10 | 前25% | #语音合成 | #自监督学习 | #语音生成 #低资源 | arxiv 👥 作者与机构 Shunsuke Kando (东京大学) Wataru Nakata (庆应义塾大学) Shinnosuke Takamichi (东京大学) Yusuke Miyao (庆应义塾大学) ...

📄 Online Predictive Coding for Dual-Mode Self-Supervised Speech Model #语音识别 #自监督学习 #预训练 7.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.2/10 | 前50% | #语音识别 | #自监督学习 | #预训练 | arxiv 👥 作者与机构 Keita Goto\(^{1}\), Takashi Maekaku\(^{1}\), Jin Sakuma\(^{1}\), Jinchuan Tian\(^{2}\), Yusuke Shinohara\(^{1}\), Shinji Watanabe\(^{1}\) \(^{1}\) LY Corporation, Tokyo, Japan \(^{2}\) Carnegie Mellon University, PA, USA ...

📄 Physics-Informed Neural Operator for Speech Production Analysis #语音合成 #自监督学习 6.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 6.7/10 | 前50% | #语音合成 | #自监督学习 | arxiv 👥 作者与机构 Yokota, Kazuya (1) Luan, Xinmeng (2) Mohapatra, Debasish Ray (3) Scavone, Gary (2) Fels, Sidney (3) 1 Department of Mechanical Engineering, Nagaoka University of Technology, Japan 2 Schulich School of Music, McGill University, Canada 3 Department of Electrical and Computer Engineering, University of British Columbia, Canada ...

📄 SDP-Codec: A Speaker-Decoupled Speech Codec with Pitch Injection for Low-Bitrate Coding and Zero-Shot Voice Conversion #语音编码 #自监督学习 7.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7.2/10 | 前50% | #语音编码 | #自监督学习 | arxiv 👥 作者与机构 作者：Hounsu Kim, Juhan Nam 机构：Graduate School of Culture Technology, KAIST, Daejeon, South Korea 💡 毒舌点评 亮点：终于有人想着别让编解码器把说话人信息都塞进内容token里了。单阶段训练的设计很务实，避免了那些花里胡哨的多阶段对抗训练。把FCPE的soft-label loss拿来做pitch reconstruction，思路清晰。在说话人相似度（SECS）和F0相关性上的提升是实打实的，特别是16kHz的大模型版本，在VC任务上吊打了BiCodec和MSRCodec，这个结果很有说服力。消融实验也做得扎实，把连续特征、pitch loss和F0注入的作用讲得比较明白。 ...

📄 Speaker Identity in Non-Verbal Vocalizations: Conditional Distillation and Mixture of Experts Approach #说话人验证 #知识蒸馏 #自监督学习 9.1/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 9.1/10 | 前25% | #说话人验证 | #知识蒸馏 | #自监督学习 | arxiv 👥 作者与机构 Tzu-Chieh Wei (jeff20020302@gmail.com), Yi-Cheng Lin (even.dlion8@gmail.com), Huang-Cheng Chou, Kuan-Yu Chen, Hsin-Yen Sung (tlkagkb93901106@gmail.com), Shrikanth Narayanan, Hung-yi Lee. 机构： ...

📄 Towards Detecting Neural Audio Codec Synthesized Heart Sounds #自监督学习 8.7/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 🔥 8.7/10 | 前50% | #自监督学习 | #自监督学习 | arxiv 👥 作者与机构 Chetia Phukan (UPES, India), Mujtaba Akhtar (NTHU, Taiwan), Kuwar Behera (VBSPU, India), Buduru (VBSPU, India), Girish Orcha (Independent Researcher, India), Mohd Bhavinkumar Vinodbhai (IIIT-Delhi, India), Swarup Ranjan (IIIT-Delhi, India), Arun Balaji (IIIT-Delhi, India)。 注：已有分析未提供此信息，根据原文补充。 ...

📄 Using Phonological-Level Wav2Vec2 for Mandarin Automatic Mispronunciation Detection and Diagnosis #语音识别 #自监督学习 8.3/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8.3/10 | 前25% | #语音识别 | #自监督学习 | arxiv 👥 作者与机构 作者：Chen, Shahin, Ahmed 机构：School of Electrical Engineering and Telecommunications, UNSW, Australia 💡 毒舌点评 论文提出解决一个实际问题（普通话MDD的细粒度诊断），动机合理，框架设计也系统。但问题在于“硬伤”太明显：评估集LATIC只有4个说话人、4小时数据，这简直像是玩具集，用来验证一个旨在解决“多样化学习者”问题的框架，说服力严重不足。作者声称“第一个系统框架”，但未充分论证该框架相较于先前属性建模工作（在非普通话上）或简单端到端模型的核心增量价值。声调建模部分的分析浅尝辄止，Tone-PT在T1/T2上高FRR的根源到底是什么？是属性定义问题（Offset-5）还是模型本身抓不住高平调特征？论文只是描述了现象，没有深挖。与更近期、更强的基线（如Conformer）对比的缺失，让人怀疑性能提升究竟是来自精巧的属性建模，还是仅仅因为用了XLSR-53这个强力骨干。代码开源是好事，但无法弥补方法和实验上的上述短板。 📌 核心摘要 本文针对普通话L2学习者的自动发音错误检测与诊断（MDD）任务，提出一种基于语音学属性的建模框架。核心动机在于，现有端到端MDD系统虽能提升检测准确率，但诊断反馈粗粒度，未显式区分段音（声母、韵母）和声调错误。本文贡献在于：1）设计并映射了一个涵盖段音发音方式、发音部位、元音特征和声调（包括类别标签和音高目标描述符两种表示）的二值化语音学属性清单；2）在一个统一的wav2vec2-CTC架构内，通过多标签目标联合预测这些属性序列；3）设计多层次诊断流程，在推理时通过比较预测与参考属性向量提供属性级反馈，并通过“属性到音素转录器”生成音素级反馈。实验在Common Voice 13 (CN)上训练，在AISHELL-1上进行跨语料库属性识别评估，在专用非母语者语料库LATIC上进行MDD评估。结果表明，与基线音素模型相比，所提方法在LATIC上将错误接受率（FAR）降低了10.1%，诊断错误率（DER）降低了23.6%。消融研究比较了不同的音素表示（IPA-S vs. IPA-D）和声调建模策略（Tone-Cat vs. Tone-PT），发现分解双元音（IPA-D）对降低属性识别错误率（AER）贡献显著，而Tone-PT在声调诊断上能降低DER但可能增加FAR。 ...

📄 A Comparative Study of Pretrained Transformer Models for Quranic ASR: Speech Representations, Label Formats, and Dataset Composition #语音识别 #自监督学习 7.2/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.2/10 | 前50% | #语音识别 | #自监督学习 | arxiv 👥 作者与机构 作者: Nabil Mosharraf Hossain (Greentech Apps Foundation), Riasat Islam (Queen Mary University of London), Unaizah Obaidellah (University of Malaya) ...

📄 A Survey of Full-Duplex Spoken Dialogue Systems: Architectural Hierarchy, Interaction Ontology, and Decision State Machine #语音合成 #语音识别 #自监督学习 #数据集 7.4/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 0.6/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.4/10 | 前50% | #语音合成 | #自监督学习 | #语音识别 #数据集 | arxiv 👥 作者与机构 作者：Jingyu Lu, Yuhan Wang, Jianming Luo, Yifu Chen, Tianle Liang, Shengpeng Ji, Ziyue Jiang, Xiaoda Yang, Yu Zhang, Xize Cheng, Chenyuhao Wen, Changhao Pan, Haoxiao Wang, Chen Ye, Jian Wu, Xiaoxi Jiang, Guanjun Jiang, Zhou Zhao。 机构：浙江大学（1），阿里巴巴通义事业群（2），腾讯混元团队（3），字节跳动（4）。 ...

📄 Beyond Speaker Independence: Evaluating Cross-Lingual Acoustic-to-Articulatory Inversion Across Finnish and Russian #自监督学习 #低资源 4.9/10 | 创新 1/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.2/1.5 📝 4.9/10 | 后50% | #自监督学习 | #自监督学习 | #低资源 | arxiv 👥 作者与机构 Ruchi Pandey, Tomi H. Kinnunen。 University of Eastern Finland, Finland。 💡 毒舌点评 这篇论文的“野心”在于为跨语言AAI建立一个干净的评估框架，这本身是值得肯定的，就像在一个嘈杂的厨房里坚持用标准度量衡。然而，其“骨感”之处在于执行力度的不足。首先，作为一篇声称建立“基准”的论文，其核心贡献——FROST-EMA数据集——竟然是“犹抱琵琶半遮面”，没有提供公开获取途径，这严重削弱了其作为社区基准的可重复性和影响力，堪称“基准”二字的最大讽刺。其次，实验部分的核心发现（跨语言错配影响大于跨性别错配）虽然听起来合理，但支撑它的实验设计存在明显短板：消融实验仅锚定在FIN-M这一单一组别，其结论的普适性存疑；文中声称“首次”隔离了性别和语言因素，但对比的基线工作（wieling2017analysis, yan2023combining）本就存在混淆因素，这种“首次”的价值打了折扣。更关键的是，论文的终极武器——自监督学习特征（SSL）——虽然赢了MFCC，但赢的并不光彩：其比较是“冻结”的，没有进行任何微调或适配，在低资源场景下，这真的是SSL的最佳打开方式吗？论文对此毫无探讨。最后，作者在结论中“画饼”说未来要评估L2和口音语音，但连L1的基线结果（相关系数普遍低于0.5）都如此挣扎，谈论更复杂的场景是否为时尚早？总体而言，论文提出了一条清晰的技术路线，但每个环节都显得“点到为止”，深度不足，数据壁垒更是致命伤，使其难以成为该领域一个坚实可靠的里程碑。 📌 核心摘要 本文针对声学到发音倒置（AAI）在跨领域场景下的性能下降问题，提出首个针对芬兰语-俄语双语电磁发音图（EMA）语料库FROST-EMA的系统性基准评估。核心贡献是定义了可隔离语言和性别因素的评估协议，并消融比较了多种声学前端（MFCC, Wav2Vec 2.0, XLSR-53, MMS-300m）、发音目标表示（原始EMA坐标, 管道变量）和倒置后端（BiLSTM, Attn-lite）。实验结果表明，跨语言失配（\(\Delta r \approx 0.10-0.20\)）导致的性能下降显著大于跨性别失配（\(\Delta r \approx 0.05-0.10\)），且两者效应叠加。SSL特征（特别是Wav2Vec 2.0和MMS-300m）在所有条件下均优于MFCC，而BiLSTM后端在当前数据规模下优于轻量级Transformer。研究为跨语言、跨性别的AAI研究提供了首个可控的评估框架和基准结果。 ...

📄 Cross-Dataset, Age, and Gender Generalization: A Comprehensive Analysis of Fine-Tuning Strategies for Low-Resource Children's ASR #语音识别 #低资源 #自监督学习 6.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 ✅ 6.7/10 | 前50% | #语音识别 | #自监督学习 | #低资源 | arxiv 👥 作者与机构 作者：Abhijit Sinha， Hemant Kumar Kathania， Sudarsana Reddy Kadiri， Shrikanth Narayanan 机构：南加州大学（USC） 💡 毒舌点评 这篇论文的工作更像是一份详尽的实验报告，而非一篇具有突破性方法的顶级会议论文。虽然系统性地测试了几种微调策略，但其核心发现（“在更小的上训练在更大的上效果更好”、“微调能缓解偏见”、“跨数据集会掉点”）在语音识别领域并不算新颖，更像是对现有知识的验证。实验规模受限于两个小数据集，使得结论的普适性存疑。论文最大的问题在于对“为什么”的探索不足：跨数据集失败仅仅归因于“口音和词汇不匹配”，缺乏深入的声学或语言学分析。此外，完全依赖WER指标，忽略了对模型内部表示变化的分析，使得对“偏见缓解”机制的解释流于表面。整体而言，这是一篇扎实但缺乏深度和惊喜的工作。 ...

📄 Improving End-to-End Speech Recognition for Dysarthric Speech through In-Domain Data Augmentation #语音识别 #自监督学习 #低资源 #数据增强 6.5/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.5/10 | 前50% | #语音识别 | #数据增强 | #自监督学习 #低资源 | arxiv 👥 作者与机构 Paban Sapkota, Hemant Kumar Kathania, Sudarsana Reddy Kadiri, Shrikanth Narayanan 未提及具体单位，但作者Paban Sapkota, Hemant Kumar Kathania与Sudarsana Reddy Kadiri, Shrikanth Narayanan可能来自同一机构或合作机构。原文未明确说明第一作者及通讯作者的所属机构。 💡 毒舌点评 这篇论文解决了一个有价值的实际问题——为数据稀缺的构音障碍群体改善语音识别。其工作是扎实的，系统性地将几种经典数据增强技术应用到Wav2Vec2微调中，并针对不同严重程度进行了细致调参，得出了SRM和PM各有侧重的结论。然而，其“顶会”成色不足。创新性主要体现在“首次应用”和“系统性实验”，而���方法论或模型的突破。最致命的弱点是实验设计：评估设置可能并非严格的说话者独立，这使得结果的泛化性存疑；同时，仅使用一个较小的公开数据集（TORGO）和一个SSL模型（Wav2Vec2），缺乏与当前SOTA方法（如其他SSL模型或专门针对残障语音的模型）的直接对比，结论的说服力和影响力大打折扣。论文在讨论和反思上也显得吝啬，未能深入剖析技术选择背后的声学机理。总体而言，这是一篇合格的系统性实验论文，但距离顶会要求的深刻洞见和坚实论证尚有差距。 ...

📄 Interpreting Content and Speaker Characteristics in Factorised Self-Supervised Subspaces #自监督学习 #语音合成 5/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 0.7/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.2/1.5 📝 5/10 | 后50% | #语音合成 | #自监督学习 | arxiv 👥 作者与机构 Kyle Janse van Rensburg, Herman Kamper. 机构未明确说明，但论文通讯作者邮箱包含 sun.ac.za， 可能来自南非的大学（如斯泰伦博斯大学）。 💡 毒舌点评 这篇论文像一份详尽的“解剖报告”，对WavLM特征经SVD分解后的“零件”（维度）进行了细致的测量和功能标注。优点是做得扎实、系统，把相关性和干预实验都做了一遍。但问题在于，它主要是在应用已有的分析工具（SVD， PCA， 相关性分析）去“观察”和“标注”一个已知方法（[11]）产生的结果，而不是提出新的分析范式或理论洞见。核心贡献更偏向于“验证”和“描述”而非“创新”。干预实验听起来酷炫，但本质上是对“调节旋钮”（维度值）的粗暴测试，且严重受限于声码器的质量，极端情况下的失真让结论的说服力打折扣。最遗憾的是，没有将这些“可操控维度”与语音领域成熟的声学参数控制（如F0、共振峰控制）进行对比或联系，显得有些闭门造车，对于语音社区的实际价值需要进一步论证。 📌 核心摘要 本文研究了通过SVD分解自监督语音（WavLM）特征得到的内容子空间（C）和说话者子空间（S）中，各个维度所编码的信息。分析发现，内容空间的前几个维度主要编码强度、高次共振峰和浊音信息，而音高被编码在一个较后的维度。说话者空间中，方差最大的维度与平均音高、性别和抖动强相关，后续维度编码高频谱变化。干预实验表明，独立或联合操控这些特定维度，能够定向改变合成语音的相应声学特性（如音高和强度），实现一定范围的语音特性控制。 🔗 开源详情 代码：论文中未提及公开代码仓库。 模型权重：论文未提及发布新的模型权重，研究基于已发布的WavLM模型。 数据集：使用了公开数据集 Libri-Light（中等分区）和 LibriSpeech（train-clean-100, dev-clean, test-clean）。获取链接：https://huggingface.co/datasets/librispeech_asr。 Demo：提供了音频演示页面： https://sltanonymous707.github.io/slt_demo_page_2026/。 复现材料：论文提及了具体实验参数（N=8192, r=64, WavLM-Large第六层特征），但未提供完整的代码、训练配置或附录。 论文中引用的开源项目：WavLM（https://github.com/microsoft/unilm/tree/master/wavlm）， HiFi-GAN（https://github.com/jik876/hifi-gan）， Parselmouth（https://github.com/YannickJadoul/Parselmouth）， Librosa（https://github.com/librosa/librosa）， Scikit-learn（https://github.com/scikit-learn/scikit-learn）。 🏗️ 方法概述和架构 本文的方法核心在于分析一个已有SVD因子分解框架在SSL特征上的应用效果，具体分为“分析方法”和“干预验证方法”两部分。 ...

📄 Investigating Human-Model Discrepancies in Speech Quality Assessment via Acoustic and Prosodic Perturbations #语音合成 #自监督学习 #数据增强 6.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.9/10 | 前25% | #语音合成 | #自监督学习 | #数据增强 | arxiv 👥 作者与机构 第一作者：Masato Takagi (名古屋工业大学) 通讯/共同作者：Masaya Kawamura, Reo Shimizu, Yuma Shirahata (均为LY Corporation) 机构：1 Nagoya Institute of Technology, Japan; 2 LY Corporation, Japan ...

📄 Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal #自监督学习 #低资源 6.4/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.4/10 | 前50% | #自监督学习 | #自监督学习 | #低资源 | arxiv 👥 作者与机构 作者：Syeda Faiza Ahmed, Shammur Absar Chowdhury 机构：Qatar Computing Research Institute, Doha, Qatar 💡 毒舌点评 论文抓住了“无监督/轻监督语音评估”的痛点，提出了一条技术路径清晰的“曲线救国”方案——利用母语数据的统计规律（token惊异度）来检测发音异常，思路巧妙。但“轻量级”的宣称缺乏硬核的工程效率对比数据，更多是定性描述。方法的核心创新在于将离散token惊异度与文本引导的DTW对齐在同一个离散空间进行结合，这比前人工作（如aMRT或GoP）减少了对音素和强制对齐的依赖。然而，实验部分存在明显的“报喜”倾向：在核心数据集SpeechOcean762上，与最强的监督方法（如HMamba）相比差距仍然显著（0.661 vs. 0.807），论文更侧重与“零样本”方法比较，模糊了性能边界。跨数据集泛化实验（L2-ARCTIC）的设置存在疑问，使用Azure伪标签作为标准是否可靠？这可能会削弱结论的说服力。开源方面一无所有，严重阻碍了结果的可复现性和影响力传播。总体而言，这是一篇技术实现完整、有一定想法的工作，但深度和广度上的贡献都较为有限，更像是一篇扎实的系统论文而非突破性的研究。 📌 核心摘要 本文提出一种轻量级的发音评估框架，旨在减少对昂贵、标注过的非母语数据的依赖。该框架的核心思想是：一个仅在母语语音数据上训练的模型，会对符合母语音系的语音赋予较低的“惊异度”（surprisal），反之则高。具体地，它首先使用预训练的自监督学习（SSL）编码器（HuBERT）和K-means聚类将语音离散化为token序列（Audio2DUnit）。然后，在母语token序列上训练一个n-gram语言模型（Token Language Model, TLM）来计算token惊异度。当参考文本可用时，引入一个文本到离散单元的模型（Text2DUnit）预测出预期的母语token序列，并通过动态时间规整（DTW）将其与实际发音的token序列对齐，从而提取更细粒度的特征。最终，将惊异度统计特征与可选的对齐特征融合，通过岭回归预测发音质量分数。在SpeechOcean762数据集上，结合音频和文本引导特征的轻监督模型达到了0.661的皮尔逊相关系数（PCC），优于先前的零样本方法，并展示了在少量母语训练数据（约100小时）下的鲁棒性以及在L2-ARCTIC数据集上的初步泛化能力。 ...

📄 MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model #语音合成 #自监督学习 #多模态模型 #流式处理 5.7/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 0.6/1.5 | 清晰 0.9/1 | 影响 0.7/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.7/10 | 前50% | #语音合成 | #自监督学习 | #多模态模型 #流式处理 | arxiv 👥 作者与机构 未提及 💡 毒舌点评 这篇论文试图为“社交世界”下一个定义并打造第一个模型，野心不小。技术上，把22B参数的怪兽塞进单GPU跑到47.5 FPS，听起来像在炫耀工程肌肉。然而，审稿人的嗅觉告诉我，“社交交互优化”这个标签贴得有点急——你的benchmark里有“社交”吗？还是说只要能实时出视频就算社交了？那抖音特效是不是早就达标了？技术细节像走马观花，Self-resampling，ROPD，听着很酷，但具体怎么干的、干得有多好，全靠读者脑补。最要命的是，连代码、权重、数据都不开源，这“可复现性”基本是零分预定。这篇论文更像一个声势浩大的“我们开始了”的宣言，而非一个论证扎实、可供他人跟进的完整研究。 📌 核心摘要 该工作首次定义了“社交世界模型”这一研究方向，旨在生成以人类社交动态为中心的交互式音视频内容，区别于专注于物理环境或游戏世界探索的先前世界模型。为探索该方向，作者构建了MaineCoon原型，这是一个具有22B参数的首个实时音视频自回归模型。它支持实时流式生成和亚秒级交互，在单GPU上实现了高达47.5 FPS的帧率。论文声称，这是首个针对社交交互应用优化的实时音视频生成模型。为实现高效稳定的训练与推理，论文引入了多项新技术：Self-resampling、跨模态表征对齐、领域感知偏好优化以及强化在线策略蒸馏（ROPD）。同时，设计了首个智能体流式推理框架，通过智能体缓存管理和提示规划，支持千秒级甚至更长的生成并缓解漂移问题。这些创新加速了训练并优化了实时推理性能。作者认为该工作不仅为高质量、低延迟、长时域音视频自回归模型设立了新的性能基准，也指出了下一代AI原生社交平台所需的范式转变。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重获取链接。 数据集：论文中未提及。 Demo：论文中未提及。 复现材料：论文中未提及。 论文中引用的开源项目：未提及。 🏗️ 方法概述和架构 MaineCoon是一个端到端的自回归音视频生成模型，旨在实现实时交互式社交世界生成。其核心架构与训练流程可概括如下： ...

📄 S-JEPA : Soft Clustering Anchors for Self-Supervised Speech Representation Learning #自监督学习 #语音识别 #高斯混合模型 #数据增强 8.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8.7/10 | 前25% | #语音识别 | #自监督学习 | #高斯混合模型 #数据增强 | arxiv 👥 作者与机构 Georgios Ioannides, Adrian Kieback, Judah Goldfeder, Linsey Pang, Aman Chadha, Aaron Elkins, Yann LeCun, Ravid Shwartz-Ziv (*平等贡献) 机构: 1Carnegie Mellon University, 2New York University, 3James Silberrad Brown Center for AI, 4Columbia University, 5Northeastern University, 6Stanford University, 7Amazon GenAI (†工作与Amazon职位无关)。通信作者：gioannid@alumni.cmu.edu。 ...

📄 Transcript-Free Flow-Matching Text-to-Speech via Speech Feature Conditioning #语音合成 #自监督学习 #语音增强 #多任务学习 #对比学习 7.7/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #语音合成 | #自监督学习 | #语音增强 #多任务学习 | arxiv 👥 作者与机构 作者：SooHwan Eom, Hee Suk Yoon, Eunseop Yoon, Mark Hasegawa-Johnson, Chang D. Yoo 机构：1 Korea Advanced Institute of Science and Technology, South Korea; 2 University of Illinois Urbana-Champaign, United States ...

📄 Augmenting Dysarthric Speech Severity Assessment with MOS Supervision #自监督学习 #数据增强 #语音质量评估 7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7/10 | 前50% | #语音质量评估 | #自监督学习 | #数据增强 | arxiv 👥 作者与机构 论文作者未在提供的原文中明确列出，机构信息也未提供。 💡 毒舌点评 这篇论文的核心想法——用TTS评估数据（QualiSpeech）来“蹭”点监督信号，给缺数据的构音障碍评估任务用——是实用且有点巧的。但除了这个点子，整篇论文在技术深度和实验严谨性上都显得比较“水”。作者似乎满足于展示“FT就是比JT好”，然后给出一个听起来合理的解释（梯度干扰），但就再也不往下挖了。最让人无语的是，他们一边声称证明了“合成瑕疵和构音障碍存在感知共通性”，另一边却拿不出任何直接的证据（比如声学特征分析或人工感知实验），全靠结果反推和想象。实验对比也做得稀稀拉拉，连最该做的消融实验（比如只在SAP上微调预训练模型作为强基线）都没提供完整数据。结论下得倒挺快，但支撑结论的柱子太少太细。总的来说，这是一篇及格以上、优秀未满的“快餐式”论文，想法有价值，但执行和论证都差了火候。 📌 核心摘要 构音障碍语音的自动化严重程度评估面临数据稀缺的挑战。本文提出利用语音合成质量评估数据集（QualiSpeech）中的MOS监督信号来增强该任务。具体地，采用了自监督学习（SSL）预训练模型作为特征提取器，结合两层前馈网络进行回归预测，并提出了细调（FT）和联合训练（JT）两种范式来整合QualiSpeech数据。实验在Speech Accessibility Project（SAP）语料库的可懂度和自然度两个维度上进行。主要发现表明：在可懂度预测上，FT范式一致优于JT；在自然度预测上，两种范式均有效。使用QualiSpeech的“自然度”维度进行FT取得了最佳的MSE降低效果。研究结果暗示，合成语音瑕疵与构音障碍在感知上存在共通性，从而使得TTS评估语料成为一种实用的、可减少对稀缺临床标注依赖的数据增强来源。 🔗 开源详情 代码：论文中未提供任何代码链接或仓库。 模型权重：论文中提供了所使用的SSL预训练模型的下载链接： wav2vec 2.0 Base: https://dl.fbaipublicfiles.com/fairseq/wav2vec/wav2vec_small.pt wav2vec 2.0 Large*: https://dl.fbaipublicfiles.com/fairseq/wav2vec/wav2vec_vox_new.pt wav2vec 2.0 Large+: https://dl.fbaipublicfiles.com/fairseq/wav2vec/w2v_large_lv_fsh_swbd_cv.pt HuBERT Base: https://dl.fbaipublicfiles.com/hubert/hubert_base_ls960.pt HuBERT Large: https://dl.fbaipublicfiles.com/hubert/hubert_large_ll60k.pt 论文未提供其训练好的最终评估模型（回归头）权重。 数据集：论文中主要提及了以下两个数据集，但均未提供直接下载链接。 Speech Accessibility Project (SAP) Challenge 2025：大规模开放式域言语障碍语音语料库。 QualiSpeech：用于语音质量评估的英文语料库。 Demo：论文中未提及。 复现材料：论文中未提供训练配置文件、检查点、数据划分索引等具体复现材料。 论文中引用的开源项目：论文中提及了以下第三方开源项目或工具，并提供了部分项目的链接（即上方SSL模型链接）。 wav2vec 2.0: 模型链接见上方。 HuBERT: 模型链接见上方。 QualiSpeech: 语料库，引用为 wang-etal-2025-qualispeech，未提供项目主页。 Speech Accessibility Project (SAP) Challenge 2025: 任务与数据集，引用为 zheng25_interspeech，未提供项目主页。 其他数据集（NISQA, BVCC, GigaSpeech, UTMOS, Librispeech等）仅被引用，未提供链接。 🏗️ 方法概述和架构 本文方法的核心目标是利用来自TTS评估领域（QualiSpeech）的丰富MOS监督信号，来增强在目标领域（SAP构音障碍语音）上的严重程度回归模型性能。整体架构和数据流遵循一个标准的“SSL编码器 + 池化层 + 回归头”范式，创新点主要体现在两种不同的训练策略（JT和FT）上。 ...