开源工具

📄 TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis #语音质量评估 #指令微调 #基准测试 #开源工具 #语音合成 ✅ 7.5/10 | 前25% | #语音质量评估 | #指令微调 | #基准测试 #开源工具 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文作者列表未明确排序，但根据邮箱 xi-wang24@mails.tsinghua.edu.cn 和作者列表首位推测，第一作者可能为 Xi Wang）。 通讯作者：未说明（论文作者列表未明确标注，根据邮箱 zywu@sz.tsinghua.edu.cn 推测，通讯作者可能为 Zhiyong Wu）。 作者列表：Xi Wang (1, 2), Jie Wang (3), Xingchen Song (2), Baijun Song (1), Jingran Xie (1), Jiahe Shao (1), Zijian Lin (1), Di Wu (1), Meng Meng (1), Jian Luan (2), Zhiyong Wu (1)。 机构列表：1. 清华大学，中国；2. 小米公司 MiLM Plus，中国；3. 东京大学，日本。 💡 毒舌点评 这篇论文像一个严谨的“语音体检医生”，为TTS系统量身定做了一套包含12个指标的“体检表”和基于大模型生成数据的“训练集”，确实让评估从“整体印象”走向了“分项诊断”。但尴尬的是，这位“医生”自己在“发音”这个最基础的体检项目上却可能受制于自身的“学术出身”（ASR预训练偏差），体检结论的权威性打了点折扣。 ...

📄 Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost #语音合成 #迁移学习 #多语言 #大语言模型 #开源工具 🔥 8.0/10 | 前25% | #语音合成 | #迁移学习 | #多语言 #大语言模型 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Venkata Pushpak Teja Menta（未说明） 通讯作者：未说明 作者列表：Venkata Pushpak Teja Menta（未说明） 💡 毒舌点评 本文巧妙地利用BUPS罗马音转换和LoRA轻量适配，将一个完全不支持泰卢固语和泰米尔语的开源模型提升至接近商业水平，工程实用性和开源诚意十足；但评估集仅10句，缺乏正式的MOS主观评估，且对印地语的声学保真度（FAD）仍落后于商业系统，证明其“最小干预”路径在声学解码器层面仍有天花板。 🔗 开源详情 代码：提供，链接为 https://github.com/praxelhq/praxy ，许可证为MIT。 模型权重：提供，R6 LoRA权重发布于 https://huggingface.co/Praxel/praxy-voice-r6 ，许可证为Apache-2.0。 数据集：未提供新数据集。使用了公开的授权数据集（IndicTTS, Rasa, FLEURS, Shrutilipi），论文中给出了各数据集的规模。 Demo：提供，Gradio演示托管在Hugging Face Spaces上（链接在HuggingFace仓库README中）。 复现材料：提供了完整的训练细节（超参数、学习率调度、硬件、训练步数）、推理代码、配置（Config B）、BUPS实现、语言路由器、统一的印度语数字/日期/货币规范化器。评估基准和评测工件随PSP伴侣论文发布。 论文中引用的开源项目：ResembleAI Chatterbox（基座模型）、AI4Bharat IndicF5（语码混合分支后端）、indic-transliteration（BUPS核心依赖）、HuggingFace PEFT库（LoRA实现）、Anthropic Claude Haiku 4.5（语码混合音译预处理）、OpenRouter（用于LLM-WER评估的Qwen模型接口）。 📌 核心摘要 要解决什么问题：如何以最小干预、零商业训练数据成本，将一个不支持印度语言（泰卢固语、泰米尔语）的商用级多语言开源TTS基座（Chatterbox）提升至商业级输出质量，并保持其对已支持语言（印地语）的性能。 方法核心是什么：提出一个包含三个工程组件的集成方案：（1）BUPS，一个将婆罗米文字脚本无损转换为拉丁字母（ISO-15919）的确定性路由层；（2）仅在文本预测头（t3）上训练的LoRA适配器（占模型总参数的0.97%），使用印地语作为语言ID代理；（3）一个推理时语音提示恢复配方，包括同语言参考音频（8-11秒）和三组采样参数覆盖（Config B：夸张度0.7，温度0.6，最小概率0.1）。 与已有方法相比新在哪里：不同于从头训练新模型，本文首次系统性地展示了如何通过“最小干预包装”路径，让一个冻结的、非原生支持目标语言的多语言基座达到商业级输出。BUPS作为路由机制、LoRA仅用于文本头的适配策略，以及特定的推理时恢复配方（Config B）的组合是其核心工程创新。 主要实验结果如何：在10句语音的PSP基准测试上，Praxy Voice系统在关键指标上达到或超越商业系统：泰卢固语卷舌音坍塌率26.7%（优于Sarvam Bulbul的33.3%）；泰米尔语特殊音节“zh”坍塌率71%（显著优于商业三巨头的86%）；印地语LLM-WER为0.025（与Cartesia Sonic-3持平）。对于语码混合输入，通过IndicF5加本地文字音译预处理，LLM-WER从原始模型的0.80-0.85降至0.14-0.27。关键消融实验表明，该LoRA方法在印地语上会损害语义准确性（LLM-WER从0.025劣化至0.334），验证了其作用范围仅限于基座未原生支持的语言。 实际意义是什么：为资源有限的团队提供了一条低成本（约45美元计算成本）、低数据门槛的路径，使其能快速将开源多语言TTS模型扩展至新的高价值语言（如印度主要语言），并保持接近商业系统的质量。完整的开源发布（代码、模型、演示）极大地促进了复现和应用。 主要局限性是什么：评估基于小规模试点集（每语言10句），结果可能存在噪声；缺乏正式的MOS主观评分；对声学解码器的适配因计算限制未进行，导致印地语的FAD指标落后于商业系统；语音提示恢复依赖用户提供的参考音频，增加了使用复杂度。 🏗️ 模型架构 本文的核心是三分支推理管道，其架构图如图1所示（论文中未提供独立的URL，但图1在原文中已有详细描述）。整体流程如下： ...

📄 A Text-To-Text Alignment Algorithm for Better Evaluation of Modern Speech Recognition Systems #语音识别 #模型评估 #多语言 #开源工具 ✅ 7.5/10 | 前25% | #模型评估 | #模型评估 | #语音识别 #多语言 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Lasse Borgholt (Corti, Aalborg University, Pioneer Centre for AI) 通讯作者：Lasse Borgholt (lb@corti.ai) 作者列表： Lasse Borgholt (Corti, Copenhagen; Aalborg University, Department of Electronic Systems; Pioneer Centre for Artificial Intelligence, Copenhagen) Jakob Havtorn (Corti, Copenhagen) Christian Igel (Pioneer Centre for Artificial Intelligence, Copenhagen; University of Copenhagen, Department of Computer Science) Lars Maaløe (Corti, Copenhagen; Technical University of Denmark, Department of Applied Mathematics and Computer Science) Zheng-Hua Tan (Aalborg University, Department of Electronic Systems; Pioneer Centre for Artificial Intelligence, Copenhagen) 💡 毒舌点评 这篇论文的亮点在于巧妙地将动态规划与波束搜索结合，直击传统Levenshtein对齐在语音识别评估中的两大痛点（一对一约束与歧义），设计了一个实用且有效的工具。短板是作为评估方法论文，其核心贡献略显“工具化”，理论深度和新颖性有局限，且提出的GLE评估指标需要更多独立验证才能确立其公信力。 ...

📄 Constructing Composite Features for Interpretable Music-Tagging #音乐信息检索 #遗传编程 #音频分类 #开源工具 ✅ 7.5/10 | 前25% | #音乐信息检索 | #遗传编程 | #音频分类 #开源工具 学术质量 6.5/7 | 选题价值 0.0/2 | 复现加成 +1.0 | 置信度 高 👥 作者与机构 第一作者：Chenhao Xue (University of Oxford) 通讯作者：未说明 作者列表：Chenhao Xue (University of Oxford), Weitao Hu (Independent Researcher), Joyraj Chakraborty (University of Oxford), Zhijin Guo (University of Oxford), Kang Li (University of Oxford), Tianyu Shi (University of Toronto), Martin Reed (University of Essex), Nikolaos Thomos (University of Essex) 💡 毒舌点评 亮点：论文将遗传编程（GP）系统地应用于音乐特征构造，成功地将“可解释性”从特征重要性分析提升到了特征组合公式本身的透明化，为对抗深度学习黑箱提供了一条优雅的符号回归路径。短板：实验所用的GTZAN数据集已被认为过于简单且存在缺陷，在此之上取得的显著提升（如5%准确率）难以证明方法的普适性和先进性；同时，论文声称“接近深度学习SOTA”，但缺乏对当前最强端到端模型（如PANNs， Transformer）在相同条件下的公平对比，使得SOTA宣称略显单薄。 ...

📄 Denoising Of Stochastic Ray Tracing Room Impulse Responses #空间音频 #信号处理 #数据集 #开源工具 #少样本 ✅ 7.5/10 | 前25% | #空间音频 | #信号处理 | #数据集 #开源工具 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Ricardo Falcón-Pérez（Aalto University, Finland； Tampere University, Finland） 通讯作者：未说明 作者列表：Ricardo Falcón-Pérez（Aalto University， Tampere University）， Carl Schissler（Meta - Reality Labs Research）， Andrew Francl（Meta - Reality Labs Research）， Ishwarya Ananthabhotla（Meta - Reality Labs Research）， Gregor Mueckl（Meta - Reality Labs Research） 💡 毒舌点评 亮点：论文最聪明的一点是避开了直接去噪复杂的RIR波形，转而利用射线追踪仿真过程本身产生的“副产品”——内部状态特征（如能量衰减曲线、路径统计直方图）作为输入，这为神经网络提供了宝贵的“仿真收敛度”先验信息，是解决该特定问题的有效设计。短板：作为一篇音频领域的论文，在提出了新的去噪方法后，却完全缺少了基于人类听音的主观评估实验（如MUSHRA或AB测试），无法直接证明其声称的“更准确”在感知上是否成立，这对于一项以提升听觉体验为目标的工作来说，说服链存在关键缺失。 ...

📄 ECHO: Frequency-Aware Hierarchical Encoding for Variable-Length Signals #音频大模型 #音频分类 #自监督学习 #工业应用 #开源工具 🔥 9.5/10 | 前10% | #音频分类 | #自监督学习 | #音频大模型 #工业应用 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Yucong Zhang（武汉大学计算机学院；苏州昆山杜克大学多模态智能系统苏州市重点实验室） 通讯作者：Juan Liu（武汉大学人工智能学院）， Ming Li（武汉大学人工智能学院；苏州昆山杜克大学） 作者列表：Yucong Zhang（武汉大学计算机学院；苏州昆山杜克大学多模态智能系统苏州市重点实验室）， Juan Liu†（武汉大学人工智能学院）， Ming Li†（武汉大学人工智能学院；苏州昆山杜克大学）。†表示共同通讯作者。 💡 毒舌点评 亮点： 该论文成功地将频率感知和滑动窗口两大思想结合，构建了一个能优雅处理现实世界工业信号（采样率可变、长度可变）的通用基础模型，并通过一个前所未有的全面基准（SIREN）证明了其优越性，做到了“设计解决实际问题”和“实验证明设计有效”的闭环。 短板： 论文的实验全部基于离线、干净的学术数据集，对于工业界最关心的实时流式推理性能、计算资源消耗以及在嘈杂、非理想工况下的鲁棒性缺乏深入探讨，这使得其“工业应用”的宣称在现阶段更偏向于技术展示而非经过实战检验的方案。 🔗 开源详情 代码：提供了完整的代码仓库链接：https://github.com/yucongzh/ECHO。 模型权重：论文未明确提及是否公开了预训练模型权重，但提供了代码仓库，权重很可能在其中或后续发布。 数据集：公开了SIREN评估基准工具包：https://github.com/yucongzh/SIREN，并说明包含了多个数据集，获取方式应在该仓库中说明。 Demo：论文中未提及在线演示。 复现材料：提供了详尽的训练细节（学习率、batch size、优化器、步数、硬件、调度策略等），足以支持复现。训练细节见论文第5.1节。 论文中引用的开源项目：论文引用了其对比的多个基础模型（BEATs, CED, EAT, Dasheng, FISHER）的开源实现或论文。此外，SIREN基准中使用的数据集（如DCASE, MAFAULDA, CWRU, IIEE, IICA）均为公开数据集。 📌 核心摘要 问题：现有的音频/信号基础模型大多基于视觉Transformer，依赖固定尺寸的频谱图输入和固定的预设采样率。处理可变长度信号需要截断/插值，破坏时序连续性；处理不同采样率信号需要重采样，导致信息损失。这限制了它们在通用机器信号监测（涵盖声学、振动等多模态、多采样率数据）中的应用。 方法核心：提出ECHO模型，其核心是“频率感知层级编码”。首先，将频谱图沿频率轴均匀分割为多个子带，并为每个子带计算基于其中心频率的相对位置编码，以适配任意采样率。其次，在每个子带上应用滑动窗口提取重叠的时间补丁，以处理任意长度的输入，无需填充或裁剪。最后，将每个子带的序列送入独立的ViT编码器，再将所有子带的分类令牌拼接成最终的层级化嵌入。 新意：与已有的频率分割模型（如FISHER）相比，ECHO创新性地引入了频率位置编码，使模型能显式地感知子带在全频谱中的相对位置，而非独立处理。与传统的固定补丁模型（如BEATs， EAT）相比，滑动补丁设计能更好地保留时序连续性，适应可变长度输入。ECHO旨在统一支持可变长度和可变采样率信号。 实验结果：在论文提出的统一评估基准SIREN上，ECHO（Small版）取得了77.65%的整体平均分，超过了最强基线FISHER（76.86%）和Dasheng（76.04%）。在故障分类任务平均准确率达到93.19%，位居第一；在DCASE异常检测任务平均得分62.11%，也达到最佳。相比FISHER，ECHO在所有DCASE年份和大部分故障分类数据集上均有提升。 模型 规模 参数量 SIREN总均分 DCASE任务均分 故障分类任务均分 ECHO Small 22M 77.65 62.11 93.19 FISHER Small 22M 76.86 61.00 92.73 Dasheng Base 86M 76.04 59.95 92.12 EAT Base 86M 74.23 60.84 87.62 BEATs Base 90M 71.86 61.86 81.86 实际意义：ECHO为工业设备的状态监测提供了一个强大的通用前端特征提取器。其处理可变采样率和长度的能力，使其能无缝集成来自不同传感器、不同工况的数据，无需预处理重采样或裁剪，简化了部署流程。开源代码和SIREN基准为社区提供了公平比较和推进该领域研究的平台。 主要局限：模型虽在学术数据集上表现优异，但缺乏在真实工业场景（高噪声、数据不平衡、极端故障模式）下的验证。论文未探讨模型的推理效率（如延迟、吞吐量），这对实时监测至关重要。此外，滑动窗口带来的计算量增加及其优化策略未做深入分析。 🏗️ 模型架构 ECHO的整体架构如图1所示，是一个端到端的处理流程，包含四个核心组件： ...

📄 Evaluating High-Resolution Piano Sustain Pedal Depth Estimation with Musically Informed Metrics #音乐信息检索 #模型评估 #数据集 #开源工具 🔥 8.0/10 | 前25% | #音乐信息检索 | #模型评估 | #数据集 #开源工具 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Hanwen Zhang (Schulich School of Music, McGill University) 通讯作者：未说明 (论文中未明确标注通讯作者) 作者列表：Hanwen Zhang (Schulich School of Music, McGill University), Kun Fang (Schulich School of Music, McGill University), Ziyu Wang (Courant Institute of Mathematical Sciences, New York University; Mohamed bin Zayed University of Artificial Intelligence), Ichiro Fujinaga (Schulich School of Music, McGill University) 💡 毒舌点评 亮点：论文没有满足于用MSE/MAE糊弄事，而是从钢琴演奏和教学的真实需求出发，硬生生构建了一套“动作-手势”二层评估体系，为模型诊断提供了像“病历”一样具体的反馈，这比单纯跑分更有价值。短板：所提出的评估框架依赖额外的后处理步骤（如滑动窗口回归、手势分割与分类），增加了评估流程的复杂度；且手势类型的四象限划分标准（阈值）是基于特定数据集统计得出的，其普适性未在其他数据集上验证。 ...

📄 MNV-17: A High-Quality Performative Mandarin Dataset for Nonverbal Vocalization Recognition in Speech #语音识别 #数据集 #语音大模型 #多任务学习 #开源工具 ✅ 7.5/10 | 前25% | #语音识别 | #数据集 | #语音大模型 #多任务学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表： Jialong Mai（华南理工大学） Jinxin Ji（香港理工大学，同济大学） Xiaofen Xing（华南理工大学） Chen Yang（上海交通大学） Weidong Chen（香港中文大学） Jingyuan Xing（华南理工大学） Xiangmin Xu（华南理工大学，佛山大学） 💡 毒舌点评 亮点：论文精准切中了非语语音识别领域“数据荒”的痛点，并提供了一套从数据采集（LLM脚本生成）、标注（多模态LLM分割）到模型评估的完整解决方案，其17类平衡数据集的发布具有明确的实用价值。 短板：数据集总时长仅7.55小时，且采用“表演性”录制，其在真实、自发对话场景中的适用性存疑；实验虽全面但深度有限，仅评估了四个现成模型的微调性能，缺乏对数据本身声学特性或更复杂交互建模的深入探讨。 🔗 开源详情 代码：论文提供了GitHub仓库链接（https://github.com/yongaifadian1/MNV-17），但未明确说明该仓库是否包含数据处理或模型训练的代码。 模型权重：论文明确提到提供预训练模型检查点。 数据集：论文明确提到MNV-17数据集是公开的。 Demo：论文中未提及在线演示。 复现材料：论文提供了模型选择、训练策略（如优化器、学习率、LoRA参数）、数据划分协议等关键信息。但未提供完整的配置文件、数据预处理脚本或详细的硬件信息。 论文中引用的开源项目：引用了Praat（语音录制）、pyannote.audio（VAD，用于对比）、Montreal Forced Aligner（MFA，用于对比）、Paraformer、Whisper（未明确提及，但作为常见基线）、SenseVoice、Qwen2-Audio、Qwen2.5-Omni、Gemini（用于数据分割）。 📌 核心摘要 问题：主流自动语音识别系统无法识别语音中嵌入的非语语音（如笑声、叹气、咳嗽），这限制了对人类交流中情感和意图的全面理解。主要瓶颈在于缺乏高质量、标注精准且类别平衡的训练数据集。 方法：本文提出了MNV-17数据集，一个7.55小时的普通话“表演性”语音数据集，包含17类常见非语语音。通过大语言模型生成上下文自然的脚本，确保类别平衡和分布合理。录音后，利用音频多模态大模型（Gemini）进行精确的句子级时间戳标注，并用ASR模型（Whisper）进行质量过滤。 新意：相比于现有数据集（类别3-10个，最大/最小频率比高达516），MNV-17拥有最多的17个类别，且类别分布极为平衡（最大/最小频率比仅为2.7）。其“表演性”采集方式旨在获得清晰、明确的非语语音实例。 结果：在四个主流ASR模型（SenseVoice， Paraformer， Qwen2-Audio， Qwen2.5-Omni）上进行了联合转录与非语语音分类基准测试。关键结果如表2所示：Qwen2.5-Omni在联合字符错误率上取得最佳3.60%。关键结果如表3所示：非语语音识别准确率（要求类型、数量、顺序完全匹配）最高为SenseVoice和Qwen2.5-Omni的57.29%。关键结果如表4所示：多任务预训练模型在增加非语语音识别任务后，其核心ASR性能损失很小甚至有所提升（Qwen2-Audio的CER从3.05%降至2.60%）。 意义：为表达性语音理解提供了关键资源，验证了大型多任务音频模型能有效整合非语语音识别能力，且不损害甚至提升其核心转录性能，为未来更人性化的对话系统奠定了基础。 局限性：数据集总规模较小；“表演性”数据与真实自发语音可能存在差异；实验评估集中于现有模型的微调，未提出针对该任务的新型模型架构。 🏗️ 模型架构 本文并未提出新的模型架构，而是将MNV-17数据集应用于评估四种现有的主流ASR架构，并对其进行联合任务微调。主要架构类型为： ...

📄 Polynomial Mixing for Efficient Self-Supervised Speech Encoders #语音识别 #自监督学习 #端到端 #低资源 #开源工具 🔥 8.0/10 | 前25% | #语音识别 | #自监督学习 | #端到端 #低资源 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Eva Feillet (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numériques; Miles team, Université Paris-Dauphine-PSL) 通讯作者：未说明 作者列表：Eva Feillet (Université Paris-Saclay, CNRS, LISN; Miles team, Université Paris-Dauphine-PSL), Ryan Whetten (Laboratoire Informatique d’Avignon, Avignon Université), David Picard (LIGM, École Nationale des Ponts et Chaussées), Alexandre Allauzen (Miles team, Université Paris-Dauphine-PSL) 💡 毒舌点评 亮点在于PoM的设计思想——用全局多项式状态来“总结”序列信息再广播回每个token，比简单的平均池化（SummaryMixing）理论上更具表达力，并被实验证实有效。短板是，尽管PoM在效率上实现了线性复杂度，但在最关键的WER指标上，它只是“接近”而非“超越”强MHA基线（如RelPosMHA），对于追求极致性能的应用场景，其吸引力可能有限；此外，论文中提出的“分割频率混合”等变体并未带来稳定收益，核心创新的增益边界尚未被完全厘清。 ...

📄 Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost #语音合成 #迁移学习 #多语言 #低资源 #开源工具 🔥 8.0/10 | 前25% | #语音合成 | #迁移学习 | #多语言 #低资源 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Venkata Pushpak Teja Menta（论文中未提及其所属机构） 通讯作者：论文中未明确标注通讯作者 作者列表：Venkata Pushpak Teja Menta（未说明） 💡 毒舌点评 这篇论文像一次精准的外科手术，用BUPS“接骨”、LoRA“接肌”、语音提示“复健”这套组合拳，把一个不认字的“外国”大脑硬生生调教出了地道的印度口音，效果惊艳。遗憾的是，手术成功的病例报告只有10个，虽然每个都做得很漂亮，但要下“这方法对所有印度患者都有效”这样的结论，样本量还是寒酸了点，说服力打了折扣。 🔗 开源详情 代码：提供完整推理代码仓库，地址为 github.com/praxelhq/praxy，采用MIT许可。包含BUPS、配置B、语言路由器和代码混合预处理器。 模型权重：提供R6版本的LoRA适配器权重，地址为 huggingface.co/Praxel/praxy-voice-r6，采用Apache-2.0许可。基座模型Chatterbox Multilingual为MIT许可。 数据集：未提供独立数据集。论文中使用的训练数据（IndicTTS, Rasa, FLEURS, Shrutilipi）均为公开可用的许可数据集。 Demo：提供Gradio在线演示，托管于Hugging Face Spaces（具体链接在HF仓库README中）。 复现材料：论文详细描述了训练超参数、配置、硬件环境和数据预处理步骤。评估基准PSP的评测脚本和伪影（artifacts）随配套论文发布。 引用的开源项目： 模型/基础：ResembleAI Chatterbox Multilingual (MIT), AI4Bharat IndicF5。 工具库：indic-transliteration (ISO-15919转写), HuggingFace PEFT (LoRA实现)。 语音识别评估：Whisper大模型家族 (IndicWhisper)。 语言模型：Anthropic Claude Haiku 4.5 (用于代码混合转写), Qwen-2.5-72B (用于LLM-WER评估)。 📌 核心摘要 问题：现有的开源多语言语音合成（TTS）基座（如Chatterbox）在覆盖关键印度语言（泰卢固语、泰米尔语）方面存在缺陷，无法直接进行高质量合成；而从头训练或依赖商业API成本高昂或受制于人。 核心方法：提出一个“最小干预”组合方案：(a) BUPS：将印度文字无损转换为拉丁字符（ISO-15919），让基座的拉丁文分词器能处理；(b) 最小参数LoRA：仅在文本预测器上训练适配器（占总参数0.97%），使用印地语作为语言ID代理；(c) 语音提示恢复：在推理时，提供同语言8-11秒参考音频，并调整采样参数（Config B），以恢复声学自然度。 创新：相较于从头训练或全面微调，本文创新在于通过“脚本路由（BUPS）+ 文本编码器轻量适配（LoRA）+ 推理时声学条件化（语音提示）”这一最小化、模块化的方式，解锁冻结基座模型的新语言能力。并设计了纯文本和代码混合的两套部署分支。 主要结果：在PSP基准测试的10句话小规模评测上： 泰卢固语：卷舌音错误率26.7%（优于Sarvam Bulbul的33.3%）。 泰米尔语：特有的“zha”音错误率71%（显著优于商业系统的86%）。 印地语：LLM-WER 0.025（与Cartesia Sonic-3持平），且意图保持率100%。 关键消融实验证明，对印地语施加相同的LoRA会严重损害性能，证实了该方法的适用范围。 实际意义：为资源有限的团队提供了一条零商业数据成本、低算力门槛的路径，将开源多语言TTS快速适配到高价值的印度语言市场，且代码和模型完全开源。 主要局限性：评测样本量小（每语言仅10句话），统计显著性不足；未进行正式的MOS主观评估；印度语的声学自然度（FAD）仍有差距；代码混合场景（英印夹杂）性能与商业系统相比仍有明显差距。 🏗️ 模型架构 论文的核心是一个三分支推理流水线（图1），根据输入文本类型路由到不同处理路径： ...