英语检测器在印度语上失灵：用双曲对齐把语义和韵律重新拼起来

英文题目：Indic-CodecFake meets SATYAM: Towards Detecting Neural Audio Codec Synthesized Speech Deepfakes in Indic Languages

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.2159

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #多模态学习 #多语言 #音频深度伪造检测

评分：8.2/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 1.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：数据集与基准

👥 作者与机构

• Girish：机构信息未能从会议 PDF 纯文本可靠映射
• Mohd Mujtaba Akhtar：机构信息未能从会议 PDF 纯文本可靠映射
• Orchid Chetia Phukan：机构信息未能从会议 PDF 纯文本可靠映射
• Arun Balaji Buduru：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为印度多语言真实语音与神经音频编解码器重合成语音，输出为真实或伪造的二分类判定，难点在于音系多样性、韵律变异与编解码器伪影在跨语言与跨编解码器下分布漂移严重。所提超大规模音频语言模型SATYAM先用Whisper提取语义表征并用TRILLsson提取韵律表征，经轻量卷积与门控投影后映射至双曲空间做语义韵律对齐融合，再将融合语音表征与任务条件提示文本表征做第二阶段跨模态对齐并以莫比乌斯加法聚合，最后将结果映射回欧氏空间作为冻结Qwen2-7B解码器的前缀条件生成Real或Fake。相比欧氏拼接与单编码器微调基线，该机制以双曲几何显式建模层级关系并分离语音内融合与语音文本对齐两阶段优化。在域内评测中SATYAM在Indic-CodecFake上达到98.32%准确率与3.27%等错误率，显著优于最强微调Qwen2-Audio基线的93.19%与8.34%。结论限于重合成类伪造与IndicSUPERB划分，未验证完全生成式编解码器语音与真实野外噪声的泛化上限。训练仅优化约3.75M参数共5轮，推理主要开销仍为冻结双编码器与大模型前向，ICF测试集平均约8.18秒。

🔗 开源与复现资源

• 代码相关资源：https://helixometry.github.io/IndicFake/ — 链接可访问（HTTP 200）
• 数据相关资源：https://helixometry.github.io/IndicFake/ — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/AI4Bharat/IndicSUPERB — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/haydenshively/SoundStream — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/modelscope/FunCodec — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/facebookresearch/AudioDec — 链接可访问（HTTP 200）
• 第三方资源：https://www.kaggle.com/models/google/trillsson — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？为什么印度语编解码伪造值得单独建基准？

本文的输入是一段待判真假的语音波形，目标是判断它是真实录音还是神经音频编解码器重合成的伪造语音。必须保留的关键信息是真实语料来源、编解码器集合、划分方式、冻结与可训练参数边界以及评测指标方向。本文的输出是 1 篇可复述检测流程的技术解读，不做超出证据的效果承诺。

用白话说，神经音频编解码器就是先把声音压成一串离散记号再还原成声音的工具，英文名是神经音频编解码器。编解码伪造就是用它把真话重新编解码一遍得到的假语音，英文名是编解码伪造。内容听起来还是那句话，说话人也像同一个人，但重建过程会留下特定工具的痕迹。检测器要找的正是这种痕迹，而不是句子通顺与否。

神经音频编解码器 × 编解码伪造： 神经音频编解码器负责把波形编码为离散隐表示再解码重建，编解码伪造则是该重建产物：内容与说话人听感被保留，但引入编解码器特有的重建痕迹，二者搭配的理由是检测目标不是语义是否合理，而是重建痕迹是否存在，组合意义在于把检测从文本语音合成鉴别转向编解码伪影鉴别。

已有编解码伪造检测数据集主要覆盖英语，最多加上中文。印度拥有印欧语系与达罗毗荼语系等多个语系，语音的音位多样性与韵律变化大，英语上训练的检测器换到印度语可能直接失效。论文因此提出印度语编解码伪造基准，覆盖多语言、多说话人与多种编解码器类型。官方代码与数据集链接本次核验为可用，印度语源语料与部分编解码器实现引用第三方开源地址，同样本次核验为可用。

已有路线走到哪里？为什么传统合成检测不能直接搬过来？

同输入同目标的已有工作是编解码伪造检测。早期工作用英语语音与多种编解码器构建数据集，并用声谱时序图注意力网络做检测。后续工作扩展到中英文，引入更多编解码器家族或改进优化策略。这些工作的共同监督是真假二分类标签，运行阶段都是在波形或特征上训练判别器。

另一条相关路线是通用语音伪造检测，包括基于声码器或文本转语音与声音转换生成的伪造。论文报告的教训是，在传统伪造数据上训练的模型难以泛化到编解码伪造，因为两类假语音的分布特性发生偏移。也就是说，失真来源从声码器换成编解码器后，旧特征不再对齐新痕迹。

第三条路线是音频大语言模型做伪造检测。已有研究把检测写成音频问答，让模型输出真或假，并在多种语音任务上显示出潜力。但论文指出，这类模型此前没有系统评测编解码伪造，且在印度语上的零样本表现需要重新检验。因此本文既要补数据缺口，也要补印度语场景下的方法缺口。

英语上好用的检测器在印度语上错在哪里？

论文要解决的具体问题是跨语言与跨编解码器的分布偏移。英语检测器在英语测试上能正确判假，但在印地语假语音上频繁判真。原因按证据只能说到分布变化与语言多样性层面，不能直接断定是某个音素导致的。教学上可以这样理解：检测器记住了英语编解码痕迹与英语韵律的组合，一旦换成新的音系与韵律，旧模板就对不上了。

下面这张示意图把矛盾画成两行对比，上一行是英语输入被判假，下一行是印地语假音频被判真，中间是同一个检测模型。请先看输入语言标注，再看输出框的颜色与文字差异。

看图路径： 1. 先看上下两行输入标注：上为英语语音输入，下为印地语输入；2. 再看中间检测模型方框是否在两行共用同一模型；3. 最后对比右侧输出框颜色与文字：红色判假与绿色判真

论文图 1。原论文 Figure 1：“Existing CodecFake detectors perform well on English speech but frequently misclassify Hindi fake speech as real”。

上图可见的教学要点是问题的可复述定义。输入都是标注为假音频的语音，模型结构不变，只有语言变了，输出就从判假翻转为判真。这说明评测必须包含跨语言迁移，否则只看英语域内分数会高估实际部署效果。后文所有跨库与跨语系实验，都是为了量化这种翻转有多严重。

框架全景：一个样本如何从波形走到真假两个字？

沿一个样本走完全流程有助于建立学习依赖。输入是一段 16 kHz 重采样的语音波形。系统从中抽两路表示，一路是用语音识别模型抽语义表示，一路是用副语言模型抽韵律表示。两路先经过轻量卷积与投影，进入共享欧氏空间，再经指数映射进入双曲空间做第 1 次对齐融合。融合后的语音表示再与任务提示表示做第二次对齐融合，最后映射回欧氏空间作为前缀条件，送入冻结的大语言模型解码器。解码器在给定判定提示下只生成真或假。

下面是框架总览图，左侧是欧氏空间的编码与卷积投影，中间是双曲空间的 2 阶段融合，右侧是回到欧氏空间的大语言模型判定。请先沿波形到判定的主箭头看一遍，再定位 2 次双曲对齐发生的位置。

看图路径： 1. 先沿最左侧波形分叉到上方语义分支与下方韵律分支的主路径走一遍；2. 再看中间双曲空间段两个语音表示如何汇入同一融合节点；3. 最后看右侧大语言模型前的大融合球与输出真假判定箭头

论文图 2。原论文 Figure 2：“Proposed Framework: SATYAM; H-BD stands for Bhattacharya distance in Hyperbolic space”。

从图中可以读出 3 个阶段的职责分界。左侧虚线之前是可训练的轻量适配，负责把冻结编码器的输出压缩为可比的向量。中间双曲段负责分布对齐与几何保持的融合，右侧负责把融合向量变成自然语言判定。训练目标同时包含 2 次对齐损失与语言建模损失，推理时只做 1 次前向加双曲映射。论文报告可训练参数约三百七十五万，编码器与解码器保持冻结。

两路编码器与两阶段双曲对齐各自做什么？

先讲编码器分工。语义编码器用语音识别预训练模型，输出经平均池化得到固定维向量，擅长捕捉语言内容层面的异常。韵律编码器用副语言预训练模型，输出更高维向量，擅长捕捉情感、说话风格与自然度层面的异常。两者都冻结，只训练后面的卷积、投影与门控。门控的作用是过滤输入表示，只让显著信息进入下一个阶段。

Whisper × TRILLsson： Whisper 分工是提供语义与语言学表示，TRILLsson 分工是提供副语言与韵律表示，二者搭配的理由是编解码失真既可能改变发音细节也可能改变韵律自然度，组合意义是先分别保留两类线索再做语音内融合，避免单一编码器只看到一类失真。

再讲几何与度量。双曲空间被选中的理由在原文中是层级结构假设，语义与副语言线索内部以及语音与文本之间可能存在层级关系。双曲几何天然适合嵌入这种结构。度量用的是从欧氏空间推广到双曲空间的巴塔查里亚距离，距离越小表示对齐越好，优化目标是把它压到最小。融合时用莫比乌斯加法，保持点仍在双曲流形上。

双曲空间 × Bhattacharya 距离： 双曲空间分工是提供适合嵌入层级关系的几何容器，Bhattacharya 距离分工是度量两个分布的重叠与对齐程度，二者搭配的理由是语义韵律与语音文本之间被假设存在层级结构，组合意义是在双曲流形上最小化分布距离来实现语音语音融合与语音提示对齐。

最后讲条件生成。音频大语言模型在这里不是自由问答机，而是被约束为只输出真或假的判别器。条件提示强调分析非自然伪影，判定提示要求只回答一个词。融合表示经对数映射回到欧氏空间，再经线性投影变成前缀 token 注入解码器。这种设计的搭配理由是让任务知识通过提示表示参与对齐，而不是只在最后分类层出现。

音频大语言模型 × 条件生成： 音频大语言模型分工是提供已预训练的语音文本联合推理能力，条件生成分工是把检测改写为给定融合语音前缀与判定提示只输出真或假，二者搭配的理由是直接分类头难以利用提示推理，组合意义是用冻结解码器加可训练前缀的方式把对齐后的表示转化为可复述的判别输出。

需要提醒的缺项是，原文没有给出双曲曲率与指数映射数值稳定性的完整推导细节，也没有报告梯度是否穿过冻结编码器之外的每条路径的逐层行为。复述时只能说编码器与解码器冻结、轻量适配与对齐模块更新，不能从模型名称推定解码器内部实现。

训练与数据构造：真假对子如何 paired 生成？

数据构造本身就是训练条件的一部分。真实语料取自印度语通用语音基准的官方训练验证测试划分，直接作为真样本。给定真波形，编解码器编码器映射为离散隐表示，再由解码器重建为波形，重建信号即为对应的伪造样本。每个真样本对每种编解码器配置都有一一对应的伪造版本，保留原始划分归属。

已知编解码器评测用测试已知划分，训练与评测用同一组编解码器。未知编解码器评测用测试未知划分，测试编解码器在训练时未出现。噪声划分则用测试未知的噪声部分按同样未见编解码器集合生成，用于检验编解码器失配加声学恶化的双重偏移。

训练时只在基准训练划分上做有监督训练。优化器用自适应权重衰减优化器，学习率设为十万分之一，批量为三十二，训练 5 轮。训练目标权重分别控制语音融合、提示条件与语言生成三项，取值经验证集初步实验确定。硬件报告为 4 卡加速卡，端到端基线与预训练骨干基线训练 20 轮以作对照。推理开销按原文报告主要由骨干前向主导，双曲映射附加开销可忽略。

评测条件：比什么、在哪测、指标方向是什么？

评测按问题组织。第一问是英语基准训练的模型能否直接用于印度语。第二问是音频大语言模型零样本能否直接判编解码伪造。第三问是域内训练与评测时谁最好。第四问是跨库、跨语言、跨编解码器与噪声下谁更稳。比较的公平条件是同一测试划分与同一指标，准确率越高越好，等错误率越低越好。

已知编解码器 × 未知编解码器： 已知编解码器分工是定义训练与测试同分布的闭集评测，未知编解码器分工是定义训练未见编解码器类型的跨编解码器泛化评测，二者搭配的理由是真实攻击不会告知所用编解码器，组合意义是用两套划分同时检验拟合能力与分布外鲁棒性。

数据分布需要先看清，否则跨语言结论不可比。下图展示各语言在训练、验证、已知测试与未知测试上的样本计数，训练柱远高于其他柱，且不同语言训练量不平衡。请先确认横轴语言与纵轴计数，再对比组内柱高。

看图路径： 1. 先看横轴十二种印度语言与纵轴样本计数的坐标含义；2. 再对比每组内蓝色训练柱与其他验证测试柱的高度差异；3. 最后观察印地语与泰米尔语等高训练量语言与其他语言的不平衡

论文图 3。原论文 Figure 3：“IndicSUPERB data distribution across Train, Val, and Test sets for different Indic languages”。

上图说明复现时不能把所有语言等同看待。印地语与泰米尔语等训练量大，梵语等训练量小，随机跨语言划分与语系迁移的结果会受此影响。论文因此同时报告随机留一语言与达罗毗荼语系和印欧语系互迁两种协议。基线包括传统分类器、多编码器融合与微调音频大语言模型，训练时编码器冻结的设置与所提方法保持一致，保证比较的是融合与对齐策略而非参数量碾压。

主结果：英语模型掉多少？所提方法赢在哪里？

先看最能说明问题的迁移掉点。在编解码伪造英语基准上表现很强的传统检测器，换到印度语基准时准确率与等错误率大幅恶化，说明英语模板不能直接搬运。下表把该掉点整理为可核对的形式，表前的问题是同一模型在同类任务不同语言上的表现是否一致，公平条件是同一模型跨库直接评测，指标方向是准确率越高越好、等错误率越低越好。

表后解释需要同时看到收益与代价。该表报告显示跨语言直接迁移失败，等错误率从约 10% 升至约 40%，支持必须做印度语中心建模的判断。但该表只是一个基线单点，不能证明所有传统方法都同样差，也不能把 1 次掉点归因到某个具体音系特征。未胜出项在这里恰恰是英语上最强的模型，提醒域内最优不等于可部署。

再看双向跨库迁移，所提方法在 2 个方向都保持低等错误率，而传统基线在 2 个方向都大幅退化。下表的问题是谁在分布偏移下更稳，公平条件是同样的跨库方向，指标是等错误率越低越好。

表后解释是，所提方法报告显示双向迁移都明显低于基线，支持双阶段对齐带来跨分布鲁棒性的判断。但代价是引入双编码器与大语言模型解码器，推理链更长。反例是基线在英语域内并不弱，说明差距主要出现在迁移而非拟合，选型时应按部署是否跨语言决定是否支付额外开销。

消融与反证：未见编解码器、噪声与语系迁移会怎样？

先看未见编解码器与噪声。干净未见划分只换编解码器，噪声未见划分同时换编解码器与声学条件。下表的问题是编解码器失配与噪声各带来多大退化，公平条件是同一未见编解码器集合，指标是等错误率越低越好。

表后解释是，所提方法从干净到噪声只出现中度退化，仍明显低于基线，支持对编解码器失配与不利声学条件更稳的判断。但限制是噪声只来自基准自带的噪声测试部分，未评测真实电话信道与压缩链路，不能把结论推广到所有部署噪声。未胜出项仍是传统基线，它在两档条件下都高出约 9 个百分点。

再看语言泛化。下表整理随机跨语言与语系迁移，问题是换语言或换语系后谁更稳，公平条件是同样的训练测试语言划分，指标是等错误率越低越好。

表后解释是，所提方法在随机留语言与结构化语系迁移下都保持个位数等错误率，而基线升至两 30%，支持层级建模有助于跨语言泛化的有限解释。但这只是相关性证据，不是因果证明，且各语言样本量不平衡可能影响聚合。论文还报告零样本音频大语言模型在两类基准上准确率仅 10% 左右、等错误率高达八 90%，说明不经编解码伪造针对性训练不能直接部署。消融中单编码器、简单拼接、欧氏对齐与只做一段双曲对齐的版本都低于完整 2 阶段版本，轻量解码器版本略降但仍强于单编码器大解码器，支持瓶颈更多在编码器侧的判断。

边界与未验证点：哪些结论不能直接推广？

第一个边界是解码器家族单一。论文只用同一系列大语言模型做解码器，虽引用已有研究称解码器选择影响有限，且轻量解码器实验也显示趋势一致，但未验证换家族后结论是否成立，可能待验证。第二个边界是编码器组合固定。所用两路编码器都是针对该任务挑选的强编码器，换其他编码器可能带来小幅波动，原文明确留作未来工作。

第 3 个边界是统计与成本口径。论文用配对预测的双侧检验报告显著性，支持所提方法优于基线的判断，但显著性不等于每种语言每种编解码器都赢。推理时间按原文是在单核加速卡上对测试集平均，完整方法与单编码器基线相近，轻量解码器更快，但这不是逐句延迟承诺，也未测量误判率之外的部署成本。第四个边界是伦理与误用。数据集由公开语料重合成，不采集新的人体录音，但对编解码器痕迹的分析可能被误用，论文明确仅限研究用途。

复现先做什么？如何不踩划分与提示的坑？

复现的第一步是按官方划分重建真假对子。真实语音取自印度语基准的官方划分，伪造语音用所列编解码器逐条重合成，每条真语音对每种编解码器配置保留一一对应关系，不要打乱划分。已知评测用测试已知，未见评测用测试未知，噪声评测用测试未知的噪声部分加同样的未见编解码器集合。所有输入在送编码器前重采样到 16 kHz，编码器与大语言模型解码器冻结，只训练卷积投影门控与对齐模块。

第二步是固定提示与指标。条件提示强调分析非自然伪影，判定提示要求只回答真或假，零样本对比时需遍历多个判定模板，因为原文报告不同模板分数不同。指标同时看准确率与等错误率，注意百分点差与相对百分比不同，不同指标的差值不能混放。跨库对比时要同时核对数据集、基线、阶段与聚合对象，数值相同不代表同一指标。

第三步是先跑可运行基线再加组件。先复现传统检测器跨库掉点，再复现微调音频大语言模型与多编码器融合，最后再加入双曲 2 阶段对齐。官方仓库本次核验为可用，可作为数据生成管线与代码起点，但权重下载与系统可运行仍需按仓库实际说明核对，不把代码开源等同于开箱可运行。

何时值得尝试这种双曲双阶段做法？

当部署语言与训练语言不一致，或攻击所用编解码器未知时，值得尝试语义加韵律的双路表示与 2 阶段对齐。论文报告显示该做法在跨库、跨语言、跨语系与未见编解码器上都低于所比基线，且在英语基准域内也保持竞争力，说明它不是只为单一划分调参的特化结构。

当计算预算只允许单编码器小模型，或部署信道与评测噪声差异很大时，应谨慎采用。双编码器加大解码器的链路更长，提示模板也会影响分数，换解码器家族与换编码器组合都还需补验证。教学上的 takeaway 是先用跨分布评测证明问题存在，再用针对性训练与显式对齐解决问题，而不是把零样本大模型的通用能力直接当成伪造检测能力。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

另有 14 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总