把方言、语码转换和伪造配对放在同一语料里：VietPrism 如何控制词汇与身份混淆

英文题目：VietPrism: A large-scale Vietnamese speech and deepfake corpus with diverse dialects and code-switching

标签：#音频深度伪造检测 | #数据集构建 | #数据集 | #多语言

评分：7.1/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

• Minh Hoang：机构信息未在 arXiv HTML 中可靠披露
• Thai Le：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

越南语研究长期面临同一资源无法同时支撑语音识别、说话人验证、方言与代码切换建模及伪造检测的问题，自然混合与一致身份缺失使跨任务对齐困难。VietPrism 构建四阶段离线管线：先以人工种子加双语查询发现视频并做单频道三小时限流与疑似AI视频剔除，再经重采样、归一化与降噪后由Gemini 2.5 Pro初转写切分日志并与Montreal Forced Aligner融合、分歧超2秒人工校正，接着以Qwen3-Omni-30B-A3B过滤多说话人与歌唱片段并人工跨视频聚类身份，最后以9至9.5秒验证参考驱动OmniVoice、Higgs Audio v3、VoxCPM2与MiniMax合成同一说话人同一转写文本并做扰动。与既有识别库缺身份、说话人库缺转写、混合库小而窄的设计不同，该机制以同一文本与同一身份约束真伪对子，分离词汇与身份混杂，并保留47.1%时长约472.7小时的自然越英切换。在993.4小时403941条真实语音与相似度过滤前3190小时1290883条伪造语音的零样本评测中，最均衡的DFA-1B在三种合成器上等错误率为10.95%至13.14%，在VoxCPM2上恶化至34.33%，并随说话人相似度升高从16.3%升至33.6%。该结论仅适用于所含四种合成器与采集域内的越南语评测，向其他语言、新型克隆模型与强噪声部署的外推尚未验证。原文未披露训练与推理成本，未提供可核验的数据仓库与许可链接。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：为什么越南语需要同时看懂内容、口音和真伪？

这篇论文的输入是真实世界越南语语音，目标是同时支撑识别内容、区分说话人、区分方言、处理越英混说，并能检验伪造语音检测。研究生刚进入语音领域时容易把任务拆开理解：语音识别只管把声音转成文字，说话人验证只管判断是不是同一个人，伪造检测只管判断是真人还是合成。但论文指出越南语的实际困难恰好在交叉处。

如果语料只有音频加文字而没有稳定说话人编号，就无法把同一个人的多句话连起来，也就难以做说话人感知的训练、语音克隆和需要按人配对的伪造评估。如果语料只有朗读式单语，而真实年轻人经常在同一对话里混用越南语和英语，模型在实验室指标好看，放到真实混说上就会失配。更进一步，如果真伪语料的文本分布和说话人分布本身就不同，检测器可能只是学会了文本话题或频道差异，而不是合成痕迹。

论文因此把输出定义为一个多域语料加受控伪造子集：既要给出转写、说话人、方言和混说标注，也要给出与真人逐条配对的伪造语音，使后续研究可以在同一资源里比较识别、方言建模和检测。本文后续按学习依赖展开，先讲已有路线缺什么，再走完一条样本从视频到可用片段的流水线，然后讲伪造如何配对生成，最后讲零样本检测在什么条件下被检验。本文不声称代码、模型或数据已公开，因为本次未发现来源绑定且完成验证的资源。

已有路线缺了哪块拼图：识别语料与说话人语料为何接不上？

理解这篇工作的第一步是看清两条已有路线的分工。第一条是语音识别路线，代表性资源包括越南语的朗读语料、多域语料和大规模弱监督语料，它们的优势是音频加转写规模大，缺点是很多不提供一致的说话人标识，论文点名了若干大规模语料存在这一缺口。第二条是说话人路线，例如越南名人语音和越南声纹类资源，它们的优势是有按人组织的大量音频，缺点是不提供转写，或者身份标签需要额外清洗。

两条路线各自优化了自己的指标，但放在一起就出现断层：识别语料无法支持需要按人配对的克隆与伪造评估，说话人语料无法支持需要文本约束的识别与受控检测。方言与混说又加了一层断层。已有越英混说资源规模很小，一个只有约 10 小时且面向社会语言学，另一个局限于医疗领域且不提供说话人身份，无法代表多域自然混说。伪造数据集方面，越南语已有的多语或单语伪造子集在规模、说话人配对和转写配对上都不完整。

论文的判断是：缺的不是更大的一块单任务数据，而是一个把转写、稳定说话人、方言和自然混说放在同一多域采集下的底座，再用同一批真人内容生成配对伪造。只有这样，后续才能在词汇和身份大致受控的条件下比较检测器。

要解决的三个可检验问题是什么？

论文把大目标拆成 3 个可以在数据和实验中核对的问题。第一个问题是覆盖问题：能否在真实世界视频中收集到足够多小时、足够多说话人，并且同时带有转写、方言和混说标注，而不是只满足识别或只满足说话人任务。第二个问题是受控性问题：能否让每条伪造语音都对应一条文本相同、说话人相同的真人语音，从而减少词汇混淆和身份混淆，使检测难度的来源更干净。

第 3 个问题是泛化问题：在不微调的零样本条件下，多语伪造检测器是否对生成器、说话人相似度和方言保持稳定，还是只在某些组合上有效。这 3 个问题决定了后文的动作：采集必须限频道时长以保多样性，转写必须做时间戳融合与人工纠错，伪造必须先做说话人聚类验证再选参考音频，评估必须按生成器、相似度区间和方言分层报告。

初学者复述时要抓住这个链条：覆盖决定语料有没有代表性，受控配对决定比较公不公平，分层评估决定结论会不会被平均数掩盖。

四步流水线如何从视频走到受控真伪对？

论文的数据生成流水线可以沿着一个视频样本走一遍。起点是公开视频，终点是 1 对标注完整的真人片段和伪造片段。第一步是视频发现与整理，动作包括人工播种方言和混说视频、按频道扩展、用大语言模型从种子和相似标题迭代生成双语查询、每个频道上限 3 小时以平衡数量与多样性，并剔除疑似 AI 生成视频。

第二步是语音处理与对齐，动作包括提取音频并转成 16 千赫单声道、峰值归一化与响度归一化、用去噪工具增强，再用大模型做初始转写、切分、说话人日志和元数据抽取，同时保留自然填充词，然后把模型时间戳与传统强制对齐器融合，分歧超过 2 秒的约 2.4% 片段做人工纠正。第三步是转写质控，动作包括按验证后的时间戳切成话语级片段，只保留单说话人的口语转写，并用带思考模式的模型过滤不可用、多说话人、歌唱和混合样本。

第四步是说话人条件伪造生成，动作包括先人工聚类验证跨视频说话人身份，再抽取约 9 秒参考音频，用 4 种开源与商用合成系统按同一转写合成，最后与说话人匹配的真人片段配对。下面先看流水线总览图，再解释每个组件的具体计算与人工位置。

上图把 4 个阶段的主路径和人工筛查点画在同一张图里，阅读时不要只看方框名称，要看箭头上的对象变化：视频流、转写片段流、已验证片段流。

看图路径： 1. 从左上第 1 步的视频搜索箭头开始，依次看到视频收集和 AI 生成视频筛查；2. 看第 2 步去噪转写与时间戳融合，再向下看第 3 步的转写质控箭头；3. 看第 4 步说话人匹配到参考选择再到克隆合成，最后落到相同文本与匹配说话人的受控输出

论文图 1。原论文 Figure 1:：“Overview of the VietPrism data generation pipeline. Human icons depict steps where we involve human screening.”。

从像素可见，图分 4 个大框，第 1 框从视频图标经大模型加人工协作搜索到初始收集再到 AI 视频筛查，第 2 框从去噪归一化到转写标注再到时间戳融合纠正，第 3 框从过滤低质片段到文本数字归一化，第 4 框从说话人身份匹配到参考选择再到克隆合成，最后落到同一说话人和同一文本的真伪受控输出。3 个戴对勾的人形图标分别落在 AI 视频筛查、时间戳融合纠正和说话人身份匹配处，说明人工不是全程标注，而是在容易引入系统性错误的三处设闸。初学者可以这样复述：先用检索保证方言和话题多样，再用增强加双路对齐保证时间可用，最后用身份验证保证配对可比。

转写、方言和说话人三个组件各自算什么、为何必须组合？

转写组件的白话含义是把声音对应到文字加时间，大模型负责给出初始切分、说话人日志和带填充词的文本，英文名为 transcription and diarization，传统对齐器负责给出更稳定的词级时间，融合规则是两者分歧大就人工改。方言分组的白话含义是给每位说话人一个地域口音标签，英文名为 dialect group，论文给出北方、南方、中部、西南和海外越语 5 组，动作是人工核对而不是仅从标题推测。说话人身份的白话含义是跨视频把同一人编成同一编号，英文名为 speaker identity，动作是人工聚类验证，避免同一人被拆成多人或多人被并成 1 人。

说话人身份 × deepfake 检测： 说话人身份负责把跨视频的同一人聚成稳定编号，deepfake 检测负责判断音频是真人还是合成，二者搭配的理由是只有身份稳定才能做文本和说话人都配对的真伪对比，组合意义是把词汇差异和身份差异压住，让检测误差更可能来自合成痕迹本身。

方言分组 × 语码转换： 方言分组负责标注发音和用词的地域变体，语码转换负责标注同一段话里越南语和英语的自然混用，二者搭配的理由是真实混说本身就带有地域口音，组合意义是可以分开检验检测器是怕口音还是怕语言切换。

这 3 个组件必须组合的原因可以用一条样本说明。假设一条 9 秒左右的真人片段来自南方口音的混说内容，转写告诉合成器要说什么，方言标签告诉评估者这条样本属于哪个分层，说话人编号告诉合成器用谁的声音参考来合成。如果缺了转写，伪造与真人的文本不同，检测器可能靠文本长度或话题取巧。如果缺了说话人编号，伪造用的参考声纹与真人对不上，相似度分层就失去基准。如果缺了方言，西南和海外等小群体的误差会被大方言平均掉。论文把平均时长做到约 8.9 秒，正好适合既能听出内容和口音，又能截出稳定的参考音频，这是支持识别、验证和检测多任务的折中选择。

本研究训练了什么、没有训练什么？伪造语音实际如何调用生成？

本研究没有训练新的语音识别模型，也没有训练新的伪造检测器，这一点必须先说清，避免把零样本评估误读成模型训练。真实发生的计算是语料构造与合成调用。构造侧的计算包括音频重采样、归一化、去噪、转写与对齐融合、话语切分与过滤，其中可核对的动作是 16 千赫单声道转换、峰值与响度归一化、双路时间戳融合后对超差片段人工纠正。合成侧的计算是说话人条件的语音克隆与文本转语音，英文为 speaker-conditioned spoof generation，实际调用的 4 个系统包括开源与商用的合成模型，商用系统还变化音量、音高和语速以增加多样性。

转写文本 × 说话人配对的伪造语音： 转写文本负责固定要说什么内容，说话人配对的伪造语音负责用同一说话人参考合成出同样内容，二者搭配的理由是控制词汇混淆，组合意义是真伪对只在声学实现上有差别，便于做受控评估。

具体到一条已验证片段，输入是该片段的转写文本加同一说话人的约 9 秒参考音频，输出是同一文本、尽量接近同一音色的合成音频。论文强调每个合成输出都与说话人匹配的真人片段配对存放，目的是控制词汇和身份混淆。需要指出的缺项是：论文未报告合成时的采样超参数、参考音频的具体挑选阈值和相似度过滤后的最终发布规模细节，复现者只能按原文描述的按人配对原则重做，不能从模型名称推定默认实现。人工方面，论文招募 9 名成年本地母语者做标注与筛查，并说明报酬达到当地最低时薪标准，这部分属于数据质量动作，不是模型训练。

评估测什么、与谁比、条件是否一致？

实验要回答的是零样本伪造检测在越南语自然多样性下是否稳定。测量对象是 5 个预训练多语检测器在不微调条件下对 4 种合成器的区分能力，检测器包括两种规模的竞赛检测模型和 3 种不同语音编码器底座的反伪造检查点。比较方式是同一批说话人匹配的真伪对上逐生成器打分，避免真伪文本分布不同带来的不公平。指标是等错误率，英文为 equal error rate，缩写为 EER，方向是越低越好，它表示误接受率与误拒绝率相等时的错误，初学者不要把它当成准确率。

聚合方式有 3 层：先按生成器平均，再按说话人相似度区间分层，最后按方言分组平均。相似度分层把伪造与真人参考的相似度切成 6 个不重叠区间，方言分层对生成器取等权平均后再算大方言与小方言的差异。成本与硬件方面，论文未报告检测推理耗时、显存占用和合成调用费用，这是复现时需要补记的缺项。公平条件的关键是真伪对的文本相同、说话人相同，因此生成器之间的差异更可能来自声学建模，而不是话题或说话人构成不同。

先看语料规模这张整理表，它回答数据底座够不够大、伪造是否达到可分层评估的量级，表中数字全部来自原文连续句，单位保留原文写法。

上表说明真人部分近 1000 小时、约 400000 条，伪造部分超过 3000 小时，检测评估用 5 个多语模型零样本测试。它的代价是小方言与海外样本占比低，后续按方言分层时小样本的误差条会更大。下一张表看说话人按方言的构成，判断大方言覆盖与小方言评估边界。

上表显示南北是大头，中部、西南和海外人数少，这决定了后文方言结论的适用条件：南北差异可比性强，小方言更多是暴露模型依赖的差异，而不是证明某种口音本身更难。

主结果：检测器在哪个生成器上失效、相似度越高错得越多吗？

主结果按生成器组织。论文报告最均衡的模型在 3 个合成器上等错误率处在约 11% 到十三区间，但在第 4 个合成器上跳到 30% 以上，说明平均指标掩盖了生成器特异失效。另一路编码器底座平均最好，却在一个商用合成器上接近随机猜测，而在两个开源合成器上接近满分，这种两极分化进一步支持泛化不是均匀的，而是生成器相关的。

相似度分层结果显示，部分检测器随相似度升高明显恶化，从中等相似度区间到最高相似度区间等错误率翻倍以上，而另一些检测器相对平稳。方言分层显示部分模型在西南和海外组更差，但在中部组并不一定更差，说明方言效应与模型有关，不能简单归因于语料多少。

说话人相似度 × 等错误率： 说话人相似度负责度量合成语音有多像目标真人，等错误率负责度量检测器在误接受和误拒绝平衡点的错误，二者搭配的理由是越像真人的伪造越难检，组合意义是揭示检测器是否只在低相似度伪造上有效。

下图按相似度展开平均后的退化曲线，阅读时先确认横轴区间与纵轴方向，再比较不同检测器线的斜率。

看图路径： 1. 先确认横轴是合成与真人参考的说话人相似度区间，纵轴是等错误率；2. 比较 DFA-1B 与 DFA-500M 两条线随相似度升高的上行幅度；3. 观察 ADF 系列中保持平稳的线与明显上行的线，区分模型依赖的退化

论文图 2。原论文 Figure 2:：“Zero-shot EER by speaker similarity between synthesized speech and real reference, averaged across synthesizers.”。

从像素可见，横轴是与真人参考的说话人相似度区间，纵轴是等错误率，多条折线总体随相似度升高而上行，但斜率不同。其中两条竞赛检测模型的线从中段到高段爬升最明显，另有编码器底座的线保持低位平稳，还有线起点就偏高。这支持论文的有限解释：高相似度伪造对部分检测器更难，但不是所有检测器都同样退化，因此不能把总体趋势推广到每个模型每一步都成立。

下面用两张数字表固定关键证据。第一张是生成器与相似度层面的可运行比较，保留必要基线与实际策略，数字与单位来自原文连续句。

上表的主要收益是定位了失效位置：同一检测器在多数生成器上可用，在特定商用或高相似度伪造上失效。代价是接近满分的结果可能来自该生成器痕迹明显，而不是检测器真正理解越南语伪造，因此论文强调需要跨生成器报告，而不是只报平均数。未胜出项是平均最好的编码器底座，它在个别生成器上接近随机，说明选模型不能只看平均。第二张是方言分层的原表选择，保留多模型与多方言的完整对照。

按方言比较的问题是：小方言是否系统性更难，指标方向仍是等错误率越低越好，条件是对生成器取等权平均。

上表显示竞赛模型在西南和海外组明显偏高，而另一路模型在海外组反而偏低或平稳，平均行则被个别高误差模型拉高。结合样本量看，西南和海外真人条数只有数千条，远少于南北的十万量级，因此小方言上的波动可能来自录制条件、说话人构成和合成覆盖，而不只是语料频率。复述时要加适用条件：方言差异是模型依赖的，不能直接说成某种口音天生更难检。

混说是不是让商用合成更难检：分方言看有何反例？

这一节相当于对混说条件的消融式对照：同一方言下比较非混说与混说，观察商用合成器的等错误率是否系统性升高。论文报告商用系统在南方和西南等主流地域方言下，混说一致推高检测误差，举例在某个检测器上最多高出约 7 个百分点。论文的有限解释是商用架构可能在语言切换处做了更好的音素融合与声学平滑，藏住了开源模型会露出的合成痕迹，但这属于可能与待验证的推测，不是直接测量的因果。

零样本评估 × 生成器特异性： 零样本评估负责不微调直接用多语检测器测试，生成器特异性负责描述同一检测器在不同合成器上表现起伏，二者搭配的理由是不做适配才能暴露泛化缺口，组合意义是说明平均指标会掩盖对某个商用系统的失效。

下图把混说对照拆到 5 个方言组，阅读时不要只看最高柱，要看同一颜色配对柱的高度差。

看图路径： 1. 先确认横轴五个方言分组与纵轴 EER 方向，区分纯色与斜纹的混说条件；2. 比较同一方言下 DFA-1B 与 DFA-500M 在混说与非混说柱高的变化；3. 观察海外越语组整体柱高偏高的形态，再核对原文对商用系统的解释

论文图 3。原论文 Figure 3:：“DFA’s EER (%) in zero-shot detection of MiniMax deepfake on code-switching (CS) utterances across dialects.”。

从像素可见，横轴是中部、北部、南部、西南和海外 5 组，纵轴是等错误率，每组内有多对纯色与斜纹柱表示非混说与混说对照。在南部和西南组，商用系统对应的混说柱高于非混说柱，而开源系统的部分柱对差异较小或方向不一致。在海外组整体柱高偏高，但混说与非混说的差值形态与其他组不同，说明混说效应也与方言和模型有关。反例是某些编码器底座在小方言上保持平稳甚至更优，因此不能说混说对所有检测器都更难。

未评测边界是混说片段的英文词数和切换位置没有进一步分层，论文只报告平均每个混说片段约含少量英文词，复现者若要深究，需要补做按英文比例和切换点位置的分层。

哪些结论不能推广：样本、系统与指标的三处边界？

第一处边界是样本不均衡。南北话语量占绝对多数，中部、西南和海外无论说话人数还是时长都很少，因此小方言上的高误差不能直接推广为口音难度排序，也可能是频道、录音条件和说话人构成差异。第二处边界是生成器覆盖有限。论文只用了 4 种合成系统，商用系统还以某个大版本为主加小量子集，无法代表全部商用与开源路线的痕迹分布，对未见生成器的结论属于待验证。第三处边界是指标单一。

论文主要用等错误率分层，没有报告误判率在实际阈值下的表现，也没有报告延迟、成本和输出帧率，因此不能承诺这些量得到改善。相关性不是因果：相似度越高误差越高，支持高仿真更难检，但没有证明相似度本身导致检测失败，因为高相似度样本可能同时在韵律和录音质量上更干净。缺失证据不是技术错误，例如训练资源、推理开销和合成超参数未完整报告，复现时应如实记录为缺项，而不是从模型名称推定实现。

要复现这套语料与评估，先做什么、用什么核对？

复现分两条线。语料线先做视频发现与整理：按方言和混说播种、按频道限时、剔除疑似 AI 视频，每一步保留来源与筛查记录。然后做语音处理：统一转成 16 千赫单声道并做归一化与去噪，再用大模型初转写加传统对齐融合，对超差片段人工纠正并保留填充词。接着做质控：只留单说话人口语片段，过滤多说话人、歌唱和低质片段。最后做说话人验证：跨视频人工聚类编号，再为每人截取约 9 秒参考音频用于合成。

评估线先固定真伪配对：每条伪造必须能回指到同一说话人、同一转写的真人片段，再用 5 个多语检测器零样本打分，不做微调。核对清单包括真人总时长与条数、说话人数与视频数、4 种合成器的伪造量、按生成器、相似度和方言分层的等错误率方向。由于本次未发现可验证的公开资源，不得声称数据或代码当前可用，复现者应以论文描述的流程重做，并补记硬件预算、推理耗时和合成版本。

由于原表选择受限，本文用原文连续句整理规模表，用原表选择呈现方言分层，避免为凑宽度制造无源列。

何时值得用这套思路：给研究生的三句可执行判断？

当你的研究需要同时用到文本、说话人和方言信息时，这套把多任务标注放在同一采集下的思路值得尝试，例如说话人感知的识别、带口音的克隆评估和需要控制词汇的伪造检测。当你的检测评估只报平均等错误率时，应当补做按生成器、相似度和方言的分层，因为本文最强的反例就是平均最好与单生成器失效可以同时成立。

当你的语料里有自然混说时，不要只报混说比例，要像本文一样进一步看混说在不同方言和不同合成器上的误差变化，并明确标注小样本分组的边界。收束一句话：VietPrism 的价值不在于给出一个通用最优检测器，而在于用配对设计把词汇和身份混淆压住后，仍然暴露出生成器特异、相似度依赖和方言依赖 3 类脆弱性，后续工作需要在相同配对条件下补更多生成器、更细的混说分层和实际阈值下的误判评估。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-25 语音/音乐/音频论文速递