模型评估

📄 Neural Encoding Detection is Not All You Need for Synthetic Speech Detection #语音伪造检测 #自监督学习 #数据集 #模型评估 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Luca Cuccovillo（柏林工业大学，媒体技术中心） 通讯作者：根据论文格式和致谢，Xin Wang（理化学研究所，RIKEN）可能是通讯作者，但论文未明确标注。 其他作者： Xin Wang（日本理化学研究所，RIKEN 知能系统中心 PRESTO） Milica Gerhardt（柏林工业大学，媒体技术中心） Patrick Aichroth（柏林工业大学，媒体技术中心） 💡 毒舌点评 亮点：给当前合成语音检测领域狂热追捧的“神经编码检测”泼了一盆及时的冷水，一针见血地指出SOTA方法可能只是在检测“声码器痕迹”而非“合成语音本质”，并犀利地关联到法律证据适用性问题，格局打开了。 槽点：作为“综述”，自己提出的“假设驱动”方法部分（韵律、POI）有点像文献综述的简单罗列，深度和说服力不如对数据驱动方法的批判部分那么酣畅淋漓，有点“破而不立”的感觉。 📌 核心摘要 这篇综述论文的核心贡献在于揭示并论证了当前合成语音检测领域的一个关键误区：过度依赖“神经编码检测”。论文首先系统回顾了基于SincNet、自监督学习（SSL）和神经编码检测的三类数据驱动方法，指出当前性能最佳的SSL模型实际上主要捕捉的是声码器（vocoder）在波形生成阶段引入的痕迹，而非语音合成特征提取阶段的异常。通过实验（图2）证明，当对自然语音施加神经编码后，现有SOTA检测器的性能会显著下降，这验证了其核心论点。论文进一步指出，这种依赖在长期来看是不可靠的，因为神经编码将成为语音传输的常态，而非合成的专属标志。因此，论文倡导未来研究应转向更具可解释性和针对性的“假设驱动”方法，如基于韵律异常和特定说话人身份（POI）验证的检测，并呼吁建立高质量的合成语音数据集、标准化的评估流程以及可解释性分析工具。 🏗️ 模型架构 本文是一篇综述和立场性论文，并未提出一个全新的、端到端的模型架构。因此，其“模型架构”部分主要体现在对现有三类数据驱动方法的梳理和批判上： SincNet-based 方法： 输入：原始音频波形。 核心组件：SincNet滤波器组，其参数（中心频率、带宽）通过可学习的sinc函数表示，旨在学习一组带通滤波器。 后续处理：滤波器组输出后接复杂的分析模块，如残差块（RawNet2）、图注意力网络（RawGAT-ST, AASIST）来建模时频关系。 关键设计理由：避免对梅尔频谱图使用2D卷积，直接在波形上学习滤波器。但论文指出，这些模型最终倾向于关注无语音的高频和低频区域（背景噪声），而非语音本身，导致泛化能力差。 SSL-based 方法： 输入：原始音频波形。 核心骨干：预训练的自监督学习模型，如wav2vec 2.0 (XLS-R)。其内部包含一个卷积特征提取器（隐式滤波器组）和一个Transformer编码器，通过掩码预测任务学习通用语音表征。 下游任务适配：在XLS-R输出表征后，接各种解码头进行检测，如AASIST的图注意力层、敏感层选择（SLS）模块、或双向Mamba状态空间模型（XLSR-Mamba）。 关键设计理由：利用大规模无监督预训练获得的通用、强大的语音表征，提升模型的泛化能力。论文承认这是当前SOTA，但指出其缺乏可解释性，决策依据不明，可能在法庭等场景不被接受。 神经编码检测方法： 本质：这并非一种独立的模型架构，而是一种训练数据构建范式和分析视角。 方法：从自然语音中提取声学特征，然后用不同的神经声码器（如Lyra-V2, EnCodec）将其重建为波形，用这些“被编码的自然语音”作为“伪造”样本来训练检测器。 发现：SSL模型能高效捕捉这些编码痕迹。但论文的核心批判在于：这些痕迹在自然语音经过神经编码后也会出现，因此检测“神经编码”不等于检测“合成语音”。这解释了为何现有模型关注静音段、背景噪声等与编码相关的非语音特征。 💡 核心创新点 关键区分与批判：首次清晰地将“合成语音检测”（检测声学特征生成阶段的异常）与“神经编码检测”（检测波形重建阶段的声码器痕迹）区分开来，并论证当前主流研究（尤其是依赖神经编码痕迹的SOTA方法）实质上是在做后者，这可能导致长期的研究方向偏差和实际应用风险。 实证揭示SOTA方法的脆弱性：通过精心设计的实验（图2），展示了当对标准测试集（ASVspoof 2019 LA）中的自然语音样本施加不同的神经编码后，三个最先进的SSL-based检测器（XLSR-AASIST, XLSR-SLS, XLSR-Mamba）的性能（平衡准确率、等错误率）发生灾难性下降。例如，XLSR-AASIST在EnCodec编码后，平衡准确率从100%降至50%（随机水平）。这强有力地支持了其核心论点。 提出长期风险预警与研究方向转移：指出随着神经音频编解码器成为通信标准，依赖其痕迹的检测方法将失效。因此，倡导未来研究应转向可解释的、假设驱动的方法（如基于韵律、说话人身份一致性），并呼吁社区关注数据集质量、标准评估和可解释性工具的开发。 🔬 细节详述 训练数据： 论文未描述自己训练模型，而是引用和分析了现有工作使用的数据集，如ASVspoof 2019/2021/2024 LA、ADD、SAFE、CodecFake等。 其核心实验（图2）使用了ASVspoof 2019 LA评估集作为基础，并对其进行后处理：使用多种神经音频编解码器（EnCodec, Lyra-V2, Descript Audio Codec, L3AC, Speech Tokenizer）重新编码其中的“真实”（bona fide）语音，创建新的测试条件。 关键实验设置（图2）： 测试集：原始ASVspoof 2019 LA评估集 vs. 经过不同神经编码器重新编码的该评估集。 模型：直接使用作者提供的预训练权重，包括XLSR-AASIST, XLSR-SLS, XLSR-Mamba。 指标：平衡准确率（BAC）和等错误率（EER）。 发现：在原始测试集上，所有模型都达到近100%的BAC和0%的EER。但在经过神经编码的测试集上，性能大幅下降。例如，对于EnCodec编码版本，所有模型的BAC都降至约50%，EER升至20%-40%。Descript Audio Codec的影响相对较小。 损失函数、优化器、超参数：论文作为综述，未提供这些细节。 📊 实验结果 论文的核心实验结果集中在图2和图3（即文中的两个柱状图），用于证明其核心论点。以下是关键数据的复述： ...

📄 VIBE: Voice-Induced open-ended Bias Evaluation for Large Audio-Language Models via Real-World Speech #模型评估 #音频大模型 #基准测试 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Yi-Cheng Lin (台湾大学 通信工程研究所) 通讯作者：Hung-yi Lee (台湾大学 通信工程研究所， 人工智能卓越研究中心) 其他作者： Yusuke Hirota (NVIDIA，台湾) Sung-Feng Huang (台湾大学 通信工程研究所) 机构： 国立台湾大学 通信工程研究所 (Graduate Institute of Communication Engineering, National Taiwan University) NVIDIA，台湾 国立台湾大学 人工智能卓越研究中心 (Artificial Intelligence Center of Research Excellence, National Taiwan University) 💡 毒舌点评 亮点：这篇论文最巧妙的地方在于“让模型自由发挥”——用开放生成任务代替选择题，就像撤掉考场的栅栏，让模型在真实场景下的“偏见本能”无处遁形。结合真实人声录音，评估框架的设计非常贴近实际应用，比那些用合成语音做选择题的“象牙塔测试”高明不少。 槽点：但它的“考场”只设在了英语世界（两个英文数据集），对于口音偏差的评估也仅限于非母语英语者，全球化视角稍显局限。另外，偏差的定义仍集中在“分布差异”上，对于更复杂的个体公平、交叉性公平（如同时考虑性别和口音）探讨不足，算是开了个好头，但远未终结话题。 📌 核心摘要 这篇论文旨在解决大型音频语言模型（LALM）在开放生成任务中社会偏见评估不足的问题。现有基准多依赖合成语音和选择题（MCQ），无法捕捉模型在真实交互中自然流露的刻板印象。为此，作者提出了VIBE框架，其核心是使用真实人声录音输入模型，并通过开放生成任务（如故事创作、个性化推荐）来激发模型的潜在偏见。框架采用“输入音频+任务提示 → LALM生成自由文本 → LLM提取器结构化属性 → 计算组间分布差异（nTVD）”的流程进行量化。通过对11个主流LALM在5个任务上的评估，论文揭示了三个关键发现：1) 偏见具有高度任务依赖性，叙事和推荐类任务更容易引发偏见；2) 没有模型能在所有任务上都保持低偏见；3) 性别线索通常比口音线索引发更显著的输出分布偏移，表明模型复制了社会性别刻板印象。该工作为LALM的公平性评估提供了一个更真实、可扩展的新基准。 ...

📄 Where Do Self-Supervised Speech Models Become Unfair? #语音识别 #说话人识别 #自监督学习 #模型评估 #多语言 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Felix Herron（格勒诺布尔阿尔卑斯大学，GETALP团队；昆士兰科技大学） 通讯作者：Felix Herron（邮箱：felix.herron@univ-grenoble-alpes.fr，格勒诺布尔阿尔卑斯大学） 其他作者： Maja Hjuler（巴黎多菲纳大学，MILES团队，LAMSADE） Solange Rossato（巴黎多菲纳大学，MILES团队，LAMSADE） Alexandre Allauzen（格勒诺布尔阿尔卑斯大学，GETALP团队） François Portet（格勒诺布尔阿尔卑斯大学，GETALP团队） 💡 毒舌点评 亮点：这篇论文像给语音模型做了一次全面的“公平性X光扫描”，首次系统揭示了SID和ASR任务在不同网络层中“此消彼长”的偏差规律，这个发现本身很有洞察力，为后续研究指明了病灶所在（问题出在预训练阶段）。 槽点：但论文基本止步于“诊断”而未开出“药方”。它告诉我们模型从第一层就开始“偏心”，且微调和现有的去偏方法（DET/DAT）效果甚微，这多少有点令人沮丧——相当于确诊了顽疾，却说“现有疗法效果有限，建议研发新药”。对于急需解决方案的从业者来说，实用性打了折扣。 📌 核心摘要 这篇论文旨在探究自监督语音模型（S3M）的不公平性究竟在模型的哪个层级产生。研究团队采用了一种轻量级的线性探针方法，在多个S3M（如WavLM, Wav2Vec2, BEST-RQ, Whisper）的每一层嵌入上，同时评估了说话人识别（SID）和自动语音识别（ASR）任务的整体性能及对不同说话人组（如非母语者、儿童、女性）的偏差。研究发现：1）模型从第一层开始就对不同说话人组表现出性能偏差；2）SID和ASR任务呈现出截然相反的层间偏差模式：SID性能最佳的层偏差最小，而ASR性能最佳的层偏差最大；3）对ASR进行微调（包括使用对抗性去偏方法）能提升整体性能，但几乎无法改变预训练阶段已固化的层间偏差模式。这表明，S3M的不公平性根植于预训练过程，且难以通过后续的微调消除，强调了研究更公平预训练技术的必要性。 🏗️ 模型架构 本研究的核心并非提出新模型，而是设计了一套分析框架来探测现有S3M的内部表征。其流程如下： 输入：原始语音波形。 特征提取：将语音输入预训练好的S3M（如WavLM-base+），获取其每一层的输出隐状态（hidden states）。这些隐状态就是待分析的“嵌入”。 任务探针：在每一层的嵌入上，分别独立训练两个极其简单的“探针”模型： SID探针：一个线性分类器，输入当前层的嵌入，输出说话人ID。使用Sonos数据集训练。 ASR探针：一个线性分类器+CTC解码，输入当前层的嵌入，输出文本序列。使用CommonVoice等数据集训练。 评估与度量：在测试集上，计算每个探针的整体任务错误率（SID为分类错误率，ASR为词错误率WER）和针对每个说话人组（SG）的相对错误率（公式1）。进一步，对一个人口统计变量（如性别）下的所有SG，计算其平均绝对相对错误率（公式2）作为该变量上的“偏差”度量。 分析：绘制每个模型、每一层、每个任务、每个说话人组的相对错误率曲线，以及整体错误率与偏差的散点图，从而分析偏差随网络层的演变规律。 关键设计理由：使用单层线性探针（而非复杂解码器）是为了最小化探针自身引入的偏差，确保观察到的性能差异和偏差主要源于S3M预训练得到的表征质量，而非解码器的能力。这是一种经典的“控制变量”分析法。 💡 核心创新点 首次进行S3M层间公平性分析：以往研究主要评估最终输出或微调后模型的公平性。本文创新性地将分析深入到模型的每一层，揭示了偏差产生的动态过程。 揭示SID与ASR截然相反的偏差-性能关系： SID：性能最佳的早期层，对不同说话人组的偏差最小。随着网络加深，SID性能下降，偏差增大。呈现正相关（性能↑，偏差↓）。 ASR：性能最佳的后期层，对不同说话人组的偏差最��。随着网络加深，ASR性能提升，偏差也增大。呈现负相关（性能↑，偏差↑）。这是一个反直觉且重要的发现。 证明偏差的“预训练固化”特性：通过对微调后（包括使用DET/DAT等去偏方法）模型的层间分析，发现虽然整体WER下降，但层间偏差模式与预训练模型几乎一致。这强有力地表明，不公平性是在预训练阶段建立的，后期微调难以扭转。 🔬 细节详述 训练数据： SID探针训练/评估：主要使用 Sonos Voice Control Bias Assessment Dataset。包含1038名说话人，166小时音频，标注了伪ID、性别、方言、年龄组、是否母语者。为SID任务随机为每位说话人采样15条语音，按80/20划分训练/测试集。 ASR探针训练/评估：使用 Sonos 的官方训练/测试划分。同时使用 Meta‘s Fair-speech corpus（593名说话人，56小时）进行评估，其标注更丰富（包括种族、社会经济背景）。由于Fair-speech无说话人ID，作者通过聚类XLS-R嵌入生成了“伪ID”来构建可能不重叠的说话人划分。 训练策略： 探针训练：基于SpeechBrain框架。SID探针训练5k步，ASR探针训练30k步，使用动态批处理（最大长度3分钟）。每个实验重复5次以保证鲁棒性。 模型微调：为测试微调影响，使用CommonVoice 16.0英文子集对部分S3M进行ASR微调。采用CTC损失，先冻结编码器预热5k步，再解冻训练25k步，学习率恒定为1e-4。公平性增强方法（DET/DAT）遵循《Adversarial and Enhancing》的实现，在特定层（如base模型的第5/10层）加入xvector架构的分类器。 关键超参数：未详细列出所有超参数，但提到了学习率（1e-4）、训练步数、批处理策略。 模型列表：研究了8个模型，包括WavLM-base+(100M参数，94k小时预训练)， WavLM-lg(300M)， BEST-RQ-lg-ll(300M，Conformer架构)， W2V2-lg-ls(300M，960k小时LibriSpeech)， W2V2-lg-lv(300M，60k小时)， XLS-R(300M，多语言436k小时)， W2V2-FR-7K-lg(300M，法语7k小时)， Whisper-medium(300M，端到端训练680k小时多语言)。 📊 实验结果 （根据提供的图表和文字描述总结关键数据） ...

📄 Elucidating the SNR-t Bias of Diffusion Probabilistic Models #扩散模型 #生成模型 #模型评估 🔥 评分：8.0/10 | arxiv 👥 作者与机构 第一作者：Meng Yu (兰州大学，AMAP阿里巴巴集团) 通讯作者：Kun Zhan (兰州大学) 其他作者：Lei Sun (AMAP阿里巴巴集团), Jianhao Zeng (AMAP阿里巴巴集团), Xiangxiang Chu (AMAP阿里巴巴集团) 注：论文说明工作是在AMAP阿里巴巴集团实习期间完成的。 💡 毒舌点评 亮点在于，它像一个侦探，揪出了扩散模型里一个藏得很深的“内鬼”——SNR-t偏差，并给出了“犯罪动机”（理论证明）和“抓捕方案”（DCW校正）。槽点是，这个“抓捕方案”虽然有效，但更像是对现有工具（小波变换、差分引导）的精巧组装，而不是发明了全新的武器，理论深度和方法的新颖性相比其提出的问题深度略有逊色。 📌 核心摘要 这篇论文的核心贡献是识别并系统分析了扩散概率模型（DPMs）中一个基础性问题——信噪比-时间步（SNR-t）偏差。该偏差指推理时去噪样本的实际SNR与其所分配时间步t所理论对应的SNR不匹配，这种错位源于训练时的严格耦合在推理时被累积误差打破。作者通过详实的实验（滑动窗口测试、前向与反向过程对比）揭示了网络对SNR不匹配样本的预测规律，并提供了理论证明。为缓解此偏差，论文提出了一种无需训练、即插即用的动态差分校正方法（DCW），它在小波域对不同频率分量进行校正，以对齐反向样本分布与前向扰动分布。实验表明，DCW能显著提升包括IDDPM、ADM、EDM、FLUX等在内的多种DPMs在CIFAR-10、ImageNet等数据集上的生成质量（如FID降低），且计算开销可忽略不计。 🏗️ 模型架构 本文的核心并非提出一个全新的扩散模型架构，而是对现有DPMs（如DDPM、ADM、EDM等）的推理过程进行分析并提出一个即插即用的校正模块。整体流程如下： 输入：标准高斯噪声 x_T。 标准扩散推理过程：使用任意现有的DPM（如ADM）及其采样器（如DDIM），进行T步迭代去噪。在每一步t，网络 ε_θ(·, t) 根据当前样本 x_t 和时间步t预测噪声，并据此计算去噪样本 x_{t-1} 和重建样本 x_θ^0(x_t, t)。 SNR-t偏差分析：论文发现，由于误差累积，反向过程得到的样本 x̂_t 的实际SNR低于其时间步t对应的理论SNR（Key Finding 2），这导致网络预测出现系统性偏差（Key Finding 1：低SNR输入导致噪声预测高估）。 DCW校正模块（核心贡献）：在每一步去噪后，不直接使用 x_{t-1} 作为下一步输入，而是对其进行校正。 a. 差分校正信号生成：计算当前步的去噪结果 x̂_{t-1} 与重建样本 x_θ^0(x̂_t, t) 之间的差值信号 d = x̂_{t-1} - x_θ^0(x̂_t, t)。理论分析（Eq. 16）表明，该差值信号包含了指向理想扰动样本 x_{t-1} 的梯度信息。 b. 小波域分解：为对齐DPM“先低频后高频”的去噪特性并减少噪声干扰，将 x̂_{t-1} 和 x_θ^0(x̂_t, t) 通过离散小波变换（DWT）分解为四个子带：低频（ll）和三个高频（lh, hl, hh）。 c. 分频率校正：对每个子带 f 分别应用差分校正：x̃_{t-1}^f = x̂_{t-1}^f + λ_t^f * (x̂_{t-1}^f - x_θ^0_f(x̂_t, t))。其中 λ_t^f 是动态权重。 d. 动态权重策略：权重 λ_t^f 根据时间步和频率分量动态调整。利用反向过程方差 σ_t 作为去噪进度指示器。低频权重 λ_t^l = λ_l * σ_t（早期去噪阶段权重高），高频权重 λ_t^h = (1 - λ_h) * σ_t（后期去噪阶段权重高）。 e. 重构：将校正后的各子带通过逆离散小波变换（iDWT）合并，得到校正后的样本 x̃_{t-1}，作为下一步迭代的输入。 输出：经过T步（包含DCW校正）后，得到最终生成的干净样本 x_0。 关键设计理由： ...

📄 Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition #语音识别 #大语言模型 #多语言 #模型评估 ✅ 评分：6.5/10 | arxiv 👥 作者与机构 第一作者：Peng Wang（上海交通大学 X-LANCE Lab） 通讯作者：未明确标注（推测为 Kai Yu 或 Xie Chen） 其他作者： Yanqiao Zhu（香港中文大学（深圳）） Zixuan Jiang（西安交通大学） Qinyuan Chen（复旦大学） Xingjian Zhao（复旦大学） Xipeng Qiu（复旦大学） Wupeng Wang（阿里巴巴通义Fun团队） Zhifu Gao（阿里巴巴通义Fun团队） Xiangang Li（阿里巴巴通义Fun团队） Kai Yu（上海交通大学 X-LANCE Lab） Xie Chen（上海交通大学 X-LANCE Lab） 💡 毒舌点评 这篇论文把LLM的“打工人”属性开发到了极致：让同一个32B大模型同时兼任裁判、戏精用户和外科医生，硬生生凑出了一套“交互ASR”流水线。S²ER指标确实比WER更懂人话，但这个“交互”本质上是大模型prompt engineering的高级套壳——仿真里的User Simulator比真实用户配合一万倍，10轮纠错上限更像是实验室里的自我感动，真放到车载或音箱场景里，用户可能在第二轮就开始骂娘了。 📌 核心摘要 这篇论文针对传统ASR的两大盲区——WER指标对语义错误不敏感、以及系统无法通过自然交互进行纠错——提出了Interactive ASR框架。首先，作者引入S²ER（Sentence-level Semantic Error Rate），利用LLM-as-a-Judge二元判断识别结果与参考文本是否在句子级别语义等价，人工对齐实验显示LLM评分与人类共识的Pearson相关系数达0.828，甚至超过平均领域专家水平。其次，作者设计了一套LLM驱动的Agentic框架：通过Intent Router判断用户新输入是“继续对话”还是“纠正上一句”，若是后者，则触发基于Chain-of-Thought的Reasoning Corrector，执行“定位-推理-替换”三步手术式修正。为了系统评测，作者还构建了自动化仿真流程，利用语音克隆TTS和LLM模拟用户纠错行为。在GigaSpeech（英语）、WenetSpeech（中文）和ASRU2019（汉英码切换）上的实验表明，仅需1-2轮交互，S²ER即可从约15%-27%骤降至3%-8%，而传统WER/CER几乎纹丝不动，证明语义级指标才是衡量交互收益的关键。当前局限在于系统依赖32B大模型进行推理，实时性与部署成本仍是落地瓶颈。 ...

📄 The Acoustic Camouflage Phenomenon: Re-evaluating Speech Features for Financial Risk Prediction #语音生物标志物 #多模态模型 #跨模态 #模型评估 📝 评分：2.5/10 | arxiv 👥 作者与机构 第一作者：Dhruvin Dungrani（Department of Information Systems, Independent Researchers） 通讯作者：未明确标注 其他作者：Disha Dungrani（Department of Information Systems, Independent Researchers） 💡 毒舌点评 这篇论文最大的学术贡献似乎是给“高管上过播音课所以声音不紧张”这个现象取了一个名叫“Acoustic Camouflage”的酷炫术语；全篇最硬核的技术栈是三个逻辑回归，放在今天大概连Kaggle入门赛都进不了前十。更尴尬的是，图1用MAE默默展示融合后误差其实变小了，与正文疯狂强调的Recall暴跌形成了史诗级互搏。 📌 核心摘要 本研究探讨了在企业财报电话会议中，副语言声学特征（音高、抖动、停顿等）对预测灾难性股价下跌的效用。作者基于MAEC数据集，提取了两种模态的特征：文本端使用FinBERT计算脚本化开场白与即兴Q&A之间的情感极性差异（Sentiment Delta），音频端提取临床语音压力标记的方差特征（音高方差、抖动方差、平均NHR、非 voiced 分数方差）。为避免噪声早期传播，作者采用双流晚期融合架构——两个L1正则化逻辑回归分别处理单模态，再由一个L2正则化逻辑回归元学习器融合概率输出。实验发现，孤立文本流的少数类召回率达到66.25%，而孤立音频流仅50.83%；违背直觉的是，晚期融合后召回率进一步跌至47.08%。作者将这一现象命名为“Acoustic Camouflage”（声学伪装）：经过媒体训练的高管能在语音上维持镇定，使音频流释放与真实风险相反的低风险噪声，从而在多模态平均中“稀释”了文本流的高风险信号。该研究为高风险金融预测中的语音处理应用划定了边界条件，但也指出VoIP压缩和降噪算法可能进一步破坏声学信号的真实性。 🏗️ 模型架构 论文提出的系统是一个极简���双流晚期融合诊断架构，整体流程如下： 1. 输入层 数据源：MAEC（Multimodal Aligned Earnings Conference Call）数据集，包含对齐的财报电话会议音频与文本转录。 文本输入：截取每场会议的两个片段——前1,500字符（高度脚本化的管理层开场白）和Q&A环节中1,500字符（非脚本化即兴回答）。 音频输入：与上述文本对齐的电话会议原始音频信号。 2. 特征提取层 文本流（1维标量输出）： 使用预训练语言模型 FinBERT 分别对脚本段和即兴段进行情感极性编码。 计算 Sentiment Delta：两段情感极性的数学差值，作为衡量“叙事结构崩溃”的代理变量。若高管在压力问答中情感显著低于脚本，则Delta绝对值增大。 音频流（4维向量输出）： Pitch Variance：基频（F0）的方差，捕捉音高波动。 Jitter Variance：周期到周期频率不稳定性（抖动）的方差。 Mean NHR（Noise-to-Harmonic Ratio）：噪音和谐波比均值，作为声音嘶哑度的代理。 Variance of Unvoiced Fractions：无声音段（停顿、犹豫）比例的方差。 选择这些方差指标是为了对说话人基线差异进行归一化。 3. 基础分类层（两个独立的孤立流） ...