端到端学习

该文以 ECAPA-TDNN 嵌入为基础比较余弦与多种 PLDA 后端，提出嵌入提取器与判别式 PLDA 端到端联合微调，在 VoxCeleb1 上联合模型取得 PLDA 类最优而余弦仍保持最佳区分性，在 ASVspoof2019 上余弦的 a-DCF 最优而联合模型是 PLDA 类中最优，代价是流程更复杂且 t-DCF 未见统计显著优势。

针对多人重叠会议中内容、说话人与时间边界相互纠缠的问题，TagSpeech 用解耦的语义与说话人双流加交错数字时间锚统一解码，在 AMI 与 AliMeeting 上以只训练投影层的低成本取得 diarization 误差的明显下降，但重叠区外的时间边界精度仍不及专用级联系统。

VoxMind 针对端到端语音智能体规划弱与工具多时延迟高的问题，采用先显式推理再说话与并行动动态工具管理，并在 AgentChat 上训练，主评测总体 74.57 分超越基线，但推理轨迹带来固定开销且合成数据与真实口语仍有差距。

针对多人重叠时只转写目标说话人并在目标缺席时拒识的问题，该报告用参考语音拼接混合语音加文本提示的端到端大语言模型方案，在合成与真实会议集上报告了目标说话人词错率下降，同时保留单人识别与空文本拒识能力，但拒识率与误拒之间仍需权衡。

针对直接从外部行为回归真实人格偏向观察者印象的问题，该文用 10 秒音视频生成密钥修正通用面部反应生成器得到个性化认知权重，再编码为矩阵图用二维图网络回归自陈大五特质，在 NoXI 与 UDIVA 上报告了误差与相关提升，代价是仍需扩散预训练与双损失联合训练且细粒度言语未建模。

针对同声传译需在流式语音下联合决定何时翻译与翻译什么的问题，SASST 用句法感知分块加目标侧重排构造含等待符号的流式监督并统一到冻结 Whisper 编码器加解码器大模型中，在 CoVoST2 英德英中英日上以 2 到 4 秒级延迟取得质量优势，其代价是依赖句法分析器与额外的对齐预处理。

针对尝试发声下无对齐声学目标且数据只有约 5 小时伪语音的问题，Brain2Speech-Net 用可微音素瓶颈加深度隐马尔可夫模型对齐到预训练语音合成隐空间做单遍合成，闭集语音词错率做到 0.068 并以约 0.5 实时因子运行，代价是开集词错率升至 0.472 且仍依赖合成伪语音目标。

针对先说话后做动作的级联需要两次推理且无法联合优化的问题，Motion-Omni 让动作直接从产生语音的隐状态生成，并在 422856 对教师伪标签与 SwDA-500 对照下以 RTF=0.78 达到与同音频教师级联接近的动作质量，代价是动作质量仍受教师分布约束。