端到端学习

VoxMind 针对端到端语音智能体规划弱与工具多时延迟高的问题，采用先显式推理再说话与并行动动态工具管理，并在 AgentChat 上训练，主评测总体 74.57 分超越基线，但推理轨迹带来固定开销且合成数据与真实口语仍有差距。

针对多人重叠时只转写目标说话人并在目标缺席时拒识的问题，该报告用参考语音拼接混合语音加文本提示的端到端大语言模型方案，在合成与真实会议集上报告了目标说话人词错率下降，同时保留单人识别与空文本拒识能力，但拒识率与误拒之间仍需权衡。

针对直接从外部行为回归真实人格偏向观察者印象的问题，该文用 10 秒音视频生成密钥修正通用面部反应生成器得到个性化认知权重，再编码为矩阵图用二维图网络回归自陈大五特质，在 NoXI 与 UDIVA 上报告了误差与相关提升，代价是仍需扩散预训练与双损失联合训练且细粒度言语未建模。

针对同声传译需在流式语音下联合决定何时翻译与翻译什么的问题，SASST 用句法感知分块加目标侧重排构造含等待符号的流式监督并统一到冻结 Whisper 编码器加解码器大模型中，在 CoVoST2 英德英中英日上以 2 到 4 秒级延迟取得质量优势，其代价是依赖句法分析器与额外的对齐预处理。

针对尝试发声下无对齐声学目标且数据只有约 5 小时伪语音的问题，Brain2Speech-Net 用可微音素瓶颈加深度隐马尔可夫模型对齐到预训练语音合成隐空间做单遍合成，闭集语音词错率做到 0.068 并以约 0.5 实时因子运行，代价是开集词错率升至 0.472 且仍依赖合成伪语音目标。

针对先说话后做动作的级联需要两次推理且无法联合优化的问题，Motion-Omni 让动作直接从产生语音的隐状态生成，并在 422856 对教师伪标签与 SwDA-500 对照下以 RTF=0.78 达到与同音频教师级联接近的动作质量，代价是动作质量仍受教师分布约束。