大语言模型

论文研究给定旋律灵感与段落标签生成结构化乐段的问题，用结构三元组数据与双实例对比优化让小模型在结构契合上大幅超过直接提示与常规微调，但代价是依赖 POP909 流行乐标注与多轮构造流程且未建模整曲跨段发展。

针对多语言端到端语音翻译中共用单组低秩更新导致语言间干扰的问题，MoLoRA 把多个低秩适配模块当作专家并辅以多粒度语音融合，在 MuST-C 八语言平均 32.2 与 CoVoST-2 三语言平均 36.3 的 BLEU 下超过同量级单 LoRA，代价是路由与负载均衡等额外机制和调参成本。

该提案要把语音感知大语言模型从只做转写扩展到原生联合完成自动语音识别与说话人切分，做法是冻结大语言模型主干、分两阶段训练音频编码器与适配器并加入上下文提示，证据是所列开源切分数据的时长与语言分布以及词错率与切分错率的明确定义，代价是切分标注数据少且尚未给出可运行系统的定量主结果。

针对端到端语音翻译只对齐文字内容而丢失重音与情绪的问题，论文用语音编码器与风格编码器双分支加分层最优传输和注意力检索来分离并再融合两类信息，在 ContraProST 上提升方向性约 5.0 点、全局约 4.5 点，在 CoVoST-2 上 2B 平均提升 0.43 BLEU、8B 提升 0.98 BLEU，代价是两阶段训练与额外风格编码器开销。

MultiMood 针对纯文本情感支持丢失非语言线索且回复不可靠的问题，用视频音频文本三路编码加对话压缩与 PPO 加 GRPO 可信对齐，在 MESC 四任务与 DFEW 表情识别上取得最优平均表现，代价是策略预测仍弱于专用基线且压缩会损失信息。

针对多模态伪造中模态割裂与跨模态语义推理不足的问题，ConLLM 采用预训练模型分模态抽取加对比对齐与类 GPT 变换器精炼的两阶段结构，在音频、视频与音视频六个基准上报告了更低的等错误率与更高的准确率，但其增益依赖预训练权重与训练数据覆盖且推理代价仍需权衡。

针对同声传译需在流式语音下联合决定何时翻译与翻译什么的问题，SASST 用句法感知分块加目标侧重排构造含等待符号的流式监督并统一到冻结 Whisper 编码器加解码器大模型中，在 CoVoST2 英德英中英日上以 2 到 4 秒级延迟取得质量优势，其代价是依赖句法分析器与额外的对齐预处理。

针对语音按时长定速、文本按语义变长造成的分布失配，SEAM 用冻结编码器加可训练交叉注意力解码器做变速率对齐并分三阶段训练加首词引导，在仅用 LibriSpeech960 小时训练时取得 2.6%/5.2% 与跨域 TED-LIUM-v2 上 4.7% 词错率，代价是两段自回归带来的推理延迟。

论文用 8 个大语言模型读文本情感与 2 个音频模型听语音情感，在播客、有声书和 TED 演讲三类数据上按效价、唤醒度、优势度算皮尔逊相关，最强证据是效价相关可达 0.6 以上而唤醒度和优势度普遍偏低，且加上下文也不能稳定提升，代价是后两类数据集只能用音频模型预测代替人工标注。

论文用 169 人临床确诊的多任务多模态数据比较任务与模态的判别力，并测试大模型精神科推理，报告音频与视频最有效、图片描述最能诱发标记、知识引导可提升约 10 个百分点 Macro-F1，但文本大模型仍落后于监督判别模型。

该研究在统一的以大语言模型为中心的语音语言模型框架下比较耦合与解耦语音分词器并引入多词元预测与说话人感知建模，最强证据是 12 倍压缩下词错误率从 6.07 降到 3.01 且合成成功率保持 100%，代价是主观质量指标 UTMOS 随压缩略有下降且高压缩更依赖说话人嵌入。

针对从双人对话推断熟人与陌生人及具体熟人关系的问题，论文提出免训练的多角色辩论与竞争裁决流程，在同一过滤测试集上比较零样本与辩论基线，结构化交互在文本与音文结合上取得宏 F1 领先，但纯音频提升不稳定且多次调用带来更高推理成本。

针对同传中为控延迟而产生的改写与概括，EviSI 用共享源证据与 Anchor/Event/Logic/Fluency 分工配合调和与确定性扣分来区分可接受变体与事实错误，在英中方向上恢复了人类系统总排序但在逐条输出上仍表现混杂。

针对多房间中墙体遮挡导致单点麦克风观测碎片化的问题，论文用分布式麦克风的拓扑感知图融合与几何约束的冻结大语言模型推理将声学证据补全为物理一致的叙事，并在受控仿真中以三元组与空间一致性等指标验证其相对集中式基线的优势与代价。

针对全曲音乐视频需要把歌曲语义与音乐结构转成连贯视觉发展的难题，MVWeaver 用层次化规划把总概念逐级展开为可渲染镜头，并用从真实歌曲-MV 对中学习到的歌曲到视觉桥接来条件化规划，证据显示其在歌曲贴合与长程连贯上优于同条件基线，但增益依赖桥接监督与层次资产复用。

该工作把确定性增强输出当作有观测支撑但不完美的证据，用有限标量量化码空间的汉明距离在解码时约束自回归大语言模型，并按残余信噪比自适应接地强度再做局部重排，在低信噪比下保住内容忠实度的同时挽回感知质量，但强接地仍会带来感知代价且极端尾部错误不能完全消除。

TurnFSM 把语义 VAD 与 utterance 级拒绝写成先提交后接受或拒绝的有限状态转移并用一阶依赖实现流式预测，在内部语义 VAD 上报告成功率 82.41% 与成功延迟 80.9 ms，在拒绝上报告 FAR 3.35% 与 FRR 16.04%，代价是仍需两阶段对齐与大模型推理开销。

针对合成文本同时学轮次与语义不可靠的问题，该工作用真实人与人语音学轮次、用可改写的人与智能体文本保语义，配合规则化事件转磁带与来源感知校准损失，在等量 token 下把轮次 F1 从约 0.34 提升到约 0.65 并把语义恢复到接近基座上限，代价是暂停处理仍弱于保守系统且单带离散化会丢信息。

针对中文语音识别中口语忠实转写与书面可读转写难以兼顾的问题，论文用成对监督加提示词选形式训练一个共享模型，并以数字关键词加权的序列优化和分开考核必须改与禁止改的协议证明其在必须规范化上达到 4.64% I-CER 与 94.85% 关键词 F1、在禁止改上达到 95.18% 保留率，而无数字控制集上未引入虚假数字。

该规则验证基准收集 3456 个跨 109 语言的难译输入；在 911 个纯文本难例的盲测与 Gemma 4 验证下，人类参考译文通过率为 99.1%，Gemini 3.1 Pro 为 43.8%。人译高通过部分由收录条件保证；提供人工规则后的高分属于特权信息诊断，不代表模型自生成规则的能力。