把无声窄视场视频变成可环视的声景:OmniDream 的对象中心分解与物理声学渲染
OmniDream 把静音单目视频先扩成全景视频与三维几何,再为每个发声对象生成干声并用光线追踪仿真脉冲响应来渲染一阶 Ambisonics,在自建集与 YT360 上报告了空间对齐提升,但全景扩展耗时约 1680 秒是主要代价。
OmniDream 把静音单目视频先扩成全景视频与三维几何,再为每个发声对象生成干声并用光线追踪仿真脉冲响应来渲染一阶 Ambisonics,在自建集与 YT360 上报告了空间对齐提升,但全景扩展耗时约 1680 秒是主要代价。
该文把说话人级遗忘定义为逼近去掉遗忘集后重训模型的分布,用五种近似遗忘方法在 E-Branchformer 上比较效用与成员推断隐私,发现梯度上升类在简单攻击下最接近理想权衡,但复杂方法会被知晓遗忘的攻击识别,多人同时或顺序遗忘则同时损伤效用与隐私。
针对听与说需随对话演变的交互 3D 头生成问题,论文用用户面部视频加双人音频驱动测试时训练与双路快权重适应,在最难跨域划分上随对话推进改善表情统计,但逐帧对齐误差与颈部统计仍有代价与边界。
该研究用直接处理原始语音的双头语音大模型同时做认知状态分类与自然语言解释,在六个数据集任务条件下取得最高平均准确率并能迁移到未见任务,但解释监督来自模型生成且临床标签为量表阈值定义,解释只能作辅助核查。
FlowAct-R2 要解决长时间直播中边播边换参考仍保持身份与连续的问题,用流式多模态参考扩散变换器实现连续视频生成、用离线规划加在线调度的主动交互智能体决定演什么与何时演,在与 Vidu-S1 的人评中取得视频质量 +54.76% 与实时交互 +40.48% 的 GSB 分,代价是原文未公开训练数据、定量协议与延迟成本细节。
该研究把六首有文献记载背景的流行歌曲旋律抽出后交给同一可解释和声器重新配和声,对比发现高旋律适配分不等于保留原有持续、重复与非调式特征,部分曲目保留经济型 I-IV-V 结构,部分则扩张声部词汇或压制标志性进行。
该文把增量作曲定义为持久 ABC 工件上的操作感知状态转移,用 496038 条对话记录对 Llama 3.1 8B Instruct 做 LoRA 适配,在 1750 次尝试下检查器准入从 29.37% 升至 99.37%、条件合规从 0.7205 升至 0.9798,代价是结论限于爱尔兰传统音乐域且不证明审美优越或无人抄袭。
该文把可控多说话人对话语音合成从一次生成改为计划—合成—评论—修改的闭环,用统一做指令合成与情感语速响度编辑的 ControlEdit-TTS 做局部修改,在中英基准上把语句指令遵从 Yes 率做到 95.5% 并在对话偏好上占优,代价是最多 10 轮的评论与重改开销和风格与音色难以同时满足的回弹。
针对麦克风布局与数量变化时的三维波达方向估计,GAMF 用候选方向阵列传输函数做声学描述,分别构建可学习的麦克风对齐匹配与解析的归一化匹配,并以门控融合,在仿真噪声混响下学习分支更稳健,而八麦克风 LOCATA 上混合达到球面平均误差 3.76 度、方位角 2.87 度,但干净低混响下解析方法仍有优势。
针对自监督检测器偏向全局语义与跨域层重要性漂移问题,GLAD 用语言声学交叉注意加信号卷积的多粒度融合与样本级门控组织证据,在只训练 19LA 条件下报告 21DF 等域上更低的等错误率,但以双自监督加卷积分支的更大推理开销为代价。
针对条件流匹配合成中近似子带持续增长而细节子带滞后的问题,论文提出免训练的频率选择性增强,在离散小波域按步调制中间梅尔谱,最强证据是 26 步达到 32 步质量且 FAD 大幅下降,代价是一次性标定低维调度且跨模型需更换函数形式。
HEAR 用 843 名美国被试的 87k 条真人录音同时检验选择问答与开放问答,报告语音条件偏见是随模型而异、可被个性化指令放大的特性,而开放任务中个性化更多降低回答有用性。
该文把每帧无序波达方向估计和说话人嵌入在输入端融合,用时间与声源两维自注意力输出按说话人排序的轨迹,在合成与 LOCATA 上以关联精度提升为主、检测与定位误差同步下降为证据,但只验证至多两说话人同时至多两活跃的短序列条件。
论文研究英语语音识别在推理时用语音文本示范做领域自适应,对比拼接与交错两种示范组织,发现六个模型无需额外训练都能获益,词与说话人信息是主要来源,而拼接方式适用面更广但受上下文长度限制。
针对指令式语音合成缺字级对应与可检视性的问题,InstCharVoice 用接地标注加逐字五维声学规划实现指令到字符声学的显式落地,在关键词级声学误差和指令跟随主观分上报告更好结果,代价是说话人相似度和可听写性略有回落且抽象情感未建模。
InterBias-SV 把噪声、信道与说话方式的联合误差问题组织为联合项、两个边际项与公共参考的四项加性对照,用 4068 条记录重算出说话人编码器组平均偏离仅 +0.0026 至 +0.0088 等错误率小量、但设置间标准差更大且试次配对与检查点来源尚未验证的描述性结果。
论文以 FlexiCodec 为公共接口比较七种边界分配方法,发现音节、BPE 与词对齐更强的方法池化失真更低、重建词错误率更低,而音素级固定切分不如均匀切分,但自适应分配仍优于固定音节切分,代价是动态规划类方法边界选择耗时明显更高。
JazzSAMBA 针对爵士标准曲缺少干净乐队分轨与演奏对齐曲式标注的问题,用 50 首异步叠录加 26 首同步合奏录制 76 首标准曲并配小节和弦段落独奏者标注,以爵士微调分离基线与谱面条件伴奏消融验证标注可用性,代价是同步存在串音且测试规模小、生成仍困难。
在 T15 同一批缓存候选上,一次返回全表概率的 Jev 调用把测试词错率降到已发表权重下 7.46% 与重调权重下 6.93%,四组配对都领先两个 7B 打分器且 95% 上界最多落后 0.20 个点,代价是托管调用与传输主导的延迟。
该综述把联合生成、跨模态生成与联合编辑统一为同一视听联合分布上的三个问题,用五轴设计分类比较文献,并指出对应关系与单流质量需同时保持,而空缺的离散联合建模与音频到视频方向是主要代价与缺口。