📄 把不同模态都写成比特再一起生成：连续比特流扩散的多模态共生成
英文题目：Multimodal Co-Generation With Continuous Bitstream Diffusion
标签：#文本到语音 | #扩散模型 | #语音识别 | #多模态学习 | #语音
评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Georgios Batzolis：机构信息未在 arXiv HTML 中可靠披露
- Georgios Kontos：机构信息未在 arXiv HTML 中可靠披露
- Bruno Trentini：机构信息未在 arXiv HTML 中可靠披露
- Pranam Chatterjee：机构信息未在 arXiv HTML 中可靠披露
- Micha Livne：机构信息未在 arXiv HTML 中可靠披露
- Mark Girolami：机构信息未在 arXiv HTML 中可靠披露
- Luca Ambrogioni：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
多模态生成需要同时处理离散符号与连续信号，常见做法是为每个模态设计编码器、隐空间或目标，新增配对就要新增接口。论文把每个模态先写成固定二进制码，拼接成一条共享比特流，再用同一个连续高斯扩散过程加噪与去噪，训练时用掩码决定哪些比特保持干净作为条件、哪些比特加噪作为生成目标。去噪器输出每个干净比特取真值的概率，其对数概率结合解析的单比特后验与学习的跨比特残差，采样时固定条件比特并行更新其余比特。相对已有混合自回归加掩码扩散或模态专用隐扩散方案，该方法把模态差异限制在冻结分词器与版式中，去噪主干、输入投影、按位预测头与二值分数匹配目标完全共享。在LibriSpeech-PC上生成1,024个样本的联合生成评测中，CoBit-MLS的WER为3.5，低于同表CoBit-LibriTTS的19.9。在LibriSpeech-PC test-clean文本到语音评测中，CoBit-MLS的CER为4.1，低于SpiritLM-Base的6.7。语音识别与主题延续仍弱于同类基线，适用范围限于已训练的任务混合与编解码器保真度之内。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
第三方资源：https://github.com/GBATZOLIS/BitstreamDiffusion — 链接可访问（HTTP 200）
第三方资源：https://demo-2546.github.io/cobit-text-audio-samples/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决的输入输出问题是什么
论文处理的是多模态生成中接口不统一的问题。输入是来自两个模态的 1 对观测，例如 4 张手写数字图像与描述它们加法的文本、一段语音与它的文字转写、一条蛋白质序列与它的 3 维骨架。目标是用同一个训练与采样流程，既能从噪声同时生成 1 对内容，也能给定其中一侧生成另一侧。必须保留的信息是跨模态的内容对应，例如图像中的数字与等式中的数字一致、语音内容与文本内容一致、序列与骨架在物理上可互相折叠。
输出是另一侧的完整编码或两侧同时的完整编码，再经各模态解码器还原成可评价的形式。论文为每对模态单独从头训练一个模型，但 3 个 setting 共用同一套比特化加噪、去噪器结构与部分去噪任务混合的思想，区别只在分词器、排布模板、任务混合与采样设置。
已有路线为什么每个新模态都要另搭接口
原文把相关工作分成连续生成离散数据与多模态生成两类。图像与音频常用连续扩散，语言与蛋白质序列常用自回归或离散破坏过程，跨模态时往往再引入模态专用的编码器、隐空间、目标或预测接口。表 1 式的对比指出，UniDiffuser 等方法对不同模态保留不同的时间或模型，Show-o、Spirit-LM、DPLM-2 虽然共用嵌入表与输出层，但每个词元仍有自己的参数。语音领域还有文本无关、文本预训练或流匹配等不同语音流做法，蛋白质领域则有几何流、结构词元或多轨掩码等做法。
论文的切入点是把离散符号先写成固定二进制码，再对比特做连续高斯扩散，这样不同词表可以共用一个输入投影与一个按比特预测头，模态差异被推到冻结的分词器、排布模板与推理设置中，去噪器本身不设模态专用参数。
三种跨模态依赖分别考什么
论文刻意选了 3 种依赖形态不同的任务。MNIST-Sum 把 4 个二值化手写数字与有序等式配对，不用学习型分词器，直接考原始视觉比特与符号文本比特能否形成一个可学习的联合分布。语音与文本是非对称的，语音带有说话人、韵律、噪声等文本没有的信息，且经过有损编解码器，考的是离散文本与连续信号经离散化后的对齐。蛋白质序列与结构是按残基对齐的物理耦合描述，不是语义对应，考的是同一位置上 2 通道比特的耦合能否被去噪器学到。
3 种任务的评价工具也不同，分别是字符串精确匹配加分类器读数、语音识别与语音质量指标、折叠一致性指标，因此结论只能在各自的测量条件下成立，不能互相折算。
从原始模态到一条比特流再到生成的总流程
整体流程分三步。第一步是编码与排布，每个样本被写成一条长度为 S 的比特串，离散符号直接写成二进制码，连续观测先经过冻结的分词器变成整数码，再写成二进制码。排布模板规定各模态段的顺序、位置、词元预算以及标记与填充位置，较长截断、较短填充，没有可学习模块决定位置。第二步是训练时的部分去噪，每次抽 1 个任务并构造掩码，干净位置保持原比特，加噪位置才加高斯噪声，去噪器只在加噪位置上学习。
第三步是推理时的部分去噪，未观测比特从高斯噪声出发，已观测比特在整个去噪过程中固定不变，用 1 阶概率流求解器并行更新全部待生成比特，条件采样还可以用无分类器引导。最后把阈值化后的比特重新组码，再用对应解码器还原。
比特流 × 固定二进制码： 比特流指把一个样本按固定模板排成的 0 或 1 序列，固定二进制码指每个离散符号事先对应一个固定位宽的 0 或 1 串。二者搭配的理由是不同词表的符号可以共用同一套二进制字宽和同一套输入输出层，组合后模型不再需要为每个模态另设嵌入表和预测头，只需按位置读出各段比特。
比特如何分组、位置信息从哪里来
比特流按固定宽度切成小块，每块映射为 Transformer 的一个位置。一块可以装一个词元、多个符号，也可以装两个模态在同一残基上的对齐码。所有位置共用同一个输入投影、同一个主干与同一个按比特预测头，只带 1 维位置信息，模态身份靠位置与码字分配隐式给出，不设可学习的模态嵌入。语音与文本采用文本段、说话人段与语音码段拼接，词表占据互不相交的整数区间并装入 18 位字宽。MNIST-Sum 用原始二值像素与确定性 7 位文本码。
蛋白质在每个残基拼接 5 位氨基酸比特与 13 位结构码符号位。这种设计把词表命名空间信息也放进同一个二进制字里，标记位在训练与采样中始终保持干净。
部分去噪 × 掩码： 掩码指标记哪些比特保持干净、哪些比特需要生成的 0 或 1 指示，部分去噪指只对需要生成的比特加噪并只在这些比特上计算损失。掩码决定任务，干净比特是条件，已加噪比特是要补的内容，组合后同一个权重既能做联合生成也能做不同方向的条件生成。
加噪与去噪器在每个位置做什么
去噪器把二进制值当作连续量处理，加噪是干净比特加噪声尺度乘标准高斯噪声。去噪器输出每个干净比特为 1 的概率，其对数由孤立比特的解析后验与一个学习到的上下文残差相加得到，解析部分被截断，网络主要学习比特之间的依赖，其中既包括模态内部结构，也包括模态间对应。自条件作用把上一次的干净估计作为附加输入，推理时有沿用上一预测与在当前状态重算两种模式。采样在熵导出的网格上用 1 阶 DDIM 或欧拉步积分概率流，可选随机扰动，最终概率以二分之一为阈值再组码。
\[{\bm{x}}_{\sigma}={\bm{x}}_{0}+(1-M)\odot\sigma\bm{\epsilon}.\]上式说明掩码如何控制加噪，M 为 1 的观测比特不加噪，M 为 0 的待生成比特才加上噪声，圆点乘是按比特相乘。
损失只算在哪里，任务混合如何决定生成方向
训练对每个样本抽任务并构造掩码，全部内容比特都不观测时训练联合生成，观测一个模态时训练生成另一模态，观测前缀时训练续写。掩码作用在比特级，因此既可选整段，也可选蛋白质小块内的一个通道。损失只在待生成比特上计算，权重遵循 EDM 的形式，数据中心与数据方差取二分之一，不为任一模态另设损失。训练噪声水平与采样网格按在线估计的去噪误差分配，全部待生成比特共用同一噪声水平。推理时任务固定掩码，被条件位置在每次调用去噪器前钳住且速度置零，引导时把有条件与无条件预测在概率空间线性组合，有引导的每步需要两次去噪器求值，无引导只需一次。
\[\mathcal{L}(\theta)\propto\mathbb{E}\!\left[w(\sigma)\left\|(1-M)\odot\bigl(D_{\theta}({\bm{x}}_{\sigma},\sigma)-{\bm{x}}_{0}\bigr)\right\|^{2}\right],\qquad w(\sigma)=\frac{\sigma^{2}+\sigma_{\mathrm{data}}^{2}}{\sigma^{2}\sigma_{\mathrm{data}}^{2}},\]上式说明损失是掩码外比特上预测概率与真实比特的加权平方误差的期望，期望包括样本、任务、噪声水平与高斯噪声。
score × 二进制得分匹配目标： score 指对数密度对输入的梯度，在本文的连续化比特扩散中体现为从带噪实数值反推干净比特为 1 的概率方向，二进制得分匹配目标指让去噪器输出的每比特概率接近真实干净比特的加权平方误差。score 给出要估计的方向，逐比特损失给出可计算的训练信号，组合后模型同时学到模态内部结构和跨模态对应。
三组实验各用什么数据、分词器与评价工具
MNIST-Sum 用 1,000,000 个样本，保留一成数字元组不参与训练，图像是原始二值像素，文本是 40 符号的确定性 7 位码，每对共 3388 比特，评价用字符串精确匹配与固定象限分类器读数。语音文本训练了 2 个模型，LibriTTS 模型与 LibriTTS 加 MLS 英文模型，音频用 StableCodec 的有限标量量化分词器加 BiCodec 全局说话人表示，文本用固定预算的 o200k 词表，评价在 LibriSpeech-PC 与 SALMON 上进行，生成语音用外部 Whisper-large 转写再算词错率，用外部语言模型算困惑度，用 GPT-4o 按固定提示打主题相关分。蛋白质用 PDB 与 AFDB-SwissProt 的序列结构对加两成 UniRef50 序列回放，每个残基 5 位氨基酸比特加 13 位结构码符号位，评价用 CATH 做逆折叠、用 CAMEO 做正向折叠、用 ProteinMPNN 重设计加 ESMFold 重折叠算自一致性。
FSD × UTMOS： FSD 是语音版的分布距离指标，把真实延续与生成延续分别送入自监督表示再算 Fréchet 距离，UTMOS 是对单条语音自然度的预测分。FSD 看群体分布是否接近，UTMOS 看单条听感，组合后才能区分整体像真与单条好听这两种不同结论。
scTM × scRMSD： scTM 是生成骨架与重折叠骨架的折叠相似度，越高越一致，scRMSD 是对应碳原子坐标偏差，越低越精确。二者分工是折叠级一致与坐标级精确，组合后能看出模型是抓住了整体折叠还是连细节坐标也还原了。
不同规模的模型与训练量如何对应
3 组实验各训一个去噪器，同一实验内同一权重做所有方向。规模与数据差异较大，读数时不能把小模型的失败直接归于方法。下表只整理论文明确报告的参数量与训练量，不做跨任务的优劣排名。
| 实验 | 参数量 | 训练步数 | 训练数据量 | 说明 |
|---|---|---|---|---|
| 语音 LibriTTS | 134M | 140K 步 | 354K 对 | 800 语音词元预算 |
| 蛋白质 | 396.23M | 300,000 步 | 216,237 对加两成回放 | 验证选第 245,000 步 |
上表说明比较问题是规模与数据是否可比，公平条件是各自用论文指定的分词器与长度预算。结果是语音大模型在对齐上明显好于小模型，蛋白质中等规模在折叠级一致上可用。限制是语音仍是朗读数据、蛋白质数据经截断与过滤，结论只在各自的分词器上限内成立。
受控的图像文本任务能说明什么
这节先看教学价值最高的受控实验。每个样本是 4 个二值数字与对应等式，模型只有 1 维位置，没有像素网格、2 维注意力与模态专用层。同一个 63M 参数权重通过改变观测位置完成 3 个方向。读图时注意比特带只是排布示意，准确率来自 4096 个独立样本的统计，不是图中一两个例子。
从噪声同时生成图像与等式的示意如官方原图所示，左侧是条件方向的比特排布，右侧是从全噪声出发的联合生成。
看图路径： 1. 先看左侧长条比特带中文本、图像与标记三段的长度比例；2. 再对比左右两条箭头标注的条件准确率与联合一致率；3. 最后看右侧从噪声同时长出图像与等式的生成路径
论文图 1。原论文 Figure 1:：“MNIST-Sum, a controlled image–text evaluation.”。
图中左侧长条显示文本 84 比特、图像 3136 像素比特与 168 标记比特组成 3388 比特，右侧显示联合生成要求等式在算术上成立且点名生成图像中的 4 个数字。论文报告每方向 4096 个样本下，图像到文本精确字符串匹配为 97.56%，文本到图像四数字全对为 99.95%，联合生成互相一致为 99.46%，未见元组上图像到文本为 97.85%，与已见元组在统计上难以区分。残余联合误差中跨模态不一致与算术错误各占约 0.3% 以下。这个结论只在封闭 40 符号语言、无学习型分词器、固定分类器读数的条件下成立，不能推广到自然图像文本。
| 方向 | 样本数 | 评价方式 | 已见元组准确率 | 未见元组准确率 |
|---|---|---|---|---|
| 图像到文本 | 4096 | 字符串精确匹配 | 97.56% | 97.85% |
| 联合生成 | 4096 | 等式成立且与图像一致 | 99.46% | 未报告 |
上表比较的是同一权重在不同观测条件下的任务准确率，公平条件是同一样本量与同一采样网格，指标方向都是越高越好。结果显示感知与算术在该封闭任务中都已接近饱和，限制是分类器读数本身对真实手写体的全对率低于生成体的全对率，说明生成数字更原型化，分数不能直接理解为超越真实数据分布。
语音文本模型在四个方向上表现如何
语音部分用同一套权重做语音合成、语音识别、语音续写与无条件共生成。读图时注意波形变长不等于内容变多，可能是停顿与语速变化，失真值需要经动态时间规整对齐后才能比较。
文本到语音的单例对齐如官方原图所示，上为真实波形，下为生成波形，右侧为代价矩阵与最优路径。
看图路径： 1. 先看上下两条波形的时间长度差异与中间静音段；2. 再看中间局部失真曲线在句间停顿处的抬升；3. 最后看右侧代价矩阵中红色最优路径的水平段
论文图 2。原论文 Figure 2:：“Text-to-speech generation with CoBit-MLS.”。
图中生成语音为 3.57 秒，真实为 2.94 秒，标题失真为 6.76 dB，右侧红色路径在 1.5 到 2 秒之间出现水平段，对应两句之间的静音拉长。论文报告较大模型共生成时生成文本与生成语音转写之间的词错率为 3.5%，自然度预测分为 3.77。文本到语音在测试集上词错率 5.3%，字符错率 4.1%，接近同类 7B 对话模型的 4.7% 词错率并优于 SpiritLM 的 6.7% 字符错率。语音到文本在干净集为 8.2%，在更难集为 22%，是相对最弱的方向。续写在声学延续上尚可，但在主题外推上经常得最低档相关分。这些数字的成立条件是从头训练、无文本预训练、朗读式有声书数据、无解码器端说话人条件，且转写与困惑度都依赖外部模型。
| 任务 | 模型规模 | 词错率 | 字符错率 | 备注 |
|---|---|---|---|---|
| 联合共生成自然度 | 633M | 预测分 3.77 | — | 单条听感，非分布距离 |
上表比较的是同一 633M 权重在不同任务上的对齐误差，指标方向都是越低越好，自然度除外。收益是跨模态内容对齐与自然度在朗读数据上可用，代价是每条件方向约 512 步积分加引导共 1024 次网络求值，联合生成也需数百步，且说话人相似度受分词器上限与训练推理说话人特征不一致的影响。
蛋白质序列与结构能否互相生成并保持一致
蛋白质部分用同一个 396M 量级权重做逆折叠、正向折叠与联合生成。正向用 TM、lDDT 与 RMSD 对原生结构打分，联合用重设计加 ESMFold 重折叠的自一致性打分。读图时注意散点颜色代表长度，阴影代表两种严格阈值同时满足，pLDDT 只是重折叠置信度，不代表与生成骨架一致。
按长度展开的骨架质量如官方原图所示，左为折叠相似度，中为严格成功率，右为折叠相似度对坐标误差。
看图路径： 1. 先看左图不同长度点的折叠相似度分布高度；2. 再看中图两种严格成功率随长度的变化；3. 最后看右图折叠相似度与坐标误差的散点关系
论文图 3。原论文 Figure 3:：“Backbone quality from denoised bits: (a) scTM by length, (b) strict success by length, and (c) fold similarity versus coordinate error.”。
图中 100 到 200 残基的坐标级成功更高，500 残基时 20 个中有 17 个过折叠阈值但仅 2 个过坐标阈值，说明整体折叠抓住但精细坐标随长度下降。论文报告逆折叠平均恢复率为 44.10%，正向折叠平均 TM 为 0.554。100 个联合骨架经一次重设计加 ESMFold 后平均自一致 TM 为 0.899，直接重折叠自带序列时为 0.911，折叠级成功率为 69%，坐标级成功率为 41%。这支持序列结构在折叠级一致，但坐标级仍弱。
各长度最优骨架的渲染如官方原图所示，每列为该长度下折叠相似度最高且坐标偏差不超过 2 埃的样本。
看图路径： 1. 先按 100 到 500 残基顺序看五个骨架的整体紧凑程度；2. 再对比每列下方标注的折叠相似度与坐标偏差；3. 最后注意重折叠置信度随长度的变化趋势
论文图 4。原论文 Figure 4:：“Selected CoBit backbones, rendered with PyMOL (Schrödinger, LLC, 2026).”。
图中 100 到 500 残基的最优样本折叠相似度都在 0.965 以上，坐标偏差从 0.72 埃升到 1.42 埃，重折叠置信度在 83.0 到 90.8 之间。这是每长度 20 选 1 的最优展示，不能当作平均水平。
| 任务 | 样本量 | 指标 | 估计值 | 严格成功率 |
|---|---|---|---|---|
| 逆折叠 | 128 目标 | 平均恢复率 | 44.10% | — |
| 正向折叠 | 183 目标 | 平均 TM | 0.554 | — |
| 联合直接重折叠 | 100 对 | 平均 scTM | 0.911 | 折叠级 69.0%，坐标级 41.0% |
上表比较的是同一采样配置下不同任务的一致性，指标方向为恢复率、TM 与折叠级成功率越高越好，RMSD 越低越好。限制是全部用计算性重折叠评价，未做湿实验验证，跨研究对比还受样本分配、重设计温度与评价器版本不一致的影响。
步数、随机扰动与引导各自改变了什么
论文对语音模型的采样做了扫描。跨模态任务在 32 步左右就接近最佳，更多步只有轻微改善。联合生成与续写的生成困惑度随步数近乎单调下降，少步时共生成样本不可听，自然度与语义合理性随步数提升。续写在 32 步附近达到表达性最优点，之后语义继续改善但帧级分布距离可能回升。随机扰动对条件任务影响小，甚至确定性采样在部分指标上更好，但对联合生成至关重要，去掉后对齐误差翻倍以上、文本流可懂度明显下降。
增大引导强度有助于跨模态对齐与困惑度，但会推高帧级分布距离，在无引导或弱引导下表达性分支的分布距离可超过基线。附录还指出较强引导使均值项偏移，部分源于训练与测试集预处理差异。因此实际部署需要在语义、分布接近程度与计算量之间按任务选点，不能把某一方向的最优点直接搬到另一方向。
哪些弱项与论文自己承认的边界有关
论文明确列出 3 类边界。第一是从头训练而无文本预训练，这尤其影响语音识别与续写的语义连贯，因为配对语音数据既要提供语言知识又要提供跨模态对齐，错误分析显示词错中多为替换而非增删，说明声学定位尚可但语言建模不足。第二是模型与数据规模偏小，语音是朗读式有声书，风格与主题覆盖窄，续写难以主题外推。
第三是连续模态依赖冻结分词器与解码器，分词时丢掉的信息去噪器拿不到，重建误差即使码建模准确也会保留，StableCodec 在说话人相似度与帧级分布上的上限就是例子。蛋白质部分也指出计算一致性不等于生物功能，几何精度可通过更大规模、调参与蒸馏改进，但需另行验证。未胜出项包括语音识别相对基线最弱、续写主题相关最差、蛋白质坐标级成功率低于显式几何模型，这些都保留在原文中，没有被掩盖。
复现第一步要固定哪些信息条件与超参数
复现先固定信息条件：联合生成时全部内容比特不观测，条件生成时把条件段钳住并在每次调用前保持干净，标记位始终干净，蛋白质还要区分整段与残基内通道两种掩码粒度。超参数按原文抄：扩散噪声范围、数据方差二分之一、解析后验截断、自条件概率 0.5、熵导出调度的缓冲与分箱、训练初期的对数正态预热与插值步数。采样记录积分步数与网络求值次数，引导强度与随机扰动按任务分别记录，蛋白质注明是否用精炼自条件模式。
评价沿用原文工具链：语音用同一 Whisper-large 转写、同一外部语言模型算困惑度、同一 SALMON 生成式流程，蛋白质用同一 ProteinMPNN 温度、同一 ESMFold 回数与同一 TM 对齐长度归一化。论文给出代码链接为第三方镜像可达，但这只证明链接提到该地址，不证明作者已开源权重，复现应按从头训练准备数据与算力。
什么时候值得尝试，还缺哪项验证
当任务能写成固定模板的离散码，且需要在联合生成与多个条件方向之间切换时，这套流程值得尝试，因为它把模态差异收敛到分词器与模板，去噪器与损失不用为新模态重写。复现第一步是先在小而封闭的任务上跑通掩码切换，例如用确定性码验证联合一致性，再接入有损编解码器处理连续模态。还需要补的验证是文本或序列预训练初始化的受控对比、更大更多样数据下的扩展性、以及蛋白质的湿实验功能验证。
总体看，论文提供的是同一协议跨 3 种依赖形态的可行性证据，强项是接口统一与单权重多方向，弱项是语义外推、说话人还原与精细几何，是否采用应按各自任务的评价条件与计算预算决定。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses