|
|
[交流]
OCOO-T:用极简 Transformer 和流匹配预测细胞转录扰动响应
导读
Danning Jiang 等人提出的 OCOO-T 用普通 Transformer 直接在连续基因表达谱上进行条件流匹配,预测扰动后的转录响应。模型在 Tahoe100M、Replogle-Nadig 与 PBMC 三个基准上取得较强总体表现,并通过基因分块处理包含 18,080 个基因的表达谱。长表达谱实验的评估范围为 2,000 个高变基因。
研究背景
转录扰动响应预测研究细胞在基因敲低、敲除、过表达、化学处理或细胞因子刺激后的基因表达变化。单细胞 RNA 测序与池化扰动筛选已积累覆盖数千基因、多种扰动、多个剂量和多类细胞背景的数据,为计算模拟细胞对干预的响应提供了训练基础。
扰动与细胞语境的组合数量庞大,计算模型可帮助研究者筛选候选干预、形成调控机制假设。单细胞测序会消耗被测细胞,实验分别采集对照与扰动后的细胞群体。模型据此学习群体层面的表达分布变化。
已有方法通过细胞状态编码器、层次变分自编码器、专门的 Transformer 编解码模块或基因互作先验构建细胞表征。部分扩散与流匹配方法在隐空间中建模,并用最大均值差异或最优传输对齐表达分布。OCOO-T 采用直接在连续表达谱上去噪的架构,研究重点是预测表现与长表达谱建模。
研究方法
OCOO-T 将扰动响应预测建模为条件连续时间去噪,用普通 Transformer 在原始表达谱上拟合修正流(Rectified Flow)的速度场,并通过基因分块处理长表达谱。
条件流匹配。在纯高斯噪声与目标扰动响应之间构造线性插值轨迹,学习沿该轨迹恒定的目标速度。时间步按 logit-正态分布采样,训练采用速度预测(v-prediction)与速度空间 L2 损失。采样分布使训练更关注高噪声区间。与 x-loss 相比,v-loss 提高了大 t、即接近干净样本区间的误差权重。
Transformer 去噪网络。采用 SwiGLU 前馈网络、RMSNorm 与 qk-norm。表达值由两层多层感知机编码,基因身份由预训练蛋白语言模型 ESM2 的嵌入表示。扰动、剂量、细胞系与时间步通过自适应层归一化注入,中间层加入可学习的上下文 token。
双重条件无分类器引导。训练时分别随机丢弃扰动与细胞系标签,学习条件与无条件速度估计。采样时结合两类条件进行外推,引导范围设在指定时间步区间。
基因分块与语境注入。将有序的基因表达值与基因嵌入归并为连续块。基因数为 G、块大小为 s 时,注意力序列长度约为 G/s。细胞语境可由可学习的标签嵌入或一组对照细胞的均值谱表示。
核心发现
1、普通 Transformer 直接在连续表达谱上去噪
OCOO-T 用普通 Transformer 在原始基因表达谱上学习条件连续时间去噪,将扰动响应表示为从高斯噪声生成目标表达谱的过程。
训练时,模型回归线性插值轨迹的目标速度。扰动、剂量和细胞系或细胞类型信息通过自适应层归一化与上下文 token 注入主干。
表达编码、条件注入和速度预测构成端到端流程,主干采用 Transformer 的通用组件。(图 1)
OCOO-T 总体架构:连续表达谱经 Transformer 块去噪,以扰动身份与细胞语境为条件。来源:Jiang et al., 2026, arXiv v2,Figure 1
模型架构流程图。含噪表达 zt 与基因嵌入输入主干,扰动 p、细胞系 c 与时间 t 经条件编码器汇聚,再通过自适应层归一化调制模型块。沿箭头可查看上下文 token 的插入位置及速度场 v 的输出。
2、用对照细胞均值谱表示细胞语境
面向新细胞语境的预测,OCOO-T 设计了隐式条件注入方式,将对照细胞均值谱 xc 与含噪状态 zt 一起送入 Transformer。
均值谱概括一组对照细胞的基础表达状态,为群体层面的扰动响应预测提供条件信息。
在 Replogle-Nadig 的条件表示比较中,多种对照细胞集合大小下的均值谱都能支持预测。对于训练已覆盖的细胞系,可学习标签嵌入在差异表达(DE)与扰动判别(PDS)指标上的表现更强。均值谱为细粒度和新细胞语境提供了条件表示方案,其泛化效果有待独立评估。(图 2)
对照细胞均值谱(xc)随输入一同注入,以进行扰动预测。来源:Jiang et al., 2026, arXiv v2,Figure 2
条件注入流程图。含噪状态 zt 与对照谱 xc 分别经过表达编码器并加入基因嵌入,两路特征拼接后投影回原始特征维度,再送入模型块。对照谱分支提供隐式细胞语境。
3、基因分块将建模扩展至长转录组
标准自注意力的计算量随序列长度呈二次增长。基因分块通过缩短 token 序列降低这部分计算量。
OCOO-T 沿基因维度将有序表达值与基因嵌入归并为连续块。每块投影为一个 patch token,经 Transformer 处理后再还原为基因级输出。
分块后的注意力序列长度约为 G/s。论文在 18,080 个基因的输入上测试了块大小 8、16 和 32,评估指标统一在与短面板实验相同的 2,000 个高变基因上计算。(图 3)
基因分块(patching)支持长表达谱建模。来源:Jiang et al., 2026, arXiv v2,Figure 3
分块机制示意图。左侧将基因表达值与基因嵌入按块大小 s 合并,每块对应一个 patch token。右侧将模型输出还原到基因级分辨率。
4、在三类扰动基准上取得较强总体表现
在 Tahoe100M 上,OCOO-T 的 PDCorr 为 0.952,PDS_L1、PDS_L2、PDS_cos 分别为 0.991、0.993、0.994,DEOver 为 0.634,DirAgr 为 0.959。这些指标及重建误差在参评方法中表现最佳。
在 Replogle-Nadig 上,模型的扰动效应相关系数与 STATE 同为 0.437,差异表达恢复指标表现最佳。在 PBMC 上,相关系数 0.924、差异表达重叠 0.760、精确率 0.763、方向一致性 0.937 均为参评方法中的最佳值。
三个基准覆盖化学、遗传与细胞因子三类扰动,各方法在扰动判别、差异表达恢复和重建误差等指标上各有优势。简单线性与均值类方法在部分指标上也有较强表现,适合作为模型比较的基础对照。(图 4)
Tahoe100M、Replogle-Nadig 与 PBMC 三个基准上的多维性能比较。来源:Jiang et al., 2026, arXiv v2,Figure 4
多维性能雷达图。三张雷达图分别对应 Tahoe100M、Replogle-Nadig 与 PBMC。按同一指标轴比较各方法的 PDCorr、PDS、DEOver、DEPrec 和 DirAgr,重建误差见原文数据表。
5、速度预测与干净表达预测的最终性能接近
研究在基因分块设定下比较了速度预测(v-prediction)与干净表达预测(x-prediction)。前者是流匹配的常用方式,后者在部分高维图块生成任务中表现更好。
在 OCOO-T 的实验中,两者最终性能大致相当,训练过程中的收敛走势随指标有所差异。
作者据此提出,去噪目标的选择可能依赖数据域。转录组向量具有稀疏、重尾和生物学异质性,基因间关系也有别于图像的局部空间网格,这些特征可能影响两种预测方式的相对表现。(图 5)
不同分块尺寸下速度预测与干净表达预测的基准结果对比。来源:Jiang et al., 2026, arXiv v2,Figure 5
多指标折线对比图。横轴为训练轮次,纵轴为各项评估指标。图例区分两种预测方式和三种分块尺寸,可分别比较收敛终点与训练走势。
核心结论速览
- OCOO-T 用普通 Transformer 直接在连续表达谱上进行条件去噪。
- 对照细胞均值谱提供群体级条件表示,标签嵌入在训练已覆盖细胞系的 DE 与 PDS 指标上表现更强。
- 基因分块将注意力序列长度缩短至约 G/s,输入覆盖 18,080 个基因,评估范围为 2,000 个高变基因。
- 模型在化学、遗传与细胞因子三类扰动基准上总体表现较强,各方法在具体指标上各有优势。
- 速度预测与干净表达预测的最终性能接近,作者推测去噪目标的选择与数据域有关。
研究意义
科学价值:普通 Transformer 配合条件流匹配,在文中三个基准的既定划分上取得了有竞争力的预测表现,为比较模型架构提供了简洁的基线。
研究应用:模型生成药物、遗传干预或细胞因子刺激后的转录分布,可供候选干预排序和机制假设研究使用。文中结果来自计算基准评估。
工程启示:基因分块将长表达谱表示为更短的 token 序列,并在 18,080 个基因的输入上完成实验。其计算优势体现在缩短注意力序列,实际训练和推理成本的跨方法比较可作为后续评估内容。
后续研究方向
现阶段证据来自 Tahoe100M、Replogle-Nadig 与 PBMC 的计算基准。后续评估可在独立数据中设置训练集之外的扰动与细胞语境,检验泛化能力,并逐步覆盖长表达谱中的新增基因。实际应用还需通过湿实验检验预测,并评估临床效用。同口径的训练成本、推理成本和硬件效率比较,可补充计算资源方面的依据。
FAQ
Q:OCOO-T 如何预测扰动响应?
模型用普通 Transformer 直接在原始连续表达谱上做条件连续时间去噪,在扰动身份、剂量和细胞语境等条件下生成目标表达分布,流程可端到端优化。
Q:什么是基因分块?
将有序的基因表达值与基因嵌入按固定大小合并,每块对应一个 token,模型处理后再还原为基因级输出。基因数为 G、块大小为 s 时,注意力序列长度约为 G/s。文中长表达谱输入为 18,080 个基因,指标在相同的 2,000 个高变基因上计算。
Q:为什么对照细胞可以用均值谱表示?
均值谱概括一组对照细胞的基础表达状态,可为群体级响应预测提供条件。论文比较了多种对照细胞集合大小,均值谱均能支持预测。在训练已覆盖的细胞系中,标签嵌入的 DE 与 PDS 表现更强。
Q:模型评估覆盖哪些扰动类型?
评估覆盖化学、遗传和细胞因子三类扰动。化学扰动采用分子指纹,遗传扰动复用基因嵌入,细胞因子刺激采用蛋白语言模型嵌入,剂量通过连续值编码加入。
Q:模型的条件是如何注入的?
扰动、剂量、细胞系与时间步分别编码后汇聚为条件向量,通过自适应层归一化调制 Transformer 块。中间层加入可学习的上下文 token,供注意力机制利用条件信息。
君录视角 · 虚拟细胞
对扰动数据的启示。君录建议,在自有扰动数据中完整记录对照细胞群、扰动身份、剂量、细胞语境与批次信息,并为训练覆盖的语境和新语境分别设置评测。对照均值谱作为群体级条件使用。
对疾病模型的启示。OCOO-T 可作为疾病相关扰动预测的架构基线。评测宜包含简单方法、多个分布级指标及独立语境,并分别注明输入基因数与指标覆盖范围。候选干预排序和机制研究可结合具体疾病数据与后续实验开展。
原文信息
Jiang D, Yan Z, Wang Q, An Z, Zhao Y, Lai L. OCOO-T: A Simple and Scalable Virtual Cell Model for Transcriptional Perturbation Response Prediction. arXiv:2606.12838v2.
关于我们
君录生物· 以数据驱动创新药早期开发
探索AI赋能生物医药新形态与新范式
做靶点发现与药物管线早期资产
生信分析平台IntelliCytoPilot
单细胞数据库HeCellAstra
合作 · 投资 · 学术交流
![OCOO-T:用极简 Transformer 和流匹配预测细胞转录扰动响应]()
![OCOO-T:用极简 Transformer 和流匹配预测细胞转录扰动响应-1]()
![OCOO-T:用极简 Transformer 和流匹配预测细胞转录扰动响应-2]()
![OCOO-T:用极简 Transformer 和流匹配预测细胞转录扰动响应-3]()
|
|