| 查看: 27 | 回复: 0 | ||
[交流]
Systema：当模型高分可能来自数据偏移，如何重测基因扰动预测？
|
|
▍导读 2026年，EPFL、剑桥大学与希伯来大学等团队的 Systema 研究正式刊载于 Nature Biotechnology。研究指出，基因扰动响应预测方法的高分很大程度来自扰动细胞与对照细胞之间的系统性变异。研究在十套单细胞扰动数据集（跨三种技术、五种细胞系）中量化这种变异，发现标准 PearsonΔ 指标与数据集的系统性变异程度高度相关——对微调 scGPT 与 GEARS 分别达 0.91 与 0.95。为此作者提出 Systema：把参照点从对照细胞质心改为各扰动质心的平均（perturbed centroid），突出扰动特异性效应，并引入质心准确度；结果表明，预测未见扰动的特异效应远比标准指标所示更难，仅微调 scGPT 能部分重建染色体不稳定性等粗粒度效应（AUC 0.73）。 ▍研究背景 理解遗传扰动如何影响单细胞，是功能基因组学的核心问题：它关系到基因功能解析、调控网络绘制、细胞工程与治疗发现；但可能的扰动组合在数量上极为庞大，穷举实验探索并不可行。 为此，计算方法被用于推断未经实验测试的扰动的转录结果——借助生物网络或大规模单细胞图谱中的先验知识，用复杂的深度学习架构预测扰动后的表达谱；然而近年研究也显示，线性模型与非参数基线即可达到相近表现，这引出一个根本疑问：现有方法究竟在多大程度上学到了单细胞的扰动生物学。 研究系统考察方法对未见遗传扰动的推断能力：在十套扰动数据集上与只捕捉平均处理效应的基线对比，并追问常用的评测指标是否被数据集中的系统性变异所左右。 ▍研究方法 研究以「多数据集基准＋系统性变异量化＋参照切换式评测」为主线，系统检视扰动响应预测方法： · 基准数据集：汇集来自六个来源的十套单细胞扰动数据集，横跨 CRISPR 敲除、CRISPRa、CRISPRi 三种技术、五种细胞系，含一套全基因组筛选与一套双基因组合扰动。 · 方法与基线：对比三种代表性方法 CPA、GEARS、scGPT，以及两个只捕捉平均扰动效应的非参数基线 perturbed mean 与 matching mean。 · 系统性变异量化：以对照细胞质心为起点，计算每个「扰动特异性漂移」向量与「平均扰动效应」向量之间的余弦相似度，度量数据集中系统性变异的程度。 · Systema 参照切换：允许使用自定义参照点，关键是改用「各扰动质心的平均（perturbed centroid）」作为参照，使评测聚焦于扰动特异性效应而非共享的系统性偏移。 · 质心准确度：新增指标，判断预测质心是否更接近其正确的真值质心、而非其他扰动的质心，以刻画方法能否重建扰动图谱及其粗粒度类别效应。 · 评测设置：按扰动划分数据，25% 的扰动始终不出现在训练集中，并以三次独立随机划分重复，报告平均表现。 ▍核心发现 1、简单基线可与前沿扰动响应预测方法持平甚至更优 研究把三种前沿方法与两个仅捕捉平均扰动效应的非参数基线放在同一评测下：perturbed mean 用训练集里全部扰动细胞的平均表达作答，matching mean 则是双基因扰动两个单基因质心的平均。 在十套数据集、单基因与双基因两类扰动上，使用 PearsonΔ、PearsonΔ20、RMSE 等指标，这些简单基线都取得了与前沿方法相当、甚至更好的成绩：双基因未见扰动上 matching mean 相对最佳备选方法 GEARS 的 PearsonΔ 相对提升约 11%。 图 1(e) 的 FOSB+OSR2 示例显示，各方法预测的表达变化彼此相似，并接近 perturbed mean 的结果，提示它们可能主要捕捉对照与扰动细胞之间的共性差异，而非每个扰动自身特有的效应。（图 1） 图 1 · 《简单基线与前沿扰动响应预测方法性能对比》 · 来源：Viñas Torné et al., 2026, Nature Biotechnology · 性能对比图 先看 © 十套数据集上 perturbed mean 基线与各方法的 PearsonΔ 数值矩阵，基线多不落后于前沿方法；再看 (d) 双基因扰动箱线图中 matching mean 相对 GEARS 的领先（PearsonΔ 相对提升 11%）；最后看 (e) FOSB+OSR2 扰动的实验箱线图及各方法预测点，各方法的预测结果彼此相近。 2、揭示扰动数据集普遍存在的系统性变异 研究用通路富集（GSEA）与单细胞活性评分（AUCell）比较扰动与对照细胞，发现二者在多个通路上存在系统性差异，例如对外界刺激的反应、细胞死亡的正向调控等。 在 Replogle RPE1 数据集中，扰动细胞的细胞周期分布明显偏向 G1 期（46% 对 25%，P = 2.3×10⁻⁴³），作者归因于扰动诱导的广泛染色体不稳定；而 p53 阴性的 K562 数据集中这一差异要小得多。 这些结果说明，常用的单细胞扰动数据集可能同时包含来自生物学效应、实验设计或混杂因素的系统性变异，建模与评测都需对其格外小心。（图 2） 图 2 · 《Norman14 与 Replogle15 数据集中的系统性变异》 · 来源：Viñas Torné et al., 2026, Nature Biotechnology · UMAP 与密度图 先看 (a)© UMAP 中对照与扰动细胞的分群、以及细胞周期与染色体不稳定性评分的着色差异；再看 (e) 相密度图，扰动细胞处于 G1 期的比例显著高于对照（46% 对 25%，P = 2.3×10⁻⁴³）；读图时对照细胞指使用 nontargeting guide 的细胞。 3、标准评测指标易受系统性变异影响而虚高 研究把系统性变异定义为扰动特异性漂移与平均扰动效应之间余弦相似度的分布：相似度越高，说明不同扰动的转录响应越朝同一方向偏，暗示存在共享的、可能非特异的表达偏移。 十套数据集的系统性变异程度差别很大：Adamson 最高，聚焦特定通路的 Norman 也处于较高水平；Replogle RPE1 高于其 K562 版本，而 Frangieh 三套最低，说明其扰动特异性漂移方向更为异质。 关键在于，这种变异程度与现有方法的 PearsonΔ、PearsonΔ20 得分高度相关（微调 scGPT 为 0.91、GEARS 为 0.95），而以对照为参照的指标并非稳健；相对而言，RMSE 等不依赖对照参照的指标没有呈现同样趋势。（图 3） 图 3 · 《量化单细胞扰动数据集中的系统性变异》 · 来源：Viñas Torné et al., 2026, Nature Biotechnology · 散点与条形组合图 先看 (b) 各数据集的散点：横轴为扰动总数，纵轴为系统性变异程度；Adamson 最高，Norman 处于较高水平，Frangieh 三套最低。再看 ©，灰色柱表示系统性变异程度，彩色点线表示各方法 PearsonΔ，二者随数据集排序总体同步升降，平均相关达 0.97。 4、Systema 以各扰动质心的平均为参照凸显扰动特异效应 Systema 的核心做法是允许更换参照点：以对照细胞质心为参照时，不同扰动的漂移与平均漂移方向接近（全部数据集平均余弦相似度 0.41 ± 0.18），难以把各扰动的效应彼此区分。 改用各扰动质心的平均（perturbed centroid）为参照后，余弦相似度分布几乎居中于零（平均 −0.06，如 Norman 为 −0.12 ± 0.45），并且这一改变对漂移的模长与生物学解读影响很弱，从而更聚焦于扰动之间的差异。 用重定义后的指标评测，各类方法的得分显著降低；未见单基因扰动上所有基线都只有很低的相关，双基因 0-seen 情形仅 GEARS 与 scGPT 取得非负 PearsonΔ，说明对未见扰动特异效应的预测非常困难。（图 4） 图 4 · 《Systema 突出扰动特异效应并提升对系统性变异的稳健性》 · 来源：Viñas Torné et al., 2026, Nature Biotechnology · 分布图与箱线图 先看 (b) 余弦相似度分布：以对照为参照（浅绿）时整体偏正，原文报告全部数据集均值为 0.41；以各扰动质心的平均为参照（深绿）时几乎居中于零，原文报告均值为 −0.06。再看 ©(d)，换参照后 PearsonΔ 整体显著降低；双基因 0-seen 情形仅 GEARS 与 scGPT 为非负。 5、质心准确度刻画方法可恢复的粗粒度扰动效应 质心准确度衡量预测的扰动后表达谱是否更接近其正确的真值质心、而非其他扰动的质心；把每个扰动的质心准确度与 perturbed mean 对照，可判断模型是否捕捉到超出系统性效应的扰动生物学。 在未见单基因扰动上，各方法的平均得分仅略微超过 perturbed mean，但微调 scGPT 总体最高，在 Adamson、Norman 与 Replogle K562 上领先；图 5(d) 显示，在全基因组 K562 筛选中，它对翻译相关扰动、包括核糖体蛋白基因扰动的预测更准确。 把质心准确度扩展到粗粒度类别后，只有微调 scGPT 能部分区分未见扰动引发的低/高染色体不稳定性（AUC 0.73），说明 Systema 能辨别「仅复现系统性效应」与「恢复有生物学意义的扰动响应」。（图 5） 图 5 · 《Systema 借预测表达谱推断下游粗粒度扰动效应》 · 来源：Viñas Torné et al., 2026, Nature Biotechnology · 对角线散点图与 ROC 曲线 先看 (b)(d) 对角线散点：点落在对角线上表示模型与 perturbed mean 表现相当；位于对角线上方才表示模型优于 perturbed mean，微调 scGPT 在核糖体蛋白基因等翻译相关扰动上有较多点位于上方。再看 (e) ROC 曲线，仅微调 scGPT 的 AUC 达 0.73，高于随机水平 0.5。 ▍核心结论速览 · 简单基线在标准指标下与前沿方法持平甚至更优。 · 高分很大程度来自对照与扰动间的系统性变异。 · 标准 PearsonΔ 与系统性变异程度高度相关（0.91／0.95）。 · Systema 改用各扰动质心的平均为参照，突出扰动特异效应。 · 换参照后评价分数整体显著降低，泛化到未见扰动很难。 · 质心准确度显示仅微调 scGPT 能部分重建粗粒度效应。 ▍研究意义 · 科学价值：把扰动响应预测的评测从「与对照相比」转向「扰动特异性效应」，量化了数据集中的系统性变异，并以可解释的质心准确度刻画模型能否重建扰动图谱，为功能基因组学的模型评测提供了更稳健、更贴近生物学的口径。 · 潜在转化价值：明确区分「只是复现系统性效应」与「捕捉到有生物学意义的扰动响应」，有望为药物靶点与扰动推演研究甄别可迁移模型提供评测依据，降低数据集偏倚导致误判的风险。 ▍局限与下一步方向 作者指出：改用各扰动质心的平均作为参照虽能突出扰动特异效应，但继承了参照敏感指标（如余弦相似度、Pearson 相关）的局限——对弱扰动不稳定、对扰动强度不敏感、分数受参照选择强烈影响，某些参照还会导致分数无定义；参照不敏感指标（如 MSE）虽更稳健却较难解释。此外，系统性变异即便在 Replogle RPE1 这样的大规模筛选中依然存在，作者认为需要基因组合更异质的大规模数据集，并主张以下游任务的生物学可用性来评价扰动响应模型。 ▍FAQ Q：什么是「系统性变异」？ 指扰动细胞与对照细胞之间稳定的转录差异，来源包括选择偏倚、混杂变量，或应激反应、细胞周期等生物学因素。它会让以对照为参照的评测分数被抬高，掩盖模型对新颖扰动的真实泛化能力。 Q：Systema 与常规评测有何不同？ 常规评测以对照细胞为参照计算表达变化；Systema 允许使用自定义参照，关键是用各扰动质心的平均（perturbed centroid）作参照以突出扰动特异效应，并新增质心准确度，判断预测能否重建正确的扰动图谱与粗粒度类别效应。 Q：为什么改用新参照后分数大幅下降？ 因为原有高分很大程度来自所有扰动共享的系统性偏移。一旦只考察扰动之间的差异，未见扰动的特异效应就非常难预测，因此换用各扰动质心的平均作为参照后，相关分数整体显著降低；双基因 0-seen 情形尤其明显。 Q：这些预测方法还有价值吗？ 有。质心准确度显示，微调 scGPT 能对翻译相关（如核糖体蛋白基因）扰动、以及染色体不稳定性等粗粒度效应给出部分正确的预测，说明模型仍可提供有生物学意义的信号，只是需要更合适的评测来识别。 ▍君录视角 · 虚拟细胞 解决的问题：基因扰动响应预测方法在标准评测下分数虚高——本文指出这些高分很大程度来自扰动细胞与对照细胞之间稳定的「系统性变异」（如选择偏倚、混杂变量、细胞周期效应），而非真正学到了扰动生物学。作者在十套数据、三种技术、五种细胞系上量化了这种变异，并提出 Systema 评测框架：把参照从对照细胞质心改为各扰动质心的平均（perturbed centroid），突出扰动特异性效应，并引入质心准确度衡量预测能否重建扰动图谱。 集成判断：对虚拟细胞方向而言，这是一次「评测口径」的校正——把生成模型的预测能力与数据集的系统性偏倚解耦，并主张以下游任务的生物学可用性来评价模型。其「换参照点＋质心准确度」的思路可复用于注释、扰动推演等下游评估，提示在复用大规模预训练表征时，需要同步建立对系统性变异的防护与可解释的评估接口。 ▍原文信息 Viñas Torné R, Wiatrak M, Piran Z, et al. Systema: a framework for evaluating genetic perturbation response prediction beyond systematic variation. Nature Biotechnology. 2026;44(6):1050–1059. Epub 2025 Aug 25. doi:10.1038/s41587-025-02777-8 ▍关于我们 君录生物 · 以数据驱动创新药早期开发 自建心血管单细胞数据库 HeCellAstra，生信分析平台IntelliCytoPilot 做靶点发现与药物管线早期资产      |
回复此楼
