新校准框架提升AI虚拟细胞模型可信度

AI虚拟细胞模型在预测细胞对基因扰动的反应方面，可能比早期基准测试所显示的更有能力——但前提是研究人员使用足够灵敏的评估指标来检测具有生物学意义的信号。这是英国剑桥生物技术公司Shift Bioscience及其合作者一项新研究的结论，该研究发表在《自然·生物技术》（Nature Biotechnology）上。

评估指标校准问题

论文题为“深度学习扰动模型在校准指标上可超越基线”（Deep Learning Perturbation Models Can Outperform baselines on Calibrated Metrics），引入了一种阳性对照基线和一个框架，用于测试常用指标能否区分有意义的模型预测与信息量较少的预测。基因扰动模型是AI虚拟细胞的一个子集，预测激活或抑制基因将如何改变细胞的转录组。如果可靠，这些模型可支持可扩展的计算机模拟（in silico）筛选以发现治疗靶点。然而，近期研究发现，复杂的深度学习系统往往无法超越简单基线，引发了对模型是否捕捉到扰动特异性生物学的怀疑。

研究人员认为，部分问题在于基准测试本身。Shift Bioscience首席科学官兼创始人Brendan Swain博士告诉GEN：“计算机模拟扰动模型或‘虚拟细胞’的前景在于，同样的缩放定律将适用，为它们提供越来越多的生物数据和计算能力将改善对真实实验结果的预测。然而，早期虚拟细胞模型的基准测试显示性能明显不佳，对其潜力提出了质疑。”

新校准框架的提出

为评估这一问题，团队开发了一种“插值重复”阳性对照，将平均扰动谱与独立的技术重复相结合，并根据每个基因受影响的证据强度进行加权。随后，他们引入了动态范围分数（DRF），衡量指标将阳性对照与阴性对照区分开来的有效性。在14个基因扰动数据集和18个评估指标中，常用的均方误差和控制参考皮尔逊相关等指标往往校准不佳，尤其是在扰动较弱的数据集中。作者补充说：“相比之下，加权和基于排名的指标——包括WMSE、加权RΔ2和归一化逆排名（NIR）——在数据集中一致表现出更高的校准度，反映了它们强调扰动特异性信号的共同设计原则。”

使用校准更好的指标，研究人员在涉及未见单基因扰动和未见基因组合的任务上对九种深度学习模型进行了基准测试。早期模型，包括scGPT和GEARS，一旦使用校准指标评估其预测，往往能超越无信息基线。更新的系统，包括PRESAGE和scLambda，表现出更强的性能，尽管结果因数据集和指标而异。

数据集设计的重要性

分析还强调了数据集设计的重要性。在Norman19数据集中，训练数据仅覆盖可能基因组合的0.63%，简单的加性基线仍然难以超越。而在Wessels23数据集中，覆盖了10.3%的可能组合，多个模型超越了加性基线，表明深度学习模型在更广泛组合景观上训练时能够超越加性效应。Swain表示：“我们的发现表明，通过使用校准良好的指标和正确的数据集，虚拟细胞模型可以产生具有生物学意义的见解。因此，我们可以更有信心地使用它们来识别与衰老和疾病相关的有前景的新靶点。我们正在将这一框架直接应用于我们的靶点识别项目，重点关注那些抑制后既能支持 rejuvenation 又能治疗年龄相关疾病的靶点，为我们提供了明确的临床开发路径。”

Shift Bioscience计划将该框架应用于大规模体外（in vitro）和计算机模拟筛选，以发现与细胞 rejuvenation 和年龄相关疾病相关的抑制靶点，最初聚焦于纤维化。Swain告诉GEN：“最终，我们希望这些工具能指导研究人员开发越来越好的虚拟细胞模型。”

来源：GEN（英文原文，生物航编译，内容以原文为准）