近日，软件工程师Tim Richardson在rewire.it上发布了一项独立再分析，利用2019年Chong等人发表的MFASS（multiplexed functional assay of splicing using Sort-seq）实验数据，比较了三种计算工具在排序剪接变异时的实际表现。该分析旨在回答一个实用问题：如果只能跟进100个变异，哪种排序方法能在这份名单中纳入最多经实验测得的剪接破坏？

三种工具与评估设计

比较涉及三种方法。基线是一个梯度提升树模型，使用外显子边界距离、DNA变化、进化保守性及变异周围短序列模式频率等特征，并在MFASS训练集上训练。SpliceAI是一种专业深度神经网络，利用DNA序列上下文预测剪接位点，通过比较参考序列与改变后序列的预测来给出位点获得或丢失的分数。Pangolin是另一种专业深度神经网络，预测剪接位点使用情况，训练数据来自多个组织和物种，此处按预测使用情况的最大变化对变异排序。

合格数据集包含27,733个变异，其中1,050个被标记为导致大规模剪接破坏。分析使用19,409个变异训练基线，留出8,324个测试，其中包含315个破坏。通过共享外显子或基因连接的变异被保留在同一组中，以降低基线因见过密切相关样本而显得泛化的风险。基线对全部8,324个测试变异打分，SpliceAI打分8,194个，Pangolin打分8,301个。直接比较仅使用两种方法都打分的变异，而不是将缺失分数视为阴性预测。

前100名与整体排序结果

在各自打分子集中，校正后的基线在前100个变异中发现61个破坏，SpliceAI发现64个，Pangolin发现65个。所有三种方法在短名单差异上的配对置信区间均包含零。这并不能证明方法等效，但该比较未能在这一操作点上确立可靠赢家。

Pangolin在这些配置中表现出更强的全列表性能，平均精度和AUROC（受试者工作特征曲线下面积）更高，且得到配对比较支持。但专业工具的运行使用了不同的基因注释版本，因此这一优势不能完全归因于模型架构。

校正也是重要部分。原始基线对训练和测试数据中7,770个变异的序列窗口中心定位有误。校正方向并重新拟合后，其前100名计数从62变为61。作者还撤回了此前关于SpliceAI在AUROC上明显优于基线的结论，因为校正后的置信区间包含零。

对评估实践的启示

作者认为，关键教训是让评估匹配预期决策，报告不确定性和覆盖范围，并使校正可见。这些结果仅针对MFASS报告基因终点，不能确立哪种工具在所有剪接任务或临床使用中最佳。该分析已公开，供他人检查评估选择。

来源：BioTechniques（英文原文，生物航编译，内容以原文为准）