ROC、AUC 与决策曲线分析
ROC 和 AUC 描述区分能力,不依赖单一阈值,但不反映临床净收益;决策曲线在不同阈值概率下比较净获益,更贴近使用场景。实践中常三者并列:AUC 看区分度,校准曲线看概率是否可信,决策曲线看在什么阈值范围内有价值。
11个分析 Skill · Codar 生信插件
精准医学把分子特征与临床表型结合,判断哪些人群可能从特定治疗中获益,常用数据是队列的多组学测量加随访与疗效记录。在 Codar 里覆盖诊断与预后标志物性能评估、多组学标志物发现、患者分层与治疗匹配、治疗反应预测、预测模型验证,以及 CDISC、FHIR 与 EHR 数据标准化。相关分析用于科研,不作为临床诊断依据。
先确定标志物用途是诊断、预后还是疗效预测,不同用途对应不同的对照设置和评价指标。
把临床变量按 CDISC 结构整理,EHR 与 FHIR 资源映射到统一字段,记录单位和时间窗定义。
在多组学数据里做质控和批次评估,再按差异和稳定性筛候选,筛选过程要与验证集隔离。
诊断用 ROC、AUC 和敏感度特异度,预后用生存模型与时间依赖指标,并给出置信区间。
做无监督分层或建预测模型,用内部重采样加独立队列验证,检查区分度和校准度。
汇总指标、图表、模型参数和适用范围,写明验证局限与未校正的混杂因素。
ROC 和 AUC 描述区分能力,不依赖单一阈值,但不反映临床净收益;决策曲线在不同阈值概率下比较净获益,更贴近使用场景。实践中常三者并列:AUC 看区分度,校准曲线看概率是否可信,决策曲线看在什么阈值范围内有价值。
预后标志物通常用 Cox 模型评估,并配合 C-index 或时间依赖 ROC 衡量不同时间点的区分能力。把连续变量按最优切点分组容易产生过于乐观的结果,更稳妥的做法是保留连续形式或使用样条,再在验证集上检查切点是否可重复。
共识聚类、NMF 和基于相似性网络的多组学整合方法常用于发现分子亚型。聚类几乎总能给出分组,所以关键在稳定性评估和外部可重复性,以及亚型是否与临床结局、治疗反应或已知生物学过程对应,而不仅是数据内部结构。
交叉验证和 bootstrap 用于估计乐观偏差,但特征筛选必须放在重采样循环内部,否则结果偏高。外部队列验证能检验跨平台、跨人群的迁移性,通常需要同时报告区分度、校准度和在新数据上的重新校准结果。
共 11 项。启用插件后,Codar 会按任务自动选用,不需要逐个记住名称。
在 Codar 左上角选择 Codar 生信。
在插件页找到「精准医学」,安装或启用。
用一句话写清数据和目标,确认分析方案后开始执行。
帮我评估这组候选生物标志物的诊断性能,画 ROC 曲线,并在独立队列中验证模型。
诊断标志物区分当前有病与无病,评价看敏感度、特异度和 AUC;预后标志物预测未来结局发生的时间或风险,评价要用生存模型和时间依赖指标。还有一类是疗效预测标志物,必须在有对照治疗组的设计里才能证明,不能用单臂数据代替。
没有通用阈值。AUC 的意义取决于应用场景、现有标准方法的水平和误判代价:在已有可靠指标的场景里,新标志物要证明增量价值;在缺乏手段的场景里,中等区分度也可能有用。更可靠的判断方式是看校准度和相对现有模型的提升。
常见原因有三类:特征筛选和模型调参用了同一批数据导致过拟合;训练队列的平台、批次或人群构成与新队列不同;结局定义或随访时长不一致。应对办法是把筛选放进重采样循环、报告校准曲线,并在新队列上考虑重新校准而非直接套用。