数字病理全切片图像分析
全切片图像是把病理玻片用扫描仪数字化得到的金字塔式大图,单张在 40 倍放大下常达到十万像素量级,无法整张送入神经网络。标准做法是先分离组织与背景,把组织区域切成固定大小的小块(patch),在小块级别提取特征,再用聚合方法得到切片级或患者级的预测。由于病理标注成本高,大多数研究采用弱监督:只有切片级标签(如有无癌、分子亚型、预后分组),用多实例学习把小块特征聚合起来训练。常见格式包括 svs、ndpi、mrxs、tif,读取通常用 OpenSlide 一类的库。这类分析属于科研用途,不替代病理诊断或临床治疗决策。
什么时候用
- 有切片级标签但没有逐像素标注,想做自动分类或分层
- 需要在大量切片上定量某种形态特征,人工计数不可行
- 研究形态特征与分子分型、基因表达或预后之间的关联
- 需要可视化模型关注区域,供病理医生复核和假设生成
- 多中心数据需要统一预处理流程,便于合并分析
不适合的情况
- 替代病理医生出具诊断结论,模型输出只是科研指标
- 只有少量切片且来自单一中心,难以得出可泛化的结论
- 需要精确细胞计数但未做核分割,分块级特征给不出细胞数
需要准备的数据
- 全切片图像
- svs、ndpi、mrxs、tif 等金字塔格式,需记录扫描仪型号和每像素微米数(MPP)
- 切片级标签
- 每张切片或每位患者一个标签,注明标签来源;同一患者多张切片要有患者 ID
- 区域标注(可选)
- 病理医生圈注的 ROI 或掩膜,用于监督训练或模型结果复核
- 临床与样本信息
- 中心、批次、取材方式、染色批次等,用于分层划分和混杂检查
分析步骤
- 1
读取与统一分辨率
用 OpenSlide 一类的库读取金字塔层,记录每层的 MPP。不同扫描仪的物理分辨率不同,必须按 MPP 而不是按放大倍数统一,否则同样像素大小的分块代表的实际组织面积不一致。
- 2
组织区域分割
在低倍缩略图上用颜色阈值或简单模型分离组织与空白背景,去掉气泡、笔迹、折叠和失焦区域。做对的标志:抽查若干切片的组织掩膜,边界贴合组织,没有大片背景被保留。
- 3
分块与过滤
在选定放大水平上把组织区域切成固定像素的方块,剔除组织占比过低和模糊的块。记录每块的坐标,便于后续把预测映射回原图位置。
- 4
染色标准化
H&E 染色深浅在不同批次和中心之间差异明显。常用做法是染色归一化(如基于染色矢量分解的方法)或在训练时做颜色扰动增强。做对的标志:不同中心切片的颜色分布直方图明显靠近。
- 5
提取分块特征
用在大规模病理图像上预训练的编码器提取每块的特征向量,或端到端微调。先冻结编码器跑通流程,再考虑微调;保存特征可让后续多次建模不必重复计算。
- 6
聚合为切片级预测
用注意力机制或平均、最大等方式把一张切片的所有块特征聚合为一个表示,训练切片级分类或回归。注意力权重同时给出每块的重要性,可用于画热图。
- 7
按患者和中心验证
划分数据时以患者为单位,并尽量留出一个中心完全不参与训练。同一患者的不同切片必须落在同一折,混在训练和测试两侧会让指标明显虚高。做对的标志:划分表能列出每折的患者数与阳性率。
- 8
结果复核
把高注意力区域截图交病理医生查看,确认关注的是肿瘤细胞、特定结构还是人工痕迹。关注区域集中在笔迹、边缘或气泡时,说明预处理需要加强。
关键参数与决策
分块放大水平
低倍(约每像素 1 微米量级)更看组织结构和空间排布,高倍(约每像素 0.25 微米量级)更看细胞核细节。按研究问题选择,必要时多尺度并用,但要在报告中写明所用 MPP。
分块尺寸与重叠
常用 256 或 512 像素方块。尺寸影响单块包含的上下文;重叠切块能减少边界效应但显著增加数量和计算量。筛选任务通常不重叠,定位任务可适度重叠。
组织占比阈值
每块中组织像素占比的下限决定保留多少块。阈值过低会引入大量背景块稀释信号,过高会丢掉边缘区域;应抽查被剔除的块确认没有误删组织。
染色处理策略
染色归一化让输入更一致,但可能抹掉真实的染色强度信息;颜色增强保留原始数据、依赖模型自己学习鲁棒性。多中心数据常同时用增强并在外部中心上验证。
聚合方式
注意力聚合能定位关键区域、适合阳性区域稀疏的任务;平均聚合更稳定、适合弥漫性特征。阳性区域极小时平均聚合会稀释信号,应优先考虑注意力或最大值类方法。
数据划分单位
必须按患者划分,有条件时再做留一中心验证。这样得到的指标才反映换到新医院、新扫描仪时的表现;按切片随机划分只能衡量同源数据上的拟合程度。
常见错误
- 按放大倍数而不是 MPP 统一分辨率:不同扫描仪的 40 倍对应不同物理尺寸,模型在新数据上形态尺度全变,性能骤降。
- 组织掩膜里残留笔迹和气泡:模型可能直接学到笔迹与标签的相关性,注意力热图会显示它在看墨迹而不是组织。
- 同一患者的切片分散在训练集和测试集:模型记住个体特征,指标虚高,换新患者后下降明显。
- 中心与标签高度相关:某中心的切片几乎都是阳性,模型学到的是扫描仪和染色风格,跨中心验证会暴露这一点。
- 不做染色标准化也不做颜色增强:单中心内表现尚可,但在染色更深或更浅的外部数据上预测明显偏向某一类。
- 只报告分块级准确率:真正要用的是切片级或患者级指标,分块级数字通常偏乐观且与临床问题不对应。
结果怎么看
注意力热图
把每块的注意力权重映射回切片并叠加显示。高权重区域应落在与标签相关的组织结构上;若集中在切片边缘、气泡、笔迹或空白处,说明预处理不足,结果不可信。
切片级 ROC 与 PR 曲线
报告内部交叉验证与外部中心的 AUC 和置信区间。类别不平衡时 PR 曲线更有参考价值;外部 AUC 比内部明显下降,提示模型学到了中心相关的技术特征。
分块筛选统计
每张切片保留的块数、剔除原因分布。块数差异极大(有的几百、有的几万)说明取材面积或组织分割不一致,可能导致部分切片预测不稳定。
预测分数分布
按真实标签分组画切片级预测分数。两组分布分离明显才说明判别力好;若某中心的分数整体偏移,需要检查染色和扫描差异,必要时重新标准化。
和相近方法怎么选
弱监督多实例学习与全监督分割
弱监督只需切片级标签,标注成本低,适合分类和分层,但定位精度有限;全监督需要逐像素标注,能给出准确边界和面积定量。先用弱监督探索,再对关键任务补少量精细标注是常见路径。
WSI 分析与显微图像细胞定量
WSI 关注整张切片的组织结构和切片级结论,分块后聚合;细胞分割类方法针对单个视野做核或细胞实例分割,输出细胞数、形态和表达强度。需要细胞级数值就要走分割路线。
预训练特征提取与端到端微调
用病理预训练编码器提特征再训练聚合器,计算量小、数据需求低、流程稳定;端到端微调潜力更高但需要更多切片和算力,且更容易过拟合到中心特征。多数项目从前者开始。
常见问题
一张 WSI 太大,应该怎么处理?
不要尝试整张输入模型。标准做法是读取金字塔的低倍层做组织分割,在选定放大水平上把组织区域切成固定大小的块,逐块提特征后再聚合为切片级表示。坐标要保留,方便把预测映射回原图。
染色标准化是必须的吗?
单中心、同批染色的数据影响较小;跨中心或跨时间的数据差异往往很明显,不处理会让模型把染色风格当成信号。常见做法是染色归一化与颜色增强二者至少用其一,并在外部数据上验证效果。
只有切片级标签能训练吗?
可以,这正是多实例学习要解决的问题。把一张切片当作一个包、每个分块当作一个实例,通过注意力等机制学习哪些块对标签贡献大。代价是定位精度有限,热图需要病理医生复核。
需要多少张切片?
没有统一的硬门槛,取决于任务难度、效应大小和异质性。可操作的判断方式是看学习曲线:随切片数增加验证指标是否还在上升;同时必须保证患者级划分和至少一个外部中心验证,而不是单纯追求数量。
模型结果能直接用于诊断吗?
不能。这类分析是科研工具,用于定量、筛选和假设生成,不替代病理诊断和临床治疗决策。结果应由病理医生复核,并在报告中明确所用数据范围和验证结果。
在 Codar 里怎么做
在 Codar 中提供切片文件和标签后,会先确认格式、MPP 和标签层级,再完成全切片图像的组织分割、分块、染色标准化、分块特征提取与切片级聚合建模,并按患者划分做验证。交付注意力热图、切片级 ROC 与 PR 曲线、分块筛选统计、预测分数分布,以及可复现的处理与建模脚本。
我有 180 张 svs 格式的 H&E 切片和每张的亚型标签,帮我做分块和弱监督分类,按患者分折并画注意力热图