Open and reusable deep learning for pathology with WSInfer and QuPath
以前：数字病理图像分析的开源软件qupath学习 ①-CSDN博客
背景
深度学习对数字病理学研究的变革性影响怎么强调都不为过。许多研究表明，基于深度学习的人工智能 （AI） 方法有可能彻底改变病理学实践的不同方面，例如通过识别淋巴细胞浸润、微卫星不稳定性、基因组畸变和其他临床重要表型1,2,3.然而，文献中发表的无数算法掩盖了研究界实际可用的实现的缺乏。在大多数情况下，其他研究小组根本不可能在他们自己的图像和队列上验证已发表方法的使用。其中一个原因是无法获得所需的数据：最近对 161 项使用深度学习进行病理学的同行评审研究进行的一项调查发现，虽然四分之一共享代码，但只有八分之一共享训练的模型权重4,5.此外，在少数有代码和模型的情况下，它们通常不适合没有编码经验的病理学家使用和探索。其结果是，报告的发现无法被更广泛的社区适当地复制和询问，而关键的领域专家——病理学家——往往发现自己特别被排除在外。解决模型泛化和克服批量效应等问题迫切需要提高开放性、可复制性和可重用性。
在当前的实施中，我们专注于斑块分类的通用任务，该任务广泛用于广泛的病理学应用，具有促进诊断、预后或预测功能的深度学习模型。WSInfer Model Zoo 中目前包含的模型包括用于对淋巴细胞区域、肿瘤组织、Gleason 等级和其他表型进行分类的模型（表 1）;我们在研究癌症免疫景观的合作项目中使用了一些模型6、7、8、9.我们在下面提供了一个示例，说明如何使用 WSInfer 创建 WSI 中肿瘤和肿瘤浸润淋巴细胞 （TIL） 的空间图谱，这些图谱被认为在几种癌症中既有预后又有预测意义6,10,11,12.由于 WSI 非常大，因此它们通常被分解为补丁，以使分析变得可行。经过训练的基于贴片的深度神经网络通常应用于 WSI，以将贴片分类为不同的组织成分（例如肿瘤、基质、淋巴细胞）或做出与患者预后直接相关的预测。补丁分类的输出通常是空间分类地图，通常可以跨 WSI 集成，以创建表示该幻灯片的诊断、预测或“分数”的单个输出。
工作流程
WSInfer 生态系统通过三个步骤简化了在整个幻灯片图像上部署经过训练的深度神经网络。a 在步骤 1 中，用户首先选择他们的 WSI，并指定模型推理平台以及预训练模型的选择。如果使用 WSInfer Python 运行时，则数据集应是包含 WSI 文件的目录。或者，在使用 WSInfer QuPath 扩展时，当前在 QuPath 中打开的映像将用作输入。QuPath 用户还可以选择指定感兴趣的区域进行模型推理。可以从 WSInfer 模型库中选择预训练模型，也可以用户以 TorchScript 格式提供自己的模型。b 在步骤 2 中，WSInfer 执行一系列处理步骤，包括计算模型规定的块大小和间距的块块坐标。图像补丁直接从 WSI 加载，并用作补丁分类模型的输入。模型输出将聚合并保存到 CSV 和 GeoJSON 文件中。c 在步骤 3 中，可以在 QuPath 或其他软件中可视化和分析模型输出。此示例显示了 TCGA 载玻片上的乳腺肿瘤斑块分类。
数据代码
Data availability
The results published here are in whole or part based upon data generated by the TCGA Research Network: The Cancer Genome Atlas Program (TCGA) - NCI. Whole slide image files used in runtime benchmarks may be downloaded from https://portal.gdc.cancer.gov/projects/TCGA-BRCA. The whole slide image file shown in Fig. 1 is hosted at https://portal.gdc.cancer.gov/files/d46167af-6c29-49c7-95cf-3a801181aca4. The Model Zoo Registry is available at https://huggingface.co/datasets/kaczmarj/wsinfer-model-zoo-json, and all currently available models can be found at https://huggingface.co/kaczmarj.
Code availability
The WSInfer Python Runtime is developed for Python 3.8+ and is available under the Apache 2.0 license (GitHub - SBU-BMI/wsinfer: 🔥 🚀 Blazingly fast pipeline for patch-based classification in whole slide images). We provide a user guide for the command-line tool at User Guide — WSInfer documentation. The QuPath WSInfer extension is also open-source software, written in Java (GitHub - qupath/qupath-extension-wsinfer: QuPath extension to work with WSInfer - https://wsinfer.readthedocs.io/). Please refer to WSInfer — QuPath 0.5.1 documentation for documentation of the QuPath WSInfer extension, including a step-by-step guide, guidance for GPU support, and example scripts demonstrating the use of the extension in analysis pipelines.
文献：Open and reusable deep learning for pathology with WSInfer and QuPath
