深度丨中科院田捷博士：基于医疗大数据和AI技术的影像组学及其应用丨CCF-GA

本篇文章7018字，读完约18分钟

7月9日，由中国计算机联合会(ccf)主办、雷(公开号:雷)和香港中文大学(深圳)联合主办的ccf-GAIR全球人工智能与机器人峰会第三天，田杰博士在未来医学特别会议上作了题为“基于医学大数据和人工智能的成像及其应用”的主旨演讲。

田杰博士是ieee，spie，iambe，aimbe，iapr的成员。主要从事医学图像分析和生物特征识别的研究和应用。田杰博士的许多学术论文和研究成果可以在国内外各种学术期刊和学术会议上找到，发表学术论文数百篇。

以下是田杰博士当天的讲话全文。雷锋。通讯器并没有改变初衷:

田杰:今天我演讲的主题是“基于医学大数据和人工智能的成像组学及其应用”。根据这一主题，本次演讲将聚焦于医学大数据、大数据技术、人工智能和成像组学。我们希望将这些技术应用到临床实践中，因为它们不是基础研究，而是临床实践，所以我所有的例子都是临床的。

它主要由国内外临床专家开发，表明成像组学、人工智能和大数据都对风险投资和产业感兴趣。问题不在于哪种技术和算法，而在于它会产生什么样的效果。接下来，我将从应用的角度重点介绍它的进展、技术、方法和应用。

今天，我的发言将集中在以下四个要点上:

成像组学的研究背景

影像组学的研究进展

成像组学的关键技术

影像组学的发展方向

一、影像组学的研究背景

1.人工智能技术正在突飞猛进

人工智能技术已经通过围棋直观地普及了，但是用电脑玩围棋并不意味着电脑可以看医生，所以医学治疗在这方面仍然充满了挑战性的问题。

2.人工智能技术已经在医学领域得到应用

然而，计算机人工智能技术也已经应用于医疗，如在疾病的诊断和康复中的深度学习等。，还有一些典型的应用。例如:

2015年，北卡罗来纳大学提出了一种利用深度学习分割大脑磁共振图像的方法；

2016年，谷歌发布了一份学术报告，称人工智能糖网疾病的诊断准确性可用于临床；

2017年，斯坦福大学发表了一份关于自然的研究报告，表明人工智能对皮肤癌的诊断准确率已经达到专家水平。

此外，大型外国公司也参与人工智能医疗。

2014年，微软使用智能引擎分析健康数据，并为患者就诊和意外紧急治疗做准备。

2015年，ibm分析了医学文献和患者诊断和治疗记录，为患者提供高质量、基于证据的个性化诊断和治疗计划。

2016年，谷歌的子公司deepmind health建立了一个健康风险预警系统，通过移动终端推送健康风险预警，并及时通知医生。

3.医疗数据正在快速增长

无论是微软、ibm还是谷歌，他们对人工智能和医疗保健的深入参与为每个人打开了另一扇门——正是由于这些大型企业的参与，人工智能和医疗保健在临床应用和大规模应用方面取得了突破。

谈到医学大数据，我们最熟悉的是图像数据，因为它的标准格式和易于访问和使用。然而，医学大数据不仅限于图像，还包括病理和临床治疗信息。只有整合这些信息，才能模拟和解决人工智能医疗的实际应用问题。

4.成像组学有助于智能医疗

既然话题是关于影像学的，那就让我先给你解释一下影像学的概念。

成像组学的概念是在2012年真正提出的。当时，当它第一次被提出时，它只关注ct数据，并用组学的方法进行分析。然后，数据将从ct扩展到MRI、超声波等。，涉及多个图像。

自2012年提出这一概念以来，影像祖传科学的概念在2014年进一步扩展到临床实践。成像组学正从研究走向临床实践，典型代表是2014年的这篇文章。

从过程角度看，影像组学是从医学大数据中提取数据，利用人工智能方法挖掘肿瘤信息，实现临床辅助决策。这个过程与医生每天看电影的过程是一致的。当医生看电影时，他首先获取图像数据，然后用人眼提取其形状特征。这个过程被称为诊断意见。

这是模式识别和图像处理机器读取的典型过程。首先，对图像数据进行提取、分析和建模，并给出分类决策。因此，整个过程都是由计算机进行图像识别，人们相互合作进行诊断。如果允许计算机阅读高维信息，允许人们阅读机构信息，那么人工智能无疑可以帮助医生阅读电影，达到“1+1 > 2”的效果。

综上所述，大数据、人工智能和影像学的结合主要有以下三种应用。

辅助诊断

功效评估

预后预测

目前，基于大数据和人工智能可以预测和评价哪种方法治疗癌症效果更好。这样，医疗就可以个性化和智能化，过去的观察、嗅觉、询问和切割可以变成现在的智能化医疗。现阶段，智能医疗主要是基于大数据、影像组学和人工智能技术来实现辅助诊断、疗效评价和预后预测的效果。

5.以癌症为例——癌症诊断和治疗面临重大挑战

今天，我将以肿瘤为例，说明人工智能、大数据和影像组学在肿瘤中的三个应用。

癌症的应用挑战主要显示在上面的图片中，这是由美国国家卫生研究院总结的。从1960年到2012年，52年间有超过200万个大数据样本。不同的彩色线条代表不同的肿瘤，纵坐标是在5年内生成的。

在过去的52年里，尽管国家卫生研究院每年在研发上投资300亿美元，美国人每年在医疗上花费4万亿美元，但癌症的5年存活率仍然是直线上升。什么意思?这是两个空.

相比之下，国家卫生研究院的数据尤其令人信服。红线指的是艾滋病的5年存活率，它最初被称为血液中的癌症，具有很高的早期死亡率，但通过有效的措施，其有效存活率飙升。

然而，仍然有一些治疗癌症的新技术和新方法，这项技术有可能取得突破。当然，这只是目前的期望。这里有一些例子。

6.癌症精确诊断和治疗的新机遇

现在每个人都在谈论禽流感和甲型流感。事实上，这取决于人工智能大数据在影像学诊断和治疗过程中解决了什么问题。事实上，目前的成像技术只能看到大于5毫米的肿瘤，制造商可能会愚弄看到大于3毫米的肿瘤，但临床医生知道，他们只能看到大于5毫米的肿瘤。这些是癌症中晚期的症状。

这就是为什么国家卫生研究院在研发上花费了数十亿美元，而美国人花费了4万亿美元，而且如此多的药物是由制药公司生产的，这不能说是无效的，但效果并不明显。因此，我们正在谈论精确医学和基因检测的概念。十年前，一些人开始谈论基因测试。有了它的贡献，虽然我们不能预防疾病，但我们可以拯救生命。然而，从上图来看，五年存活率仍然很低。

在诊断和治疗过程中，我们发现异常基因可能不会形成肿瘤，并且有一个5-20年的潜伏期。如果在诊断和治疗过程中能够使用新技术和新方法，它可能在癌症诊断和治疗中发挥关键作用。

目前，有一系列的方法来检测基因异常，但这并不意味着你可以去看医生。在这个空时期，如果人工智能大数据和成像组学可以用于研究、描述和量化，它可能会大大提高五年生存率。

因此，这正是影像基因组学的突破点——整合临床基因影像的大数据信息，将影像前移，基因后移，从而更准确地观察和诊断疾病的发生和发展。这不仅是影像学的突破口，也是人工智能在临床上的突破口。

目前，成像技术正从宏观走向微观，包括结构成像、功能成像和分子成像。它的精确标准只是基因病理学。就基础研究而言，是从微观到宏观。当基因组、蛋白质组和代谢组学不确定时，我们回到生物医学并使用解剖结构。因此，一是从微观到宏观，二是从宏观到微观。如果两者结合起来，就有可能诊断和治疗肿瘤。这也是整个成像组学的突破点。

以下举例说明了国内外影像学、大数据和人工智能在疗效评价、辅助诊断和预后预测方面的进展。在这一节中，我自豪地说，中国经过30年的改革开放，在科研经费上的大量投入，医生的努力和医务工作者的结合，在技术、方法和效果上都与国外同步，甚至有些方法还略领先于国外。从这个角度来看，它也给vc和企业家带来了机会。

二.影像组学进展概述

接下来，我将从国内外的具体应用案例谈一谈影像学在辅助诊断、疗效评价和预后预测中的作用。

辅助诊断病例

病例1:胶质母细胞瘤亚型的诊断

第一个例子是胶质母细胞瘤亚型的诊断。

一般来说，如果要进行靶向治疗，医生需要通过穿刺和活组织检查获得患者的基因类型，但是这个过程涉及头部穿刺，这是非常危险的。因此，医学领域的每个人都在讨论是否可以通过拍照而不用穿刺来解决这个问题。有些人可能认为这是不可能的，但斯坦福大学做到了。

他们根据人工智能技术将其分为高风险、中风险和低风险，并将其与存活时间联系起来。通过搜索美国的tcci数据库，我们可以知道基因类型，然后在此基础上决定使用哪种靶向药物。这在临床上非常有用，因为整个过程不需要穿刺，只需要根据磁共振数据推断基因类型来确定靶向治疗。

病例2:结直肠癌术前淋巴结转移的诊断

可能每个人都认为刚才的病例太高了，但是家庭医生能做这些工作吗？

我想介绍一下广东省人民医院刘娇寿团队在权威医学杂志《临床肿瘤学杂志》上发表的文章。不管这篇文章的学术成就如何，让我们先看看它的临床意义，这是非常有意义的。因为人工智能技术只有在与临床实践相联系的情况下才是有价值的，它只有在企业家转变之后才能成为生产力。

一般来说，当医生治疗结直肠癌时，他们会盲目地清洗淋巴，清洗的结果会阻止70%的淋巴转移。医生为什么要清洗它？因为如果你不清理它，淋巴转移会更快。事实上，国内外的医生都会采取这样的措施。

那么，如何解决这个问题呢？

如果我们看ct片，我们只能看到组织的信息，而它所反映的信息很小，我们只能得到20%到30%的概率。切割后，70%是阴性的，是被错误切割的。如果用人工智能从500多个病例的临床病理和影像数据中提取特征，前端数据的预测准确率可达70%。

换句话说，医生可以有70%的把握告诉患者术前是否选择淋巴结清扫，并且可以将过去的误诊率从70%降低到30%。这就是为什么这篇文章可以在顶级权威杂志上发表。

病例3:皮肤癌类别的准确诊断

让我们看看大数据的典型应用。众所周知，现在皮肤癌的发病率很高。那么，如何用人工智能来诊断正确的皮肤癌呢？

在这种情况下，130，000张皮肤癌照片被用于建模，其中2，000张是病理性的并且包含良好的标准。值得注意的是，大数据在这种建模中的力量。

如上图所示，训练模型使用了谷歌的迁移学习技术，该技术训练了128万张图像，加上仅仅13万张皮肤癌的照片，以及医生经验和其他医疗信息的量化，可以解决两个临床问题:

良性和恶性肿瘤的粗略分类

黑色素瘤筛查的精细分类

然而，人脑不可能记住如此多的病理图像，但是计算机可以有效地辅助诊断。

疗效评价案例

让我们来看看疗效评估的案例。美国每年花费4万亿美元研究新技术和新方法，但是对肿瘤的诊断还没有取得好的结果，所以我们需要评估不同肿瘤的疗效。

病例:评价放疗和化疗在直肠癌新辅助治疗中的作用

这个病例仍然是结肠直肠癌。事实上，包括乳腺癌在内，很多人都会做新的支持化疗。但是有些人做得有效，而有些人做得无效。对于医院来说，他们必须为有效或无效的东西付费。但是对病人来说，不仅金钱，而且身体也会受到极大的伤害。因此，业界也在思考人工智能大数据是否可以用于分析，从而在患者接受放疗和化疗之前判断治疗是否对其有任何影响。

在这种情况下，事实上，数据量并不大，只有48例。这些直肠癌患者在新支撑区接受放疗和化疗后，通过多模态磁共振成像形成影像数据，在此基础上提取多模态影像特征，并利用人工神经网络方法建立模型。最终结果表明，该方法是有效的，实现了对新支撑区直肠癌放化疗效果的定量准确评价。

预后预测在我国越来越受到重视。每个医生都会问这个问题。医生只能根据经验、人脑模型和有限的存储空间做出预测。正如我们通常所说，回家时吃什么，大约三个月或六个月。这种经历绝对不可能。现在，使用人工智能和机器学习可以实现大数据。有了这些数据，1000名患者提取了600多个特征用于定量分析。这个建模过程与日常图片和图片处理过程是一致的。首先给出了分割、特征提取和预测。这篇文章的主要作者是代表。我们真的应该做组学，包括企业转型和投资，或者关注临床问题，看看哪些临床问题得到了解决。这是一个预测预后的典型例子。

预后预测案例

目前，预测预报在我国越来越受到重视。每个看医生的病人都会问医生这个问题。然而，医生只能根据他在人脑建模方面的经验做出预测。因此，如果使用人工智能大数据和机器学习，可以达到什么样的预测效果？

病例1:肺癌、头颈癌的预后预测

在这种情况下，如图所示，在1000多名肺癌和头颈癌患者中，我们提取病理和影像数据，然后根据小波的强度、形状和纹理特征建立标签，并进行定量分析。应用结果表明，成像组学标记具有显著的预后价值，并与基因显著相关。

影像组学通过融合影像、基因和病理特征建立影像组学标签，揭示影像与患者预后的关系。

病例2:肺癌无进展生存期的预测

通过临床经验，我们还发现传统的临床方法对非小细胞肺癌患者无病生存的预测效果非常有限。因此，利用人工智能大数据，我们提取了282例早期非小细胞肺癌患者的ct数据，并利用lasso cox Return方法提取了关键图像特征，从而建立了预测模型。

事实上，在这种情况下，非小细胞肺癌(NSCLC)的生存预测，广东省人民医院的刘娇寿和上述中国科学院的自动化合作的研究结果被使用。应用后，我们发现成像组学特征能比传统方法更好地预测无病生存率。

病例3:晚期鼻咽癌的预后预测

此外，鼻烟癌生存时间的预测可以给患者提供准确的预测。

针对晚期鼻咽癌放疗后临床指标预测准确率较低的问题，我们对118例晚期鼻咽癌患者的t1和dce mr图像进行了3年以上的随访，并结合970例影像学特征和临床病理资料进行分析，从而有效预测此类患者的预后，准确率超过临床指标的10%。

三、影像组学的关键技术

刚才我讲了辅助诊断、疗效评价和预后预测的临床效果案例工作。然而，如果我们想谈论人工智能和成像组学，我们必须依靠技术。所以我将简单地梳理一下这项技术。

面对一系列临床问题，影像组学采用深层机器学习等方法进行分析和研究，以实现临床决策。人工智能在医学技术中的应用主要包括图像分割、肿瘤分割，然后提取特征。特征越多越好，提取特征后再筛选。用计算机的话来说，它意味着降维，用图像组学的话来说，它意味着选择关键特征。在此基础上，我们选择成像的标签来达到效果。如肿瘤分析或预后分析或辅助诊断。流行的人工智能技术可以用于降维、特征提取和分割。但就个人而言，这个过程不是技术驱动的，而是问题驱动的。

精确肿瘤分割技术

分割，一般来说，可能需要医生先画草图，然后半自动或全自动的分工可以通过机器学习来进行。这种分工的效果也可以达到主治医生的水平。一系列的方法没有扩展，其他的包括肺癌等。

对于计算机处理来说，高级特征是主要特征，其中许多不适合人眼处理，但它们适合计算机处理，这样计算机处理就可以产生结果，达到辅助诊断的效果。

特征降维技术

对于肿瘤，它们通常反映成千上万个特征，然后用机器缩小它们的尺寸。其中，主要有四种特征降维方法:

稀疏选择

映射between/きだよ 0/

神经网络

递归排除

建模技术

同时，针对具体的临床问题，业界也采用了计算机定量图像特征和临床研究问题标签之间的分类模型。主要使用两种类型的模型:

SVM模型:从图像大数据的原始像素出发，提取和选择高维的手绘特征，构建图像特征和临床问题的分类模型。

CNN模型:该模型基于图像大数据的原始像素，能够独立挖掘与临床问题相关的图像组学特征，构建图像特征与临床问题的分类模型。

建造这些模型的选择与我们的问题有关。如果问题得到适当的解决，具体的模型就可以工作了。它包括分类方法，如良性分类，这也可以取得良好的结果，并产生商业效果。

模型可视化技术

此外，还有一个临床需要的重要过程，称为模型可视化。医生，尤其是外科医生和内科医生，非常忙，所以成像者可以给他们看电影。我们不能说我们得出了什么结果来给他提供证据或数字，但是我们应该把这个模型变成一个统计分析的可视化图表。这样，医生阅读图片，知道病人应该什么时候服药，换什么药，更加简洁直观。如图所示，这四个步骤是成像技术发展中最重要的环节。

四、影像组学的发展方向

最后，我们将展望影像组学关键技术的发展趋势，如资源平台、辅助诊断系统和共享平台。为了实现临床应用，需要多疾病、多模式、多中心、多参数的数据融合。有一个矛盾。数据的收集和清晰是具有挑战性的。收集病理信息、治疗信息和预后信息对我们来说是具有挑战性的。在与医院合作的过程中，过去四五年收集的数据，如乳腺癌、肝癌、胃癌和肺癌等，都超过了美国的tcga数据库，我们也积累了很多经验。

一般来说，仅有数据是不够的，还需要一个算法平台，就像刚才提到的分割部分，以及后面对算法平台和集成平台的介绍。目前，我们正在与广东省人民医院的刘娇寿建立一个影像组学共享平台。我们希望您能上传用过的图片、模型和软件，搭建一个开发和共享的平台，获取数据、模型和免费软件，然后在这个领域进行研究。当然，只是为了研究。我建议公司把它挂起来，让他们先用。整合数据上传、模型上传和软件测试这四个环节是很有意义的。

现在，我们需要更多的人工智能和大数据在医学问题中的典型应用，从而刺激行业，进一步深化人工智能的应用。这是相辅相成的，如果不形成大规模和典型的应用，空方法就不能解决问题。只有外科医生和内科医生认可的技术和临床应用才能更有意义。

(注:雷锋。com original)

雷锋原创文章。严禁擅自转载。详情请参考转载说明。