最近的一项研究表明,FDA的MAUDE(制造商和用户设备体验)数据库中的死亡事件数量被严重低估,因为许多事件没有被报告为死亡。
Lalani等人手动审阅了290,141份MAUDE报告,发现约17%的死亡事件被错误分类。这意味着患者死亡,但该事件被标记为“故障”或“受伤”。
人工审查需要不同医学专业的专业知识,而且处理数以百万计的新增报告过于耗时。这个问题可以看作是一个二元分类问题。我们可以微调BERT模型来解决这个问题。
什么是BERT?
BERT代表来自变压器的双向编码器表示。预训练神经语言模型的最新进展显著提高了许多自然语言处理(NLP)任务的性能,包括机器翻译、下句预测、问题回答和情绪分析。在所有的新方法中,BERT是最关键的方法之一。
BERT名称中的“双向”和“变形金刚”表明了该模型的独特功能。过去,NLP模型只能按顺序读取文本输入,从左到右或从右到左,但不能同时读取。2017年,谷歌推出了变形金刚,不需要按任何固定顺序处理数据序列。这使得在比传统卷积神经网络(cnn)和循环神经网络(rnn)更大的数据集上进行训练成为可能。由变形金刚启用,BERT被设计为在两个方向同时读取,称为双向性。
BERT的另一个独特之处在于,它可以通过一个额外的输出层和较小数据集上的较少资源进行微调,从而为广泛的任务创建最先进的模型。许多研究人员通过使用特定的上下文表示对BERT模型进行预训练,从而对BERT模型架构进行微调。一些例子是:
- patentBERT用于专利分类;
- 科学文本的SciBERT;
- 用于生物医学文本挖掘的BioBERT;
- ChemBERTa用于分子性质预测;
- G-BERT用于药物推荐
微调伯特
微调过程从一个新的数据集开始。在我们的案例中,我们需要构建一个不良事件报告的训练集,标记为与死亡相关或与死亡无关。在本研究中,我们假设不良事件的虚假死亡标签很少,从而避免了手工标记。医生或制造商将无关事件报告为死亡是不常见的。因此,我们假设所有与死亡相关的报告都有正确的标签。所有事件类型为“死亡”或患者问题“死亡/死亡、宫内胎儿/心源性猝死”的MAUDE报告都被标记为与死亡相关。
根据这一标准,在2022年的2,749,878份MAUDE报告中,有8,673份被标记为与死亡有关,8,666份有详细的事件描述。由于这些错误分类的死亡事件,构建训练数据集中与死亡无关的部分更具挑战性。我们使用MAUDE报告对患者的问题“对患者没有后果或影响/没有患者参与/对患者没有已知的影响或后果/没有临床症状、症状或条件”,以确保它们与死亡无关。使用该标准选择了1,451,441份MADUE报告,我们随机选择了与死亡无关的MAUDE报告和与死亡相关的MAUDE报告。
我们使用transformer库来微调BERT模型。F-1分数达到98.8%。这说明了为什么BERT在许多领域已经取代了传统的NLP模型,因为通过对原始BERT模型进行微调可以创建最先进的模型。我们在产品代码LWS(无CRT的植入式心脏除颤器)下对21,702份MAUDE报告应用了经过微调的BERT模型。该模型报告了一份MAUDE报告与死亡相关的可能性。
决策阈值的设置是一个复杂的二元分类问题。我们的案例不同于标准分类,因为我们假设现有的死亡相关标签是正确的。我们对所有概率进行排序,并使用与死亡相关的标签作为阈值的最小概率。报告了12例遗漏的死亡事件,所有事件都通过人工评审验证(表1,下)。
报告编号 | 上报事件类型 | 死亡相关事件说明 |
2649622-2022-00662 | 受伤 | 心室导联和心房导联被移除,在起搏心室导联移除过程中,心脏穿孔患者随后去世. |
2124215-2022-08176 | 故障 | 据报道病人植入这种植入式心脏除颤器(ICD)过期的非设备相关原因。 |
2124215-2022-11115 | 故障 | 在8名患者中,1名患者在心肺复苏(CPR)和外部电击后康复一名患者死亡。 |
2124215-2022-10614 | 受伤 | 由于患者整体临床状况恶化,2周后停用S-ICD治疗病人去世了不久之后。 |
2649622-2022-10143 | 故障 | 作为美敦力跟进事件的一部分,患者的诊所证实了这一点那个病人死了。 |
9614453-2022-01673 | 故障 | 据报道病人已经死了。 |
2182208-2022-02038 | 受伤 | 文章报道病人的死亡。 |
2017865-2022-19405 | 受伤 | 病人去世了由于不相关的事件。 |
2017865-2022-40753 | 受伤 | 病人去世了因为患有顽固性疾病 |
2182208-2022-03497 | 受伤 | 文章报道突然死亡这是在随访期间发生的。 |
2182208-2022-03499 | 受伤 | 文章报道突然死亡这是在随访期间发生的。 |
2017865-2022-45956 | 受伤 | 还有人指出病人已经死了因为一个不相关的情况。 |
BERT模型在一系列NLP任务中取得了最先进的结果,研究人员不断发现新的应用,最近在主题建模方面取得了进展。一般来说,主题建模是一个聚类过程。它可以将文档集合分组为主题,并显示每个主题中的主要关键字。
传统模型,如LDA和非负矩阵分解(Non-Negative Matrix Factorization, NMF),将文档描述为一袋单词和潜在主题的混合物。传统模型的主要局限性是忽略了单词之间的语义关系,没有考虑到句子中单词的上下文。BERT模型可以生成具有语义属性的上下文文本表示。这导致了Top2Vec和BERTopic首创的基于嵌入和聚类的主题建模。
我们对LWS MAUDE报告应用BERTopic方法,并提取了一系列主题(下面的表2中显示了前10个主题)。这个过程是自动化的,不需要文本预处理,这是基于bert的方法的一个优点。BERTopic模型报告“冲击阻抗”是最常见的主题(频率0.01091)。“冲击阻抗”在icd中的重要性已被文献证实。
主题 | 数 | 单词 |
0 | 291 | 冲击阻抗,冲击,欧姆,范围 |
1 | 236 | 冲击阻抗,欧姆,冲击,阻抗 |
2 | 213 | Atp,起搏Atp,心动过速,心动过速起搏 |
3. | 171 | 正直,正直,反击,反击 |
4 | 166 | 起搏,起搏阻抗,高起搏阻抗 |
5 | 161 | 系统的感染,修订,将其外植 |
6 | 154 | Icd是,感染在那里,修订,系统 |
7 | 136 | 噪声,噪声,表现为噪声,心室导 |
8 | 136 | 不合适,波,不合适的冲击,波过度感应 |
9 | 131 | 中静脉,腔静脉,腔静脉,腔静脉 |
利用人工智能模型提高产品安全性和设计
前面的例子展示了AI模型如何从不良事件报告中解码隐藏的见解。机器学习和人工智能技术在挖掘不良事件方面的应用仍处于起步阶段。由于报告了数以百万计的不良事件,人类无法审查每一份报告。机器学习模型在分析大量不良事件数据方面需求量很大。政府机构需要这样的模型来监控医疗产品,提高产品安全性。医疗设备公司需要他们来监控他们的产品并改进产品设计。
即使使用原始模型,没有对生物医学内容进行预训练,我们仍然获得了98.8%的F-1分数。这表明BERT模型成功地表示了具有语义属性的文本,这可以导致许多潜在的应用。主题建模就是其中之一。BERTopic方法自动从样例产品代码下的MAUDE报告集合中提取公共主题。这可以帮助制造商优先考虑上市后监控任务,并可以作为扩展到新领域的指南。
本文作者Michelle Wu是Nyquist Data的创始人兼首席执行官。她拥有斯坦福大学工商管理硕士学位,在制药、医疗技术和数字创新领域拥有超过十年的经验。本文作者寇强是Nyquist Data的技术联合创始人。他拥有生物信息学博士学位。
如何加入MDO贡献者网络
本文仅代表作者个人观点,并不代表医疗设计与外包公司或其员工的观点。
威廉说
这篇文章既有趣又极具教育意义。
它当然描述了许多用于评估文本文档的计算机程序的机制和缺点。
BERT软件的描述无疑表明,通过机器学习和机器智能可以实现数据排序方面的巨大改进。
感谢您宝贵的文章!!