ななめ読み
- 医用画像処理のトップカンファレンスであるMICCAIに採択された研究「撮影された胸部X線画像から病変部位を自動特定し、Radiology Reportを自動生成する」について紹介する。

---

今回は、2019年のMICCAI(International conference on Medical Image Computing and Computer Assisted Intervention)にて発表された論文『Automatic Radiology Report Generation based on Multi-view Image Fusion and Medical Concept Enrichment』を紹介します。これは、患者の胸部X線画像を入力すると疾患候補を提示し、さらにドクターレポートとして報告書を自動生成するという研究です。

この研究を選んだ理由としては、2019年から画像から病変部位を類推し、レポートの形に文言を自動的に生成して出力するような研究、つまり画像処理、機械学習、自然言語処理が組み合わさった研究を多く見るようになったためです。また、自身としてもその領域に関して興味があります。

X線画像から診断レポートを作成する手法

この研究は2つの課題に挑戦しています。それは
1)画像情報から診断書の文章を自動生成すること
2)病変部位の検出と診断書生成に関するロバスト性(頑健性)を担保すること です。これらは医師が臨床現場で当たり前に行っていることですが、それをAIにて再現しようと試みているのです。

提案研究では「Encoder-Decoderモデル」と呼ばれる構造を用いています。このモデルではE （Encoder）部分で画像内の特徴を抽出し、D（Decoder）部分で画像の特徴をもとに結果を推定します。このモデルは画像の特徴抽出や生成、自然言語処理における文章生成などに多く用いられています。

提案手法の全体概要は、「Eの入力として様々な角度(axial, coronal, sagittal)から撮影された胸部X線画像を使用し特徴を取得する。その後、D＆D’にて、E部で取得した特徴を用いて文脈や単語を自動生成し、最終的なレポートを生成する」というものです。

研究の概要　論文より引用

研究の手法概要　論文より引用

詳細は以下の通りです。
①Encoderから抽出した特徴を3つのモデル(Multi-view Visual Features：画像特徴を抽出するモデル、Chest Radiographic Observation：画像内の病変部位に対してクラス分類を行うモデル、Medical Concepts：画像からレポートに使用するワードコンセプトを類推するモデル)に入力し学習を行う。
②Multi-view Visual FeaturesとChest Radiographic Observationを用いて、入力画像内から出力ラベルを類推する。それと同時にD 部にて文脈の自動生成を行う。
③その後、Medical Conceptsを用いて、D’部にて文脈に沿う単語を類推し文章を自動生成する。

また、入力画像は胸部X線画像で、ラベルとしてenlarged cardiom, cardiomegaly, lung opacity, lung lesion, edema, consolidation, pneumonia, atelectasis, pneumothorax, pleural effusion, pleural other, fracture, support devices, no findingの14種類を使用します。

Encoderに使用されるモデルはImageNetで事前学習したResNet152層で、2種類のDecoder (D，D’)では、各特徴に対して最も注視する必要のある部分のみを「Attention」と呼ばれる手法を用いて注目させた上で最終的に文章を生成させました。

高性能な病変検出＆文章生成モデルの作成に成功

研究グループは、胸部X線の大規模データセットである「CheXpert」に格納されている6万5240人の患者から取得した22万4316枚の画像を使用しました。

実験結果は下表の通りです。AUCは数値が1.0に近いほど高性能なモデルであることを示す指標です。また、BLEU・METEOR・ROUGEは機械翻訳タスクなどで用いられる指標で、数値が高いほど文章の生成精度が高いことを表します。提案研究は比較実験を通して、別のモデルよりもAUC、BLEU・METEOR・ROUGEが高く、高性能な病変検出＆文章生成モデルである事がわかりました。

表1：指標Ave-AUCによる結果比較

表2：文章の精度指標を用いた各手法による自動生成結果比較

以上、今回は画像から病変部の検出および報告書を自動生成するタスクに関する研究を紹介しました。病院内でのAI導入フローとして、やはり画像領域が一番大きなポテンシャルを秘めていますが、それと同程度に自然言語処理などのテキスト生成やテキスト分類・抽出などにも大きな可能性があると思います。今後も複合研究にアンテナを張っていきたいと思いました。

今回もありがとうございました。次回もお楽しみに！