国立大学法人東京大学
株式会社グルーヴノーツ
全文はこちらから（PDFダウンロード）

東京大学医学部附属病院と株式会社グルーヴノーツは、「人工知能を用いた医療画像と診療情報の統合による高精度な疾患画像判別モデルの開発」についての論文を1月7日に学術誌「Journal of Gastroenterology and Hepatology」にて発表しますのでご報告いたします。

発表のポイント：

• 画像と数値など異なる種類のデータを同時に学習可能な人工知能（AI）の技術を用いて腹部超音波検査画像と診療情報を統合する新しい肝腫瘤の疾患画像判別モデルを開発しました。
• 従来の画像診断モデルは画像のみを学習させますが、画像に診療情報を統合することで、判別モデルの精度を飛躍的に向上させることが可能になりました。
• 画像と診療情報の統合による精度の向上は、超音波における肝腫瘤の判別だけでなく、さまざまな医療分野への応用が可能です。

発表概要：

慢性肝炎、肝硬変患者に対する肝癌早期発見のため、最も広く用いられる画像検査は腹部超音波検査です。しかし、発見された腫瘤が治療の必要な悪性の腫瘤か、治療を行う必要のない良性の腫瘤であるかの質的な鑑別には造影剤を使用したCTやMRIなどを用いて血流の状態を診る血行動態的な評価が用いられます。腹部超音波検査で得られる超音波Bモード画像のみによる腫瘤の質的な診断が難しい理由は、通常の超音波検査を用いた画像は血行動態評価に比べて画像の客観的な定量化が困難なためです。

腹部超音波検査画像に客観的な定量化ができるようになれば、腹部超音波検査単独での質的な診断が可能になり、CTやMRI検査による被爆や医療費の削減に繋がる可能性があります。画像の定量化を行う方法として、近年注目されているのが深層学習（*1）などの人工知能（AI）技術です。

東京大学医学部附属病院 検査部の佐藤雅哉 講師、小林玉宜 臨床検査技師、矢冨裕 教授、消化器内科の中塚拓馬 助教、建石良介 講師、小池和彦 教授（研究当時）ら、および株式会社グルーヴノーツの田中孝 コンサルタントらのグループは、画像と数値など異なる種類のデータを同時に学習することが可能なマルチモーダル深層学習（*2）の技術を用いて超音波画像に診療情報を統合する新しい肝腫瘤の疾患画像判別モデルを開発しました。これまで、肝腫瘤の診断のために、肝臓の超音波画像にマルチモーダル深層学習によって他の情報を統合させたという報告は、なされていませんでした。本モデルでは、画像のみを用いた従来の人工知能（AI）モデルに比べて飛躍的に診断能を向上させることが可能となりました。

マルチモーダル深層学習による画像と診療情報の統合は、医療のさまざまな分野にも応用が可能であり、他分野への応用も期待されます。

本研究結果は日本時間の2022年1月7日に学術誌Journal of Gastroenterology and Hepatologyにて発表されます。

発表内容：

（1）研究の背景

肝癌の診療ガイドラインでは、肝癌発症リスクの高い慢性肝炎や肝硬変の患者に対して、肝癌早期発見のための定期的なスクリーニング検査が推奨されています。肝癌のスクリーニングを行うために最も広く用いられる画像検査は腹部超音波検査ですが、超音波検査の現状での役割は肝臓に何らかの腫瘤（結節）が存在することを確認することで、発見された腫瘤が治療の必要な悪性の腫瘤か、治療を行う必要のない良性の腫瘤であるかの鑑別には造影剤を使用したCTやMRIなどによる血行動態的な評価が用いられます。超音波画像のみによる腫瘤の質的な診断が難しい大きな理由は、通常の超音波検査を用いた画像は血行動態評価に比べて超音波Bモード画像の客観的な定量化が困難なためです。腹部超音波検査画像に客観的な定量化ができるようになれば、腹部超音波検査単独で良悪性の鑑別などの質的な診断を行うことが可能になり、CTやMRI検査による被爆や医療費の削減に繋がる可能性があります。

画像の定量化を行う方法として、近年注目されているのが深層学習などの人工知能（AI）技術です。近年の人工知能技術は、深層学習の発展に伴い画像解析技術の精度や実用性が向上したことで、医療分野においても画像診断領域への応用が急速に進んでいます。しかし、実際の医療現場においては、画像情報以外にもさまざまな診療データが蓄積され、疾患の診断などに利用されています。そこで、画像と数値など異なる種類のデータを同時に学習できる「マルチモーダル深層学習（マルチモーダルAI）」が次の有力な新規技術として医療分野への応用・実用化が期待されています。肝臓の悪性腫瘍である肝癌の有無の予測には、癌マーカーの他、肝臓の線維化や炎症、患者年齢などが重要であることが知られています。本研究においては、マルチモーダル深層学習を用いてこれらの診療情報と超音波Bモード画像を統合させることで、どの程度正確に肝腫瘤の診断ができるかを検討しました。

（2）研究の内容

本研究では、2016年4月から2018年11月までに東京大学医学部附属病院で腹部超音波検査を受け、超音波Bモード画像から指摘された1080例の肝腫瘤（悪性腫瘍548例、良性腫瘍532例）に対して、株式会社グルーヴノーツが開発するプラットフォームを活用して、マルチモーダル深層学習の技術を用いた判別モデルの作成と精度の評価を行いました。まず、1080例の肝腫瘤を、学習を行うための訓練データ（864例）、最適な学習パラメーターを抽出するための検証データ（108例）、作成された学習モデルの精度を検証するための評価データ（108例）の3つに分けました。次に、モデル1：超音波画像のみ、モデル2：モデル1＋患者背景情報（年齢、性別）、モデル3：モデル2＋肝臓の炎症情報（AST、ALT）、モデル4：モデル3＋肝臓の線維化情報（血小板）、モデル5：モデル4＋アルブミンの5種類の腫瘍の判別モデルを作成し、精度の検討を行いました。

その結果、超音波画像のみで作成されたモデル1における肝腫瘤の良悪性の正診率およびAUROC値は68.52%、0.721でした。一方、マルチモーダル深層学習の技術を用いて、超音波画像に患者背景情報（年齢、性別）を加えたモデル2における正診率／AUROC値は71.30%／0.803、さらに血液データを段階的に加えた場合の正診率／AUROC値はモデル3で87.04%／0.9547、モデル4で91.67%／0.9822、モデル5で 96.30%／0.994でした。本研究から、マルチモーダル深層学習による超音波Bモード画像と患者情報の統合が、正診率を向上させるためにとても有効な手段であることが見出されました。

超音波画像のみのモデル1（左図）、マルチモーダル深層学習を用いて超音波画像に診療情報を統合したモデル5（右図）の診断精度を示したROC曲線。この曲線の下の面積（青色部分）が大きいほど診断精度がいいということになります。診療情報を統合したモデル（右図）では左上の欠けた部分のほとんどない良好な診断精度を示しました。

（3）社会的意義と今後の予定

AIを用いた予測モデルの精度は、学習に用いるサンプル数に依存するため、多くのサンプルを学習に用いることで予測精度も高まります。しかし、患者を対象とする医学研究においては、同意取得の必要性や倫理的な側面への配慮から、数万人規模の患者サンプルを収集することは現実的に困難です。本研究においても、1000例程での学習であったため、画像情報のみのモデルでの正診率は70%弱でした。しかし、日常診療にて収集可能な診療情報を、マルチモーダル深層学習を用いて統合することで、正診率を95%以上にまで向上させることができました。画像と診療情報の統合によって精度を向上させるという試みは、超音波における肝腫瘤の判別だけでなく、さまざまな医療分野への応用が可能です。今後は他分野への応用も期待されます。

発表雑誌：

• 雑誌名：Journal of Gastroenterology and Hepatology（オンライン版：1月7日）
• 論文タイトル：Development of Novel Deep Multimodal Representation Learning-based Model for the Differentiation of Liver Tumors on B-Mode Ultrasound Images
• 著者：佐藤雅哉*、小林玉宜、揃田陽子、田中孝、中塚拓馬、中川勇人、中村文香、栗原真希子、遠藤桃江、疋田宏美、佐藤磨実子、後藤寛昭、岩井友美、建石良介、小池和彦、矢冨裕（*責任著者）
• DOI番号：10.1111/jgh.15588
• アブストラクトURL：https://onlinelibrary.wiley.com/doi/abs/10.1111/jgh.15763

発表者：

• 佐藤　雅哉（東京大学医学部附属病院　検査部／東京大学医学部　講師）
• 田中　孝　（株式会社グルーヴノーツ　コンサルタント）
• 小林　玉宜（東京大学医学部附属病院　検査部　臨床検査技師）
• 中塚　拓馬（東京大学医学部附属病院　消化器内科　助教）
• 建石　良介（東京大学医学部附属病院　消化器内科／東京大学医学部　講師）
• 小池　和彦（研究当時：東京大学医学部附属病院　消化器内科／東京大学大学院医学系研究科　消化器内科学　教授／現：関東中央病院　病院長）
• 矢冨　裕　（東京大学医学部附属病院　検査部／東京大学大学院医学系研究科　臨床病態検査医学　教授）

注釈：

*1）深層学習：脳の神経細胞ネットワークを模倣することで、脳機能の特性をコンピュータで実現しようとしたニューラルネットワークを多層にすることで、主に画像認識などの能力を画期的に向上させた人工知能の一つの形態です。

*2）マルチモーダル深層学習：画像に加えて数値データやテキストデータなど複数のモダリティからの情報を同時に学習することができる深層学習のモデルです。

【お問い合わせ先】
株式会社グルーヴノーツ　広報
pr@groovenauts.jp