[2206.14718] LViT: Language meets Vision Transformer in Medical Image Segmentation

Deep learning has been widely used in medical image segmentation and other aspects. However, the performance of existing medical image segmentation models has been limited by the challenge of obtaining sufficient number of high-quality data with the high cost of data annotation. To overcome the limitation, we propose a new vision-language medical image segmentation model LViT (Language meets Vision Transformer). In our model, medical text annotation is introduced to compensate for the quality deficiency in image data. In addition, the text information can guide the generation of pseudo labels to a certain extent and further guarantee the quality of pseudo labels in semi-supervised learning. We also propose the Exponential Pseudo label Iteration mechanism (EPI) to help extend the semi-supervised version of LViT and the Pixel-Level Attention Module (PLAM) to preserve local features of images. In our model, LV (Language-Vision) loss is designed to supervise the training of unlabeled image

1 mentions: @Maxwell_110
Date:

Referring Tweets

@Maxwell_110
@Maxwell_110 LViT 📝 t.co/FF6vBEOgnU LViT は医療画像の segmentation において,診断情報テキストを利用した Vision Language Model テキストは BERT-embed を介し,U-shaped ViT で画像情報と統合され,U-shaped CNN へ送られる(Fig. 2) 胸部X線の COVID-19 検出にて,優れた精度を達成とのこと t.co/VZOAdGYKsI

Related Entries

GitHub - qubvel/segmentation_models: Segmentation models with pretrained backbones. Keras and Tensor...
Read more GitHub - qubvel/segmentation_models: Segmentation models with pretrained backbones. Keras and Tensor...
1 users, 1 mentions 2019/09/10 00:49
Kaggle Meetup: Cell Nucleus Detection - YouTube
Read more Kaggle Meetup: Cell Nucleus Detection - YouTube
0 users, 1 mentions 2020/11/28 00:53
Kaggle APTOS 2019 @ U-Tokyo Med - Speaker Deck
Read more Kaggle APTOS 2019 @ U-Tokyo Med - Speaker Deck
0 users, 1 mentions 2020/12/07 12:52
AIcrowd | Getting Started | Posts
Read more AIcrowd | Getting Started | Posts
0 users, 1 mentions 2021/07/31 04:38
[1810.11654v3] 3D MRI brain tumor segmentation using autoencoder regularization
Read more [1810.11654v3] 3D MRI brain tumor segmentation using autoencoder regularization
0 users, 1 mentions 2021/08/21 01:37
9.6 SHAP (SHapley Additive exPlanations) | Interpretable Machine Learning
Read more 9.6 SHAP (SHapley Additive exPlanations) | Interpretable Machine Learning
0 users, 1 mentions 2021/09/29 22:39

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文、ブログ、ライブラリ、コンペティション、発表資料、勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語とKaggleのカテゴリを新設しました