本論文は、橋梁点検の自動化を目的として、画像と自然言語の両方を扱うマルチモーダルAI技術を用いた視覚的質問応答（VQA）の性能向上に取り組んだ研究である。従来、橋梁の検査は熟練した専門家による目視確認が中心であり、作業時間や人件費がかかる上に、検査結果の一貫性にも課題があった。そこで、既存の橋梁点検報告書に記録された画像―テキストペアを外部知識として活用し、限られたVQA用データセットに対して事前学習（Vision-Language Pre-training, VLP）を行うことで、少ないタスク固有のデータでも高い精度を達成する新たな手法を提案している。

関連研究

近年、画像認識と自然言語処理を組み合わせたマルチモーダルモデルは急速に進化し、一般的なVQAや画像キャプショニングの分野で顕著な成果を上げている。しかし、これらの手法は主に日常シーンや医療など、データが豊富な領域で検証されてきた。一方、橋梁点検のような特定ドメインでは、専門知識に基づいたデータの収集が難しく、十分な学習データが得られないという課題があった。そこで、本研究では医療分野などで実績のある事前学習手法を参考に、画像―テキストペアを用いたVLPを橋梁点検に応用することにより、専門領域特有の知識獲得と精度向上を図っている。

手法

提案手法は、まず大量の橋梁点検報告書から抽出した画像―テキストペアを用いて、モデル全体を事前学習するという2段階の学習戦略に基づいている。具体的には、画像エンコーダとしてCNNやVision Transformer（ViT）を、テキストエンコーダとしてBERTを採用し、Masked Language Modeling（MLM）、Image-Text Matching（ITM）、Image-Text Contrastive Learning（ITC）といった複数の事前学習タスクを組み合わせることで、画像とテキストの相互関係を効果的に学習する。さらに、医療分野で用いられたMMBERTや、最新のALBEFなどのモデルを基盤とし、CLIPに基づく画像エンコーダの活用により、一般的な事前学習手法では捉えにくい橋梁固有の特徴を抽出することに成功している。

実験結果

実験では、橋梁点検報告書から再構成した大規模な画像―テキストペアを用いて事前学習を行い、その後、専用のVQAデータセットで微調整（fine-tuning）を実施した。その結果、事前学習を導入したモデルは、従来のベースラインモデルに比べ、橋梁部材の識別や損傷種別の認識において大幅な精度向上を示した。特に、Image-Text Contrastive（ITC）学習を取り入れた場合、部材分類や損傷分類の精度がそれぞれ10％以上改善されるなど、事前学習がモデルの性能に与える影響の大きさが明確に確認された。一方で、データセット内のクラス不均衡や、撮影条件による近接画像の認識困難など、いくつかの失敗例も分析され、今後の改良点として指摘されている。

結論

本研究は、橋梁点検におけるVQAタスクに対して、外部データである画像―テキストペアを活用した事前学習が有効であることを実証した。提案手法により、限られたタスク固有データ環境下でも高い認識精度が実現可能となり、将来的には自動レポート生成や無人航空機（UAV）による自律点検システムへの応用が期待される。今後は、データの質や量のさらなる向上、及びモデルの誤分類原因の詳細解析を通じ、より堅牢で実用性の高いシステムの構築を目指すとともに、他のインフラ分野への展開も視野に入れることが課題となる。

発表論文

Kunlamai, Thannarot, et al. “Improving visual question answering for bridge inspection by pre‐training with external data of image–text pairs.” Computer‐Aided Civil and Infrastructure Engineering 39.3 (2024): 345-361.

@article{kunlamai2024improving,
  title={Improving visual question answering for bridge inspection by pre-training with external data of image--text pairs},
  author={Kunlamai, Thannarot and Yamane, Tatsuro and Suganuma, Masanori and Chun, Pang-Jo and Okatani, Takayaki},
  journal={Computer-Aided Civil and Infrastructure Engineering},
  volume={39},
  number={3},
  pages={345--361},
  year={2024},
  publisher={Wiley Online Library}
}