LLM を使用した衛星画像のキャプションの自動生成に向けて: 概要と概要

リンク一覧

• 概要と序文
• 方法論
• 参考文献

抽象的な

自動画像キャプションは、自然言語を使用して視覚情報を伝達するための有望な技術です。環境モニタリング、リソース管理、災害管理など、衛星リモートセンシングのさまざまなタスクに役立ちます。ただし、この領域の主な課題の1つは、大規模な画像キャプションデータセットが不足していることです。これは、作成に多くの人間の専門知識と労力が必要になるためです。大規模言語モデル（LLM）に関する最近の研究では、自然言語の理解と生成タスクで優れたパフォーマンスが実証されています。ただし、そのほとんどは画像を処理できず（GPT-3.5、Falcon、Claudeなど）、一般的な地上ビュー画像で事前トレーニングされた従来のキャプションモデルは、航空画像の詳細で正確なキャプションを生成できないことがよくあります（BLIP、GIT、CM3、CM3Leonなど）。この問題に対処するために、LLMにオブジェクトの注釈を記述するように誘導することで、リモートセンシング画像のキャプションを自動的に収集する新しいアプローチ、自動リモートセンシング画像キャプション（ARSIC）を提案します。また、事前トレーニング済みの生成画像2テキストモデル (GIT) を適応させて、リモートセンシング画像の高品質なキャプションを生成するベンチマーク モデルも紹介します。評価により、リモートセンシング画像のキャプションを収集するアプローチの有効性が実証されました。

これまでの多くの研究で、GPT-3.5 や GPT-4 などの LLM はセマンティクスの理解には優れているものの、数値データや複雑な推論には苦労することが示されています。この制限を克服するために、ARSIC は外部 API を活用して、オブジェクトの関係やクラスタリングなどの画像に対する簡単な地理的分析を実行します。オブジェクトのクラスタリングを実行し、LLM が要約を作成するための重要な幾何学的関係を提示します。LLM の最終的な出力は、画像を説明するいくつかのキャプションであり、言語の流暢さと元の画像との一貫性に基づいてさらにランク付けされ、最終候補に選ばれます。

車両、建造物、船舶など、さまざまなオブジェクトの境界ボックス注釈が付いた衛星画像を含む Xview および DOTA データセットの 7,000 と 2,000 の画像キャプションのペアで、事前トレーニング済みの生成画像 2 テキスト (GIT) モデルを微調整します。人間の専門家によって注釈が付けられた 10,892 の画像と 31,783 のキャプションを含む、衛星画像キャプションのベンチマーク データセットである RSICD データセットでアプローチを評価します。トレーニング データから見えないオブジェクト タイプのキャプションを削除し、5,000 を超えるキャプションが付いた 1746 の画像を取得します。これにより、CIDEr-D スコアが 85.93 になり、衛星リモート センシングにおける自動画像キャプションに対するアプローチの有効性と可能性が実証されました。全体として、この作業は、地理空間データセットを解釈し、エンドツーエンドの画像キャプション モデルをトレーニングするための正確な画像キャプションを生成するための実現可能な方法を示しています。私たちのアプローチは、人間による注釈の必要性を減らし、データセットやドメインに簡単に適用できます。

1. はじめに

衛星リモートセンシングは、災害管理、環境監視、資源管理など、さまざまな分野で不可欠です。宇宙から撮影した画像を分析し、地球表面上の物体を検出して分類し、有用な空間情報を生成します。これらの画像には大量のデータが含まれている可能性があるため、自動画像キャプションは、自然言語を使用してこれらの画像の視覚情報を解釈して伝える効率的な方法として登場しました。

衛星リモートセンシング画像への自動画像キャプション生成は大きな可能性を秘めているものの、大規模な画像キャプションデータセットが不足していることが大きな課題となっています。このようなデータセットの作成には多大な労力がかかり、人間の専門知識も求められます。GPT3.5[7]、Falcon、Claudeなどの既存モデルは、数値データを解釈したり複雑な推論を実行したりできないため、適用範囲が不十分な場合が多くあります。同様に、一般的な地上画像で事前トレーニングされたBLIP[5]、GIT[9]、CM3[1]、CM3Leon[12]などのモデルは、航空写真の正確なキャプションを生成するのに苦労しています。これらの制限により、リモートセンシング画像の高品質な自動キャプション生成は困難を極めています。

この問題に対処するため、本研究では、大規模な言語モデルと衛星データの両方を活用して、リモートセンシング画像の高品質なキャプションを効率的に生成する、新しいアプローチである自動リモートセンシング画像キャプション作成（ARSIC）を提案します。私たちの貢献は3つあります。まず、クラスターを検出し、オブジェクトによって形成された形状を識別し、距離を計算して画像の理解を深めるための地理分析APIをいくつか開発しました。次に、大規模な言語モデルを誘導して地理APIの結果をキャプションに要約することで、キャプション収集のプロセスを自動化します。これにより、人間による注釈の必要性が大幅に軽減されます。最後に、Xview[4]およびDOTA[2]データセットからARSICアプローチに従って収集された画像とキャプションのペアに対して生成画像2テキスト（GIT）モデルを微調整し、航空画像に高品質で正確なキャプションを生成するように調整することでベンチマークを提供します。

私たちのアプローチの有効性は、RSICD[6]テストデータセットでの厳格なテストを通じて検証され、この分野で新しいベンチマークCIDEr-D[8]スコアを設定しました。要約すると、私たちの研究は、リモートセンシング画像の解釈とキャプション付けに向けた革新的なアプローチを提示しています。これは、エンドツーエンドの画像キャプションモデルを最適化するのに有望なだけでなく、データセットやドメイン全体に適用できるほど柔軟です。