♪請求書年度 請求書数 2006 - 2010 6 2011 - 2015 4 2016 - 2020 10 請求書年度 請求書数 2006 - 2010 6 2011 - 2015 4 2016 - 2020 10年間請求件数年賀状 2006年 - 2010年 6 ♪ 2011年 - 2015年 4♪ 4位 ♪2016年 - 2020年 10位♪2016年 - 2020年 10位 ♪サービスコスト (平均) AWS $10 / 1000 ページ (1) $0.01 Azure AI Document Intelligence $10 / 1000 ページ $0.01 Google Document AI $10 / 1000 ページ $0.01 "GPTT": GPT-4o API, 3rd party OCR $2.50 / 1M input tokens, $10.00 / 1M output tokens (2) $0.021 "GPTI": GPT-4o only $2.50 / 1M input tokens, $10.00 / 1M output tokens $0.0087 Gemini Pro 2.0 $1.25, input prompts ≤ 128k tokens$2.50, input prompts > 128k tokens$5.00, output prompts ≤ 128 tokens$10.00, output prompts > 128k tokens $0.0045 Deepseek v3 API $10 / 1000ページ +0.27 / 1M input tokens ページ当たりの料金(平均)♪AWS $10 / 1000 ページ (1) $0.01♪♪Azure AI ドキュメントインテリジェンス♪♪ ♪ドル0.01♪♪Google ドキュメント AI $10 / 1000 ページ $0.01♪「GPTT」:GPT-4o API、第三者OCRによるテキスト入力 $2.50 / 1M入力トークン、$10.00 / 1M出力トークン(2) $0.021♪“GPTI”: GPT-4o は $2.50 / 1M 入力トークン、$10.00 / 1M 出力トークン $0.0087 のみ♪Gemini 2.0 Pro $1.25, input prompts ≤ 128k tokens$2.50, input prompts > 128k tokens$5.00, output prompts ≤ 128k tokens$10.00, output prompts > 128k tokens $0.0045♪Deepseek v3 API $10 / 1000 ページ + $0.27 / 1M 入力トークン, $1.10 / 1M 出力トークン $0.011♪ページ当たりの料金(平均)サービス コスト ページ当たりのコスト(平均) AWS $10 / 1000 ページ (1) $0.01AWS $10 / 1000ページ (1) ドル0.01 ♪Azure AI ドキュメントインテリジェンス♪$10 / 1000ページ♪ドル0.01♪♪ ♪ ドル0.01 Google ドキュメント AI $10 / 1000 ページ $0.01♪ $10 / 1000ページ ♪ 「GPTT」:GPT-4o API、第三者OCRによるテキスト入力 $2.50 / 1M入力トークン、$10.00 / 1M出力トークン(2) $0.021♪ $2.50 / 1M 入力トークン, $10.00 / 1M 出力トークン (2) 0 021 ドル “GPTI”: GPT-4o は $2.50 / 1M 入力トークン、$10.00 / 1M 出力トークン $0.0087 のみ「GPTI」:GPT-4oのみ ♪ ドル0087 Gemini 2.0 Pro $1.25, input prompts ≤ 128k tokens$2.50, input prompts > 128k tokens$5.00, output prompts ≤ 128k tokens$10.00, output prompts > 128k tokens $0.0045ジェミニ 2.0 Pro ♪ ドル0045 Deepseek v3 API $10 / 1000 ページ + $0.27 / 1M 入力トークン, $1.10 / 1M 出力トークン $0.011ディープセーク v3 API ♪ ドル 011 I’ve tested the 7 most popular AI models to see how well they process invoices out-of-the-box, without any fine-tuning. 学ぶために読む: ♪ ♪ Which model outperforms all others by at least 20% Google AIが構造化されたデータで動作しない理由 どのモデルが低解像度のスキャンを最適に処理しているかを見る テストモデル このテストの目標を達成するために、私はこれらの基準を使用してAIモデルの検索を開始しました。 ♪ ♪ ♪ ♪ 人気:人気のモデルは、より良いサポートとドキュメントを持っています。 請求書処理能力:モデルはGet-Goから請求書を処理することができなければなりません。 統合:このテストの結果が実践的に使用されることを目指しているため、各モデルが容易な統合のためにAPI統合機能を持つことが重要です。 私は下に述べた7つのAIモデルに着陸しました. I have given each one a nickname for convenience: ♪ ♪ ♪ ♪ ♪ ♪ ♪ ♪ 「Amazon Analyze Expense API」または「AWS」 Azure AI Document Intelligence(Azure AI ドキュメントインテリジェンス) - Invoice Prebuilt Model、または「Azure」 Google ドキュメント AI - Invoice Parser, or “Google” GPT-4o API - 3rd party OCR、または「GPTt」のテキスト入力 GPT-4o API - 画像入力、または「GPTi」 Gemini 2.0 Pro Experimental、または「Gemini」 Deepseek v3 - テキスト入力、または「Deepseek-t」 データセット モデルは、さまざまなレイアウトと発行年(2006年から2020年)の20件の請求書のデータセットでテストされました。 年賀状 請求書数 請求書数 2006年 - 2010年 2006年 - 2010年 6位 6位 2011年 - 2015年 2011年 - 2015年 4位 2016年 - 2020年 10位 方法論 それぞれの請求書を分析すると、すべての請求書に共通する16のキーフィールドのリストを特定し、最も重要なデータを含みます。 Invoice Id, Invoice Date, Net Amount, Tax Amount, Total Amount, Due Date, Purchase Order, Payment Terms, Customer Address, Customer Name, Vendor Address, Vendor Name, Item: Description, Item: Quantity, Item: Unit Price, Item: Amount. モデルによって抽出されたフィールドは一貫性を確保するために共通の命名条約にマッピングされました. LLM モデル(GPT、DeepSeek、および Gemini)は、具体的にこれらの共通のフィールド名を使用して結果を返すように求められました. アイテムの検出 For each invoice, I’ve evaluated how well the models extracted key items’ fields: Description, Quantity, Unit Price, Total Price 効率メトリック 私は、抽出の精度を評価するために、重量効率メトリック(Eff, %)を使用しました。 厳格な必須フィールド: 請求書ID、日付などの正確なマッチ 非厳格な必須フィールド: 類似性(RLD, %)が限界を超える場合、部分的なマッチが許可されます。 請求書アイテム:すべてのアイテム属性が正確に抽出された場合にのみ正しいと評価されます。 公式 全体効率 (Eff, %): Eff, % = (COUNTIF(厳格なエッセンシャルフィールド、ポジティブ) + COUNTIF(非厳格なエッセンシャルフィールド、RLD > RLD 限度の場合、ポジティブ) + COUNTIF(項目、ポジティブ)) / ((COUNT(すべてのフィールド) + COUNT(すべての項目)) * 100 アイテムレベル効率(Eff-I, %): Eff-I, % = ポジティブ IF (ALL(量、単位価格、量 - ポジティブ) AND RLD(Description) > RLD threshold) * 100 認証の結果 データ抽出効率(項目を除く) データ抽出効率(項目を含む) : Google の結果は、Google がアイテムを正しく抽出できなかったため、ここから省略されます。 Note TOP INSIGHT Azure isn’t the best with item descriptions. この請求書では、Azure は完全な項目名を検出できず、最初の名前のみを認識し、他のモデルはすべての 12 項目で完全な名前を成功に識別しました。 この問題は、この請求書における Azure の効率性に大きな影響を与え、他のモデルと比較して顕著に低下しました(33.3%)。 💡 Azure’s inability to parse multi-word descriptions in structured fields highlights a critical limitation compared to competitors. 請求書の低解像度は、検出の品質にほとんど影響しません。 請求書の低解像度(人間の目によって捉えられる)は、一般的に検出の質を悪化させない。低解像度は主に小さい認識エラーを引き起こすため、例えば、請求書の1つで、Deepseekはコマを点に間違えて、不正な数値を生み出した。 💡 Modern OCR and AI models are robust to resolution issues, though rare formatting errors may occur. Google がアイテムの検出に失敗 Google combines all item fields into a single string, which makes it impossible to compare the results to other models. Google recognition results: 現時点の口座: 他のすべてのサービスは、属性による分解を含む100%正確な検出を有します。 💡 Google’s AI is not capable of extracting structured data without fine-tuning. 複数の行の項目記述は、検出の品質に影響を与えませんでした。 💡 Except for Google AI’s case above, multi-line item descriptions did not negatively impact detection quality across all models. 双子座は最高の「細部への注意」を持っています。 GPT、Gemini、DeepSeekなどのLLMは、事前に構築された請求書認識モデルよりも多くのデータを抽出するように求められます。すべてのLLMのうち、Geminiは、請求書アイテムから追加データを抽出する際に最高の精度を持っています。 例文: 双子座の結果: GPTの結果: DeepSeek の結果: 💡 Gemini has the highest items extraction accuracy compared to other LLMs: it extracts all fields, not just the standard ones, and has the highest accuracy in preserving text and numerical values. コスト比較 各モデルの1000件の請求書を処理するコストと、1件の請求書を処理する平均コストを計算しました。 $10 / 1000ページ サービス コスト ページ当たりのコスト(平均) AWS AWS $10 / 1000ページ (1) ドル0.01 Azure AI ドキュメントインテリジェンス Azure AI Document Intelligence Azure AI ドキュメントインテリジェンス $10 / 1000ページ $10 / 1000 pages ドル0.01 Google ドキュメント AI Google Document AI Google ドキュメント AI $10 / 1000ページ $0.01 ドル0.01 「GPTT」:GPT-4o API、第三者OCR付きテキスト入力 GPT-4o API, text input with 3rd party OCR “GPTT”: 「GPTT」 : $2.50 / 1M input tokens, $10.00 / 1M output tokens (2) 0 021 ドル “GPTI”: GPT-4o only 「GPTI」:GPT-4oのみ $2.50 / 1M input tokens, $10.00 / 1M output tokens $2.50 / 1M input tokens, $10.00 / 1M output tokens ドル0087 Gemini 2.0 Pro ジェミニ 2.0 Pro $1.25, input prompts ≤ 128k tokens$2.50, input prompts > 128k tokens$5.00, output prompts ≤ 128k tokens$10.00, output prompts > 128k tokens $1.25, input prompts ≤128k トークン $2.50, input prompts > 128k トークン $5.00, output prompts ≤ 128k トークン $10.00, output prompts > 128k トークン ドル0045 Deepseek v3 API ディープセーク v3 API $10 / 1000 ページ + $0.27 / 1M 入力トークン, $1.10 / 1M 出力トークン $10 / 1000 pages + $0.27 / 1M input tokens, $1.10 / 1M output tokens $0.011 Notes: (1) — $8 / 1000 pages after one million per month (2) - テキスト認識モデルを使用するために1000ページあたり10ドルを追加 主な発見 ↓↓↓ ジェミニとGPT-4oは、すべての請求書における抽出の効率性と一貫性のリーダーです。 Most Efficient ️ : Google AI is the worst out of all of the tested models when it comes to item extraction, making the overall efficiency score low. Google combines all item fields into one line, making it the worst choice for using it out of the box. Worst performer ↓↓↓ DeepSeek は、テキストおよび数値における頻繁なエラーを示しました。 Least Reliable どのモデルが何のために最適ですか? Gemini、AWS、またはAzureで、高精度のデータ抽出を実現します。 ✅ GPT-4o (Third-Party OCR によるテキスト入力) 費用対効果の高い請求書認識と優れた「コスト効率」バランスを提供します。 高精度のアイテムを抽出する必要がある場合は、Google AI を避けてください。
