ŞöyleFatura Yılı Faturaların Sayısı 2006 — 2010 6 2011 — 2015 4 2016 — 2020 10 Fatura Yılı Faturaların Sayısı 2006 — 2010 6 2011 — 2015 4 2016 — 2020 10 Fatura YılıŞöyleFatura SayısıŞöyle Fatura Sayısı Şöyle2006 - 2010 yıllarıŞöyleŞöyle Şöyle2006 - 2010 yılları Şöyle 2011 - 2015 42011 - 2015 yılları dört 2016 - 2020 102016 - 2020 yılları Şöyle Hizmet Maliyetleri Sayfada (ortalama) AWS $10 / 1000 sayfalar (1) $0.01 Azure AI Belge İstihbarat $10 / 1000 sayfalar $0.01 Google Belge AI $10 / 1000 sayfalar $0.01 “GPTT”: GPT-4o API, 3. taraf OCR ile metin girişleri $2.50 / 1M giriş tokenleri, $10.00 / 1M çıkış tokenleri (2) $0.021 “GPTI”: GPT-4o sadece $2.50 / 1M giriş tokenleri, $10.00 / 1M çıkış tokenleri $0.0087 Gemini Pro 2.0 $1.25, giriş prompts ≤ 128k tokenleri$2.50, giriş prompts > 128k tokenleri$5.00, çıkış prompts ≤ 128 tokenleri$10.00, çıkış prompts > 128k tokenler $0.00 Sayfa başına hizmet maliyeti (ortalama)ŞöyleAWS $10 / 1000 sayfalar (1) $0.01ŞöyleAzure AI Belge Zekası $10 / 1000 sayfalar $0.01ŞöyleGoogle Doküman AI $10 / 1000 sayfalar $0.01Şöyle“GPTT”: GPT-4o API, 3. taraf OCR ile metin girişleri $2.50 / 1M giriş tokenleri, $10.00 / 1M çıkış tokenleri (2) $0.021ŞöyleŞöyle“GPTI”: sadece GPT-4o $2.50 / 1M giriş tokenleri, $10.00 / 1M çıkış tokenleriŞöyleDoları 0087ŞöyleŞöyleGemini 2.0 Pro $1.25, giriş iletileri ≤ 128k token$2.50, giriş iletileri > 128k token$5.00, çıkış iletileri ≤ 128k token$10.00, çıkış iletileri > 128k token $0.0045ŞöyleDeepseek v3 API $10 / 1000 sayfalar + $0.27 / 1M giriş tokenleri, $1.10 / 1M çıkış tokenleri $0.011ŞöyleSayfa başına hizmet maliyeti (ortalama)Hizmet Şöyle Sayfa başına maliyet (ortalama) AWS $10 / 1000 sayfalar (1) $0.01Şöyle Şöyle 0.01 Doları Azure AI Belge Zekası $10 / 1000 sayfalar $0.01Şöyle 10 / 1000 sayfa 0.01 Doları Google Doküman AI $10 / 1000 sayfalar $0.01 Şöyle 0.01 Doları “GPTT”: GPT-4o API, 3. taraf OCR ile metin girişleri $2.50 / 1M giriş tokenleri, $10.00 / 1M çıkış tokenleri (2) $0.021 0 021 Dolar Şöyle“GPTI”: sadece GPT-4o $2.50 / 1M giriş tokenleri, $10.00 / 1M çıkış tokenleriŞöyleDoları 0087ŞöyleŞöyle $2.50 / 1M giriş tokenleri, $10.00 / 1M çıkış tokenleri Doları 0087 Gemini 2.0 Pro $1.25, giriş iletileri ≤ 128k token$2.50, giriş iletileri > 128k token$5.00, çıkış iletileri ≤ 128k token$10.00, çıkış iletileri > 128k token $0.0045Şöyle $1.25, giriş iletileri ≤ 128k token$2.50, giriş iletileri > 128k token$5.00, çıkış iletileri ≤ 128k token$10.00, çıkış iletileri > 128k token Doları 0045 Deepseek v3 API $10 / 1000 sayfalar + $0.27 / 1M giriş tokenleri, $1.10 / 1M çıkış tokenleri $0.011 Şöyle Dolar 011 En popüler 7 AI modeli, faturaları ne kadar iyi işleyebileceklerini, herhangi bir düzeltme olmaksızın test ettim. Öğrenmek için okuyun: Şöyle Şöyle Şöyle Hangi model diğerlerinden en az %20 daha üstün Google AI Neden Yapısal Verilerle Çalışmıyor Hangi modellerin düşük çözünürlüklü taramaları en iyi şekilde kullanabildiğini görün Test edilen modeller Bu testin amacını karşılamak için, bu kriterleri kullanarak AI modellerini aramaya başladım: Şöyle Şöyle Şöyle Şöyle Popülerlik: Popüler modeller daha iyi destek ve belgelere sahiptir. Faturalar İşleme Yetenekleri: Model, API'yi düzeltmeden veya eğitmeden faturaları get-go'dan işleyebilmelidir. entegrasyon: Bu testin sonuçları pratikte kullanılmak üzere olduğu için, her modelin kolay entegrasyon için API entegrasyon yeteneğine sahip olması önemlidir. I’ve landed on 7 AI models outlined below. I’ve given each one a nickname for convenience: Şöyle Şöyle Şöyle Şöyle Şöyle Şöyle Şöyle Amazon Analyze Expense API veya “AWS” Azure AI Document Intelligence - Fatura Hazır Modeli veya “Azure” Google Doküman AI - Fatura Parser veya “Google” GPT-4o API - 3. taraf OCR veya “GPTt” ile metin giriş GPT-4o API - Görüntü Girişi veya “GPTi” Gemini 2.0 Pro Experimental veya “Gemini” Deepseek v3 - text input, or “ ” Deepseek-t Hesap Bilgileri Modeller, çeşitli düzenlemeler ve emisyon yılları (2006-2020) olan 20 faturanın bir veritabanında test edilmiştir. Fatura Yılı Fatura Yılı Fatura Sayısı 6 için 2006 - 2010 yılları 6 için 6 için 2011 - 2015 yılları dört 2016 — 2020 10 için 10 metodolojisi Her faturayı analiz ederek, tüm faturalar arasında ortak olan ve en önemli verileri içeren 16 anahtar alan listesini belirledim: Invoice Id, Invoice Date, Net Amount, Tax Amount, Total Amount, Due Date, Purchase Order, Payment Terms, Customer Address, Customer Name, Vendor Address, Vendor Name, Item: Description, Item: Quantity, Item: Unit Price, Item: Amount. LLM modellerinin (GPT, DeepSeek ve Gemini) bu ortak alan adlarını kullanarak sonuçları iade etmeleri istendi. Etiket Arşivleri Detection Her fatura için, modellerin anahtar öğelerin alanlarını ne kadar iyi çıkardığını değerlendirdim: Description, Quantity, Unit Price, Total Price Metrik Verimlilik Ekstraksiyonun doğruluğunu değerlendirmek için ağırlıklı bir verim metrikini (Eff, %) kullandım. Kesinlikle gerekli alanlar: Fatura kimliği, tarihler vb. gibi doğru eşleşmeler Katı olmayan temel alanlar: Benzerlik (RLD, %) bir eşiği aştığında kısmi karşılaşmalar izin verilir. Faturalı öğeler: Tüm öğelerin özellikleri doğru bir şekilde çıkarıldığında doğru olarak değerlendirilir. Formulas Toplam Verimlilik (Eff, %): Eff, % = (COUNTIF(strict ess. alanlar, pozitif) + COUNTIF(non-strict ess. alanlar, RLD > RLD eşiğinde pozitif) + COUNTIF(elemanlar, pozitif)) / ((COUNT(tüm alanlar) + COUNT(tüm öğeler)) * 100 Ürün düzeyinde verimlilik (Eff-I, %): Eff-I, % = Pozitif IF (ALL(Not, Unit Price, Amount - positive) VE RLD(Description) > RLD eşiği) * 100 Fatura Tanıma Sonuçları Data Extraction Efficiency (Excluding Items) Data Extraction Efficiency (Arşiv dahil) : Google'ın sonuçları, Google'ın öğeleri düzgün bir şekilde çıkaramadığı için buradan kaçırılır. Note Top İncelemeler Azure, öğe açıklamaları ile en iyisi değildir. Bu faturada, Azure, yalnızca ilk isimleri tanıyan tam öğenin isimlerini tespit edemedi, diğer modeller ise tüm 12 öğenin tam isimlerini başarıyla tespit etti. Bu sorun, bu faturada Azure'un verimliliğini önemli ölçüde etkiledi ve bu oran diğer modellerle karşılaştırıldığında önemli ölçüde düştü (33,3%). 💡 Azure’s inability to parse multi-word descriptions in structured fields highlights a critical limitation compared to competitors. Low resolution of invoices practically does not affect the quality of detection. Faturaların düşük çözünürlük (insan gözü tarafından algılanan) genellikle algılama kalitesini zayıflatmadı. düşük çözünürlük esas olarak küçük tanıma hatalarına neden oldu, örneğin, faturalardan birinde, Deepseek, yanlış bir sayısal değere yol açan bir nokta için bir komayı karıştırdı. 💡 Modern OCR and AI models are robust to resolution issues, though rare formatting errors may occur. Google öğeleri bulamıyor. Google, tüm öğe alanlarını tek bir satırya birleştirir, bu da sonuçları diğer modellerle karşılaştırmak imkansız hale getirir. Gerçek Fatura : All other services have 100% correct detection with breakdown by attributes. 💡 Google’s AI is not capable of extracting structured data without fine-tuning. Multi-line item descriptions did not affect the quality of detection. 💡 Except for Google AI’s case above, multi-line item descriptions did not negatively impact detection quality across all models. İkizler en iyi “detaylara dikkat” sahiptir. GPT, Gemini ve DeepSeek gibi LLM'ler, önceden inşa edilmiş fatura tanıma modellerinden daha fazla veri çıkarmak için istenebilir. Tüm LLM'ler arasında, Gemini, fatura öğelerinden ek verileri çıkarma konusunda en iyi doğruluğa sahiptir. Fatura Örneği : Gemini Sonuçları: GPT sonuçları : DeepSeek results: 💡 Gemini has the highest items extraction accuracy compared to other LLMs: it extracts all fields, not just the standard ones, and has the highest accuracy in preserving text and numerical values. Comparing Costs Her model için 1000 faturanın işlenmesinin maliyetini ve bir faturanın işlenmesinin ortalama maliyetini hesapladım: Service maliyeti maliyeti Sayfa başına maliyet (ortalama) AWS Hakkında AWS AWS Hakkında $10 / 1000 sayfalar (1) $10 / 1000 sayfalar (1) 0.01 Doları Azure Dokümantasyon Bilgileri Azure AI Document Intelligence Azure Dokümantasyon Bilgileri $10 / 1000 pages $0.01 Google Dokümanlar AI Google Document AI Google Dokümanlar AI 10 / 1000 sayfa $10 / 1000 pages 0.01 Doları “GPTT”: GPT-4o API, 3. taraf OCR ile metin giriş GPT-4o API, text input with 3rd party OCR “GPTT”: “GPTT”: $2.50 / 1M input tokens, $10.00 / 1M output tokens (2) $2.50 / 1M input tokens, $10.00 / 1M output tokens (2) 0 021 Dolar “GPTI”: GPT-4o only “GPTI”: GPT-4o only “GPTI”: GPT-4o only $2.50 / 1M giriş tokenleri, $10.00 / 1M çıkış tokenleri Doları 0087 İkizler 2.0 Pro Gemini 2.0 Pro Gemini 2.0 Pro $1.25, giriş iletileri ≤ 128k token$2.50, giriş iletileri > 128k token$5.00, çıkış iletileri ≤ 128k token$10.00, çıkış iletileri > 128k token Doları 0045 Deepseek v3 API Deepseek v3 API Deepseek v3 API $10 / 1000 sayfalar + $0.27 / 1M giriş tokenleri, $1.10 / 1M çıkış tokenleri $10 / 1000 sayfalar + $0.27 / 1M giriş tokenleri, $1.10 / 1M çıkış tokenleri Dolar 011 Notes: (1) — $8 / 1000 sayfalar ayda bir milyon sonra (2) — Bir metin tanıma modeli kullanmak için 1000 sayfa başına ek $10 Anahtar bulgular : Gemini and GPT-4o are leading in efficiency and consistency of extraction across all invoices. Most Efficient ️ : Google AI is the worst out of all of the tested models when it comes to item extraction, making the overall efficiency score low. Google combines all item fields into one line, making it the worst choice for using it out of the box. Worst performer DeepSeek, metin ve sayısal değerlerde sıkça yapılan hataları gösterdi. Least Reliable Hangi model ne için daha iyi? ✅ Gemini, AWS, or Azure for high-accuracy data extraction. ✅ GPT-4o (üçüncü taraf OCR ile metin girişleri) maliyet verimli fatura tanıma ve mükemmel bir maliyet verimliliği dengesi için. Yüksek hassasiyetle öğeleri çıkarmak istiyorsanız Google AI'dan kaçının.
