 ilk kez 2021'de Adobe Developer blogu için API'lerinin bir demosunu oluşturduğumda keşfettim (   ). Diffbot'u "Doğal Dil İşleme, Adobe PDF Özü ve Derin PDF Zekası"  O zamanlar Diffbot'un API'sinin ne kadar kolay olduğundan ve ne kadar hızlı yanıt verdiğinden etkilenmiştim. Bir süredir API'lerine bakmamıştım ama birkaç gün önce metin özetlemeye yönelik yeni desteklerini duyurdular. Bunun   ile birleştirmenin harika bir şey olacağını düşündüm. İşte bulduğum şey. Adobe PDF Extract API  Öncelikle, bunu kendiniz denemek istiyorsanız şunlara ihtiyacınız olacak:  Adobe PDF Hizmetleri   . Bunlar ücretsizdir ve ayda 500 işlemden ücretsiz yararlanırsınız. Bilmeyenler için söyleyeyim, Adobe için çalışıyorum ve bu da ele aldığım ürünlerden biri. kimlik bilgileri  Diffbot   . İki haftalık ücretsiz deneme sunuyorlar ancak ücretsiz katman yok. Bununla birlikte, bir şeyler hazırlarken birkaç kez onlara ulaşmak zorunda kaldım ve bana gerçekten büyük destek sağladılar, bu yüzden kesinlikle göz atmaya değer olduklarını düşünüyorum. kimlik bilgileri  Peki, özet akışının nasıl çalışabileceğine bakalım.  Birinci Adım - Metni Çıkarın    (kusura bakmayın, "Adobe PDF Extract API", bekleyin, bu benim blogum, bazı şeyleri kısaltabilirim!) oldukça güçlüdür. Belgedeki her öğe ayrıntısını doğru şekilde bulmak amacıyla PDF'yi akıllıca ayrıştırmak için yapay zekayı kullanır. Extract API  Yani metin, yazı tipleri, renkler, konum vb. Ayrıca görselleri ve tablo halindeki verileri de bulabilir ve bu da bazı oldukça güçlü kullanım durumlarına yol açar. (Bunun güzel bir örneği için, astronomik verileri toplayıp bir araya getirmek ve raporlar oluşturmak için birden fazla bilimsel dergiyi taradığım   bakın.) blog gönderime  Bu demo için kelimenin tam anlamıyla sadece metne ihtiyacımız var. Bunun için REST API'lerinden yararlanacağım. Mevcut PDF hizmetlerinin neredeyse tüm yönlerine ilişkin "akış" şunlardır:  Erişim belirteci için kimlik bilgilerini değiştirme  Giriş için bir dosya yüklemeyi isteyin (bu durumda, çıkartılacak bir PDF)  Belgeyi yükleyin  İşi başlat  Tamamlanacak anket  Bitleri indirin  Kullanabileceğiniz SDK'ların da olduğunu unutmayın, ancak REST API'lerimizi o kadar basit buldum ki doğrudan uç noktalara ulaştım. İşte Extract işlemini yapmak için yazdığım script. Temel olarak yukarıda söylediğim her şey ve yerel dosya sistemimdeki kaynak PDF'ye işaret ediyor.   /* This demo is a two step process. This file, step one, handles extracting and storing the JSON from a PDF. */ import 'dotenv/config'; import fs from 'fs'; import { Readable } from 'stream'; import { finished } from 'stream/promises'; const SOURCE_PDF = '../../source_pdfs/boring_adobe_security_doc.pdf'; const REST_API = "https://pdf-services.adobe.io/"; const CLIENT_ID = process.env.CLIENT_ID; const CLIENT_SECRET = process.env.CLIENT_SECRET; async function delay(x) { return new Promise(resolve => { setTimeout(() => resolve(), x); }); } async function getAccessToken(id, secret) { const params = new URLSearchParams(); params.append('client_id', id); params.append('client_secret', secret); let resp = await fetch('https://pdf-services-ue1.adobe.io/token', { method: 'POST', headers: { 'Content-Type':'application/x-www-form-urlencoded' }, body:params }); let data = await resp.json(); return data.access_token; } async function getUploadData(mediaType, token, clientId) { let body = { 'mediaType': mediaType }; body = JSON.stringify(body); let req = await fetch(REST_API+'assets', { method:'post', headers: { 'X-API-Key':clientId, 'Authorization':`Bearer ${token}`, 'Content-Type':'application/json' }, body: body }); let data = await req.json(); return data; } async function uploadFile(url, filePath, mediaType) { let stream = fs.createReadStream(filePath); let stats = fs.statSync(filePath); let fileSizeInBytes = stats.size; let upload = await fetch(url, { method:'PUT', redirect:'follow', headers: { 'Content-Type':mediaType, 'Content-Length':fileSizeInBytes }, duplex:'half', body:stream }); if(upload.status === 200) return; else { throw('Bad result, handle later.'); } } async function pollJob(url, token, clientId) { let status = null; let asset; while(status !== 'done') { let req = await fetch(url, { method:'GET', headers: { 'X-API-Key':clientId, 'Authorization':`Bearer ${token}`, } }); let res = await req.json(); status = res.status; if(status === 'done') { asset = res; } else { await delay(2000); } } return asset; } async function downloadFile(url, filePath) { let res = await fetch(url); const body = Readable.fromWeb(res.body); const download_write_stream = fs.createWriteStream(filePath); return await finished(body.pipe(download_write_stream)); } async function extractJob(asset, token, clientId) { let body = { 'assetID': asset.assetID } let resp = await fetch(REST_API + 'operation/extractpdf', { method: 'POST', headers: { 'Authorization':`Bearer ${token}`, 'X-API-KEY':clientId, 'Content-Type':'application/json' }, body:JSON.stringify(body) }); return resp.headers.get('location'); } let accessToken = await getAccessToken(CLIENT_ID, CLIENT_SECRET); console.log('Got our access token.'); let uploadedAsset = await getUploadData('application/pdf', accessToken, CLIENT_ID); await uploadFile(uploadedAsset.uploadUri, SOURCE_PDF, 'application/pdf'); console.log('Source PDF Uploaded.'); let job = await extractJob(uploadedAsset, accessToken, CLIENT_ID); console.log('Job created. Now to poll it.'); let result = await pollJob(job, accessToken, CLIENT_ID); console.log('Job is done.'); await downloadFile(result.content.downloadUri, 'extract.json'); console.log('All done.');  Tamam, umarım hâlâ okuyorsundur. Genel olarak, bu şekilde devasa kod blokları yayınlamaktan kaçınmaya çalışıyorum, ancak sondaki satırlara odaklanırsanız, yalnızca yukarıdaki akışta tanımladığım şeyi yapan yardımcı işlevlere bastığımı göreceksiniz. Kimlik doğrulaması yapın, bir PDF yüklemeyi isteyin, bir işi başlatın, kontrol edin ve sonucu indirin.  Bir not ekleyeceğim. Extract, JSON sonuç kümesini ve isteğe bağlı olarak tabloları ve görüntüleri içeren bir zip dosyası döndürür. REST API'nin güzel yanı, doğrudan JSON'a ulaşıp onu saklayabilmemdir.  JSON sonucu oldukça büyük olabilir. Üç sayfalık kaynak PDF'im (inanılmaz derecede sıkıcı bir Adobe güvenlik belgesi) için ortaya çıkan JSON 4560 satır uzunluğundadır. Kaynak PDF'mi   ve Extract'ın ham çıktısını   bulabilirsiniz. burada burada  4,5k satırın tamamını buraya koymak yerine, API tarafından bulunan iki benzersiz öğe olan bir pasajı göstereyim:   { "Bounds": [ 44.62139892578125, 756.9429931640625, 245.0037841796875, 766.3184967041016 ], "Font": { "alt_family_name": "* Arial", "embedded": true, "encoding": "Identity-H", "family_name": "* Arial", "font_type": "CIDFontType0", "italic": false, "monospaced": false, "name": "*Arial-6539", "subset": false, "weight": 400 }, "HasClip": false, "Lang": "en", "Page": 0, "Path": "//Document/Sect/P", "Text": "Adobe Vendor Security Review Program White Paper ", "TextSize": 8.5, "attributes": { "SpaceAfter": 18 } }, { "Bounds": [ 0.0, 0.0, 630.0, 820.7799987792969 ], "ClipBounds": [ 548.72802734375, 739.1929931640625, 602.5444488525391, 820.7799987792969 ], "Page": 0, "Path": "//Document/Sect/Figure", "attributes": { "BBox": [ 548.9779999999737, 739.4429999999993, 587.61599999998, 790.920999999973 ], "Placement": "Block" } },  Yukarıdaki örnekte, ilk öğenin metinsel olduğunu ve   özelliği içerdiğini, ikincisinin ise şekil olduğunu görebilirsiniz. Demom için, mevcut olduğunda   özelliğini kullanmam gerekiyor. Bunu uygulamalı olarak görelim. Text Text  İkinci Adım - Özeti Oluşturun  Daha önce Diffbot API'nin kullanımının oldukça basit olduğundan bahsetmiştim. Bunu göstereyim.  Öncelikle bazı değişkenleri ayarlayıp ilk adımdan aldığım JSON'da okuyacağım. Açık olmak gerekirse, her şeyi tek bir süreçte yapabilirim, ancak Extract'ı birden fazla çalıştırmanın aslında hiçbir anlamı yok. Harika olan şu ki, sonuçta   arama yapabilirim. birden fazla  Örnek olarak, Diffbot'un bir diğer harika özelliği de metinden varlıklar, yani bir belgenin ne hakkında konuştuğunu (kişiler, yerler, vb.) elde etmektir. Her neyse, işte başlangıç:   /* In this file, we take the result from our Extract operation and pass it to Diffbot */ import 'dotenv/config'; import fs from 'fs'; const DIFFBOT_KEY = process.env.DIFFBOT_KEY; const SOURCE_JSON = './extract.json'; const data = JSON.parse(fs.readFileSync(SOURCE_JSON, 'utf8')); console.log(`Read in source data from ${SOURCE_JSON}.`);  Daha sonra, Extract sonucundaki metni ayrıştırmam gerekiyor:   let text = data.elements.reduce((text, el) => { if(el.Text) text += el.Text + '\n'; return text; },'');  Daha sonra Diffbot'a bir HTTP isteği hazırlıyorum. Daha fazla bilgi için   bakın. belgelerine   let fields = 'summary'; let url = `https://nl.diffbot.com/v1/?fields=${fields}&token=${DIFFBOT_KEY}`; let body = [{ content:text, lang:'en', format:'plain text' }]; console.log('Passing text to Diffbot.'); let req = await fetch(url, { method:'POST', body:JSON.stringify(body), headers: { 'Content-Type':'application/json' } }); let result = await req.json();  Ve bu kadar. Son adım olarak basitçe çıktısını alıyorum:   console.log(`Summary of PDF:\n${result[0].summary}`);  Kaynak PDF göz önüne alındığında, nihai sonuç şöyledir:   Adobe has a vendor security review program that evaluates vendors that collect, store, process, transmit, or dispose of Adobe data outside of Adobe-controlled physical offices or data center locations. The VSR program includes requirements for vendors to follow when handling sensitive data and assigns a risk level score to vendors based on their compliance with Adobe standards. If a vendor fails the VSR program, Adobe holds discussions with the business owner to understand the details of the vendor's security practices and determine whether or not to continue working with them.  Üç sayfalık PDF'im artık basit bir paragraftan ibaret. Milyonlarca belgeye sahip kuruluşlar için bunun ne kadar faydalı olacağını tahmin edebilirsiniz. Bunu diğer hizmetlerle birleştirirseniz (daha önce bahsettiğim varlıklar özelliği gibi) büyük kütüphanelerle çalışmayı çok daha kolay hale getirir.  Dene!  Bunu kendiniz kontrol etmek istiyorsanız tüm kodu buradan alabilirsiniz:   . Dediğim gibi, buradaki her şey ücretsiz olarak test edilebilir, bu yüzden bir deneyin ve aşağıdaki yorumda ne düşündüğünüzü bana bildirin. https://github.com/cfjedimaster/document-services-demos/tree/main/random_demos/extract_diffbot_summary

My Blog

Buy Me a Coffee

Read My Stories

Bu ses hikayenin orijinal dilinde üretilmiştir!

Belge Özetlerini Otomatikleştirmek için Yapay Zeka ve PDF Hizmetleri Nasıl Kullanılır?

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

HackerNoon Kendi Ana Dilinizde 🆕 ‼️ Teknoloji Blog Yazıları için 77 Dil Ana Sayfası

Forumlardan Feed'lere: Sosyal Medya Algoritmaları Dijital Etkileşimi Nasıl Şekillendiriyor

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Sulara Yelken Açmak: Data Lakes ile Üretim Sınıfında RAG Uygulamaları Geliştirme

HackerNoon Kendi Ana Dilinizde 🆕 ‼️ Teknoloji Blog Yazıları için 77 Dil Ana Sayfası

Forumlardan Feed'lere: Sosyal Medya Algoritmaları Dijital Etkileşimi Nasıl Şekillendiriyor

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Sulara Yelken Açmak: Data Lakes ile Üretim Sınıfında RAG Uygulamaları Geliştirme

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps