मैंने पहली बार   2021 में खोजा था जब मैंने एडोब डेवलपर ब्लॉग (   ) के लिए उनके एपीआई का डेमो बनाया था। डिफबॉट को "नेचुरल लैंग्वेज प्रोसेसिंग, एडोब पीडीएफ एक्सट्रैक्ट, और डीप पीडीएफ इंटेलिजेंस"  उस समय, मैं इस बात से प्रभावित हुआ कि डिफबॉट की एपीआई कितनी आसान थी और इसने कितनी जल्दी प्रतिक्रिया दी। मैंने कुछ समय से उनके एपीआई को नहीं देखा था, लेकिन कुछ दिन पहले, उन्होंने पाठ को सारांशित करने के लिए नए समर्थन की घोषणा की थी। मैंने सोचा कि   के साथ संयोजन करना बहुत अच्छी बात होगी। मुझे यही मिला। Adobe PDF Extract API  सबसे पहले, यदि आप इसे स्वयं आज़माना चाहते हैं, तो आपको इसकी आवश्यकता होगी:  Adobe PDF सेवाएँ   । ये मुफ़्त हैं, और आपको प्रति माह 500 लेनदेन मुफ़्त मिलते हैं। जो लोग नहीं जानते, उनके लिए मैं Adobe के लिए काम करता हूं और यह उन उत्पादों में से एक है जिन्हें मैं कवर करता हूं। क्रेडेंशियल  डिफबॉट   । वे दो सप्ताह का निःशुल्क परीक्षण प्रदान करते हैं लेकिन कोई निःशुल्क स्तर नहीं। ऐसा कहा जा रहा है कि, सामान बनाते समय मुझे कई बार उन तक पहुंचना पड़ा है, और उन्होंने मेरे लिए वास्तव में बहुत अच्छा समर्थन प्रदान किया है, इसलिए मुझे निश्चित रूप से लगता है कि वे आपके जांचने लायक हैं। क्रेडेंशियल्स  ठीक है, आइए देखें कि सारांश प्रवाह कैसे काम कर सकता है।  चरण एक - पाठ निकालें    (क्षमा करें, "एडोब पीडीएफ एक्स्ट्रैक्ट एपीआई", रुकें, यह मेरा ब्लॉग है, मैं चीजों को छोटा कर सकता हूं!) काफी शक्तिशाली है। यह दस्तावेज़ में प्रत्येक तत्व विवरण को सही ढंग से ढूंढने के लिए पीडीएफ को बुद्धिमानी से पार्स करने के लिए एआई का उपयोग करता है। एक्स्ट्रैक्ट एपीआई  तो पाठ, फ़ॉन्ट, रंग, स्थिति, इत्यादि। यह छवियां और सारणीबद्ध डेटा भी ढूंढ सकता है जिससे कुछ बहुत शक्तिशाली उपयोग के मामले सामने आते हैं। (इसके अच्छे उदाहरण के लिए, मेरा   देखें जहां मैं खगोलीय डेटा एकत्र करने और रिपोर्ट बनाने के लिए कई वैज्ञानिक पत्रिकाओं को स्कैन करता हूं।) ब्लॉग पोस्ट  इस डेमो के लिए, हमें वस्तुतः केवल पाठ की आवश्यकता है। उसके लिए, मैं REST API का उपयोग करूँगा। उपलब्ध पीडीएफ सेवाओं के लगभग सभी पहलुओं के लिए "प्रवाह" हैं:  एक्सेस टोकन के लिए एक्सचेंज क्रेडेंशियल  इनपुट के लिए एक फ़ाइल अपलोड करने के लिए कहें (इस मामले में, एक पीडीएफ निकाला जाएगा)  दस्तावेज़ अपलोड करें  नौकरी बंद करो  पूरा करने के लिए मतदान  बिट्स डाउनलोड करें  ध्यान दें कि ऐसे SDK भी हैं जिनका आप उपयोग कर सकते हैं, लेकिन मुझे हमारे REST API इतने सरल लगे हैं कि मैं सीधे अंतिम बिंदु पर पहुंच जाता हूं। यहां वह स्क्रिप्ट है जो मैंने एक्स्ट्रैक्ट प्रक्रिया को करने के लिए लिखी थी। यह मूल रूप से वह सब कुछ है जो मैंने ऊपर कहा और अपने स्थानीय फाइल सिस्टम में एक स्रोत पीडीएफ की ओर इशारा किया।   /* This demo is a two step process. This file, step one, handles extracting and storing the JSON from a PDF. */ import 'dotenv/config'; import fs from 'fs'; import { Readable } from 'stream'; import { finished } from 'stream/promises'; const SOURCE_PDF = '../../source_pdfs/boring_adobe_security_doc.pdf'; const REST_API = "https://pdf-services.adobe.io/"; const CLIENT_ID = process.env.CLIENT_ID; const CLIENT_SECRET = process.env.CLIENT_SECRET; async function delay(x) { return new Promise(resolve => { setTimeout(() => resolve(), x); }); } async function getAccessToken(id, secret) { const params = new URLSearchParams(); params.append('client_id', id); params.append('client_secret', secret); let resp = await fetch('https://pdf-services-ue1.adobe.io/token', { method: 'POST', headers: { 'Content-Type':'application/x-www-form-urlencoded' }, body:params }); let data = await resp.json(); return data.access_token; } async function getUploadData(mediaType, token, clientId) { let body = { 'mediaType': mediaType }; body = JSON.stringify(body); let req = await fetch(REST_API+'assets', { method:'post', headers: { 'X-API-Key':clientId, 'Authorization':`Bearer ${token}`, 'Content-Type':'application/json' }, body: body }); let data = await req.json(); return data; } async function uploadFile(url, filePath, mediaType) { let stream = fs.createReadStream(filePath); let stats = fs.statSync(filePath); let fileSizeInBytes = stats.size; let upload = await fetch(url, { method:'PUT', redirect:'follow', headers: { 'Content-Type':mediaType, 'Content-Length':fileSizeInBytes }, duplex:'half', body:stream }); if(upload.status === 200) return; else { throw('Bad result, handle later.'); } } async function pollJob(url, token, clientId) { let status = null; let asset; while(status !== 'done') { let req = await fetch(url, { method:'GET', headers: { 'X-API-Key':clientId, 'Authorization':`Bearer ${token}`, } }); let res = await req.json(); status = res.status; if(status === 'done') { asset = res; } else { await delay(2000); } } return asset; } async function downloadFile(url, filePath) { let res = await fetch(url); const body = Readable.fromWeb(res.body); const download_write_stream = fs.createWriteStream(filePath); return await finished(body.pipe(download_write_stream)); } async function extractJob(asset, token, clientId) { let body = { 'assetID': asset.assetID } let resp = await fetch(REST_API + 'operation/extractpdf', { method: 'POST', headers: { 'Authorization':`Bearer ${token}`, 'X-API-KEY':clientId, 'Content-Type':'application/json' }, body:JSON.stringify(body) }); return resp.headers.get('location'); } let accessToken = await getAccessToken(CLIENT_ID, CLIENT_SECRET); console.log('Got our access token.'); let uploadedAsset = await getUploadData('application/pdf', accessToken, CLIENT_ID); await uploadFile(uploadedAsset.uploadUri, SOURCE_PDF, 'application/pdf'); console.log('Source PDF Uploaded.'); let job = await extractJob(uploadedAsset, accessToken, CLIENT_ID); console.log('Job created. Now to poll it.'); let result = await pollJob(job, accessToken, CLIENT_ID); console.log('Job is done.'); await downloadFile(result.content.downloadUri, 'extract.json'); console.log('All done.');  ठीक है, उम्मीद है, आप अभी भी पढ़ रहे हैं। सामान्य तौर पर, मैं इस तरह के कोड के विशाल ब्लॉक पोस्ट करने से बचने की कोशिश करता हूं, लेकिन यदि आप अंत में लाइनों पर ध्यान केंद्रित करते हैं, तो आप देखेंगे कि मैं केवल उपयोगिता कार्यों को हिट कर रहा हूं जो वही करते हैं जो मैंने ऊपर प्रवाह में वर्णित किया है। प्रमाणित करें, पीडीएफ अपलोड करने के लिए कहें, काम शुरू करें, उसकी जांच करें और परिणाम डाउनलोड करें।  एक नोट मैं जोड़ूंगा. एक्सट्रैक्ट एक ज़िप फ़ाइल लौटाता है जिसमें JSON परिणाम सेट होता है, और वैकल्पिक रूप से, टेबल और छवियां होती हैं। REST API के बारे में एक अच्छी बात यह है कि मैं सीधे JSON तक पहुंच सकता हूं और इसे संग्रहीत कर सकता हूं।  JSON परिणाम काफी बड़ा हो सकता है. तीन पृष्ठों के मेरे स्रोत पीडीएफ (एक अविश्वसनीय रूप से उबाऊ एडोब सुरक्षा दस्तावेज़) के लिए, परिणामी JSON 4560 लाइन लंबा है। आप मेरा स्रोत पीडीएफ   पा सकते हैं, और एक्सट्रैक्ट से कच्चा आउटपुट   पा सकते हैं। यहां यहां  यहां सभी 4.5k लाइनें डालने के बजाय, मैं एक स्निपेट दिखाता हूं - एपीआई द्वारा पाए गए दो अद्वितीय तत्व:   { "Bounds": [ 44.62139892578125, 756.9429931640625, 245.0037841796875, 766.3184967041016 ], "Font": { "alt_family_name": "* Arial", "embedded": true, "encoding": "Identity-H", "family_name": "* Arial", "font_type": "CIDFontType0", "italic": false, "monospaced": false, "name": "*Arial-6539", "subset": false, "weight": 400 }, "HasClip": false, "Lang": "en", "Page": 0, "Path": "//Document/Sect/P", "Text": "Adobe Vendor Security Review Program White Paper ", "TextSize": 8.5, "attributes": { "SpaceAfter": 18 } }, { "Bounds": [ 0.0, 0.0, 630.0, 820.7799987792969 ], "ClipBounds": [ 548.72802734375, 739.1929931640625, 602.5444488525391, 820.7799987792969 ], "Page": 0, "Path": "//Document/Sect/Figure", "attributes": { "BBox": [ 548.9779999999737, 739.4429999999993, 587.61599999998, 790.920999999973 ], "Placement": "Block" } },  उपरोक्त नमूने में, आप देख सकते हैं कि पहला तत्व टेक्स्टुअल है और इसमें   प्रॉपर्टी है, जबकि दूसरा एक आकृति है। अपने डेमो के लिए, मुझे बस   प्रॉपर्टी के मौजूद होने पर उसका उपयोग करना होगा। आइए इसे क्रियान्वित करके देखें। Text Text  चरण दो - सारांश बनाएँ  मैंने पहले उल्लेख किया था कि डिफबॉट एपीआई का उपयोग करना काफी सरल था। मुझे वह प्रदर्शित करने दीजिए.  सबसे पहले, मैं कुछ वेरिएबल सेट करूँगा और पहले चरण से प्राप्त JSON को पढ़ूँगा। स्पष्ट होने के लिए, मैं एक ही प्रक्रिया में सब कुछ कर सकता हूं, लेकिन एक्सट्रैक्ट को एक से अधिक बार चलाने का वास्तव में कोई मतलब नहीं है। अच्छी बात यह है कि मैं वास्तव में परिणाम पर   कॉल कर सकता हूं। एकाधिक  उदाहरण के तौर पर, डिफबॉट की एक अन्य अच्छी सुविधा पाठ से इकाइयाँ प्राप्त करना है, अर्थात, दस्तावेज़ किस बारे में बात कर रहा है (लोग, स्थान, आदि)। वैसे भी, यहाँ शुरुआत है:   /* In this file, we take the result from our Extract operation and pass it to Diffbot */ import 'dotenv/config'; import fs from 'fs'; const DIFFBOT_KEY = process.env.DIFFBOT_KEY; const SOURCE_JSON = './extract.json'; const data = JSON.parse(fs.readFileSync(SOURCE_JSON, 'utf8')); console.log(`Read in source data from ${SOURCE_JSON}.`);  इसके बाद, मुझे एक्सट्रेक्ट परिणाम से टेक्स्ट को पार्स करना होगा:   let text = data.elements.reduce((text, el) => { if(el.Text) text += el.Text + '\n'; return text; },'');  इसके बाद, मैं डिफबॉट के लिए एक HTTP अनुरोध तैयार करता हूं। अधिक जानकारी के लिए उनके   जाँचें। दस्तावेज़   let fields = 'summary'; let url = `https://nl.diffbot.com/v1/?fields=${fields}&token=${DIFFBOT_KEY}`; let body = [{ content:text, lang:'en', format:'plain text' }]; console.log('Passing text to Diffbot.'); let req = await fetch(url, { method:'POST', body:JSON.stringify(body), headers: { 'Content-Type':'application/json' } }); let result = await req.json();  और बस। अंतिम चरण के रूप में, मैं बस इसे आउटपुट करता हूं:   console.log(`Summary of PDF:\n${result[0].summary}`);  स्रोत पीडीएफ को देखते हुए, अंतिम परिणाम है:   Adobe has a vendor security review program that evaluates vendors that collect, store, process, transmit, or dispose of Adobe data outside of Adobe-controlled physical offices or data center locations. The VSR program includes requirements for vendors to follow when handling sensitive data and assigns a risk level score to vendors based on their compliance with Adobe standards. If a vendor fails the VSR program, Adobe holds discussions with the business owner to understand the details of the vendor's security practices and determine whether or not to continue working with them.  मेरी तीन पेज की पीडीएफ अब एक साधारण पैराग्राफ है। आप कल्पना कर सकते हैं कि लाखों दस्तावेजों वाले संगठनों के लिए यह कितना उपयोगी होगा। इसे अन्य सेवाओं के साथ संयोजित करें (जैसे कि इकाई सुविधा जिसका मैंने पहले उल्लेख किया था), और यह बड़े पुस्तकालयों के साथ काम करना बहुत आसान बना देता है।  इसे अजमाएं!  यदि आप इसे स्वयं जांचना चाहते हैं, तो आप यहां सभी कोड प्राप्त कर सकते हैं:   । जैसा कि मैंने कहा, यहां हर चीज़ का परीक्षण मुफ़्त में किया जा सकता है, इसलिए इसे आज़माएं, और मुझे नीचे टिप्पणी में बताएं कि आप क्या सोचते हैं। https://github.com/cfjedimaster/document-services-demos/tree/main/random_demos/extract_diffbot_summary

My Blog

Buy Me a Coffee

Read My Stories

यह ऑडियो कहानी की मूल भाषा में निर्मित है!

बहुत लंबा; पढ़ने के लिए

Get Free Unlimited IP Geo Data With IPinfo Lite

दस्तावेज़ सारांशों को स्वचालित करने के लिए AI और PDF सेवाओं का उपयोग कैसे करें

About Author

टिप्पणियाँ

लेबल

इस लेख में चित्रित किया गया था

Related Stories

अपने वर्कफ़्लो को 10 गुना बेहतर कैसे बनाएं: 17 ज़रूरी ऐप्स

फ़ोरम से फ़ीड तक: सोशल मीडिया एल्गोरिदम डिजिटल इंटरैक्शन को कैसे आकार देते हैं

डिजिटल खानाबदोशों सुनो: थाईलैंड के नए डीटीवी वीज़ा के बारे में आपको क्या जानना चाहिए

टेलीग्राम: क्रिप्टो द्वीप का मुख्य भूमि से पुल

अपने वर्कफ़्लो को 10 गुना बेहतर कैसे बनाएं: 17 ज़रूरी ऐप्स

फ़ोरम से फ़ीड तक: सोशल मीडिया एल्गोरिदम डिजिटल इंटरैक्शन को कैसे आकार देते हैं

डिजिटल खानाबदोशों सुनो: थाईलैंड के नए डीटीवी वीज़ा के बारे में आपको क्या जानना चाहिए

टेलीग्राम: क्रिप्टो द्वीप का मुख्य भूमि से पुल

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps