paint-brush
AI dia tena tsara amin'ny fahazoana antontan-taratasyny@uri
206 HENOINA

AI dia tena tsara amin'ny fahazoana antontan-taratasy

ny Uri Merhav9m2024/09/09
Read on Terminal Reader

Lava loatra; Mamaky

Tsy glamour fa tena ilaina. Ny LLM dia adala amin'ny fahazoana ny votoatin'ny antontan-taratasy sy ny fakana vaovao avy aminy. Mila fitiavana kely miaraka amin'ny OCR tsara sy fahatakarana latabatra fotsiny izy ireo.
featured image - AI dia tena tsara amin'ny fahazoana antontan-taratasy
Uri Merhav HackerNoon profile picture
0-item

Naniry robot ianao hanao kafe, fa ny vokatra JSON voarafitra kosa no azonao avy amin'ny antontan-taratasy.

Isaky ny miseho ny teknolojia vaovao dia rendrika ao anaty hyperbole izy io. Feno “influencers” ny Twitter-ko izay milaza fa nanangana tranokala feno miaraka amin'ny bitsika tokana, fa izay rehetra manandrana manangana tranokala dia mahafantatra fa efa ampy tsara izy ireo amin'izao fotoana izao mba hampiharana ireo fiasa madinika ary miala amin'ny farany. asa lavitr'ezaka miaraka amin'ny tahiry kaody manontolo ho contexte.


Tadidinao ve ny nampanantenaina antsika hitondra fiara rahampitso tokony ho folo taona lasa izay? Olana voavaha ny fitondran-tena, hoy i Elon Musk, ilay hype meister farany indrindra, 8 taona lasa izay .


Raha niandry ny Teslas hanomboka hanao donuts samirery izahay, dia nandeha tsara ny ezaka tsy dia mahafinaritra. Mobileye dia nanamboatra sensor izay mandeha bip rehefa saika sendra zavatra ianao. Namonjy aina tsy tambo isaina izy ireo, ary nampihena 90% ny fitakiana fiantohana. Nanangana orinasa mitentina 17 miliara dolara izy ireo.


Mino aho fa ny fahazoana antontan-taratasy dia ny teknolojia Mobileye ho an'ny LLM. Ny fahatakarana ny tabilao ara-bola, ny fametahana ny fitakiana fiantohana ary ny fanatsoahan-kevitra ara-pitsaboana avy amin'ny naotin'ny Dokotera dia toa maotina raha oharina amin'ireo nofinofy ambony. Fa raha manindry indroa amin'ity olana ity ianao dia ho hitanao fa tsy voavaha teo aloha izany ary mamaha ny sandany.

Backstory

Folo taona lasa izay, niasa ho an'ny ekipa manara-penitra malaza ao amin'ny LinkedIn aho. Niezaka ny hamaha olana iray mamitaka tsotra izahay: ahoana no ahafantaranao ny résumé, na avy aiza na avy aiza, ary manao sarintany ny lohateniny amin'ny anaram-boninahitra kely fantatra?


Hihevitra ianao fa ho mora izany. Ny tiako holazaina dia lohateny tsotra ny "injeniera lozisialy", sa tsy izany? Ahoana anefa raha misy manoratra hoe "mifandray"? Mety ho fitahirizana talantalana izy ireo na misintona karama enina amin'ny orinasa mpanao lalàna. Inona no atao hoe Station Hand (Aussie Cowboy), inona no consultant (mety hidika hoe mpanolotsaina/freelance, fa mety hidika hoe Dokotera raha anglisy ianao ary manana ny foto-kevitra mety aminy)? Raha miezaka mampifanaraka ny lohatenin'ny asa ao anaty lisitr'ireo zavatra ekena ianao mba hahafahanao manisy marika amin'ny fikarohana, varotra, sns - ahoana no fomba hanangananao modely izay mahafantatra ny fiovaovan'ny fiteny sy kolontsaina rehetra, fa tsy diso ny hoe "Assistant Executive" ho mpanatanteraka, raha lefitry ny mpitantana ny faritra tokoa ny Assistant Regional Manager?


OK, tsara izany, fa raha miasa amin'ny LinkedIn aho dia mila karazana data mivaingana. Mila JSON aho.


Mila asa bebe kokoa ny fanaovana sari-tany ny anaram-piasana ho lasa taxonomy manara-penitra - lisitra voafetran'ny anaram-boninahitry ny asa efa voafaritra mialoha. Hitanao anefa fa lasa tsinontsinona ny zavatra sarotra be taloha.

Ny asa birao dia lasa kianja filalaovana AI

Ny famakiana résumé dia tranga fampiasa tsara, saingy heveriko fa tsy mampiova hevitra izany. LinkedIn dia orinasa teknolojia ary nampihatra ny sasany amin'ireo hareza maranitra indrindra amin'ny olana. Mety ho tsara kokoa izy io, fa ny dingana automatique kaody iray ihany no soloinay amin'ny iray hafa.


Lasa mahaliana kokoa ny zavatra rehefa soloinao ny asa tanana mandreraka. Ny ampahany goavam-be amin'ny toekarena dia mifototra amin'ny olona manao asa manam-pahaizana izay miompana amin'ny "mamaky antontan-taratasy, mamantatra izay lazainy ary mamerina izany dingana izany."


Mamelà ahy hanome anao ohatra vitsivitsy:

  • Fitantanana ny fandaniana: Manana faktiora ianao, ary mila mamadika izany ho lisitry ny isa — inona no naloa, ho an'iza ary amin'ny vola inona. Toa mora? Tsy rehefa alevina ao anaty korontana misy fampahalalana fanampiny, latabatra tsy feno, na PDF izay toa olona nandrotsaka azy tamin'ny blender.


  • Fikarakarana fitakiana ara-pahasalamana: Nofy ratsy ity iray ity, izay voavahan'ny tafik'ireo mpitsara fitakiana ara-pahasalamana. Manasivana faktiora an-tendrombohitra izy ireo, naoty mpitsabo ary faktiora izay tsy maintsy mitambatra ao anaty korontana mikorontana miaraka amin'ny dika mitovy, ary tsy maintsy ampifandraisina amin'ny politika fiantohana ara-pahasalamana efa misy ary hamantatra raha voarakotra ny fiampangana, amin'ny sokajy inona, ary hatramin'ny firy. Saingy rehefa tonga amin'izany ianao dia ny famakiana, fanasokajiana ary fametahana marika fotsiny. Tsy sarotra ny fanapahan-kevitra; ny fitrandrahana angon-drakitra no fanamby.


  • Fandrafetana fampindramam-bola: Famerenana ny kaontin'ny banky sy fanasokajiana ny volan'izy ireo. Averina indray, momba ny fandrafetana vaovao tsy voarafitra noho ny siansa rocket izany.


Glamorous? Tsia. Mahasoa? Izay raha ny hevitro.

Asa mifototra ny fitrandrahana ny antontan-taratasy

Amin'izao fotoana izao, ny LLMs dia malaza amin'ny hallucinations — na dia mamitaka. Saingy ny zava-misy dia mibaribary kokoa: ny fahatsiarovan-tena dia andrasana rehefa mangataka fahalalana eran-tany ianao fa amin'ny ankapobeny dia esorina amin'ny asa fototra .


Tsy dia tsara loatra ny LLM amin'ny fanombanana ny zavatra "fantany" - vokatra azo avy amin'ny soa ihany fa afaka manao izany izy ireo satria tsy voaofana mazava ho azy ireo. Ny fanofanana voalohany azy ireo dia ny maminavina sy mameno ny filaharan'ny lahatsoratra. Na izany aza, rehefa omena asa miorina amin'ny fototra ny LLM iray - izay tsy maintsy anaovana vinavina ihany ny fampidirana mazava ho azy, dia azo ampidinina ho aotra ny tahan'ny hallucination. Ohatra, raha mametaka ity lahatsoratra bilaogy ity amin'ny ChatGPT ianao ary manontany raha manazava ny fomba hikarakarana ny biby fiompinao, dia hanome valiny marina 100% amin'ny fotoana ilay modely. Lasa azo vinaniana ny asa. Ny LLM dia mahay manodina ampahany amin'ny lahatsoratra ary maminavina ny fomba hamenoan'ny mpandinika mahay ny banga, ny iray amin'ireo dia mety ho {"fikarakarana ferret resahina": diso}.


Amin'ny maha-mpanolotsaina AI taloha anay, dia niasa tamin'ny tetikasa mifantoka amin'ny fakana vaovao avy amin'ny antontan-taratasy izahay, indrindra amin'ny indostria toy ny fiantohana sy ny fitantanam-bola. Ny tahotra mahazatra dia ny "LLMs hallucinate", fa raha ny fampiharana, ny fanamby lehibe indrindra dia matetika noho ny hadisoana amin'ny famoahana tabilao na tsy fitovian-kevitra hafa. nahomby tamin'ny fanodinana ny antontan-taratasy:


  1. Fitrandrahana lahatsoratra tonga lafatra - Tafiditra ao anatin'izany ny famadihana ny antontan-taratasy ho lahatsoratra madio sy azo vakina amin'ny milina, ao anatin'izany ny fikarakarana latabatra, naoty sora-tanana, na lamina isan-karazany. Mila lahatsoratra mazava sy azo takarina ny LLM.


  2. Tetika matanjaka – Ireo tetika ireo dia tokony hamaritra hoe inona no vokatra tadiavinao, ny fomba hiatrehana ireo tranga sisiny, ary ny endriky ny angon-drakitra, izay manome antoka fa fantatr'ilay rafitra mazava tsara izay ho alaina avy amin'ny karazana antontan-taratasy tsirairay.


Ny elanelana misy eo amin'ny loza mety hitranga amin'ny fahatsiarovan-tena sy ny tena sakana ara-teknika dia mety ho lehibe, saingy miaraka amin'ireo fototra ireo dia azonao ampiasaina amin'ny fomba mahomby ny LLM amin'ny fizotran'ny fanodinana antontan-taratasy.


Ny fitrandrahana lahatsoratra dia sarotra kokoa noho ny fahitana voalohany

Ity no mahatonga ny LLM hianjera sy ho may, ary mahazo vokatra ratsy be:

  1. Ny fampidirana dia manana endrika sarotra toy ny fandrafetana tsanganana roa, ary mandika sy mametaka lahatsoratra ianao, ohatra, PDF iray miankavia miankavanana, maka fehezanteny tsy mifanaraka amin'ny teny manodidina.
  2. Ny fidirana dia misy boaty fisavana, marika, fanamarihana sora-tanana, ary tsy nahitanao azy ireo tanteraka tamin'ny fiovam-po ho lahatsoratra
  3. Mbola ratsy kokoa aza: nihevitra ianao fa afaka mivadika ho lahatsoratra, ary manantena ny hametaka sarin'ny antontan-taratasy fotsiny ary hanana ny antony GPT momba azy irery. IZANY dia mitondra anao any amin'ny tanànan'ny hallucination. Angataho fotsiny ny GPT handika ny sarin'ny latabatra misy sela tsy misy na inona na inona dia ho hitanao fa faly mandeha apeshit izy io ary manamboatra zavatra tsy misy dikany.


Manampy amin'ny fitadidiana foana ny korontana adala amin'ny antontan-taratasy tena izy. Ity misy endrika hetra kisendrasendra:

loharano: mpamory hetra namana ao amin'ny US Gov


Mazava ho azy fa ny tena taratasin'ny hetra dia feno avokoa ireo sehatra rehetra ireo, matetika amin'ny sora-tanana


Na ity ny resumèko

Loharano: izaho


Na tatitra momba ny laboratoara misy ampahibemaso (vokatry ny pejy voalohany avy amin'ny Google ity)



Loharano: vavahady fikarohana, sarin'ny sehatra ho an'ny daholobe


Ny zavatra ratsy indrindra azonao atao, raha ny marina, dia manontany ny fahaizan'ny GPT multimodal handika latabatra. Andramo izany raha sahy ianao - toa marina izany raha vao jerena, mamorona zavatra tsy misy dikany ho an'ny sela latabatra sasany, manala zavatra tanteraka amin'ny contexte, sns.

Raha misy zavatra tsy mety amin'izao tontolo izao, manangana orinasa SaaS hamahana azy

Rehefa nasaina nahafantatra ireo karazana antontan-taratasy ireo, izaho sy i Nitai Dean mpiara-manorina ahy dia very hevitra fa tsy misy vahaolana tsy misy dikany amin'ny fahazoana ireo lahatsoratra ireo.


Misy olona milaza fa hamaha azy io, toy ny AWS Text. Saingy manao fahadisoana maro izy ireo amin'ny antontan-taratasy sarotra nosedrainay. Avy eo ianao dia manana ny rambony lava amin'ny zavatra kely ilaina, toy ny famantarana marika, bokotra radio, lahatsoratra miampita, sora-tanana amin'ny endrika, sns sns.


Noho izany, nanamboatra Docupanda.io izahay - izay mamorona lahatsoratra madio voalohany amin'ny pejy rehetra atsipao azy. Eo amin'ny ilany havia dia ho hitanao ny antontan-taratasy tany am-boalohany, ary eo amin'ny ankavanana, ho hitanao ny vokatra lahatsoratra.


loharano: docupanda.io


Toy izany koa ny fikarakarana ny latabatra. Eo ambanin'ny saron-tava dia mamadika fotsiny ny latabatra ho endrika marika marika azo vakiana ho an'ny olombelona sy LLM izahay:

Loharano: docupanda.io


Ny ampahany farany amin'ny fahafantarana ny angon-drakitra miaraka amin'ny LLM dia mamorona sy mifikitra amin'ny endrika famoahana henjana. Mahafinaritra fa afaka mamolavola ny AI ho lasa JSON isika, fa mba hampiharana fitsipika, fanjohian-kevitra, fanontaniana, sns amin'ny angon-drakitra - mila manao izany tsy tapaka isika. Ny angon-drakitra dia mila mifanaraka amin'ny andiam-pilalaovana efa voafaritra mialoha izay hofenoinay votoaty. Ao amin'ny tontolon'ny data, antsoina hoe Schema izany.

Ny fananganana Schemas dia dingana andrana sy hadisoana… Izay azon'ny LLM atao

Ny antony ilantsika schema dia satria tsy misy ilàna azy ny angon-drakitra raha tsy misy ara-dalàna. Raha mikarakara ny antontan-taratasin'ny marary izahay, ary manao sarintany amin'ny “lehilahy” “Lehilahy” “m” sy “M” izy ireo — asa ratsy no ataontsika.


Ahoana àry no hanaovanao schema? Ao amin'ny boky fianarana, azonao atao ny manangana tetika amin'ny fipetrahana lava sy mafy ary mibanjina ny rindrina, ary mamaritra izay tianao hotsoahana. Mipetraha eo ianao, diniho ny asa momba ny angon-drakitra momba ny fahasalamanao, ary mandehana hoe “Te haka ny anaran'ny marary, ny daty, ny lahy sy ny vavy ary ny anaran'ny dokotera aho. Oh, ary tsy maintsy M/F/Other ny lahy sy vavy.


Amin'ny fiainana tena izy, mba hamaritana izay hotsoahina avy amin'ny antontan-taratasy, mibanjina ny antontan-taratasinao ianao… betsaka. Manomboka amin'ny zavatra toy ny etsy ambony ianao, fa avy eo mijery ny antontan-taratasy ianao dia mahita fa ny iray amin'izy ireo dia manana LISTIAN'ny mpitsabo fa tsy iray. Ary ny sasany amin'izy ireo koa dia mitanisa adiresy ho an'ny mpitsabo. Ny adiresy sasany dia manana laharan-tariby sy laharan'ny trano, ka mety mila slot ianao amin'izany. Mitohy hatrany izany.


Ny tsikaritray dia ny hoe afaka mamaritra tsara ny zavatra rehetra tianao alaina, dia sady tsy misy dikany, sarotra ary tena voavaha miaraka amin'ny AI.


Ampahany manan-danja amin'ny DocuPanda izany. Raha tokony hangataka LLM hanatsara ny vokatra ho an'ny antontan-taratasy tsirairay fotsiny izahay, dia nanangana ny rafitra ahafahanao:


  1. Lazao izay zavatra ilainao alaina amin'ny antontan-taratasy amin'ny fiteny maimaim-poana
  2. Asio sarintany AI amin'ny antontan-taratasy maro ary fantaro ny tetika mamaly ny fanontaniana rehetra ary mametraka ny kinks sy ny tsy fetezana hita ao amin'ny antontan-taratasy tena izy.
  3. Hanova ny tetika miaraka amin'ny tamberina mba hanitsiana izany amin'ny filan'ny orinasanao


Ny hiafaranao dia schema JSON matanjaka — môdely izay milaza mazava tsara izay tianao alaina avy amin'ny antontan-taratasy rehetra, ary manao sarintany mihoatra ny ana hetsiny amin'izy ireo, maka valiny amin'izy rehetra, ary mankatò fitsipika toy ny fitrandrahana daty foana ao amin'ny mitovy endrika, manaja andiana sokajy voafaritra mialoha, sns.

loharano: docupanda.io

Bebe kokoa!

Tahaka ny amin'ny lavaka bitro rehetra, misy zavatra betsaka kokoa noho ny hita voalohany. Rehefa nandeha ny fotoana dia hitanay fa ilaina ny zavatra bebe kokoa:

  • Matetika ny fikambanana dia tsy maintsy miatrika andiana antontan-taratasy tsy fantatra anarana, noho izany dia manasokajy azy ireo ho azy ireo izahay ary manapa-kevitra hoe inona ny tetika hampiharina amin'izy ireo.

  • Ny antontan-taratasy indraindray dia fitambarana antontan-taratasy maro, ary mila vahaolana manan-tsaina ianao mba hanaparitahana ny antontan-taratasy lava be ho lasa singa atomika sy misaraka.

  • Tena ilaina ny manontany antontan-taratasy mety amin'ny fampiasana ny vokatra azo


Raha misy fanatsoahan-kevitra iray avy amin'ity lahatsoratra ity, dia tokony hijerena ny fampiasana LLM ianao mba hahatonga ny antontan-taratasy amin'ny fomba mahazatra. Raha toa ka misy roa azo alaina dia tokony andramana ihany koa ny Docupanda.io . Ny antony anorenako azy dia ny hinoako azy. Angamba izany no antony tsara tokony hijerena azy?


Mpiasa birao ho avy (Loharano: unsplash.com)