How a rocket scientist turned entrepreneur created the “ChatGPT for Earth data” using transformers and satellite imagery Bruno Sánchez se yon syantis roket ak yon trajectory yon ti kras deviant. Yon astrophysicist pa fòmasyon, li te itilize zouti nan profesyon l ' - matematik ak syans - nan nivo ki pi laj posib: inivèsèl la. Nan yon pwen, sepandan, konsantrasyon li te chanje nan sèvi ak zouti sa yo menm pou plis objektif jaden. Sanchez te gen yon estant nan Bank Mondyal la, kote kòm yon manm nan ekip interdisiplinè li te ede fè sens nan done geospatial. Lè sa a, li te konprann ki kle a nan sa li te fè se maping, ki te mande l lanse yon konpayi rele Mapbox, bay kat sou entènèt sou entènèt la. Eksperyans sa a te gen yon lòt realizasyon pou Sánchez - ki se ke nou pa reyèlman konnen ki jan yo sèvi ak li: "Nou konnen sa ki moun nan mond lan. Nou konnen sa ki moun nan mond lan. Li se jis yon kesyon nan pwosesis [data] byen", kòm li te mete li. nou gen anpil done sou planèt la Se konsa, lè li te gen opòtinite yo eseye mete tout sa yo ansanm nan yon sèl sant done ak nan yon sèl bank travay, li te ale pou li. Sa a te pwojè Planèt òdinatè nan Microsoft, ak Sánchez renmen li. Lè sa a, ChatGPT te rive. Sánchez te observe ke T nan ChatGPT - la – te yon enstriksyon ki te parèt travay gwo pou modilite tankou tèks, imaj, ak odyo, men pa gen okenn moun te parèt yo sèvi ak li pou done tè. Se konsa, li te deside fè yon eseye. Li te bati yon ekip, kreye fon, kreye yon non-profit, ak bati yon modèl sous louvri lè l sèvi avèk done louvri. Li te fèt. Transformasyon Pwodwi Clay: the ChatGPT of Earth data? Clay: ChatGPT nan Done Terre? "Li se etonan. Li se lòd nan gwosè pi vit, pi bon mache, ak pi bon pase nenpòt lòt bagay nou te janm wè, ki se eksakteman menm bagay la ki te pase ak tèks, imaj ak odyo. Li demontre ankò ke sa a T nan ChatGPT, transformateur a, se yon envansyon etonan imen an," Sanchez te note, enteresan pou Clay. "Li se etonan. Li se lòd nan gwosè pi vit, pi bon mache, ak pi bon pase nenpòt lòt bagay nou te janm wè, ki se eksakteman menm bagay la ki te pase ak tèks, imaj ak odyo. Li demontre ankò ke sa a T nan ChatGPT, transformateur a, se yon envansyon etonan imen an," Sanchez te note, enteresan pou Clay. Se konsa, sa ki egzakteman se Clay - ki sa li fè, ak ki jan li travay? Sánchez pozisyon Clay nan tèm abstraks kòm yon arsitektur. Li se yon pwosesis ki pran nenpòt ki kalite imaj nan peyi a (satèl, avyon, oswa drone) ak "konnen" sa ki nan imaj la. Li ka identifye nenpòt objè - soti nan avyon yo nan kolòn ak soti nan dlo nan boat, epi li ka tcheke kantite moun ki nan yon imaj. Malgre ke Clay te epi sèvi ak arsitèks la nan transformatè, rele li ChatGPT nan done Zòn la pa ta dwe egzat pou yon varyete de rezon. Enspire pa ChatGPT Yon diferans kle se kalite a nan done a ki Clay te fòme sou - imaj anvan tèks. Sa nan tèt li se yon divizyon fondamantal, ki devlope menm plis konsidere natirite a nan imaj sa yo, ak ki jan modèl la se itilize. Clay pa te fòme sou jis nenpòt ki kalite imaj, men imaj nan yon kalite trè spesifik: segondè rezolisyon fotografi lè nan tè ki se yon pati nan Sanchez te observe ke sa a se yon pati nan rezon ki fè hallucinations, youn nan pwoblèm ki pi pronik ak modèl ki baze sou transformatè, se anpil mwens yon pwoblèm ak Clay. Datasets domèn piblik Men, gen plis. Clay, tankou ChatGPT ak ilk li yo, depann sou – Reprezantasyon numerik segondè-dimansyon nan done a li manipile. Men, plis pase done a Clay travay ak, embeddings li pwodwi ak fason yo sèvi ak yo tout diferan. Pwodwi pou Kòm kontrèman ak kolèj li yo, kounye a interaksyon ak Clay pa gen rapò ak yon tèks enteryè. Li pa menm ale nan Clay nan tout. Anplis de sa, ekip la Clay ankouraje moun yo sèvi ak modèl la yo kreye embeddings, ak Lè sa a, travay dirèkteman ak sa yo. The power of embeddings Pouvwa nan embeddings Kòm Sánchez te eksplike, Clay leve Li vle di ke imaj yo pa sèlman kompresye nan reprezantasyon an embedded yo, men pati nan imaj la tou retire. Lè sa a, modèl la gen rekonstriksyon nan imaj la tout antye. Maske nan AutoEncoder Pou egzanp, si yon imaj gen pati nan yon figi, li pwobableman vle di lòt pati yo tou. Se konsa, modèl la gen yo konprann pa kompresyon, men tou pa konteks. Maske AutoEncoders sèvi ak encoders ak decoders, ak pèmèt Clay Orijinèlman, lide a te fòme modèl la fondasyon an Clay, ak Lè sa a, fin-tune decoders sèlman pou travay spesifik tankou kont machin, pou egzanp. Scale san yo pa etikèt done moun Men, Lè sa a, ekip Clay te konprann ke yo ka kreye embeddings ki se universally aplike. Se konsa, yo kreye embeddings, ak Lè sa a, yo sèvi ak embeddings yo kreye yon dekodè, pase encoder la. Motivasyon prensipal la se ke sa a pèmèt yo jwenn repons nan milisekond, pa nan semèn. Sèvi ak sèlman embeddings yo ak yon Li ta dwe travay, tankou pou Sanchez: Vètikal Database "Imagine nou gen yon itilizatè ki vle jwenn panèl solè nan Grèk, epi nou te fè embeddings pou tout peyi Grèk. Lè sa a, li nan literalman milisekond yo konnen; nou ka pa gen yon repons pafè, men nou pral gen yon bon repons sou kote panèl solè yo se. "Imagine nou gen yon itilizatè ki vle jwenn panèl solè nan Grèk, epi nou te fè embeddings pou tout peyi Grèk. Lè sa a, li nan literalman milisekond yo konnen; nou ka pa gen yon repons pafè, men nou pral gen yon bon repons sou kote panèl solè yo se. Lè sa a, si yon lòt moun vini ak vle jwenn yon bagay lòt, tankou boat oswa konstriksyon, menm embeddings yo itilize pou operasyon sa a nouvo. Sa vle di ou sèlman bezwen kreye yo yon fwa. Sa a se pouvwa a nan embeddings. Li se universal pre-compute, pi fò nan fason pou pifò nan repons yo. " Lè sa a, si yon lòt moun vini ak vle jwenn yon bagay lòt, tankou boat oswa konstriksyon, menm embeddings yo itilize pou operasyon sa a nouvo. Sa vle di ou sèlman bezwen kreye yo yon fwa. Sa a se pouvwa a nan embeddings. Li se universal pre-compute, pi fò nan fason pou pifò nan repons yo. " Clay meets Plato Pwodwi pou Telefòn Universalite nan embeddings se yon tèm ki te jwi anpil enterè nan kominote a AI. Sa a enterè te peye dènyèman ak , sa vle di yon estrikti semantik inivèsèl prezante pa Platonik Reprezantasyon Hipòtesi. piblisite nan yon apwòch san swen ki tradui nenpòt entegre nan ak soti nan yon reprezantan latent inivèsèl nan se ke tout modèl imaj ki gen gwosè ase gen menm reprezantasyon latent. Yon gwoup rechèchè soti nan Cornell University te pwopoze yon vèsyon pi fò, konstriktif nan hypothesis sa a pou modèl tèks. Nan paralèl, ekip la Clay se eksperyans ak yon kantite bagay, ki gen ladan tèks. Hypothesis Platonik Reprezantasyon Kòm nan presizyon, Sánchez te pataje kèk konklizyon empirik, note ke ekip la te chwazi yo konsantre sou lòt zòn olye pou referans yo. Enbalaj clay, li te observe, pèfòmans pi bon lè objè a yo identifye se objè a domine sou imaj la. A presizyon tou depann sou gwosè a nan objè a, ki se poukisa enbalaj nan gwosè diferan yo te kreye. Anplis de sa, entegre yo bezwen periodikman regenere yo reflete chanjman ki rive sou sifas la nan peyi a - bagay tankou katastrof natirèl oswa travay konstriksyon. Men, modèl la menm pa bezwen yo retabli, akòz yon pwopriyete inik ki Sanchez revele peyi a gen: . Ergoterapi Sistèm ergodik se sistèm nan ki tout eta posib yo prezan nan nenpòt ki moman. Pou egzanp, si akòz chanjman iklim nan peyi Espay, kèk pati nan Madrid vin desann, sa a se yon bagay ki modèl la pa janm te wè anvan. Men, li pa pral premye imaj desann ki modèl la rive ak, se konsa li pral toujou kapab travay ak li. Join the Orchestrate tout bagay Newsletter Istwa sou ki jan teknoloji, done, AI ak medya flux nan youn nan lòt fòme lavi nou yo. Analiz, eseye, entèvyou ak nouvèl. Mid-to-long fòm, 1-3 fwa pou chak mwa. Abònman isit la 👉 https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/ Join the Orchestrate tout bagay Newsletter Istwa sou ki jan teknoloji, done, AI ak medya flux nan youn nan lòt fòme lavi nou yo. Analiz, eseye, entèvyou ak nouvèl. Mid-to-long fòm, 1-3 fwa pou chak mwa. Subscribe nan isit la https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/ Multi-modality: Clay and text Multi-modalite: Clay ak tèks Men, ki sou tèks la? Sánchez te rekonèt ke yo kapab konbine pouvwa a nan modèl tèks ak pouvwa a nan modèl tèkstur pral louvri yon varyete de posiblite. Making Clay multi-modal pral pèmèt li jwenn relasyon lè l sèvi avèk semantik tèks menm jan an. Egzanp la ki Sánchez itilize isit la te kapab jwenn fòs lè yo ap chèche pou fwi. Ekip la ap travay aktivman sou sa, men Sánchez te observe ke done tèks prezante repitasyon ke done Terre pa gen, sitou ki gen rapò ak verite. Koulye a, ekip la Clay se eksperyans lè l sèvi avèk . OpenStreetMaps nan https://pod.co/orchestrate-all-the-things-podcast-connecting-the-dots-with-george-anadiotis/building-ai-for-earth-with-clay-the-intelligence-platform-transforming-geospatial-data-analysis-featuring-clay-executive-director-bruno-snchez?embedable=true Premyèman, yo sèvi ak Clay yo pwodwi yon enbalaj nan yon imaj tè. Lè sa a, yo pran menm imaj la ak sèvi ak OpenStreetMaps API a pou kesyon pou etikèt nan menm teritwa a. OpenStreetMaps reponn ak karakterizasyon tankou yon desè, yon rivyè, oswa yon aparèy, ak yon modèl tèks se itilize yo kreye yon enbalaj nan sa. Lè sa a, ekip la pran de embeddings nan kote sa a - youn soti nan Clay ak youn soti nan modèl la tèks - epi yo eseye konprann ki jan yo aliye yo. Objektif la se minimize pèdi lè yo eseye kreye youn soti nan lòt oswa jwenn yon semblan. Embeddings Clay ta dwe menm jan ak embeddings tèks echanj yo, paske yo enkode menm bagay la menm si modalitè a se diferan. AI and environmental impact AI ak Envèsyon Impact Malgre entansyon li sou transformatè, Sánchez rekonèt ke yo pa pa pa pafè. Motif prensipal la pou yo chwazi arsitektur an transformatè pou Clay te faktè a endistri a ak rechèch te mete pwa yo apre li, se konsa gen yon anpil nan resous ak ekspètiz ki ka sèvi ak. "Si mwen te chwazi soti nan zèb la ak mwen te gen finansman yo kondwi mouvman an mondyal nan AI, ka nou pa ta chwazi transformatè, men desizyon sa a se pa nan men nou," Sanchez te di. Pifò dezavantaj nan transformatè yo ki ekip la Clay te fè fas ak gen rapò ak kantite done ak òdinatè ki nesesè yo fòme modèl yo, ak sensibilite yo. Pandan ke pa gen okenn mank nan done bon jan kalite yo fòme Clay, Li pran menm plis done ak òdinatè yo pwodwi modèl fin-tune, ak rezilta yo se fragile ak sou espesyalize. òdinatè te yon pwoblèm Ekip Clay te kòmanse ak yon pwouve nan konsèp anvan anrjistreman pou antreprann fòmasyon extensive ki nesesè yo pwodwi modèl la. Jodi a, gen sèlman te gen 2 iterasyon nan modèl la Clay, ak Sánchez vle minimize kantite fòmasyon ki nesesè - se sa ki itilize nan embeddings. Akòz tan l 'nan òdinatè planèt nan Microsoft, Sánchez konnen byen ki jan ekstremman demann AI se nan tèm de elektrik, dlo, ak lòt resous. Ironi a nan eseye aplike AI pou potansyèlman diminye degradasyon anviwònman se pa pèdi sou li. Li posesyon ki se yon pati nan rezon ki Clay se yon non-profit. Ide a, li di, se ke Clay se louvri pa sèlman nan pwodiksyon li yo, men tou sou fason ekip la travay ak apwòch la. Ki sa yo yo espere reyalize se ede diminye nan mond lan nan de fason. Pwodiksyon anviwònman nan AI Premye, pa fè moun ki gen objektif menm jan an konbine fòs yo, se konsa nan plas nan fòmasyon plis modèl, yo koule alantou Clay. Dezyèm, pa pataje ak moun ki toujou vle fè pwòp yo, pou yo ka aprann soti nan eksperyans Clay la ak diminye kantite fòmasyon nesesè. Working with Clay and LGND Kòmanse ak Clay ak LGND Tout sa a se byen ak byen, men ki se reyèlman fason ki pi bon pou moun yo sèvi ak Clay? Sa a se yon kesyon louvri. Anplis de embeddings ak fe-tuning, ki mande pou eksperyans ak resous, ak tèks, ki se eksperyans, ekip la Clay te tou devlope yon aplikasyon rele . Clay eksplore "Li se yon kat. Ou klike sou kote, epi li pèmèt ou jwenn bagay. Men, Lè sa a, nou mande nou - se li yon kat paske li merite yo dwe yon kat oswa paske mwen te itilize nan kat paske mwen se nan endistri sa a ak mwen vle yon kat? "Li se yon kat. Ou klike sou kote, epi li pèmèt ou jwenn bagay. Men, Lè sa a, nou mande nou - se li yon kat paske li merite yo dwe yon kat oswa paske mwen te itilize nan kat paske mwen se nan endistri sa a ak mwen vle yon kat? Nou panse ke ka fason yo maksimize utilite a nan Clay se pa yo dwe yon kat. Petèt li se tou yon entèfas chat. Petèt li se jis yon kolòn sou yon tablo. Nou pa konnen, "Sancès te di. Nou panse ke ka fason yo maksimize utilite a nan Clay se pa yo dwe yon kat. Petèt li se tou yon entèfas chat. Petèt li se jis yon kolòn sou yon tablo. Nou pa konnen, "Sancès te di. Sánchez se tou eksplore fason yo bay sèvis ak devlope pwodwi alantou Clay nan , yon start-up ki li te fonde nan 2024. Li se jou yo anvan, men konpayi an deja gen kèk kliyan peye ak kounye a se fèmen yon ronde sèk nan finansman. Pwodwi "Pi enpòtan se ke nou gen yon lide klè ki sa sèvis la se, men nan menm tan an, nou se sante nan pa konnen sa pwodwi a se. Paske si sa nou pale isit la se chanje endistri a geospatial, panse sou li [ta dwe] konplètman diferan. "Pi enpòtan se ke nou gen yon lide klè ki sa sèvis la se, men nan menm tan an, nou se sante nan pa konnen sa pwodwi a se. Paske si sa nou pale isit la se chanje endistri a geospatial, panse sou li [ta dwe] konplètman diferan. Nou pa se yon konpayi geospatial. Nou se yon konpayi repons. Ak pi gwo risk nou an se vin yon konpayi geospatial ki gen anpil nan yo," Sanchez te note. Nou pa se yon konpayi geospatial. Nou se yon konpayi repons. Ak pi gwo risk nou an se vin yon konpayi geospatial ki gen anpil nan yo," Sanchez te note. Going all in Tout nan Opennite se yon tèm kle pou Clay ak LGND, kòm Sánchez se louvri tou de pou patnèz ak pou sèvi ak modèl lòt pase Clay. Nan paralèl, ak finansman nouvo yo te asire pou non-profit, devlopman nan Clay pral kontinye. "Mwen kapab valè a se ke li se sous louvri. Men, valè a se ke li se offline. Nou ap parye ke gen yon bagay gen. Menm se pa gen. Menm nou se erè ak menm se pa. "Mwen kapab valè a se ke li se sous louvri. Men, valè a se ke li se offline. Nou ap parye ke gen yon bagay gen. Menm se pa gen. Menm nou se erè ak menm se pa. Men, si li se, oswa nan kantite ke li se, mwen kwè ke li pral louvri anpil valè nan anpil pwoblèm, sosyal, ekonomik, anviwònman, ak tou envestisman. Men, si li se, oswa nan kantite ke li se, mwen kwè ke li pral louvri anpil valè nan anpil pwoblèm, sosyal, ekonomik, anviwònman, ak tou envestisman. Li gen anpil bagay ki vle di sou sa, ke mwen ap ale nan tout nan. Epi mwen ta pi bon yo te fè erè men te eseye li, pase t 'attend pou wè yon teknoloji ki ba m 'te yon sèten pousantaj ke li pral travay", se sa ki Sánchez rezime filozofi a anba Clay la. Li gen anpil bagay ki vle di sou sa, ke mwen ap ale nan tout nan. Epi mwen ta pi bon yo te fè erè men te eseye li, pase t 'attend pou wè yon teknoloji ki ba m 'te yon sèten pousantaj ke li pral travay", se sa ki Sánchez rezime filozofi a anba Clay la. Join the Orchestrate tout bagay Newsletter Istwa sou ki jan teknoloji, done, AI ak medya flux nan youn nan lòt fòme lavi nou yo. Analiz, eseye, entèvyou ak nouvèl. Mid-to-long fòm, 1-3 fwa pou chak mwa. Abònman isit la 👉 https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/ Join the Orchestrate tout bagay Newsletter Istwa sou ki jan teknoloji, done, AI ak medya flux nan youn nan lòt fòme lavi nou yo. Analiz, eseye, entèvyou ak nouvèl. Mid-to-long fòm, 1-3 fwa pou chak mwa. Subscribe nan isit la https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/
