Kaip vektorinė paieška nulaužia sutarčių analizės kodą

Žvilgsnis į „wealthAPI“ – finansų sektoriaus duomenų analizės teikėjo, sukūrusio itin tikslų būdą identifikuoti pasikartojančius mokėjimų įrašus – taikomąją architektūrą.

„ wealthAPI “ visada tikėjome, kad finansų analizė turėtų būti išmanesnė ir greitesnė, ypač kai nustatomi pasikartojantys mokėjimai, paslėpti operacijų duomenyse. Sukūrėme sprendimą, kuris neapdorotus operacijų duomenis paverčia veiksmingomis įžvalgomis, panaudojant AI. Mūsų sistema naudoja vektorinius įterpimus, kad sugrupuotų operacijas į pasikartojančius mokėjimo būdus, užtikrinant tikslumą net tada, kai pasikartojančių mokėjimų įrašuose yra subtilių formuluočių skirtumų.

Nuo prenumeratos iki draudimo mokėjimų, mūsų platforma užtikrina patikimus rezultatus, išlaikant greitį ir mastelį, kurio reikia finansinėms įmonėms.

Čia parodysime, kaip sukūrėme savo architektūrą, kad išspręstume šiuos iššūkius, pradedant duomenų gavimu ir vektoriniu įterpimu, baigiant operacijų klasterizavimu į reikšmingas grupes. Taip pat išnagrinėsime, kaip dirbtinis intelektas suteikia pažangioms funkcijoms, pvz., semantinės paieškos, leidžia vartotojams lengvai rasti ir analizuoti finansinius duomenis.

Ką daro programa

„wealthAPI“ sprendžia įprastą, tačiau sudėtingą finansų kompanijoms problemą: banko operacijų istorijose nustato pasikartojančius mokėjimus, pvz., abonementus. Tradiciniai metodai kovojo su masteliu ir dažnai rėmėsi tiksliomis atitiktimis, trūko subtilių skirtumų (pvz., „Spotify“ ir „Spotify AB“).

„wealthAPI“ sprendžia šią problemą naudodama AI pagrįstą metodą, kuris užtikrina tikslumą ir greitį. Šio sprendimo esmė yra „DataStax Astra DB“ – duomenų bazės platforma, specialiai sukurta modernioms, keičiamoms ir į dirbtinį intelektą integruotoms darbo eigoms.

Architektūra

„wealthAPI“ sistema paima neapdorotas banko operacijas, apdoroja jas į įterpimus ir sugrupuoja į pasikartojančius mokėjimo būdus – visa tai palaiko „Astra DB“ vektorinio panašumo paieškos galimybės. Architektūra užtikrina mastelį ir greitą reagavimą kiekviename etape, net ir esant dideliam duomenų kiekiui.

Štai supaprastinta proceso eiga:

1. Duomenų įtraukimas – kai gaunamos banko operacijos, „wealthAPI“ užpakalinė programa jas paskelbia pranešimų eilėje, kad būtų galima apdoroti asinchroniškai.

   
   

2. Įterpimo kūrimas – kiekviena operacija (pvz., „Spotify, -10 €, 22.10.24“) paverčiama skaitiniu vektoriumi (pvz., [0,12, 0,65, 0,78, ..., 0,23]), naudojant „Astra DB“ vektorizavimo funkciją.

   
   

3. Vektorių saugykla ir paieška Astra DB – įterpimai saugomi Astra DB, kur žaibiška vektorių panašumo paieška leidžia sistemai rasti ir sugrupuoti panašias operacijas.

   
   

4. Reguliarumo analizė – klasteriai analizuojami siekiant nustatyti pasikartojančius mokėjimus, suskirstant juos į sutartis, pvz., „Spotify – muzikos paslauga – kas mėnesį“ arba „Sveikatos draudimas – Sveikata – kasmet“.

„Astra DB“ užtikrina, kad visas procesas būtų keičiamas ir greitai reaguoja net ir esant dideliam duomenų kiekiui. Procese taip pat laikomasi griežtų duomenų saugumo priemonių, užtikrinančių, kad galutiniai vartotojai ir jų operacijos išliktų anoniminės ir apsaugotos nuo išorinės prieigos.

Techninis įgyvendinimas

Sandorių grupavimas į sutartis

Sandorių grupavimas visada buvo pagrindinis iššūkis. Ankstesni įrankiai priklausė nuo tikslių atitikčių (pvz., pardavėjo pavadinimo arba mokėjimo sumos), kurios dažnai nesugebėjo užfiksuoti variantų ir buvo lėtai keičiamos.

WealthAPI bandėme ieškoti modelių tarp milijonų operacijų su tradicinėmis duomenų bazėmis praeityje, o tai buvo lėta ir linkusi į klaidas. Net nedideli sandorių detalių skirtumai sulaužė grupavimo logiką.

Naudojame Astra DB, todėl galime saugoti įterpimus ir efektyviai ieškoti panašių operacijų, net ir su nedideliais detalių skirtumais.

Štai pavyzdys: mokėjimas, pažymėtas „Spotify AB“ už 10 € vieną dieną ir „Spotify“ už 10 € kitą dieną, yra teisingai sugrupuotas kaip tas pats pasikartojantis mokėjimas.

Didelių duomenų kiekių tvarkymas

Kasdien apdorojama tūkstančiai operacijų, todėl wealthAPI reikėjo duomenų bazės, kuri galėtų sklandžiai keistis, išlaikant greitį ir tikslumą.

„Astra DB“ pagrindas yra „Apache Cassandra“, todėl jis sukurtas siekiant mastelio. Jis taip pat integruojamas su AI darbo eigomis, todėl „wealthAPI“ gali palaikyti greitas užklausas neprarandant tikslumo.

Sandorių paieškos sistema

Kadangi įterpimai užfiksuoja pagrindinę operacijų reikšmę, wealthAPI taip pat gali įdiegti paieškos funkciją. Naudotojai gali įvesti raktinį žodį, pvz., „sveikata“, kad gautų visas su sveikata susijusias operacijas, nepasitikėdami iš anksto nustatytomis žymomis ar kategorijomis.

Sistema generuoja įterpimą iš vartotojo užklausos ir vykdo paprastą panašumo paiešką naudodama Astra DB; Dėl vektorinės paieškos galimybės tokia semantinė paieška yra greita ir tiksli.

Pavyzdžiui, vartotojas, įvedęs „sveikata“, matys visus mokėjimus už su sveikata susijusias paslaugas, pvz., draudimą ar sporto salės narystes, net jei tiekėjų pavadinimai skiriasi.

Apvyniojimas

„wealthAPI“ naudojant „Astra DB“ parodo, kaip pažangi duomenų bazių technologija gali paskatinti finansų analizės naujoves. Nuo tikslaus operacijų grupavimo iki pažangiausio semantinio paieškos variklio įgalinimo, Astra DB vektorinė paieška ir mastelio keitimas įgalina wealthAPI teikti greitesnius ir išmanesnius sprendimus savo klientams.

Integruodama dirbtinio intelekto darbo eigas tiesiai į Astra DB architektūrą, wealthAPI pagerino finansinių duomenų apdorojimą ir pristatė naują vertingą sutarčių analizės galimybę.

Belkacemas Berchiche, mašininio mokymosi inžinierius, wealthAPI ir Dieteris Flickas, sprendimų inžinierius, DataStax

Sužinokite daugiau apie Astra DB ir WealthAPI .