Kuinka vektorihaku murtaa koodin sopimusanalyysissä

Katsaus wealthAPI:n sovellusarkkitehtuuriin. Se on finanssisektorin data-analytiikkatoimittaja, joka on luonut erittäin tarkan tavan tunnistaa toistuvia maksuja.

WealthAPI :lla olemme aina uskoneet, että talousanalytiikan pitäisi olla älykkäämpää ja nopeampaa, varsinkin kun tunnistetaan tapahtumatietoihin piilotettuja toistuvia maksuja. Olemme rakentaneet ratkaisun, joka muuntaa raa'at tapahtumatiedot käyttökelpoisiksi oivalluksiksi tekoälyä hyödyntäen. Järjestelmämme ryhmittelee tapahtumat toistuvien maksutapojen avulla vektoriupotusten avulla, mikä varmistaa tarkkuuden myös silloin, kun toistuvat maksumerkinnät sisältävät hienoisia sanamuotoeroja.

Alustamme tarjoaa luotettavia tuloksia tilauksista vakuutusmaksuihin ja säilyttää samalla rahoitusyhtiöiden tarvitseman nopeuden ja skaalautuvuuden.

Tässä näytämme, kuinka suunnittelimme arkkitehtuurimme ratkaisemaan nämä haasteet tiedon keräämisestä ja vektorien upottamisesta tapahtumien klusterointiin merkityksellisiin ryhmiin. Tutkimme myös, kuinka tekoäly tukee edistyneitä ominaisuuksia, kuten semanttista hakua, jonka avulla käyttäjät voivat löytää ja analysoida taloustietoja vaivattomasti.

Mitä sovellus tekee

wealthAPI ratkaisee rahoitusyhtiöille yleisen mutta haastavan ongelman: toistuvien maksujen, kuten tilausten, tunnistamisen pankkitapahtumahistoriasta. Perinteiset menetelmät kamppailivat skaalauksen kanssa ja luottivat usein täsmällisiin vastaavuuksiin, joista puuttui hienovaraisia eroja (esim. "Spotify" vs. "Spotify AB").

wealthAPI ratkaisee tämän ongelman tekoälypohjaisella lähestymistavalla, joka tarjoaa tarkkuutta ja nopeutta. Tämän ratkaisun ytimessä on DataStax Astra DB , tietokanta-alusta, joka on suunniteltu moderniin, skaalautuviin ja tekoälyyn integroituihin työnkulkuihin.

Arkkitehtuuri

wealthAPI:n järjestelmä ottaa käsittelemättömät pankkitapahtumat, käsittelee ne upotuksiksi ja ryhmittelee ne toistuviin maksumalleihin – kaikki toimii Astra DB:n vektorien samankaltaisuushakuominaisuuksilla. Arkkitehtuuri varmistaa skaalautuvuuden ja reagoivuuden jokaisessa vaiheessa, jopa suurilla tietomäärillä.

Tässä on yksinkertaistettu prosessin kulku:

1. Tietojen käsittely – Kun pankkitapahtumat vastaanotetaan, wealthAPI-taustaohjelma julkaisee ne viestijonossa asynkronista käsittelyä varten.

   
   

2. Upottaminen - Jokainen tapahtuma (esim. "Spotify, -10€, 22.10.24") muunnetaan numeeriseksi vektoriksi (esim. [0,12, 0,65, 0,78, ..., 0,23]) käyttämällä Astra DB:n vektorointiominaisuutta.

   
   

3. Vektorien tallennus ja haku Astra DB:ssä - Upotukset tallennetaan Astra DB:hen, jossa salamannopeiden vektorien samankaltaisuushakujen avulla järjestelmä voi löytää ja ryhmitellä samankaltaisia tapahtumia.

   
   

4. Säännöllisyysanalyysi - Klusterit analysoidaan toistuvien maksujen tunnistamiseksi ja luokitellaan ne sopimuksiksi, kuten "Spotify - musiikkipalvelu - kuukausittain" tai "Sairausvakuutus - Terveys - vuosittain".

Astra DB varmistaa, että koko prosessi on skaalautuva ja reagoiva, jopa suurilla tietomäärillä. Prosessi noudattaa myös tiukkoja tietoturvatoimenpiteitä sen varmistamiseksi, että loppukäyttäjät ja heidän tapahtumansa pysyvät anonyymeinä ja suojattuina ulkoisilta pääsyltä.

Tekninen toteutus

Liiketoimien klusterointi sopimuksiksi

Liiketoimien ryhmittely on aina ollut keskeinen haaste. Aiemmat työkalut riippuivat tarkasta vastaavuudesta (esim. toimittajan nimi tai maksusumma), jotka eivät usein onnistuneet kaappaamaan muunnelmia ja skaalautuivat hitaasti.

WealthAPI:lla yritimme etsiä malleja miljoonien tapahtumien joukosta perinteisten tietokantojen avulla aiemmin, mikä oli sekä hidasta että altis virheille. Pienetkin vaihtelut tapahtuman yksityiskohdissa rikkoivat klusterointilogiikan.

Koska käytämme Astra DB:tä, voimme tallentaa upotuksia ja etsiä tehokkaasti samankaltaisia tapahtumia, jopa pienillä yksityiskohdilla.

Tässä esimerkki: Maksu, jonka nimi on "Spotify AB" 10 € yhtenä päivänä ja "Spotify" 10 € seuraavana, on oikein ryhmitelty samaksi toistuvaksi maksuksi.

Suurten tietomäärien käsittely

Kun tuhansia tapahtumia käsitellään päivittäin, wealthAPI tarvitsi tietokannan, joka skaalautui saumattomasti säilyttäen samalla nopeuden ja tarkkuuden.

Astra DB:n perusta on Apache Cassandra, joten se on rakennettu skaalautuvuutta varten. Se integroituu myös tekoälytyönkulkuihin, jolloin wealthAPI pystyy ylläpitämään nopeita kyselyitä tarkkuudesta tinkimättä.

Tapahtumahakukone

Koska upotukset tallentavat tapahtumien taustalla olevan merkityksen, wealthAPI voi myös toteuttaa hakuominaisuuden. Käyttäjät voivat kirjoittaa avainsanan, kuten "terveys", hakeakseen kaikki terveyteen liittyvät tapahtumat ilman ennalta määritettyjä tunnisteita tai luokkia.

Järjestelmä luo upotuksen käyttäjän kyselystä ja suorittaa yksinkertaisen samankaltaisuushaun käyttämällä Astra DB:tä; sen vektorihakuominaisuus tekee tällaisesta semanttisesta hausta nopeaa ja tarkkaa.

Käyttäjä, joka kirjoittaa esimerkiksi sanan "terveys", näkee kaikki maksut terveyteen liittyvistä palveluista, kuten vakuutuksista tai kuntosalijäsenyydestä, vaikka toimittajien nimet poikkeaisivatkin.

Päätös

wealthAPI:n Astra DB:n käyttö osoittaa, kuinka edistynyt tietokantateknologia voi edistää innovaatioita talousanalytiikan alalla. Tarkka tapahtumaklusterointi huippuluokan semanttisen hakukoneen mahdollistamiseen, Astra DB:n vektorihaku ja skaalautuvuus antavat wealthAPI:lle mahdollisuuden toimittaa nopeampia ja älykkäämpiä ratkaisuja asiakkailleen.

Integroimalla tekoälytyönkulut suoraan Astra DB:n arkkitehtuuriin, wealthAPI on tehostanut taloustietojen käsittelyä ja tuonut käyttöön arvokkaan uuden ominaisuuden sopimusanalytiikkaan.

Belkacem Berchiche, koneoppimisinsinööri, wealthAPI, ja Dieter Flick, ratkaisuinsinööri, DataStax

Lisätietoja: Astra DB ja wealthAPI .