Com la cerca vectorial trenca el codi a l'anàlisi de contractes

Una ullada a l'arquitectura d'aplicacions de wealthAPI, un proveïdor d'anàlisi de dades per al sector financer que ha creat una manera molt precisa d'identificar entrades de pagament recurrents.

A wealthAPI , sempre hem cregut que l'anàlisi financera hauria de ser més intel·ligent i ràpida, especialment quan s'identifiquen pagaments recurrents ocults a les dades de transaccions. Hem creat una solució que transforma les dades de transaccions en brut en informació útil aprofitant la IA. El nostre sistema utilitza incrustacions vectorials per agrupar les transaccions en patrons de pagament recurrents, garantint la precisió fins i tot quan les entrades de pagaments recurrents contenen diferències subtils de redacció.

Des de les subscripcions fins als pagaments d'assegurances, la nostra plataforma ofereix resultats fiables alhora que manté la velocitat i l'escalabilitat que necessiten les empreses financeres.

Aquí, mostrarem com hem dissenyat la nostra arquitectura per resoldre aquests reptes, des de la ingestió de dades i les incrustacions de vectors fins a agrupar transaccions en grups significatius. També explorarem com la IA impulsa funcions avançades com la cerca semàntica, que permet als usuaris trobar i analitzar dades financeres sense esforç.

Què fa l'aplicació

wealthAPI aborda un problema comú però desafiant per a les empreses financeres: identificar pagaments recurrents, com ara subscripcions, en els historials de transaccions bancàries. Els mètodes tradicionals tenien problemes amb l'escala i sovint es basaven en coincidències exactes, mancant diferències subtils (p. ex., "Spotify" vs. "Spotify AB").

wealthAPI aborda aquest problema amb un enfocament basat en IA que ofereix precisió i velocitat. Al cor d'aquesta solució hi ha DataStax Astra DB , una plataforma de bases de dades creada específicament per a fluxos de treball moderns, escalables i integrats amb IA.

Arquitectura

El sistema de wealthAPI pren transaccions bancàries en brut, les processa en incrustacions i les agrupa en patrons de pagament recurrents, tot això impulsat per les capacitats de cerca de similitud vectorial d'Astra DB. L'arquitectura garanteix l'escalabilitat i la capacitat de resposta en cada etapa, fins i tot amb grans volums de dades.

Aquí teniu un flux simplificat del procés:

1. Ingesta de dades: quan es reben transaccions bancàries, el backend de wealthAPI les publica en una cua de missatges per al processament asíncron.

   
   

2. Creació d'incrustacions: cada transacció (per exemple, “Spotify, -10€, 22.10.24”) es transforma en un vector numèric (per exemple, [0,12, 0,65, 0,78, ..., 0,23]) mitjançant la funció de vectorització d'Astra DB.

   
   

3. Emmagatzematge de vectors i cerca a Astra DB: les incrustacions s'emmagatzemen a Astra DB, on les cerques de similitud de vectors ràpides com a llamp permeten al sistema trobar i agrupar transaccions similars.

   
   

4. Anàlisi de regularitat - Els clústers s'analitzen per identificar pagaments recurrents, categoritzant-los com a contractes com "Spotify - servei de música - mensual" o "Assegurança mèdica - Salut - anual".

Astra DB garanteix que tot el procés sigui escalable i sensible, fins i tot amb grans volums de dades. El procés també s'adhereix a mesures estrictes de seguretat de dades per garantir que els usuaris finals i les seves transaccions romanguin anònims i protegits de l'accés extern.

Implementació tècnica

Agrupació de transaccions en contractes

Agrupar transaccions sempre ha estat un repte fonamental. Les eines anteriors depenien de coincidències exactes (p. ex., el nom del venedor o l'import del pagament), que sovint no capturaven les variacions i s'escalaven lentament.

A wealthAPI, vam intentar cercar patrons entre milions de transaccions amb bases de dades tradicionals en el passat, que era alhora lenta i propensa a errors. Fins i tot petites variacions en els detalls de la transacció van trencar la lògica de agrupació.

Com que estem utilitzant Astra DB, podem emmagatzemar incrustacions i cercar de manera eficient transaccions similars, fins i tot amb petites variacions en els detalls.

Aquí teniu un exemple: un pagament amb l'etiqueta "Spotify AB" per 10 € un dia i "Spotify" per 10 € el següent s'agrupa correctament com el mateix pagament recurrent.

Tractament de grans volums de dades

Amb milers de transaccions processades diàriament, wealthAPI necessitava una base de dades que pogués escalar-se sense problemes, mantenint la velocitat i la precisió.

La base d'Astra DB és Apache Cassandra, de manera que està dissenyada per a l'escalabilitat. També s'integra amb els fluxos de treball d'IA, la qual cosa permet a wealthAPI mantenir consultes ràpides sense comprometre la precisió.

Motor de cerca de transaccions

Com que les incrustacions capturen el significat subjacent de les transaccions, wealthAPI també pot implementar una funció de cerca. Els usuaris poden escriure una paraula clau com "salut" per recuperar totes les transaccions relacionades amb la salut sense dependre d'etiquetes o categories predefinides.

El sistema genera una incrustació a partir de la consulta de l'usuari i executa una cerca de semblança senzilla mitjançant Astra DB; la seva capacitat de cerca vectorial fa que aquest tipus de cerca semàntica sigui ràpida i precisa.

Un usuari que escrigui "salut", per exemple, veurà tots els pagaments per serveis relacionats amb la salut, com ara assegurances o abonaments a gimnàs, fins i tot si els noms dels proveïdors són diferents.

Embolcallant

L'ús d'Astra DB per part de wealthAPI demostra com la tecnologia de bases de dades avançada pot impulsar la innovació en l'anàlisi financera. Des de l'agrupació precisa de transaccions fins a l'habilitació d'un motor de cerca semàntic d'avantguarda, la cerca vectorial i l'escalabilitat d'Astra DB permeten a wealthAPI oferir solucions més ràpides i intel·ligents als seus clients.

En integrar els fluxos de treball d'IA directament a l'arquitectura d'Astra DB, wealthAPI ha millorat el processament de dades financeres i ha introduït una nova capacitat valuosa per a l'anàlisi de contractes.

Per Belkacem Berchiche, enginyer d'aprenentatge automàtic, wealthAPI i Dieter Flick, enginyer de solucions, DataStax

Més informació sobre Astra DB i wealthAPI .