Come la ricerca vettoriale decifra il codice dell'analisi contrattuale

Uno sguardo all'architettura applicativa di wealthAPI, un fornitore di analisi dati per il settore finanziario che ha creato un metodo estremamente accurato per identificare le voci di pagamento ricorrenti.

In wealthAPI , abbiamo sempre creduto che l'analisi finanziaria dovesse essere più intelligente e veloce, soprattutto quando si identificano pagamenti ricorrenti nascosti nei dati delle transazioni. Abbiamo creato una soluzione che trasforma i dati grezzi delle transazioni in informazioni utili sfruttando l'intelligenza artificiale. Il nostro sistema utilizza incorporamenti vettoriali per raggruppare le transazioni in modelli di pagamento ricorrenti, garantendo l'accuratezza anche quando le voci di pagamento ricorrenti contengono sottili differenze di formulazione.

Dagli abbonamenti ai pagamenti assicurativi, la nostra piattaforma garantisce risultati affidabili, mantenendo al contempo la velocità e la scalabilità di cui le aziende finanziarie hanno bisogno.

Qui mostreremo come abbiamo progettato la nostra architettura per risolvere queste sfide, dall'ingestione dei dati e dagli incorporamenti vettoriali al clustering delle transazioni in gruppi significativi. Esploreremo anche come l'intelligenza artificiale alimenta funzionalità avanzate come la ricerca semantica, consentendo agli utenti di trovare e analizzare i dati finanziari senza sforzo.

Cosa fa l'applicazione

wealthAPI affronta un problema comune ma impegnativo per le società finanziarie: identificare i pagamenti ricorrenti, come gli abbonamenti, nelle cronologie delle transazioni bancarie. I metodi tradizionali hanno avuto difficoltà con la scalabilità e spesso si basavano su corrispondenze esatte, perdendo sottili differenze (ad esempio, "Spotify" vs. "Spotify AB").

wealthAPI affronta questo problema con un approccio basato sull'intelligenza artificiale che offre accuratezza e velocità. Al centro di questa soluzione c'è DataStax Astra DB , una piattaforma di database creata appositamente per flussi di lavoro moderni, scalabili e integrati con l'intelligenza artificiale.

Architettura

Il sistema di wealthAPI prende le transazioni bancarie grezze, le elabora in incorporamenti e le raggruppa in modelli di pagamento ricorrenti, il tutto alimentato dalle capacità di ricerca di similarità vettoriale di Astra DB. L'architettura assicura scalabilità e reattività in ogni fase, anche con volumi di dati elevati.

Ecco uno schema semplificato del processo:

1. Inserimento dati: quando vengono ricevute transazioni bancarie, il backend wealthAPI le pubblica su una coda di messaggi per l'elaborazione asincrona.

   
   

2. Creazione di incorporamento: ogni transazione (ad esempio, "Spotify, -10€, 22.10.24") viene trasformata in un vettore numerico (ad esempio, [0,12, 0,65, 0,78, ..., 0,23]) utilizzando la funzione di vettorizzazione di Astra DB.

   
   

3. Archiviazione e ricerca vettoriale in Astra DB: gli embedding vengono archiviati in Astra DB, dove ricerche di similarità vettoriale estremamente rapide consentono al sistema di trovare e raggruppare transazioni simili.

   
   

4. Analisi della regolarità - I cluster vengono analizzati per identificare i pagamenti ricorrenti, classificandoli come contratti come "Spotify - servizio musicale - mensile" o "Assicurazione sanitaria - Salute - annuale".

Astra DB assicura che l'intero processo sia scalabile e reattivo, anche con grandi volumi di dati. Il processo aderisce anche a rigide misure di sicurezza dei dati per garantire che gli utenti finali e le loro transazioni rimangano anonimi e protetti dall'accesso esterno.

Implementazione tecnica

Raggruppamento delle transazioni in contratti

Il raggruppamento delle transazioni è sempre stata una sfida fondamentale. Gli strumenti precedenti dipendevano da corrispondenze esatte (ad esempio, nome del fornitore o importo del pagamento), che spesso non riuscivano a catturare le variazioni ed erano lenti da scalare.

In wealthAPI, abbiamo provato a cercare pattern tra milioni di transazioni con database tradizionali in passato, il che era lento e soggetto a errori. Anche piccole variazioni nei dettagli delle transazioni interrompevano la logica di clustering.

Poiché utilizziamo Astra DB, possiamo memorizzare gli incorporamenti e cercare in modo efficiente transazioni simili, anche con piccole variazioni nei dettagli.

Ecco un esempio: un pagamento etichettato "Spotify AB" per 10 € un giorno e "Spotify" per 10 € il giorno successivo vengono correttamente raggruppati come lo stesso pagamento ricorrente.

Gestione di grandi volumi di dati

Con migliaia di transazioni elaborate ogni giorno, WealthAPI necessitava di un database che potesse essere scalabile senza problemi, mantenendo al contempo velocità e precisione.

La base di Astra DB è Apache Cassandra, quindi è costruito per la scalabilità. Si integra anche con i flussi di lavoro AI, consentendo a wealthAPI di mantenere query veloci senza compromettere la precisione.

Motore di ricerca delle transazioni

Poiché gli embedding catturano il significato sottostante delle transazioni, wealthAPI può anche implementare una funzione di ricerca. Gli utenti possono digitare una parola chiave come "salute" per recuperare tutte le transazioni correlate alla salute senza basarsi su tag o categorie predefiniti.

Il sistema genera un incorporamento dalla query dell'utente ed esegue una semplice ricerca di similarità utilizzando Astra DB; la sua capacità di ricerca vettoriale rende questo tipo di ricerca semantica veloce e accurata.

Ad esempio, un utente che digita "salute" visualizzerà tutti i pagamenti per servizi correlati alla salute, come assicurazioni o abbonamenti in palestra, anche se i nomi dei fornitori sono diversi.

Conclusione

L'uso di Astra DB da parte di wealthAPI dimostra come la tecnologia avanzata dei database possa guidare l'innovazione nell'analisi finanziaria. Dal clustering preciso delle transazioni all'abilitazione di un motore di ricerca semantico all'avanguardia, la ricerca vettoriale e la scalabilità di Astra DB consentono a wealthAPI di fornire soluzioni più rapide e intelligenti ai propri clienti.

Integrando i flussi di lavoro di intelligenza artificiale direttamente nell'architettura di Astra DB, wealthAPI ha migliorato l'elaborazione dei dati finanziari e introdotto una nuova preziosa funzionalità per l'analisi dei contratti.

Di Belkacem Berchiche, ingegnere di apprendimento automatico, wealthAPI, e Dieter Flick, ingegnere di soluzioni, DataStax

Scopri di più su Astra DB E ricchezzaAPI .