Cómo Vector Search descifra el código del análisis de contratos

Una mirada a la arquitectura de aplicaciones de wealthAPI, un proveedor de análisis de datos para el sector financiero que ha creado una forma altamente precisa de identificar entradas de pago recurrentes.

En wealthAPI , siempre hemos creído que los análisis financieros deben ser más inteligentes y rápidos, especialmente a la hora de identificar pagos recurrentes ocultos en los datos de transacciones. Hemos creado una solución que transforma los datos de transacciones sin procesar en información procesable aprovechando la inteligencia artificial. Nuestro sistema utiliza incrustaciones vectoriales para agrupar las transacciones en patrones de pago recurrentes, lo que garantiza la precisión incluso cuando las entradas de pago recurrente contienen diferencias sutiles en la redacción.

Desde suscripciones hasta pagos de seguros, nuestra plataforma ofrece resultados confiables manteniendo la velocidad y escalabilidad que necesitan las empresas financieras.

Aquí, mostraremos cómo diseñamos nuestra arquitectura para resolver estos desafíos, desde la ingesta de datos y la incorporación de vectores hasta la agrupación de transacciones en grupos significativos. También exploraremos cómo la IA potencia funciones avanzadas como la búsqueda semántica, que permite a los usuarios encontrar y analizar datos financieros sin esfuerzo.

Qué hace la aplicación

WealthAPI aborda un problema común, pero desafiante, para las empresas financieras: identificar pagos recurrentes, como suscripciones, en los historiales de transacciones bancarias. Los métodos tradicionales tenían dificultades para escalar y, a menudo, dependían de coincidencias exactas, sin detectar diferencias sutiles (por ejemplo, “Spotify” frente a “Spotify AB”).

WealthAPI aborda este problema con un enfoque basado en IA que ofrece precisión y velocidad. En el centro de esta solución se encuentra DataStax Astra DB , una plataforma de base de datos diseñada específicamente para flujos de trabajo modernos, escalables e integrados con IA.

Arquitectura

El sistema de wealthAPI toma transacciones bancarias sin procesar, las procesa en integraciones y las agrupa en patrones de pago recurrentes, todo ello impulsado por las capacidades de búsqueda de similitud de vectores de Astra DB. La arquitectura garantiza escalabilidad y capacidad de respuesta en cada etapa, incluso con grandes volúmenes de datos.

He aquí un flujo simplificado del proceso:

1. Ingestión de datos: cuando se reciben transacciones bancarias, el backend de WealthAPI las publica en una cola de mensajes para su procesamiento asincrónico.

   
   

2. Creación de incrustaciones: cada transacción (por ejemplo, “Spotify, -10 €, 22.10.24”) se transforma en un vector numérico (por ejemplo, [0,12, 0,65, 0,78, ..., 0,23]) utilizando la función vectorizar de Astra DB.

   
   

3. Almacenamiento y búsqueda de vectores en Astra DB: las incrustaciones se almacenan en Astra DB, donde búsquedas de similitud de vectores ultrarrápidas permiten al sistema encontrar y agrupar transacciones similares.

   
   

4. Análisis de regularidad: Se analizan los clústeres para identificar pagos recurrentes, categorizándolos como contratos como “Spotify - servicio de música - mensual” o “Seguro de salud - Salud - anual”.

Astra DB garantiza que todo el proceso sea escalable y receptivo, incluso con grandes volúmenes de datos. El proceso también cumple con estrictas medidas de seguridad de datos para garantizar que los usuarios finales y sus transacciones permanezcan anónimos y protegidos del acceso externo.

Implementación técnica

Agrupamiento de transacciones en contratos

La agrupación de transacciones siempre ha sido un desafío central. Las herramientas anteriores dependían de coincidencias exactas (por ejemplo, nombre del proveedor o monto del pago), que a menudo no lograban capturar variaciones y eran lentas de escalar.

En WealthAPI, intentamos buscar patrones entre millones de transacciones con bases de datos tradicionales en el pasado, lo que era lento y propenso a errores. Incluso pequeñas variaciones en los detalles de las transacciones rompían la lógica de agrupamiento.

Como utilizamos Astra DB, podemos almacenar incrustaciones y buscar de manera eficiente transacciones similares, incluso con pequeñas variaciones en los detalles.

He aquí un ejemplo: un pago etiquetado como “Spotify AB” por 10 € un día y “Spotify” por 10 € el día siguiente se agrupa correctamente como el mismo pago recurrente.

Manejo de grandes volúmenes de datos

Con miles de transacciones procesadas diariamente, WealthAPI necesitaba una base de datos que pudiera escalar sin problemas y al mismo tiempo mantener la velocidad y la precisión.

La base de Astra DB es Apache Cassandra, por lo que está diseñada para la escalabilidad. También se integra con flujos de trabajo de IA, lo que permite que WealthAPI mantenga consultas rápidas sin comprometer la precisión.

Motor de búsqueda de transacciones

Debido a que las incrustaciones capturan el significado subyacente de las transacciones, WealthAPI también puede implementar una función de búsqueda. Los usuarios pueden escribir una palabra clave como "salud" para recuperar todas las transacciones relacionadas con la salud sin depender de etiquetas o categorías predefinidas.

El sistema genera una incrustación a partir de la consulta del usuario y ejecuta una búsqueda de similitud simple utilizando Astra DB; su capacidad de búsqueda vectorial hace que este tipo de búsqueda semántica sea rápida y precisa.

Un usuario que escriba “salud”, por ejemplo, verá todos los pagos por servicios relacionados con la salud, como seguros o membresías de gimnasios, incluso si los nombres de los proveedores son diferentes.

Terminando

El uso de Astra DB por parte de wealthAPI demuestra cómo la tecnología avanzada de bases de datos puede impulsar la innovación en el análisis financiero. Desde la agrupación precisa de transacciones hasta la habilitación de un motor de búsqueda semántico de vanguardia, la búsqueda vectorial y la escalabilidad de Astra DB permiten a wealthAPI ofrecer soluciones más rápidas e inteligentes a sus clientes.

Al integrar flujos de trabajo de IA directamente en la arquitectura de Astra DB, WealthAPI ha mejorado el procesamiento de datos financieros e introducido una nueva y valiosa capacidad para el análisis de contratos.

Por Belkacem Berchiche, ingeniero de aprendizaje automático, wealthAPI, y Dieter Flick, ingeniero de soluciones, DataStax

Obtenga más información sobre Base de datos Astra y API de riqueza .