Как Vector Search разбива кода на Contract Analytics

Поглед към архитектурата на приложението на wealthAPI, доставчик на анализ на данни за финансовия сектор, който създаде много точен начин за идентифициране на повтарящи се плащания.

В wealthAPI винаги сме вярвали, че финансовите анализи трябва да бъдат по-интелигентни и по-бързи, особено когато идентифицират повтарящи се плащания, скрити в данни за транзакции. Създадохме решение, което трансформира необработените данни за транзакциите в реални прозрения чрез използване на AI. Нашата система използва векторни вграждания, за да групира транзакциите в модели на повтарящи се плащания, като гарантира точност дори когато записите на повтарящи се плащания съдържат фини разлики във формулировката.

От абонаменти до застрахователни плащания, нашата платформа предоставя надеждни резултати, като същевременно поддържа скоростта и мащабируемостта, от които се нуждаят финансовите компании.

Тук ще покажем как проектирахме нашата архитектура за решаване на тези предизвикателства, от поглъщане на данни и векторни вграждания до групиране на транзакции в значими групи. Също така ще проучим как изкуственият интелект захранва разширени функции като семантично търсене, което позволява на потребителите да намират и анализират финансови данни без усилие.

Какво прави приложението

wealthAPI се справя с общ, но предизвикателен проблем за финансовите компании: идентифициране на повтарящи се плащания, като абонаменти, в историята на банковите транзакции. Традиционните методи се борят с мащабирането и често разчитат на точни съвпадения, като пропускат фините разлики (напр. „Spotify“ срещу „Spotify AB“).

wealthAPI се справя с този проблем с подход, управляван от AI, който осигурява точност и бързина. В основата на това решение е DataStax Astra DB , платформа за база данни, специално създадена за модерни, мащабируеми и интегрирани с AI работни процеси.

Архитектура

Системата на wealthAPI взема необработени банкови транзакции, обработва ги във вграждания и ги групира в повтарящи се модели на плащане – всичко това се захранва от възможностите за търсене на векторно сходство на Astra DB. Архитектурата гарантира мащабируемост и отзивчивост на всеки етап, дори при големи обеми данни.

Ето опростен ход на процеса:

1. Поглъщане на данни – Когато се получат банкови транзакции, бекендът на wealthAPI ги публикува в опашка от съобщения за асинхронна обработка.

   
   

2. Създаване на вграждане – Всяка транзакция (напр. „Spotify, -10€, 22.10.24“) се трансформира в цифров вектор (напр. [0.12, 0.65, 0.78, ..., 0.23]) с помощта на функцията за векторизиране на Astra DB.

   
   

3. Векторно съхранение и търсене в Astra DB – Вгражданията се съхраняват в Astra DB, където светкавично бързо търсене на векторно сходство позволява на системата да намира и групира подобни транзакции.

   
   

4. Анализ на редовността – Клъстерите се анализират, за да се идентифицират повтарящи се плащания, като се категоризират като договори като „Spotify – музикална услуга – месечно“ или „Здравно осигуряване – Здраве – годишно“.

Astra DB гарантира, че целият процес е мащабируем и отзивчив дори при големи обеми данни. Процесът също така се придържа към строги мерки за сигурност на данните, за да се гарантира, че крайните потребители и техните транзакции остават анонимни и защитени от външен достъп.

Техническо изпълнение

Групиране на транзакции в договори

Групирането на транзакции винаги е било основно предизвикателство. Предишните инструменти зависеха от точни съвпадения (напр. име на доставчик или сума на плащане), които често не успяваха да уловят вариации и бяха бавни за мащабиране.

В wealthAPI се опитахме да търсим модели сред милиони транзакции с традиционни бази данни в миналото, което беше едновременно бавно и податливо на грешки. Дори малки вариации в детайлите на транзакциите нарушават логиката на групиране.

Тъй като използваме Astra DB, можем да съхраняваме вграждания и ефективно да търсим подобни транзакции, дори с незначителни вариации в детайлите.

Ето един пример: Плащане с етикет „Spotify AB“ за €10 за един ден и „Spotify“ за €10 на следващия е правилно групирано като едно и също повтарящо се плащане.

Работа с големи обеми данни

С хиляди транзакции, обработвани ежедневно, wealthAPI изисква база данни, която може да се мащабира безпроблемно, като същевременно поддържа скорост и точност.

Основата на Astra DB е Apache Cassandra, така че е създадена за мащабируемост. Той също така се интегрира с работни потоци на AI, позволявайки на wealthAPI да поддържа бързи заявки, без да прави компромис с прецизността.

Търсачка на транзакции

Тъй като вгражданията улавят основното значение на транзакциите, wealthAPI може също да приложи функция за търсене. Потребителите могат да въведат ключова дума като „здраве“, за да извлекат всички транзакции, свързани със здравето, без да разчитат на предварително зададени тагове или категории.

Системата генерира вграждане от потребителската заявка и изпълнява просто търсене по подобие с помощта на Astra DB; способността му за векторно търсене прави този вид семантично търсене бързо и точно.

Потребител, който напише „здраве“, например, ще види всички плащания за свързани със здравето услуги, като застраховка или членство във фитнес зала, дори ако имената на доставчиците се различават.

Завършване

Използването на Astra DB от wealthAPI демонстрира как усъвършенстваната технология за бази данни може да стимулира иновациите във финансовия анализ. От прецизно групиране на транзакции до активиране на авангардна семантична търсачка, векторното търсене и скалируемостта на Astra DB позволяват на wealthAPI да предоставя по-бързи и по-интелигентни решения на своите клиенти.

Чрез интегриране на AI работни потоци директно в архитектурата на Astra DB, wealthAPI подобри обработката на финансови данни и въведе ценна нова възможност за анализ на договори.

От Belkacem Berchiche, инженер по машинно обучение, wealthAPI, и Дитер Флик, инженер по решения, DataStax

Научете повече за Астра ДБ и wealthAPI .