כיצד חיפוש וקטור מפצח את הקוד בניתוח חוזים

מבט על ארכיטקטורת האפליקציות של wealthAPI, ספקית ניתוח נתונים למגזר הפיננסי שיצרה דרך מדויקת ביותר לזהות כניסות תשלום חוזרות.

ב- wealthAPI , תמיד האמנו שניתוח פיננסי צריך להיות חכם ומהיר יותר, במיוחד בעת זיהוי תשלומים חוזרים המוסתרים בנתוני העסקאות. בנינו פתרון שהופך נתוני עסקאות גולמיים לתובנות ניתנות לפעולה על ידי מינוף AI. המערכת שלנו משתמשת בהטבעות וקטוריות כדי לקבץ עסקאות לדפוסי תשלום חוזרים, ומבטיחה דיוק גם כאשר כניסות תשלום חוזרות מכילות הבדלי ניסוח עדינים.

ממינויים ועד תשלומי ביטוח, הפלטפורמה שלנו מספקת תוצאות אמינות תוך שמירה על המהירות והמדרגיות שחברות פיננסיות זקוקות לה.

כאן, נראה כיצד תכננו את הארכיטקטורה שלנו כדי לפתור את האתגרים הללו, החל מהטמעת נתונים והטמעות וקטוריות ועד לקיבוץ עסקאות לקבוצות משמעותיות. אנו גם נחקור כיצד AI מפעיל תכונות מתקדמות כמו חיפוש סמנטי, המאפשר למשתמשים למצוא ולנתח נתונים פיננסיים ללא מאמץ.

מה האפליקציה עושה

wealthAPI מתמודד עם בעיה נפוצה אך מאתגרת עבור חברות פיננסיות: זיהוי תשלומים חוזרים, כגון מנויים, בהיסטוריה של עסקאות בבנק. שיטות מסורתיות נאבקו בשינוי קנה מידה ולעיתים קרובות הסתמכו על התאמות מדויקות, חסרות הבדלים עדינים (למשל, "Spotify" לעומת "Spotify AB").

wealthAPI מטפל בבעיה זו באמצעות גישה מונעת בינה מלאכותית המספקת דיוק ומהירות. בלב הפתרון הזה נמצא DataStax Astra DB , פלטפורמת מסד נתונים שנבנתה במיוחד עבור זרימות עבודה מודרניות, ניתנות להרחבה ומשולבות בינה מלאכותית.

אַדְרִיכָלוּת

המערכת של wealthAPI לוקחת עסקאות בנקאיות גולמיות, מעבדת אותן להטמעות ומקבצת אותן לדפוסי תשלום חוזרים - הכל מופעל על ידי יכולות החיפוש של דמיון וקטור של Astra DB. הארכיטקטורה מבטיחה מדרגיות ותגובתיות בכל שלב, גם בנפחי נתונים גבוהים.

להלן זרימה פשוטה של התהליך:

1. קליטת נתונים - כאשר מתקבלות עסקאות בנקאיות, ה-WealthAPI backend מפרסם אותן בתור הודעות לעיבוד אסינכרוני.

   
   

2. יצירת הטבעה - כל עסקה (למשל, "Spotify, -10€, 22.10.24") עוברת טרנספורמציה לוקטור מספרי (למשל, [0.12, 0.65, 0.78, ..., 0.23]) באמצעות תכונת הווקטוריזציה של Astra DB.

   
   

3. אחסון וחיפוש וקטור ב-Astra DB - ההטמעות מאוחסנות ב-Astra DB, כאשר חיפושי דמיון וקטורים מהירי בזק מאפשרים למערכת למצוא ולרכז עסקאות דומות.

   
   

4. ניתוח סדירות - האשכולות מנותחים כדי לזהות תשלומים חוזרים, ומסווגים אותם כחוזים כמו "Spotify - שירות מוזיקה - חודשי" או "ביטוח בריאות - בריאות - שנתי".

Astra DB מבטיחה שהתהליך כולו ניתן להרחבה ומגיב, אפילו עם נפחי נתונים גדולים. התהליך גם מקפיד על אמצעי אבטחת מידע מחמירים כדי להבטיח שמשתמשי הקצה והעסקאות שלהם יישארו אנונימיים ומוגנים מפני גישה חיצונית.

יישום טכני

קיבוץ עסקאות לחוזים

קיבוץ עסקאות תמיד היה אתגר מרכזי. הכלים הקודמים היו תלויים בהתאמות מדויקות (למשל, שם הספק או סכום התשלום), שלעתים קרובות לא הצליחו ללכוד וריאציות והיו איטיות בקנה מידה.

ב-wealthAPI ניסינו בעבר לחפש דפוסים בין מיליוני עסקאות עם מסדי נתונים מסורתיים, שהיה איטי ונוטה לשגיאות. אפילו שינויים קטנים בפרטי העסקה שברו את היגיון האשכולות.

מכיוון שאנו משתמשים ב-Astra DB, אנו יכולים לאחסן הטמעות ולחפש ביעילות עסקאות דומות, אפילו עם שינויים קטנים בפרטים.

הנה דוגמה: תשלום שכותרתו "Spotify AB" עבור €10 ביום אחד ו-"Spotify" עבור €10 ביום הבא מקובץ נכון כאותו תשלום חוזר.

טיפול בנפחי נתונים גדולים

עם אלפי עסקאות מעובדות מדי יום, wealthAPI דרש מסד נתונים שיכול להתאים בצורה חלקה תוך שמירה על מהירות ודיוק.

הבסיס של Astra DB הוא Apache Cassandra, ולכן הוא בנוי להרחבה. זה גם משתלב עם זרימות עבודה של AI, מה שמאפשר ל-wealthAPI לשמור על שאילתות מהירות מבלי להתפשר על הדיוק.

מנוע חיפוש עסקאות

מכיוון שהטמעות לוכדות את המשמעות הבסיסית של עסקאות, wealthAPI יכול גם ליישם תכונת חיפוש. משתמשים יכולים להקליד מילת מפתח כמו "בריאות" כדי לאחזר את כל העסקאות הקשורות לבריאות מבלי להסתמך על תגים או קטגוריות מוגדרות מראש.

המערכת מייצרת הטמעה משאילתת המשתמש ומפעילה חיפוש דמיון פשוט באמצעות Astra DB; יכולת החיפוש הווקטורית שלו הופכת סוג זה של חיפוש סמנטי למהיר ומדויק.

משתמש שיקליד "בריאות", למשל, יראה את כל התשלומים עבור שירותים הקשורים לבריאות, כמו ביטוח או מנוי לחדר כושר, גם אם שמות הספקים שונים.

מסכם

השימוש של wealthAPI ב-Astra DB מדגים כיצד טכנולוגיית מסדי נתונים מתקדמת יכולה להניע חדשנות בניתוח פיננסי. החל מאגירת עסקאות מדויקת ועד להפעלת מנוע חיפוש סמנטי חדשני, החיפוש הווקטורי וההרחבה של Astra DB מחזקים את wealthAPI לספק פתרונות מהירים וחכמים יותר ללקוחותיה.

על ידי שילוב זרימות עבודה בינה מלאכותית ישירות בארכיטקטורה של Astra DB, wealthAPI שיפרה את עיבוד הנתונים הפיננסיים והציגה יכולת חדשה וחשובה לניתוח חוזים.

מאת Belkacem Berchiche, מהנדס למידת מכונה, wealthAPI, ודיטר פליק, מהנדס פתרונות, DataStax

למידע נוסף על אסטרה DB ו WealthAPI .