TRIPADVISOR எவ்வாறு REAL-TIME PERSONALIZATION எவ்வாறு பயன்படுத்துகிறது

See the engineering behind real-time personalization at Tripadvisor’s massive (and rapidly growing) scale நீங்கள் எவ்வாறு பயணம் செய்கிறீர்கள்?Tripadvisor நீங்கள் தளத்தில் ஈடுபடும் போது இதை மதிப்பிட முயற்சிக்கிறது, பின்னர் ஒவ்வொரு கிளிக் மூலம் உங்களுக்கு மேலும் பொருத்தமான தகவல்களை வழங்குகிறது - ஒரு மில்லிசனங்களில்.This personalization is powered by advanced ML models acting on data that is stored on ScyllaDB running on AWS. ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] இது AWS re:Invent பேச்சுவார்த்தைக்கு அடிப்படையாகும்: Pre-Trip வழிமுறைகள் டாக்டர் கூறுகையில்... ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] ஒவ்வொரு நாளும், நம்முடைய அமைப்பு 25 முதல் 50 மில்லியன் பயனர்களிலிருந்து 2 பில்லியன் தேவைகளைப் பயன்படுத்தி வருகிறது. Tripadvisor இல் நீங்கள் செய்த ஒவ்வொரு கிளிக் உண்மையான நேரத்தில் செயல்படுகிறது. அதற்குப் பின்னர், நாம் தனிப்பட்ட பரிந்துரைகளை வழங்குவதற்காக இயந்திர அறிவியல் மாதிரிகளை பயன்படுத்துகிறோம் - நீங்கள் அந்த சரியான பயணத்திற்கு நெருங்கி வருகிறீர்கள். இந்த தனிப்பட்ட இயந்திரத்தின் நெஞ்சில் ScyllaDB ஐ AWS இல் இயங்குகிறது. இதன் மூலம் நாங்கள் சிறிய நிறுவனங்கள் அடைய முடியாத அளவில் மில்லிசோன் காலம் வழங்க முடியும். . 425K operations per second on ScyllaDB with P99 latencies for reads and writes around 1-3 milliseconds ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] Personal Trip திட்டம் நீங்கள் ஒரு பயணத்தை திட்டமிடுகிறீர்கள் என்று நினைக்கலாம்.Tripadvisor முகப்பு பக்கத்தில் நீங்கள் இறங்கினால், Tripadvisor நீங்கள் ஒரு foodie, ஒரு அற்புதமான, அல்லது பிளாஸ்டிக் ரசிகன் என்பதை இப்போது தெரியும் - நீங்கள் உங்கள் தனிப்பட்ட கவலைகளுடன் தனிப்பட்ட கருவிகள் பார்க்கிறீர்கள்.எப்படி அது மில்லிசனங்களில் நடக்கிறது? நீங்கள் Tripadvisor சுற்றி பாருங்கள், நாங்கள் நீங்கள் பார்க்க என்ன பயன்படுத்தி தொடங்குகிறது Machine Learning மாதிரிகளை பயன்படுத்தி, உங்கள் தற்போதைய மற்றும் முந்தைய பாருங்கள் செயல்பாடு அடிப்படையில் மதிப்பீடுகள் கணக்கிட. நாங்கள் நீங்கள் கவலைப்பட வேண்டும் என்று நினைக்கிறோம் ஹோட்டல்களை மற்றும் அனுபவங்கள் பரிந்துரைக்கிறோம். நாங்கள் உங்கள் தனிப்பட்ட விருப்பங்கள் அடிப்படையில் ஹோட்டல்களை வடிவமைக்கிறோம். நாங்கள் நீங்கள் பாருங்கள் ஹோட்டல்களுக்கு நெருக்கமான இடங்கள் பரிந்துரைக்கிறோம். இந்த அனைத்து உங்கள் தனிப்பட்ட விருப்பங்கள் மற்றும் முந்தைய பாருங்கள் செயல்பாடு அடிப்படையில் ஒப்பிட. Tripadvisor’s Model Serving Architecture படத்தின் காப்புரிமை Tripadvisor on hundreds of independently scalable microservices in Kubernetes on-prem and in Amazon EKS. Our ML Model Serving Platform is exposed through one of these microservices. இந்த கையெழுத்து சேவை வாடிக்கையாளர் சேவைகளில் இருந்து 100 க்கும் மேற்பட்ட ML மாதிரிகளை வெளியிடுகிறது – இது எங்கள் சோதனை வடிவத்தைப் பயன்படுத்தி சிறந்த மாதிரிகளை கண்டுபிடிக்க எங்களுக்கு A/B சோதனைகளை இயக்க அனுமதிக்கிறது. ML மாதிரிகள் முதலில் நமது Data Scientists மற்றும் Machine Learning Engineers மூலம் Kubeflow இல் Jupyter Notebooks பயன்படுத்தி உருவாக்கப்பட்டுள்ளன. அவர்கள் ML Flow பயன்படுத்தி நிர்வகிக்கப்பட்டுள்ளன, நாங்கள் Kubernetes இல் Seldon Core இல் அவற்றை செயல்படுத்துகிறோம். Custom Feature விற்பனை ஆங்கிலத்தில் இதை Single Orgasm, Multiple Orgasm என்றும் கூறுகிறார்கள்.அதற்காக science fiction நாவல்கள் எல்லாம் science ஆகாது.Fictionஐ ஓரளவு இரசிக்கலாம். User Features are served in real time through a platform called Visitor Platform.We execute dynamic CQL queries against ScyllaDB, and . we do not need a caching layer because ScyllaDB is so fast எங்கள் Feature Store ஒவ்வொரு நிமிடமும் 5 மில்லியன் நிலையான அம்சங்கள் மற்றும் ஒவ்வொரு நிமிடமும் ஒரு மில்லியன் பயனர் அம்சங்கள் சேமிக்கிறது. ML Feature என்றால் என்ன? ஆங்கிலத்தில் இதை Single Orgasm, Multiple Orgasm என்றும் கூறுகிறார்கள். சில உதாரணங்கள் ஒரு விற்பனையாளர் வெற்றிகரமாக அல்லது ஒரு ஹோட்டல் வழங்கும் வசதிகள் (ஆகவே இலவச Wi-Fi, Pet Friendly அல்லது Fitness Center) என்று உள்ளன. User Features are collected in real time as users browse around the site.We store them in ScyllaDB so we can get lightning fast queries.Some examples of user features are the hotels viewed over the last 30 minutes, restaurants viewed over the last 24 hours, or reviews submitted over the last 30 days. The Technologies Powering Visitor Platform படத்தின் காப்புரிமை ScyllaDB Visitor Platform இன் நெஞ்சில் உள்ளது.We use Java-based Spring Boot microservices to expose the platform to our clients.This is deployed on AWS ECS Fargate.We run Apache Spark on Kubernetes for our daily data retention jobs, our offline to online jobs.We then use those jobs to load data from our offline data warehouse into ScyllaDB so that they are available on the live site.We also use Amazon Kinesis for processing streaming user tracking events. Visitor Platform Data Flow - பார்வையாளர்களின் தரவு Next Topic: கதுவா: ஒரு குரூரமான குற்றம் எவ்வாறு அரசியல் மற்றும் மத சாயம் பூசப்பட்டு ஒற்றை பரிமாணமாக்கப்பட்டது ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] Visitor Platform’s microservices are used to ingest and organize this data. ScyllaDB’s data is stored in two keyspaces. Visitor Identity Graph இல் உள்ள Visitor Core keyspace The Visitor Metric keyspace, which contains Facts and Metrics (the things that the people did while they browsed the site) (உண்மைகள் மற்றும் அறிகுறிகள்) ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] இதோ ஒரு பார்வை Visitor Platform by the numbers: ஏன் இரண்டு தரவுகளை? ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] Visitor Platform Microservices ஐப் பயன்படுத்தவும் நாம் Visitor Platform ஐ 5 microservices பயன்படுத்துகிறோம்: Visitor Core Cookie மற்றும் Device ID-களை அடிப்படையாக cross-device user identity graph களைப் பயன்படுத்துகிறது. Visitor Metric is our query engine, and that provides us with the ability for exposing facts and metrics for specific visitors.We use a domain specific language called visitor query language, or VQL.This example VQL lets you see the latest trade click facts over the last three hours. Visitor Publisher and Visitor Saver handles the writing path, writing data into the platform. data save in ScyllaDB, we also stream data to the offline data warehouse. that is done with Amazon Kinesis. Visitor Composite, Visitor Saver and Visitor Core, Visitor Composite மற்றும் Visitor Core ஆகியவற்றை பயன்படுத்துவதன் மூலம் Visitor Saver மற்றும் Visitor Core ஆகியவற்றை பயன்படுத்துவதன் மூலம் Visitor Composite, Visitor Composite ஆகியவற்றை பயன்படுத்துவதன் மூலம் பயன்படுத்துகிறது. Roundtrip Microservice விழிப்புணர்வு இந்த கிராபிக்ஸ் எவ்வாறு எங்கள் மைக்ரோசிக்ஸ் காலம் நேரத்தில் அமைதியாக இருக்கும் என்பதை விளக்குகிறது. சராசரியாக 2.5 மில்லியன் விநாடிகள் மட்டுமே, மற்றும் எங்கள் P999 12.5 மில்லியன் விநாடிகள் கீழே உள்ளது. இது ஒரு அற்புதமான செயல்திறன், நாங்கள் ஒரு நாளைக்கு 1 பில்லியன் தேவைகளை செயல்படுத்தும் போது. எங்கள் மைக்ரோஸிஸ்டிங் வாடிக்கையாளர்கள் கடுமையான காலம் தேவைகள் உள்ளன. 95% அழைப்புகள் 12 மில்லியன் நிமிடங்கள் அல்லது குறைவாக நிறைவேற்ற வேண்டும். ScyllaDB விழிப்புணர்வு இங்கே ScyllaDB இன் மூன்று நாட்களில் நடந்த செயல்திறன் பற்றிய ஒரு காட்சி உள்ளது. மின்சாரத்தில், ScyllaDB ஒவ்வொரு நிமிடமும் 340,000 செயல்பாடுகளை செயல்படுத்தி வருகிறது (தொடர்பாக எழுதுகிறது மற்றும் ஓதுகிறது மற்றும் மறைக்கிறது) மற்றும் CPU மட்டுமே 21% இல் விழுகிறது. ScyllaDB எங்களுக்கு microsecond writing மற்றும் millisecond reads வழங்கும்.This level of blazing fast performance is precisely why we chose ScyllaDB. ScyllaDB இல் Data Partitioning இந்த படத்தில் நாம் ScyllaDB இல் தரவுகளை பிரிப்பது எப்படி என்பதைக் காட்டுகிறது. ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] We use ScyllaDB’s Leveled Compaction Strategy ஏனெனில்: அது range queries க்கு மேம்பட்டது அது High Cardinality மிகவும் நன்றாக செயல்படுகிறது இது ஓதுவது கடினமான வேலையில் சிறந்தது, மற்றும் நாம் எழுதுவதை விட 2-3X மேலும் ஓதுகிறோம் ஏன் ScyllaDB? எங்கள் தீர்வு ஆரம்பத்தில் Cassandra on-prem பயன்படுத்தி உருவாக்கப்பட்டது. ஆனால் அளவுக்கு அதிகரிக்கும் போது, செயல்படுத்தல் கடினமாக இருந்தது. அது நாங்கள் தரவுத்தள மேம்படுத்தல்கள், காப்பீட்டுகளை மேம்படுத்த, போன்றவற்றை மேம்படுத்த எங்கள் தீர்வு மிகவும் குறைந்த காலம் தேவைப்பட்டது. எங்கள் பயனர் அறிகுறிகள் மேலாண்மை அமைப்பு 30 மில்லியன் விநாடிகளில் பயனர் கண்டுபிடிக்க வேண்டும் - மற்றும் சிறந்த தனிப்படைக்கு, நாங்கள் 40 மில்லியன் விநாடிகளில் பதிலளிக்க எங்கள் நிகழ்ச்சிகளை பின்பற்றுவதற்கான எங்கள் நடவடிக்கைகள் தேவை. எங்கள் தீர்வுகள் மிகவும் குறைவாக உள்ளது எனவே எங்கள் SLAs மிகவும் குறைவாக உள்ளது. ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] நாம் ஒரு முழுமையாக நிர்வகிக்கப்பட்ட விருப்பத்தை விரும்பினோம், எனவே நாம் ஒரு dual write strategy பின்னர் Scylandra இருந்து ScyllaDB Cloud ஐ migrated.This enabled us to migrate with zero downtime while handling 40,000 operations or requests per second.Later, we migrated from ScyllaDB Cloud to ScyllaDB's "Bring your own account" model, where you can have the ScyllaDB team deploy the ScyllaDB database into your own AWS account.This gave us improved performance as well as better data privacy. இந்த அட்டவணை ScyllaDB இன் BYOA நிறுவல் எப்படி தெரிகிறது என்று காட்டுகிறது. அட்டவணையில், EC2 இல் இயங்கும் ஒரு 6-நொடி ScyllaDB கிளப் பார்க்கலாம். ScyllaDB Monitor நமக்கு Grafana டேப்லோட், Prometheus அறிகுறிகள் வழங்குகிறது. ScyllaDB Manager Backups மற்றும் Repairs போன்ற அணுகுமுறையின் அணுகுமுறையை கவனிக்கிறது. இந்த நிறுவல் மூலம், ScyllaDB எங்கள் microservices மிகவும் நெருக்கமாக இடம்பெற்றிருக்க முடியும், மேலும் மேலும் குறைந்த விழிப்புணர்வுகள், மேலும் மிகவும் உயர் விழிப்புணர்வு மற்றும் செயல்திறன் கொடுக்கும். இப்போது, நீங்கள் எங்கள் அணுகுமுறையை, அணுகுமுறையை உபயோகப்படுத்துவதற்கான தொழில்நுட்பங்களை, மற்றும் ScyllaDB எங்களுக்கு Tripadvisor இன் மிகப்பெரிய உயரத்தை செயல்படுத்த உதவுவதில் எவ்வாறு முக்கியமான roles விளையாடுகிறது என்பதை நமக்கு நன்றாக புரிந்து கொள்ள வேண்டும். Cynthia Dunlop பற்றிய தகவல்கள் Cynthia is Senior Director of Content Strategy at ScyllaDB. She has been writing about software development and quality engineering for 20+ years.