إدراج في منتج متطور، فمن الصعب في كثير من الأحيان تحقيق تأثيرًا ملموسًا إحصائيًا على الأرقام التجارية الرئيسية مثل الأرباح لكل مستخدم أو عدد الطلبات. غالبية التغييرات تهدف إلى تحسين نقطة في الفول أو مراحل فردية من رحلة المستخدم، وأثر مثل هذه التغييرات على الأرقام التجارية غالبا ما يخسر في الصوت. وبالتالي فإن فريق المنتج غالبا ما يختار التحويل المناسب كأرقام الهدف والتجربة التصميمية بطريقة تصل إلى القوة الإحصائية المطلوبة. ومع ذلك، من وقت لآخر، ونحن نلاحظ أن الأرقام الفوركس لا تتحرك وفقًا للطاقة من مؤشرات المستوى العالي. بالإضافة إلى ذلك، في بعض الاختبارات، قد تتغير التحويلات في المراحل التي تنتهي من التغييرات التي يتم تنفيذها بطريقة ملموسة بيانات. على سبيل المثال ، فكر في خدمة حيث يخلق المستخدم أوامر ، ويحصل على العروض من الممثلين المختلفين ، ويختار شخصًا مناسبًا ، ويتوقع أن يتم إكمال المهمة. دعونا نقول إننا قد تم تطوير ميزة جديدة تشير إلى أفضل العروض وتتوقع زيادة حصة الأوامر حيث يحدث توازن بين العملاء والموظفين. خلال التجربة، يمكننا أن نلاحظ أن: 
 
 
 
 تراجع نسبة الطلبات الناجحة. تزايد عدد الأوامر والتوصيات المكتوبة. تراجع نسبة الطلبات التي حصلت على ما لا يقل عن واحد. قد يحدث هذا النموذج إذا كان المستخدم لديه القدرة على العودة إلى الخطوات السابقة، على سبيل المثال، إعادة نشر النظام. لقد اكتشفنا نمطًا مماثلاً في تجرباتنا الخاصة.في inDrive، يمكن للضيوف طرح أسعارهم الخاصة، ثم يحصلون على العروض من السائقين ويختارون الأفضل.العديد من المستخدمين يستخدمون فعالًا ميزات التفاوض، ويحاولون الحصول على سعر أفضل، ويمكنهم تغيير شروط الشراء وإعادة إنشاءها. إن فريق عملنا هو المسؤول عن رحلة المستخدم من اللحظة التي تم إنشاؤها إلى الانتهاء من الرحلة.في هذه المقالة، سنعرف كيف استكشفنا هذه النماذج السلوكية، وبموجبها قدمنا معدلات جديدة تساعد على جعل نتائج الاختبار أكثر تفسيرية. ستكون هذه المقالة مفيدة للخبراء المنتج والمديرين المنتج الذين يعملون مع المنتجات التي لديها رحلة مستخدمية معقدة غير لائقة، حيث تتطلب التفسير المحدد تقييم النماذج السلوكية والعملات المستخدمة المتكررة. كيف تتصرف الأرقام الأساسيّة و الأرقام الفضائيّة؟ في منتجنا ، تبدو الموجة على النحو التالي: يخلق مسافر طلب ، يحصل على العروض من السائقين ، يختار شخصًا مناسبًا ، ويتوقع وصول السائق ، ثم يبدأ ويكمل الرحلة. تخيل أننا نقوم بإنشاء تغييرات صغيرة في نظام التشغيل: نقدم للمستخدم صفحة التقدم أثناء البحث عن سائق، من أجل تقليل عدم اليقين. من المنطقي أن تختار التحويل من إنشاء أوامر إلى الحصول على العرض كأهداف لضمان مثل هذا الاختبار. في النتيجة من الاختبار ، نرى: 
 
 
 
 
 عدد السيارات: ↑ (لا تزيد ملموسًا إحصائيًا) عدد الأوامر: ↑ ↑ (الزيادة المهمة الإحصائية) CR من التوقيت إلى التوقيت: ↓↓ (تراجع قابل للتقييم الإحصائي) الناتج المحلي الإجمالي: ↓↓ (تراجع قابل للتقييم الإحصائي) ونحن نرى زيادة قليلة في عدد الرحلات، وزيادة مهمة إحصائية في عدد الطلبات، ولكن في الوقت نفسه، انخفاض في تحويل من إنشاء الطلب إلى الحصول على العرض، وانخفاض في نسبة الرحلات الناجحة. يبدو أن المستخدم يتفاعل مع الميزات فقط بعد إنشاء النظام ، لذلك في البداية ، يبدو أننا لم نتمكن من التأثير على عدد الأوامر التي تم إنشاؤها. ومع ذلك ، أظهرت تحليلًا عميقًا أن هذا لم يكن مشكلًا في التحدي بعد ظهور صفحة التقدم ، بدأت بعض المستخدمين الذين كانوا يتطلعون لفترة طويلة إلى عروض السائقين في إلغاء الطلب في وقت مبكر وإجراء محاولة أخرى لإجراء رحلة. ونتيجة لذلك، ارتفعت عدد المشتريين إلى أعلى مستوى (تزايد ملموس في الناتج المحلي). كيف تؤثر التحديثات على ميزات المفاتيح والخلفية؟ بعد إنشاء أوامر، يمكن للمستخدم التوقف في مراحل مختلفة: إذا لم يحصلوا على عروض من السائقين، إذا كان سعر العرض غير مناسب، أو في وقت لاحق إذا كان السائق قد استغرق وقتاً طويلاً للتو في الوصول. بدلاً من تدفق المستخدم الداخلي المتوقع ، نرى دورة تكرار - يستطيع المستخدمون أن يذهبوا إلى نفس السيناريو عدة مرات. عند تحليل كفاءة المحاولات المتكررة، وجدنا أن معدل نجاحها غالباً ما يكون أقل بكثير.إذا بدأ المستخدمون في التعديل بشكل متكرر، فإن ذلك يؤثر على جميع مراحل المحاولة - بما في ذلك تلك التي تحدث عن التغيير الفعلي.في الوقت نفسه، في عدد من السيناريوهات (على سبيل المثال، عندما نُحفز المستخدمين على محاولة أخرى بدلاً من الانخفاض)، قد نلاحظ تأثير إيجابي على الأرقام التجارية على مستوى أعلى. إغلاق اللوحات هدفنا هو فهم ما إذا كانت أهداف المستخدمين (إلا محاولات فردية) قد بدأت تنتهي في الرحلات بشكل متكرر.لكننا بحاجة إلى إعطاء تحديد أكثر صرامة لـ "أهداف الرحلة" التي من شأنها أن تتيح لنا إلغاء العديد من التعديلات من مستخدم واحد. بعد محادثات مع الفريقين، قررنا أن يجب أن يكون لديك اثنين من العناصر التالية من أجل النظر في ذلك كخطوة واحدة للذهاب إلى رحلة: 
 
 
 
 لا ينبغي أن تختلف نقاط الاستيقاظ والخروج من كل من الطلبات بشكل كبير. يجب أن يكون وقت إنشاء النظام قريبًا (الأوامر التي يتم وضعها في فترة قصيرة). يجب أن لا يتم إكمال الخطوة السابقة من خلال رحلة. وكانت المهمة المتبقية هي تحديد قيمة الحد الأدنى - ما يجب أن يعتبره "أقرب في الوقت" و "تغيير مسار صغير".في البداية، تم تحديد هذه الحد الأدنى على أساس احتياجات الأعمال، لذلك قررنا أولًا التحقق من مدى تفاعل هذه القيمة مع سلوك المستخدم الحقيقي. لقد وجدنا هذا: 
 
 
 
 
 في حالة التحديث ، فإن المستخدمين يغيرون غالباً نقطة الوصول ( نقطة B). نقطة الاستيقاظ (الطريق A) تغير أحيانا، ولكن في معظم الحالات، غير قابلة للتأكيد - بنسبة 50 متر من الوضع الأصلي. يحدث معظم التعديلات في غضون 10-20 دقيقة الأولى. ثم قمنا بتحديد نقاط A و B في غضون 500 متر وحاولنا أن نرى أي جزء من التعديلات يتم إجراء في غضون X دقيقة. 
 
 كان التخفيضات الأولية مناسبة لنا بشكل جيد: فهي تغطي أكثر من 90 في المائة من التحديثات، ورفع المزيد من الحد الأقصى لا يؤثر على نسبة التخفيض. في الحالات التي يخلق المستخدم ثلاثة أو أكثر من أوامر في سلسلة ، يتم إجراء الانهيار بشكل سلس: أولا ، يتم التحقق من أوامر الأول والثاني وتجميعها ، ثم الثاني والثالث ، وما إلى ذلك ، وبالتالي - بحسب الظروف التي تنتهي بالمرحلة والمكان. البدائل كوسيلة بديلة، فكرنا في استخدام تحديد الجلسة المحمولة لتنظيم أوامر داخل إرادة واحدة. ومع ذلك، فإن هذا الخيار كان أقل موثوقية لسببين: 
 
 
 يمكن أن تتوقف جلسة أو "توقف" ، على سبيل المثال ، عندما يقوم المستخدم بتسجيل ، ثم يأخذ رحلة ، وبعد ذلك يخلق ويكمل جديد. البيانات التحليلية المحمولة أقل دقة من البيانات الخلفية: قد يتم تسجيل ساعات الأحداث ونتائجها مع تأخير أو فقدانها. ونتيجة لذلك، قررنا أن لا نستخدم اسم الجلسة كأساس لتحديد إرادة السفر. ميكانيكية جديدة ونتيجة لذلك، تم إنشاء مؤسسة جديدة وتحديد قواعد لتشكيل هوية فريدة من نوعها. استناداً إلى هذه المؤسسة ، قمنا بتصنيع عدد من التقييمات الناجحة: 
 
 
 المقطع المشترك - يتيح لنا تقييم التحويلات دون التغييرات المتعلقة بتعديلات وتجعل نتائج الاختبار أكثر تفسيرية. أدوات المحاولات الأولى والثانية والمتتالية - تساعدنا على فهم ما هي الأفعال التي تشجع المستخدمين على إجراء محاولة تكرار وتزيد احتمال نجاحها. الآن، دعونا نعود إلى الاختبار الذي بحثنا عنه سابقا ونقارن القيم المكتوبة في نهج مختلف. 
 
 
 
 
 
 
 
 
 
 
 
 Metric 
 Classic Funnel 
 Aggregated Funnel 
 Interpretation 
 
 
 
 
 
 Rides 
 ↑ (not statistically significant growth) 
 Same counting 
 No change 
 
 
 
 
 
 Orders 
 ↑↑ (statistically significant growth) 
 ~0 (not statistically significant) 
 The number of intentions hardly changed — the growth in orders is explained by reorders 
 
 
 
 
 
 Done rate 
 ↓↓ (statistically significant drop) 
 ↑ (not statistically significant growth) 
 The shares of successful orders and successful intentions move in different directions 
 
 
 
 
 
 Order → bid 
 ↓↓ (statistically significant drop) 
 ↓ (not statistically significant drop) 
 Within an intention, users began to receive bids less often; the effect is close to statistical significance ركوب ↑ (لا توجد نموًا مهمًا إحصائيًا) نفس العدد لا تغيير الأوامر ↑ ↑ ↑ (النمو المهمة الإحصائية) 0 (لا أهمية إحصائية) عدد التوقعات لا يتغير بجديد - تسبب النمو في الطلبات على المقاولين Done معدل ↓↓ (تراجع مهمة إحصائيًا) ↑ (لا توجد نموًا مهمًا إحصائيًا) الأسهم من الطلبات الناجحة والخطط الناجحة تتحرك في اتجاهات مختلفة إرسال طلب ↓↓ (تراجع مهمة إحصائيًا) ↓ (المخاطر غير ذات أهمية إحصائية) من خلال إرادة ، بدأت المستخدمين في الحصول على العروض أقل بكثير ، فإن التأثير قريب من المعنى الإحصائي. لتفسير السبب في أن سعر الوصول المشترك ينمو في حين انخفاض تحويل "التوصيات إلى العروض"، نرى كيف يعمل المستخدمون على إعادة التوصيات. وظهرت أن السلوك ينقسم إلى اثنين من الأنواع: 
 
 
 بدأت بعض المستخدمين في التوقف عن البحث بسرعة دون انتظار العرض. أما مجموعة أخرى ، على العكس من ذلك ، بدأت في زيادة السعر بشكل متكرر عند إعادة التوصيل ، وأقل من ذلك بكثير ، تم إلغاء مثل هذه الطلبات بعد قبولها. ملاحظات إضافية: 
 
 
 سعر الفائدة بعد إعادة التقييم: ↑ ↑ ↑ (الزيادة الإحصائية المهمة) التمويل المشترك → مقتبس: ↑ ↑ ↑ (الازدهار الإحصائي المنطقي) النتيجة في بعض الأحيان، لا يمكن وصف التفاعل المستخدم مع المنتج بأي شكل من الأشكال من خلال التقييمات الفوتوغرافية الكلاسيكية. قد يبدو النتائج الملاحظة تناقضات، وفي مثل هذه الحالات، من المهم استخدام التقييمات التي تعكس نموذج السلوك لدى العملاء أو، كما هو الحال في حالنا، إنشاء المؤسسات الجديدة التي تعبر الواقع بشكل أكثر دقة.

This story contains new, firsthand information uncovered by the writer.

inDrive.Tech

تم إنتاج هذا الصوت باللغة الأصلية للقصة!

قياس رحلات المستخدم غير اللوجيستية: التفكير مرة أخرى في ميزات الأقمار الصناعية في اختبار A / B

About Author

تعليقات

شنق العلامات

تم تقديم هذه المقالة في

Related Stories

Top 10 Android App Development Companies in India & US

The shortage of women in tech

30 Top Blockchain Development Companies in 2019

Top 4 Hiring Trends for Mobile App Developers in 2018

Top 10 Android App Development Companies in India & US

The shortage of women in tech

30 Top Blockchain Development Companies in 2019

Top 4 Hiring Trends for Mobile App Developers in 2018

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps