آزمایشات در مقیاس

در Tophatter ، ما آزمایش های زیادی را آغاز می کنیم. این بدان معناست که باید تأثیر تغییرات خود را در معیارهای تجاری خود بفهمیم. در نتیجه ، ما وقت و انرژی زیادی را برای ساختن ابزارها و فرآیندهای سرمایه گذاری در تصمیم گیری با قدرت آماری ، سرمایه گذاری کرده ایم. این به ما امکان می دهد با اطمینان از درجه بالایی بگوییم ، آزمایش های ما دارای اثرات منفی بوده یا نیست.

اما چگونه تصمیم می گیریم در وهله اول ساختیم؟

همانطور که معلوم است ، می توان از همان رویکرد محور داده استفاده کرد تا ویژگی هایی را که می خواهیم با آنها آزمایش کنیم انتخاب کنیم. در واقع ، Qubit قبلاً این کار را برای ما انجام داده و یک مقاله سفید را منتشر کرده است که تجزیه و تحلیل نتایج صدها آزمایش در چندین سیستم عامل تجارت الکترونیکی است.

این داده ها تا پایین است!

دوباره قدیمی است

با توجه به تحلیل نویسنده ، ویژگی های تأکید بر اثبات اجتماعی ، کمبود و فوریت به احتمال زیاد تأثیر مثبتی دارند:

Proof Social: درمانهایی که از رفتار سایر کاربران برای ارائه اطلاعات در مورد محصولات معتبر و موارد مورد علاقه امروزی استفاده می کند.
کمبود: درمانهایی که مواردی را که موجودی کم دارند ، برجسته می کنند ، تقریباً همیشه با استفاده از "نشانگرهای سهام".
فوریت: درمان هایی که از یک محدودیت زمانی برای ارتقاء فوری برای تکمیل یک عمل قبل از مهلت استفاده می کنند ، تقریباً همیشه با استفاده از یک تایمر شمارش معکوس انجام می شود.

برای درک آزمایشی که در آن کمی توضیح خواهم داد ، به شناخت تاریخ ما کمک می کند. من از شما دعوت می کنم در این مسیر لذت بخش پیاده روی لذت بخش با من همراه شوید.

تجربه دسک تاپ Old Tophatter حدود 2012. چه اتفاقی می افتد که تجارت با turntable.fm ملاقات کند؟تجربه دسک تاپ Tophatter در سال 2014. این آزمایش همهجانبه بود که در آن اتاق حراج را تغییر دادیم تا از نمای کامل مرورگر استفاده کنیم. این آزمایش یک #Greatsuccess #verynice بود.تجربه دسک تاپ Tophatter در سال 2015. این آزمایش حراج نرم افزار زنده ما بود. ما این کار را راه اندازی کردیم و به بهترین نتیجه امیدواریم زیرا خطر قابل توجهی برای بیگانه کردن پایگاه کاربر موجود ما وجود دارد. در پایان ، این آزمایش چندین معیار کلیدی را بالا برد. # کلیدیتجربه فعلی دسک تاپ Tophatter. ما در یک هکاتون به این ایده رسیدیم که همه مزایده ها را در یک صفحه واحد نمایش دهیم. این آزمایش

در روزهای ابتدایی Tophatter ، ما یک ویژگی به نام Bid-O-Meter (Ragnar's magnum opus!) داشتیم که با نمایش آواتار از حساب های رسانه های اجتماعی مرتبط در کنار حراج ، از Social Proof استفاده می کرد. این امر به تکرار یک تجربه حراج حضوری با داوطلبانی که به نشانه های اجتماعی دیگران در اطراف خود پاسخ می دهند کمک می کند.

همانطور که می بینید ، این سیستم عامل از آن زمان به بعد ، با پیشرفت و نمایش همه مواردی که اکنون برای حراج در صفحه اصلی فرود قرار گرفته است ، از یک نماد و تجربه اتاق حراج اختصاصی ، تا حد زیادی کشف شده است.

بنابراین UX برای Bid-O-Meter قدیمی نیاز به تازه کردن داشت ، اما با توجه به اینکه در گذشته موفقیت آمیز بود و به Social Proof مرتبط بود ، احساس می کردیم کاندیدای خوبی برای احیا است.

Old Bid-O-Meter circa 2013. Ragnar و Jared در چند روز v1 ساختند. #hacktheplanetطراحی مجدد Bid-O-Meter امروز. من این یکی رو ساختم بیشتر از چند روز طول کشید. # مقیاس

فناوری پشته

مشتریان Tophatter در 3 عطر و طعم عرضه می شوند:

  • اولین سرویس گیرنده وب پاسخگو تلفن همراه که در Coffeescript / Javascript و Bootstrap نوشته شده است.
  • یک مشتری iOS بومی در Objective-C / Swift نوشته شده است
  • یک مشتری بومی Android که به زبان Java / Kotlin نوشته شده است

قدرت ما در Ruby و Javascript است (دستگاههای Android و iOS - ما استخدام می کنیم!). با ترکیب این کار با چرخه های انتشار طولانی تر برای برنامه های بومی به دلیل بررسی App Store ، اغلب ما می توانیم ابتدا از قبل ویژگی های موجود در وب را بسازیم و آنها را آزمایش کنیم و آنها را بر روی مشتریان بومی پیاده سازی کنیم.

آزمایش را اجرا کنید

ما یک چارچوب داخلی برای ردیابی کاربران در تمام آزمایش های مختلفی که ممکن است در هر زمان معین انجام دهیم ، ایجاد کرده ایم.

UI اداری برای چارچوب آزمایش های سفارشی Tophatter

یک آزمایش شامل چندین درمان (از جمله یک گروه کنترل) است که هر یک از آنها با یک رفتار آزمایشی خاص همراه است.

از آنجا که کاربران در معرض ویژگی های جدید برنامه هستند ، براساس درصد از پیش تعیین شده ، یکی از روشهای مختلف درمان را به آنها اختصاص می دهند.

با برچسب مناسب کاربران ، می توانیم نمایش داده های پایگاه داده را برای مقایسه معیارهای کلیدی بین گروه های درمانی مختلف اجرا کنیم.

مثلا:

  • مشاهده نرخ - کاربر چقدر ممکن است جزئیات یک مورد را بررسی کند؟
  • تعداد پیشنهادات - چند بار پیشنهاد می دهند؟
  • نرخ پیشنهادی - احتمال پیشنهاد آنها چقدر است؟
  • نرخ پیروزی - احتمال پیروزی آنها چقدر است؟
  • نرخ پرداخت - احتمال پرداخت آنها چقدر است؟

همانطور که در مقاله آمده است ، قیمت جدید Bid-O-Meter تأثیر مشخصی در رفتار خریدار داشته است. به طور خاص ، ما شاهد افزایش زیاد و آماری قابل توجهی (p <0.05) در تعداد کل پیشنهادات برای همه کاربران بودیم:

جالب اینجاست که در حالی که این ویژگی کل پیشنهاد قیمت را بالا می برد ، تأثیر منفی بر نرخ کلی پیشنهاد دارد.

حکایات کاربر

همراه با داده های آزمایش تجربی ، بازخورد کاربران کاربر را با کمک دوستان خود در UserTesting جمع آوری کردیم. ما تصمیمات خود را بر اساس داده های جمع آوری می کنیم ، اما بازخورد شخصی کاربر به راهنمای تفسیر ما از نتایج کمک می کند.

بازخورد نمونه ای از کاربران واقعی:

* برای من واضح بود که این اجناس دایره ای بوده اند ، اما بدون توضیحی در مورد نحوه کار سایت ، من نسبت به پیشنهاد یک کالا بسیار مردد خواهم بود
* گیج کننده نیست ، بلکه قانع کننده نیست
* به نظر می رسد که آنها در 4 آیکون حداکثر هستند ، حتی اگر این کالا بیشتر از 4 پیشنهاد را داشته باشد - بنابراین آن قسمت برای من کمی گیج کننده بود.

نتیجه گیری

تفسیر ما از داده ها این است که این ویژگی باعث تعامل بیشتر (یعنی مناقصه) برای کاربرانی می شود که تصمیم به پیشنهاد مناقصه می گیرند ، اما این امر باعث می شود که در وهله اول احتمال هر کاربر خاص از مناقصه استفاده شود.

بازخورد کاربر همچنین نشان می دهد كه برخی از كاربران واقعاً نفهمیدند چه ویژگی در حال انتقال است و اینكه ممكن است میوه معلق كم در جریان شبانه روزی ما وجود داشته باشد تا واضح تر نحوه كار سایت را توضیح دهد.

در پایان ، این ویژگی کمی قطبی بود. مبادله بین تبدیل کاربران کمتری اما درگیرتر درمقابل تبدیل کاربران بیشتر به مواردی نبود که ما بخواهیم بسازیم ، بنابراین آزمایش را خاموش کردیم و آن را دوباره برای قفسه بعدی در قفسه قرار داد. به عنوان مثال ، با نمایش Bid-O-Meter برای کاربران ، فقط پس از اینکه آنها کالا را پیشنهاد می دهند ، ما می توانیم بدون قربانی کردن نرخ اولیه قیمت ، مقداری از سود را در کل تعداد پیشنهادات بدست آوریم.

ما چندین آزمایش در خط لوله داریم و همیشه در جستجوی چیز بزرگ بعدی برای حرکت سوزن بر روی معیارهای کلیدی خود هستیم. اگر این جالب به نظر می رسد ، به صفحه شغل ما نگاهی بیندازید.

درباره Tophatter

شرکت Tophatter توسط Ashvin Kumar (مدیرعامل) و Chris Estreich (CTO) تاسیس شد و در ژانویه 2012 راه اندازی شد. این شرکت 75 کارمند در سطح جهان دارد و به طور فعال در دفاتر خود در سیلیکون ولی و شانگهای استخدام می کند. برای کسب اطلاعات بیشتر در مورد Tophatter ، لطفاً به آدرس http://www.tophatter.com/about مراجعه کنید.