ऑप्टिमाइज़ली इंटेलिजेंस क्लाउड: ए/बी टेस्ट स्मार्ट और तेज़ करने के लिए स्टैट्स इंजन का उपयोग कैसे करें

ऑप्टिमाइज़ली स्टैटिस्टिक्स इंजन और ए/बी टेस्टिंग स्ट्रैटेजी

यदि आप अपने व्यावसायिक परीक्षण और सीखने में सहायता के लिए एक प्रयोग कार्यक्रम चलाना चाहते हैं, तो संभावना है कि आप इसका उपयोग कर रहे हैं ऑप्टिमाइज़ली इंटेलिजेंस क्लाउड - या आपने कम से कम इसे देखा है। ऑप्टिमाइज़ली गेम में सबसे शक्तिशाली टूल में से एक है, लेकिन ऐसे किसी भी टूल की तरह, यदि आप यह नहीं समझते हैं कि यह कैसे काम करता है, तो आप इसका गलत इस्तेमाल कर सकते हैं। 

ऑप्टिमाइज़ली को इतना शक्तिशाली क्या बनाता है? इसके फीचर सेट के मूल में तीसरे पक्ष के टूल में सबसे अधिक सूचित और सहज ज्ञान युक्त सांख्यिकी इंजन है, जिससे आप महत्वपूर्ण परीक्षणों को लाइव करने पर अधिक ध्यान केंद्रित कर सकते हैं - बिना इस चिंता के कि आप अपने परिणामों की गलत व्याख्या कर रहे हैं। 

चिकित्सा में एक पारंपरिक नेत्रहीन अध्ययन की तरह, A / B परीक्षण बेतरतीब ढंग से अलग दिखाएगा उपचार फिर प्रत्येक उपचार की प्रभावशीलता की तुलना करने के लिए अपनी साइट का विभिन्न उपयोगकर्ताओं से संपर्क करें। 

आंकड़े तब हमें यह अनुमान लगाने में मदद करते हैं कि लंबी अवधि में यह उपचार कितना प्रभावी हो सकता है। 

अधिकांश ए/बी परीक्षण उपकरण दो प्रकार के सांख्यिकीय अनुमानों में से एक पर निर्भर करते हैं: फ़्रीक्वेंटिस्ट या बायेसियन आँकड़े। प्रत्येक स्कूल में विभिन्न पक्ष और विपक्ष होते हैं - आवृत्तिवादी आंकड़ों के लिए एक प्रयोग चलाने से पहले एक नमूना आकार तय करने की आवश्यकता होती है, और बायेसियन आंकड़े मुख्य रूप से दो उदाहरणों के नाम के लिए प्रभाव के लिए किसी एक आंकड़े को निर्दिष्ट करने के बजाय अच्छे दिशात्मक निर्णय लेने की परवाह करते हैं। ऑप्टिमाइज़ली की महाशक्ति यह है कि आज बाजार में यह एकमात्र उपकरण है जिसे लेने के लिए दोनों ओर से लाभदायक दृष्टिकोण.

अंतिम परिणाम? ऑप्टिमाइज़ली उपयोगकर्ताओं को प्रयोगों को तेज़ी से, अधिक मज़बूती से और अधिक सहजता से चलाने में सक्षम बनाता है।

हालांकि, इसका पूरा लाभ उठाने के लिए, यह समझना महत्वपूर्ण है कि पर्दे के पीछे क्या हो रहा है। यहां 5 अंतर्दृष्टि और कार्यनीतियां दी गई हैं जो आपको एक पेशेवर की तरह ऑप्टिमाइज़ली की क्षमताओं का उपयोग करने में मदद करेंगी।

रणनीति #1: समझें कि सभी मीट्रिक समान नहीं बनाए गए हैं

अधिकांश परीक्षण टूल में, एक सामान्य रूप से अनदेखी की गई समस्या यह है कि आप अपने परीक्षण के हिस्से के रूप में जितने अधिक मीट्रिक जोड़ते हैं और ट्रैक करते हैं, उतनी ही अधिक संभावना है कि आप यादृच्छिक अवसर के कारण कुछ गलत निष्कर्ष देख सकते हैं (आंकड़ों में, इसे "एकाधिक परीक्षण समस्या" कहा जाता है। ”)। अपने परिणामों को विश्वसनीय बनाए रखने के लिए, ऑप्टिमाइज़ली नियंत्रणों और सुधारों की एक श्रृंखला का उपयोग करता है ताकि ऐसा होने की संभावना को यथासंभव कम रखा जा सके। 

जब आप ऑप्टिमाइज़ली में परीक्षण सेट अप करने जाते हैं तो उन नियंत्रणों और सुधारों के दो निहितार्थ होते हैं। सबसे पहले, वह मीट्रिक जिसे आप अपने के रूप में निर्दिष्ट करते हैं प्राथमिक मीट्रिक सबसे तेजी से सांख्यिकीय महत्व तक पहुंच जाएगा, अन्य सभी चीजें स्थिर हैं। दूसरा, आप किसी प्रयोग में जितनी अधिक मीट्रिक जोड़ेंगे, आपकी बाद की मीट्रिक को सांख्यिकीय महत्व तक पहुंचने में उतना ही अधिक समय लगेगा.

प्रयोग की योजना बनाते समय, सुनिश्चित करें कि आप जानते हैं कि आपकी निर्णय लेने की प्रक्रिया में कौन सा मीट्रिक आपका सही उत्तर होगा, इसे अपना प्राथमिक मीट्रिक बनाएं। फिर, बहुत अधिक अनावश्यक या स्पर्शरेखा वाली किसी भी चीज़ को हटाकर अपनी शेष मीट्रिक सूची को दुबला बनाए रखें।

रणनीति #2: अपनी खुद की कस्टम विशेषताएँ बनाएँ

ऑप्टिमाइज़ली आपको अपने प्रयोग परिणामों को विभाजित करने के कई दिलचस्प और उपयोगी तरीके प्रदान करने में बहुत अच्छा है। उदाहरण के लिए, आप जांच कर सकते हैं कि कुछ उपचार डेस्कटॉप बनाम मोबाइल पर बेहतर प्रदर्शन करते हैं या नहीं, या ट्रैफ़िक स्रोतों में अंतर देख सकते हैं। जैसे-जैसे आपका प्रयोग कार्यक्रम परिपक्व होता है, आप शीघ्र ही नए खंडों की इच्छा करेंगे - ये आपके उपयोग के मामले के लिए विशिष्ट हो सकते हैं, जैसे एकमुश्त बनाम सदस्यता खरीदारी के लिए खंड, या सामान्य रूप से "नए बनाम लौटने वाले विज़िटर" (जो, स्पष्ट रूप से, हम अभी भी यह नहीं समझ सकते हैं कि यह बॉक्स से बाहर क्यों नहीं दिया गया है)।

अच्छी खबर यह है कि ऑप्टिमाइज़ली के प्रोजेक्ट जावास्क्रिप्ट फ़ील्ड के माध्यम से, ऑप्टिमाइज़ली से परिचित इंजीनियर किसी भी संख्या में दिलचस्प कस्टम विशेषताओं का निर्माण कर सकते हैं, जिन्हें विज़िटर को सौंपा और विभाजित किया जा सकता है। क्रो मेट्रिक्स में, हमने कई स्टॉक मॉड्यूल बनाए हैं (जैसे "नए बनाम लौटने वाले विज़िटर") जिन्हें हम अपने सभी क्लाइंट के लिए उनके प्रोजेक्ट जावास्क्रिप्ट के माध्यम से इंस्टॉल करते हैं। इस क्षमता का लाभ उठाना परिपक्व टीमों के बीच एक महत्वपूर्ण अंतर है, जिनके पास उन्हें निष्पादित करने में मदद करने के लिए सही तकनीकी संसाधन हैं, और वे टीमें जो प्रयोग की पूरी क्षमता का एहसास करने के लिए संघर्ष करती हैं।

रणनीति #3: ऑप्टिमाइज़ली के आँकड़े त्वरक का अन्वेषण करें

परीक्षण उपकरण की एक बहुप्रचारित विशेषता "मल्टी-आर्म्ड बैंडिट्स" का उपयोग करने की क्षमता है, एक प्रकार का मशीन लर्निंग एल्गोरिथम जो एक प्रयोग के दौरान आपके ट्रैफ़िक को आवंटित करने के लिए गतिशील रूप से बदलता है, ताकि "जीतने वाले" के लिए अधिक से अधिक विज़िटर भेजे जा सकें। संभव के रूप में भिन्नता। बहु-सशस्त्र डाकुओं के साथ समस्या यह है कि उनके परिणाम दीर्घकालिक प्रदर्शन के विश्वसनीय संकेतक नहीं हैं, इसलिए इस प्रकार के प्रयोगों के लिए उपयोग के मामले बिक्री प्रचार जैसे समय-संवेदनशील मामलों तक सीमित हैं।

ऑप्टिमाइज़ली, हालांकि, उच्च योजनाओं पर उपयोगकर्ताओं के लिए एक अलग प्रकार का बैंडिट एल्गोरिदम उपलब्ध है - स्टैट्स एक्सेलेरेटर (अब बैंडिट्स के अंदर "एक्सेलरेट लर्निंग" विकल्प के रूप में जाना जाता है)। इस सेटअप में, उच्चतम-प्रदर्शन करने वाली विविधता के लिए ट्रैफ़िक को गतिशील रूप से आवंटित करने का प्रयास करने के बजाय, ऑप्टिमाइज़ली गतिशील रूप से उन विविधताओं को ट्रैफ़िक आवंटित करता है, जिनके सांख्यिकीय महत्व तक तेज़ी से पहुंचने की सबसे अधिक संभावना है। इस तरह, आप तेजी से सीख सकते हैं, और पारंपरिक ए/बी परीक्षण परिणामों की प्रतिकृति को बनाए रख सकते हैं।

रणनीति #4: अपने मीट्रिक नामों में इमोजी जोड़ें

पहली नज़र में, यह विचार शायद बेमानी लगता है, यहाँ तक कि बेतुका भी। हालांकि, यह सुनिश्चित करने का एक महत्वपूर्ण पहलू है कि आप सही प्रयोग परिणाम पढ़ रहे हैं, यह सुनिश्चित करने से शुरू होता है कि आपके दर्शक प्रश्न को समझ सकते हैं। 

कभी-कभी हमारे सर्वोत्तम प्रयासों के बावजूद, मीट्रिक नाम भ्रमित हो सकते हैं (प्रतीक्षा करें - क्या वह मीट्रिक आदेश स्वीकार किए जाने पर सक्रिय हो जाता है, या जब उपयोगकर्ता धन्यवाद पृष्ठ पर हिट करता है?), या किसी प्रयोग में इतने सारे मीट्रिक होते हैं जो परिणामों को ऊपर और नीचे स्क्रॉल करते हैं पृष्ठ कुल संज्ञानात्मक अधिभार की ओर जाता है।

अपने मेट्रिक्स नामों में इमोजी जोड़ने (लक्ष्य, हरे चेकमार्क, यहां तक ​​​​कि बड़ा पैसा बैग भी काम कर सकता है) के परिणामस्वरूप ऐसे पृष्ठ हो सकते हैं जो कहीं अधिक स्कैन करने योग्य हैं। 

हम पर विश्वास करें - परिणामों को पढ़ना बहुत आसान लगेगा।

रणनीति #5: अपने सांख्यिकीय महत्व स्तर पर फिर से विचार करें

परिणाम एक ऑप्टिमाइज़ली प्रयोग के संदर्भ में निर्णायक माने जाते हैं, जब वे पहुंच जाते हैं आंकड़ों की महत्ता. सांख्यिकीय महत्व एक कठिन गणितीय शब्द है, लेकिन अनिवार्य रूप से यह संभावना है कि आपके अवलोकन दो आबादी के बीच वास्तविक अंतर का परिणाम हैं, न कि केवल यादृच्छिक मौका। 

ऑप्टिमाइज़ली के रिपोर्ट किए गए सांख्यिकीय महत्व स्तर "हमेशा मान्य" होते हैं, जिसे गणितीय अवधारणा के लिए धन्यवाद कहा जाता है अनुक्रमिक परीक्षण - यह वास्तव में उन्हें अन्य परीक्षण उपकरणों की तुलना में कहीं अधिक विश्वसनीय बनाता है, जो सभी प्रकार के "झांकने" के मुद्दों से ग्रस्त हैं यदि आप उन्हें बहुत जल्द पढ़ते हैं।

यह विचार करने योग्य है कि आप अपने परीक्षण कार्यक्रम के लिए किस स्तर के सांख्यिकीय महत्व को महत्वपूर्ण मानते हैं। जबकि 95% वैज्ञानिक समुदाय में सम्मेलन है, हम वेबसाइट परिवर्तनों का परीक्षण कर रहे हैं, टीकों का नहीं। प्रयोगात्मक दुनिया में एक और आम पसंद: 90%। लेकिन क्या आप प्रयोगों को तेज़ी से चलाने और अधिक विचारों का परीक्षण करने के लिए थोड़ी और अनिश्चितता को स्वीकार करने को तैयार हैं? क्या आप ८५% या ८०% सांख्यिकीय महत्व का उपयोग कर रहे हैं? अपने जोखिम-इनाम संतुलन के बारे में जानबूझकर होने से समय के साथ घातीय लाभांश का भुगतान किया जा सकता है, इसलिए इसे ध्यान से सोचें।

ऑप्टिमाइज़ली इंटेलिजेंस क्लाउड के बारे में और पढ़ें

ऑप्टिमाइज़ली का उपयोग करते समय ध्यान में रखने के लिए ये पांच त्वरित सिद्धांत और अंतर्दृष्टि अविश्वसनीय रूप से सहायक होंगे। किसी भी टूल की तरह, यह सुनिश्चित करने के लिए उबाल जाता है कि आपको सभी बैक-द-सीन कस्टमाइज़ेशन की अच्छी समझ है, इसलिए आप यह सुनिश्चित कर सकते हैं कि आप टूल का कुशलतापूर्वक और प्रभावी ढंग से उपयोग कर रहे हैं। इन समझों के साथ, जब आपको उनकी आवश्यकता हो, आप वे विश्वसनीय परिणाम प्राप्त कर सकते हैं जिनकी आप तलाश कर रहे हैं। 

तुम्हें क्या लगता है?

यह साइट स्पैम को कम करने के लिए अकिस्मेट का उपयोग करती है। जानें कि आपका डेटा कैसे संसाधित किया जाता है.