A/B टेस्ट सिग्निफिकेंस कैलकुलेटर
चेक करें कि आपके A/B टेस्ट के नतीजे सांख्यिकीय रूप से महत्वपूर्ण (सिग्निफिकेंट) हैं या नहीं।
—
उपयोग के उदाहरण
नया वेरिएंट सबके लिए रोलआउट करें या नहीं, तय करना
सबके लिए रोलआउट करने से पहले जांचें कि आपके B वेरिएंट का ज़्यादा कन्वर्शन रेट असली सुधार है या सिर्फ़ रैंडम उतार-चढ़ाव।
यह जांचना कि टेस्ट जल्दी बंद कर सकते हैं या नहीं
देखें कि आपके मौजूदा नतीजे पहले ही सांख्यिकीय रूप से सिग्निफिकेंट हैं या आपको और डेटा जमा करना होगा।
दो हेडलाइन या बटन डिज़ाइन की तुलना करना
हर वर्शन के विज़िटर और कन्वर्शन की संख्या डालें, यह देखने के लिए कि असल में कौन-सा बेहतर रहा, न कि किसका नंबर बड़ा दिख रहा है।
प्राइसिंग पेज एक्सपेरिमेंट का मूल्यांकन करना
दो प्राइसिंग पेज लेआउट के विज़िटर और कन्वर्शन की संख्या डालें और कौन-सा रखना है यह तय करने से पहले देखें कि डेटा क्या कहता है।
नतीजे दर्ज करने से पहले पुराने टेस्ट की समीक्षा करना
पूरे हो चुके टेस्ट के आख़िरी विज़िटर और कन्वर्शन नंबर दोबारा डालें, ताकि नतीजे लिखने से पहले p-वैल्यू और कॉन्फ़िडेंस लेवल एक बार फिर जाँच सकें।
अक्सर पूछे जाने वाले सवाल
'सांख्यिकीय रूप से सिग्निफिकेंट' का असल मतलब क्या है?
इसका मतलब है कि आपने जो अंतर देखा है, वह चुने गए कॉन्फ़िडेंस लेवल पर सिर्फ़ रैंडम इत्तेफ़ाक़ से होने की संभावना कम है। '95% कॉन्फ़िडेंस' के लिए सबसे आम सीमा p-वैल्यू 0.05 से कम है। इसका मतलब यह नहीं कि अंतर बड़ा, ज़रूरी, या हमेशा के लिए बना रहेगा — बस इतना कि आपके सैंपल साइज़ को देखते हुए यह सिर्फ़ नॉइज़ होने की संभावना कम है।
क्या 'सिग्निफिकेंट' नतीजा भी गलत हो सकता है?
हां। 95% कॉन्फ़िडेंस पर भी, परिभाषा के हिसाब से लगभग 20 में से 1 बार फ़ॉल्स पॉज़िटिव होने का चांस रहता है। सिग्निफिकेंस में यह भी शामिल नहीं होता कि आप एक साथ कई टेस्ट चला रहे हैं, या नतीजा अच्छा दिखते ही टेस्ट बंद कर दे रहे हैं (पीकिंग) — ये दोनों असली फ़ॉल्स-पॉज़िटिव रेट को, कच्चे p-वैल्यू के अंदाज़े से ज़्यादा बढ़ा देते हैं।
मेरा सैंपल साइज़ छोटा है - क्या इस पर भरोसा कर सकता हूं?
छोटे सैंपल में ऐसा 'सिग्निफिकेंट' नतीजा दिखना आसान हो जाता है जो ज़्यादा डेटा आने पर टिकता नहीं, और असली लेकिन मामूली अंतर पकड़ना मुश्किल हो जाता है। छोटे सैंपल साइज़ के नतीजों को सावधानी से लें और टेस्ट को और लंबा चलाने पर विचार करें।
क्या मेरा दर्ज किया डेटा सर्वर पर भेजा जाता है?
नहीं। सारी गणना पूरी तरह आपके ब्राउज़र में होती है और कभी सर्वर पर नहीं भेजी जाती।
एब्सोल्यूट लिफ्ट और रिलेटिव लिफ्ट में क्या फ़र्क़ है?
एब्सोल्यूट लिफ्ट दोनों कन्वर्शन रेट का सीधा अंतर है (जैसे 12% में से 10% घटाने पर 2 परसेंटेज पॉइंट की एब्सोल्यूट लिफ्ट)। रिलेटिव लिफ्ट उसी अंतर को मूल रेट के प्रतिशत के रूप में दिखाती है (10% के बेसलाइन पर 2 परसेंटेज पॉइंट यानी 20% रिलेटिव लिफ्ट)। हेडलाइन में अक्सर रिलेटिव लिफ्ट बताई जाती है क्योंकि नंबर बड़ा दिखता है, इसलिए कोई नतीजा निकालने से पहले देख लें कि कौन-सी लिफ्ट बताई जा रही है।
Z-स्कोर असल में क्या दर्शाता है?
Z-स्कोर बताता है कि सैंपल साइज़ को देखते हुए, कंट्रोल और वेरिएंट के बीच देखा गया अंतर शून्य (यानी कोई अंतर नहीं) से कितने स्टैंडर्ड डेविएशन दूर है। बड़ा Z-स्कोर (किसी भी दिशा में) आमतौर पर छोटी p-वैल्यू और असली अंतर के ज़्यादा मज़बूत सबूत की ओर इशारा करता है, बशर्ते टेस्ट की सांख्यिकीय मान्यताएँ सही हों।
क्या यह टूल बताता है कि मुझे टेस्ट कितने समय तक चलाना चाहिए?
नहीं। यह कैलकुलेटर सिर्फ़ उस डेटा को जाँचता है जो आपने अब तक डाला है — यह पहले से ज़रूरी सैंपल साइज़ या टेस्ट की न्यूनतम अवधि नहीं निकालता। टेस्ट की योजना बनाने के लिए आमतौर पर एक अलग सैंपल-साइज़ कैलकुलेटर चाहिए, जो आपका बेसलाइन रेट, मिनिमम डिटेक्टेबल इफ़ेक्ट और चाही गई पावर को ध्यान में रखे।
क्या मेरा डेटा सर्वर पर भेजा जाता है?
नहीं। सारी गणना पूरी तरह आपके ब्राउज़र में होती है और कभी सर्वर पर नहीं भेजी जाती।