למה חלוקה אקראית לא תמיד מספיקה – ואיך קיופד משפר ניסויי אי\בי טסט
על פניו, ניסוי A/B טסט הוא קונספט פשוט ואלגנטי:מגדירים קבוצת ביקורת וקבוצת טיפול, מבצעים שינוי בקבוצת הטיפול, מודדים – ומסיקים מסקנות.המנגנון שאמור להבטיח את הזהות בין הקבוצות הוא עקרון החלוקה האקראית בין הקבוצות. אבל כל מי שהריץ ניסויים במוצרים בהם ליוזרים יש היסטוריית שימוש ארוכה במוצר (אפליקציות, משחקים, SaaS) מכיר את הבעיה הבאה: כשמסתכלים על התקופה שלפני תחילת הטסט, מגלים לא פעם שקיימים פערים משמעותיים בדאטה בתקופת ״הלפני״ בין קבוצת הביקורת וקבוצת הטיפול. בהינתן הנחה…