תשע תפיסות שגויות בנוגע לסטטיסטיקה ושמישות

פורסם במקור ב MesuringUsability . תורגם על-ידי אנה בולייבסקי

קיימות סיבות רבות לכך שמומחי שמישות ממעטים להשתמש בסטטיסטיקה, וכבר יצא לי לשמוע את רובן. חלק גדול מן הסיבות הללו מבוססות על תפיסות שגויות הנוגעות לדרכים בהן ניתן ולא ניתן להשתמש בסטטיסטיקה, וליתרון שהשימוש בסטטיסטיקה מספק בהקטנת אי הוודאות והבהרת ההמלצות שלנו כמומחי חוויית משתמש. אציג תשע מתוך התפיסות השגויות המוכרות ביותר.

תפיסה שגויה 1: יש צורך במדגם גדול על מנת להשתמש בסטטיסטיקה.

המציאות: מדגמים קטנים מגבילים אתכם להבחנה בהבדלים גדולים בין עיצובים שונים או לאיתור בעיות שמישות רווחות. למרבה המזל, הבדלים גדולים ובעיות רווחות הם ההבדלים החשובים ביותר למשתמשים ועל אחת כמה וכמה בשלבי העיצוב המוקדמים.

לדוגמה, בבדיקת עיצוב מקדמית של מבנה עמוד בית חדש לאתר מסחר אלקטרוני גדול, 13משתמשים ביצעו את אותן 11 המשימות על סקיצה של אתר קיים ועל העיצוב החדש. לארבע מתוך אחת עשרה המשימות היה זמן משימה שונה סטטיסטית.

איור 1: ההבדלים בין זמני המשימות עבור ביצוע 11 משימות על פני העיצוב החדש ועל פני העיצוב הישן. עמודות השגיאה הינן 80% מרווחים ברי-הסמך.

זמני המשימה היו שונים סטטיסטית, זאת מכיוון שמשתמשים יכלו לסיים שלוש מתוך המשימות בצורה מהירה יותר בעיצוב הישן ומשימה אחת בצורה מהירה יותר בעיצוב החדש. אפילו משימות שלא הראו שוני משמעותי סיפקו משמעות. גם עם שינוי משמעותי בעיצוב, חלק הארי מבין המשימות הושלמו בזמן דומה.

תפיסה שגויה 2: בעיות שמישות הן ברורות מאליהן ולא זקוקות לכימות.

"אם משתמש מועד על שטיח, כמה משתמשים באמת צריך לבדוק, או בכלל לכמת?" (ציטוט המשויך ל- Jared Spool). אם בעיות שמישות הן ברורות כמו מעידה על שטיח, אז מה הערך המוסף של מקצועני שמישות?

מציאות: המציאות היא שרבות מבעיות השמישות אינן כה ברורות מאליהן ולא משפיעות על כל המשתמשים. אם משתמש אומר כי השטיח שלך לא נוח, וארבעה אחרים לא אומרים זאת, האם תחליפו את השטיח? מה אם לאחר בדיקת 5, 10 או 15משתמשים איש מהם אינו מועד על השטיח? מה תוכלו לומר על הסבירות כי מישהו ימעד?

תפיסה שגויה 3: סטטיסטיקה מיועדת רק לשם בדיקה מדוקדקת של הנתונים ולא עבור אבחון כללי.

מציאות: גם אם כל מה שאתם מקבלים באבחון כללי היא רשימה של בעיות שמישות, עדיין תוכלו להעריך את שכיחות הבעיות אותן זיהיתם באמצעות שימוש במרווחי הבטחון.

לדוגמה, עבור שניים מתוך 13 משתמשים שחוו בעיה בקישור של המילה "מעבדה" למוצרים חדשים בפיתוח, נוכל להיות בטוחים ב-90% כי בין 4% ו-38% מבין כלל המשתמשים יחוו בעיות בהבנת אותו התיוג. בהינתן המידע הקיים, לכל היותר 38% מבין כלל המשתמשים יחוו קושי בביצוע קישור זה.

תפיסה שגויה 4: כאשר משתמשים חושבים בקול רם, המידע מגוון מידי.

מציאות: חשיבה בקול רם ומדידת זמן משימה לא שוללות האחת את השנייה. ניתן למדוד זמן של משימה כאשר המשתמש חושב בקול רם, פשוט המתינו לסיום המשימה כדי לשאול את השאלות שלכם. המחקר אינו נותן תשובה חד משמעית בשאלה האם חשיבה בקול רם מגדילה או מקטינה זמני משימות. כאשר הדבר אפשרי, דאגו כי אותם המשתמשים ינסו את אותן המשימות על פני ממשקים ברי השוואה באותו אופן.

לדוגמה, בבדיקה של עיצוב עמוד בית חדש ערכתי ניסוי, במהלכו אותם 13 משתמשים ניסו את אותן 11 המשימות תוך כדי חשיבה בקול רם (thinking aloud) על סקיצה של עמוד בית קיים בעיצוב חדש (זהו המידע המופיע באיור 1 לעיל). זמן המשימה הממוצע היה מהיר יותר סטטיסטית במשימה אחת ואיטי יותר סטטיסטית בשלוש משימות (בהתייחסות לתפיסות השגויות 1, 2 ו- 4). למרות שהמשתמשים חשבו בקול רם, הם התנהגו כאילו כלום לא קרה. משתמשים פטפטנים דיברו הן בגרסה הישנה והן בגרסה החדשה, ומשתמשים שתקנים שמרו על שקט בשתי הגרסאות.

תפיסה שגויה 5: עליכם  להראות את כל החישובים הסטטיסטים במצגות שאתם עושים.

מציאות: תמיד חשוב להכיר את קהל היעד שלכם. רק מכיוון שאתם משתמשים בחישובים סטטיסטים,  לא אומר שעליכם לשעמם או לבלבל את הקהל אליו אתם מדברים עם חישובים מדויקים ומספרים. למרות שאני מטיף לשימוש בסטטיסטיקה, אין זה אומר שאני מתחיל כל שיחה במשפט על ציוני תקן.

לעתים קרובות, הוספת עמודות שגיאה, גרפיקה או כוכביות לממצאים, יכולה לאפשר לקהל להבחין בין טעות, שהיא טעות דגימה, ובין הבדלים שהינם משמעותיים.

לדוגמא, הצגתי את איור 1 במצגת על מנת להראות את ההבדל בזמני משימה.  בזמן שהעברתי את המצגת, הסמנכ"ל ניסה לעקוץ אותי: "אני לא מאמין שאתה מראה לי טווחי בטחון על מדגם של 13 איש".

בתגובה הצבעתי על כך, שאפילו במדגם בגודל כזה נוכל לראות הבדלים משמעותיים, חלקם טובים יותר וחלקם טובים פחות, וכי מרווחים ברי-הסמך נותנים הרבה יותר מידע במדגמים קטנים. בשימוש במדגמים גדולים ההבדלים הם לרוב משמעותיים, אך גודל ההבדל הוא לרוב מצומצם ולא מורגש אצל המשתמשים.

תפיסה שגויה 6: סטטיסטיקה לא מספקת לכם את ההסבר לסיבות.

מציאות: סטטיסטיקה מספקת לכם את השפעת הסיבות. ההצגה של בעיית שמישות כמובילה לזמני השלמת משימות ארוכים יותר, היקפי סיום משימות נמוכים יותר או שביעות רצון נמוכה, מגדירה את חומרת הבעיה ועוזרת בתעדוף הפתרונות.

התפיסה השגויה אומרת, כי בדרך כלשהי הסטטיסטיקה מחליפה תיאורים של בעיות שמישות. אך אין צורך לבחור בין סטטיסטיקה או תיאורי בעיות איכותניים, יש לשלב בין סטטיסטיקה ותיאורי בעיות איכותניים.

תפיסה שגויה 7: אם יש הבדל, ניתן לזהות אותו בקלות מתוך קריאת הנתונים.

מציאות: מעבר על גרפים ללא כל אינדיקציה לטעות מדגמית (אותה רואים באמצעות עמודות השגיאה) יכול להיות מסוכן. אם ההבדלים אכן שונים סטטיסטית, עשו את החישוב והראו זאת.

לדוגמה, הגרף שלהלן מראה את ההבדל שנראה במרווחים ברי-הסמך עבור שתי משימות שבוצעו בבדיקת השוואת דף הבית שהבאתי לעיל. הערך המופיע הוא דירוג הביטחון הממוצע עבור העיצוב החדש, בחיסור העיצוב הישן (כך שהמספרים הגבוהים מראים העדפה כלפי העיצוב החדש). שתי המשימות מראות כי המשתמשים היו יותר בטוחים בעיצוב החדש מאשר בישן, מכיוון שההפרש ביניהם גבוה מאפס. אך האם הציונים הם רק תוצר לוואי של מדגמים קטנים?

איור 2: ההבדל בממוצע דירוגי המובהקות הסטטיסטית עבור שתי משימות (עיצוב חדש – עיצוב ישן). המספרים הגבוהים מדגימים מובהקות גבוהה יותר בהשלמת המשימות בעיצוב החדש.

הגרף הבא מראה את אותן המשימות עם מרווחים ברי-סמך של 90% ביחס להבדלים בדירוגי המובהקות בין האתר הישן והחדש. רק עמודות השגיאה של המשימה הראשונה אינם חוצים את האפס ומראים כי מובהקות גבוהה היא למעשה בעלת חשיבות סטטיסטית.

איור 3: מופיעים אותם הערכים כמו באיור 2, אך כעת עם מרווחים ברי-הסמך של 90%. מרווח בר הסמך עבור משימה 1 אינו חוצה את האפס, ומראה כי משתמשים בטוחים יותר סטטיסטית בעיצוב החדש.

תפיסה שגויה 8: מידע שמישות לא מתפלג באופן נורמאלי.

מציאות: הדגמת זמן משימה באמצעות גרפים, דירוג היקף הנתונים ושיעור סיום המשימות לא מראים התפלגות נורמאלית חביבה בצורת פעמון. עם זאת, התפלגויות ממוצע הדגימות מתפלגות באופן נורמאלי במרבית המצבים, אפילו עבור מדגמים קטנים. במצב בו ישנה סטייה משמעותית מן התקן, ניתן לעשות התאמות פשוטות, וזאת על מנת שהחישובים יהיו מדויקים בכל גודל מדגם. ראו פרק 3 בכימות חווית המשתמש.

תפיסה שגויה 9: שימוש בסטטיסטיקה עולה יותר כסף.

מציאות: החישובים אינם עולים כסף. לימוד סטטיסטיקה, בדומה ללימוד הדרך בה יש לערוך מבחן שמישות אכן דורש מחויבות. בצורה אירונית, זהו גם הטיעון הנפוץ לאי-ביצוע מבחני שמישות: "1זה עולה יותר מידי כסף."

קיימים מחשבונים חינמיים, ספרים ומדריכים, שיכולים להפוך את מבחני השמישות שלכם למוקפדים יותר. השיעור הראשון אומר כי סטטיסטיקה וניתוח שמישות מתחברים בטבעיות על מנת להפוך את חווית המשתמש לטובה יותר בצורה כמותית.