הערכה בעולם של למידה ממוקדת תוצר (PBL)

התמונה מאתר: https://www.zignuts.com/blogs/why-usability-testing-is-important-for-your-web-or-mobile-app

ההבנה שלמידה לקראת מבחן וציון איננה משרתת את מטרות החינוך, אפילו אם מתמקדים ברובד הלמידה בלבד, הופכת לנחלת הכלל. מזה שנים עסוקה מערכת החינוך בחיפוש אחרי מדדי הערכה אחרים (קוראים לזה "הערכה חלופית"), אבל במקרים רבים החיפוש נעשה מתחת לפנס. עדיין תעודה, עדיין הערכת המורה, עדיין ציון (אמנם הערכה מילולית ולא מספר) ועדיין אותה פרדיגמה: תוכנית הלימודים אומרת מה ללמוד, המורה מלמד, התלמיד לומד, המורה מעריך (לעיתים אנחנו רואים עכשיו גם ניסיונות נחשוניים לשלב את התלמיד בהערכה עצמית), ועדיין ההורה צריך לחתום שאמנם עודכן בהערכת המערכת את תפקוד ילדיו.

ואז בא מודל חדש של למידה, מודל שמחייב חשיבה מסוג אחר על תפקיד המורה, תפקיד התלמיד וסביבת הלמידה. קוראים לזה PBL, או "למידה מבוססת פרוייקטים" או "למידה מבוססת בעיות"… אני מעדיף "למידה יוצרת" כי אחד המאפיינים העיקריים של המודל הזה הוא שהלומד עסוק בלמידה דרך עיסוקו בייזום, תכנון והפקת תוצר.

כאן הפרדיגמה המוכרת של מורה, תלמיד, תכנית לימודים, מבחן, ציון משתנה לעומק.

כתבתי לא מעט על PBL ולמה רק PBL (אני מלמד כבר שנים רבות רק כך – בכל מסגרת), כתבתי גם לא מעט על הצורך במודל אחר של הערכה (לא עוד הערכת מורה המנוגדת לדעתי לאחד למטרה חשובה של מערכת החינוך והיא טיפוח לומד עצמאי), והזכרתי לא מעט מודל הערכה בשם "חקר שימושיות" בה מעריך היוצר את איכות התוצר שיצר דרך התבוננות במשתמשים.

מאמר זה בא להציג את "חקר השימושיות" כמודל הערכה חלופית לגיטימי, להציג את דרך השימוש בו ולהטיף לצורך בדרכי הערכה מבוססות מדדים "אנ-אובטרוסיביים" (ללא מעורבות המשתמש) לצד ראיונות מובנים וחצי מובנים. או, במילים אחרות: הלומד (בד"כ צוות לומדים), עורך תצפיות על משתמשים בתוצר שיצר, בכדי להעריך את איכות התוצר, המלמדת גם על תהליך הלמידה, לצד כלים נוספים להערכה עצמית עליהם כתבתי ועוד אכתוב בעתיד.

מקרה לדוגמה: ילדים בכיתה י' בונים חדר בריחה בקופסה . הנושא, במקרה שלנו – מדעים (כימיה, ביולוגיה, בוטניקה, פיסיקה, מתמטיקה)… הסיפור מציג זירת פשע בה נפרץ ארון הגביעים של בית הספר ונגנב גביע אליפות התיכונים בכדור סל (בסגנון CSI – מעבדה לזיהוי פלילי). התוצר הוא מארז ובו ממצאיים שנאספו בזירת הפשע, תמונת הזירה, תיקי חשודים וכד'. המשימה היא לחקור את הממצאים ולהחליט מי הפושע. איך בונים סביבת למידה כזאת כבר כתבתי (ראו מאמר על לב"ה ב"אאוריקה", למשל, או מאמרים בנושא חדרי בריחה לימודיים בבלוג הזה), ולכן לא ארחיב, אתייחס כאן בעיקר לתהליך "חקר השימושיות" אותו עורכים התלמידים, תוך צפייה באוכלוסיית היעד לתוצר (תלמידים בכיתות י' אחרות בבית הספר שלהם או תלמידים מבתי ספר אחרים).

אז איך מתכננים חקר שימושיות?

ניתוח התוכן

1. הגדרת המטרות:
   1. הערכת עצמית וצוותית של תהליך הלמידה כנדבך חשוב בהכרת עצמי כלומד והבנת כוחות המשפיעים על תפקודי כיחיד ובצוות.
   2. הערכת התוצר ושיפורו לתפקוד מיטבי לשם פרסומו באתר בית הספר
   3. ניתוח התהליך שעברנו להכרת תחומי התוכן היעודיים שנכללו בתוצר
   4. ניתוח תהליך ההפקה כולו לשיפור יכולתינו להפיק תוצרים אחרים בעתיד.
2. הערכות אירגונית:
   1. הגדרת אוכלוסית היעד לחקר (מי, מתי, מי אחראי, לכמה זמן…)
   2. הכנת הזירה (איפה יערך החקר, איך תאורגן סביבת הלמידה, מי אחראי להכנתו, לקבלת אישורים וכד')
   3. השגת אישורים נחוצים (האם מותר לצלם, באילו תנאים, האם צריך חתימת הורים, מי אחראי? מי איש הקשר בסגל בית הספר?
   4. הכנת הערכות על כל האביזרים הנחוצים, חומרי הסברה, תפאורה אם צריך, מי אחראי…
   5. הרצת החקר
   6. ניתוח הממצאים
   7. שיפור התוצר והגשת מסמך מסכם
3. ראיונות הנחקרים*: (מה שואלים, כיצד מנתחים את התשובות, כיצד מצליבים את עיקרי הממצאים בראיונות עם עיקרי הממצאים בצפיה…)
   1. האם תמיד הבנת מה צריך לעשות?
   2. האם הרגשת שיש בידיך כל המידע הנחוץ בכדי להתמודד עם כל אתגר?
   3. האם הרגשת שיש אתגרים קשים מידי?
   4. האם היה לך מעניין?
   5. אנא שתף/י אותנו בתחושך הכללית לגבי החוויה כולה

*הערה: יש לקחת בחשבון שתשובות לשאלות המבוססות על עמדות או חוויות נוטות להיות פחות אמינות מממדים כמו התנהגויות… הנשאלים, מזהים בד"כ את כוונת החוקר ומנסים לרצות אותו. הרי ברור שאם אתה נשאל על חוויה שעברת זה עתה יהיה לך ברור מה החוקר רוצה שתענה… הנטיה של רוב הנחקרים היא לנוסת לרצות את החוקר (אפילו אם המשיבים אינם מזוהים). הערך העיקרי בראיונות הוא היכולת לזהות דרך השיחה ממצאים שלא באים לידי ביטוי באופן חיצוני, כמו למשל תחושות של תסכול, סקרנות, כעס… כאמור, לא כל הנחקרים יסגירו ממצאים כאלה בשיחה, אבל אפשר לראות להם רמזים בטון הדיבור או בשפת הגוף.

מדדים נצפים:

לתצפית עלינו להערך כך שלכל קבוצת משתתפים יש לפחות שני צופים (ועדיף שאחד/ת מהם/ן תהיה מהצוות היוצר. אם יש אפשרות לצלם את האירוע בוידאו – מה טוב, אבל תמיד במודעות והסכמת המשתתפים ועם האישורים הנדרשים מההורים (אם צריך) והנהלת בית הספר. צריך, כמובן, להבטיח שלא יעשה שום שימוש בתיעוד אלא למטרות החקר בלבד.

אחת המטרות של שימוש במודל מחקרי הוא להציג בפני היוצרים את תהליך החקר ולתת בידיהם כלים לבצע עוד הערכות כאלה. לכן, כדאי מאד, להקפיד על כללי האתיקה המחקרית ככל שניתן.

להלן דוגמאות לסוגי התנהגויות משתמשים אפשריות שיעלו בתצפית והמשמעות של התנהגויות כאלה בניתוח הממצאים:

1. המשתמש/ת איננו/ה ממוקד/ת, הוא/יא עסוק/ה בטלפון הנייד שלו/ה, משוחח/ת עם חבריו/ה לקבוצה שלא בהקשר לפעילות…
2. המשתמש/ת איננו/ה מתמודד/ת עם האתגרים שמציעה הפעילות. הוא/יא מנסים למשוך את הקבוצה קדימה, איננו/ה עוצר זמן מספיק ליד כל אתגר להתמודדות מספקת, מנחש/ת, מחפש/ת מה עוד יש…
3. המשתמש/ת מנותק/ת לחלוטין. הולך/ת ליד ולא משתתף/ת בפעילות בכלל
4. וכהנה וכהנה.

את הפעילויות יש לתעד על פי אתגר בכל תחנה ותחנה תוך זיהוי התחנות באופן ברור שיאפשר שיפורן עקב ממצאי הדו"ח.

5. ניתוח הממצאים

מבין מטרות חקר השימשיות, כפי שהוצגו למעלה, אחת החשובות שבהן היא שיפור התוצר. רק אחרי שנתבונן באופן השימוש בתוצר ע"י אוכלוסיות היעד, נוכל לזהות תקלות אפשריות, אי הבנות, תחושות משתמשים וכד'.

לשם כך ישנם כלי ניתוח תוכן לניתוח ממצאי השאלונים וכלים לניתוח ממצאי התצפיות. כלי ניתוח אלה מחייבים התמחות ולכן אינן מוצגים כאן – יש לשקול הכרות איתן בסביבות בהן מתכוונים ליישם סוג כזה של פעילויות חקר. בכל מקרה, רוב הממצאים הם טריוויאליים מספיק וקלים לזיהוי, תיעוד, סיכום ופיענוח גם ללא שימוש בכלים מקצועיים.

דו"ח הממצאים ישמש בידי היוצרים לשיפור המוצר להערכת מעורבותם בתהליך היצירה שלו. הצלבה עם מדדים נוספים להערכה עצמית (כמו "מד-אור בעיניים", "מד תפקוד בצוות"*, וכלים דומים יאפשרו ללומד הכנת דו"ח רפלקטיבי ומפורט בסיכום התהליך.

*מד אור בעיניים ומד תפקוד בצוות הם כלי הערכה עצמית אותם פיתח הכותב וניתנים לשימוש ללא תשלום.