ChatGPT עבר מבחן MBA. הנה איך זה קרה

פרופסור בוורטון, אוניברסיטת פנסילבניה נתן מעבר תיאורטי בציון B ל-ChatGPT לאחר שסימן את התשובות שהפיק עבור מבחן גמר בקורס MBA טיפוסי.

כריסטיאן טרוויש, פרופסור לניהול תפעול בוורטון, אמר ש-ChatGPT עושה "עבודה מדהימה בשאלות בסיסיות של ניהול תפעול וניתוח תהליכים".

"לא רק שהתשובות נכונות, אלא שההסברים מצוינים", הוא כותב במאמר לבן חדש.

כמו כן: כיצד להתחיל להשתמש ב-ChatGPT

אבל הוא הוסיף שהצ'טבוט עושה "טעויות מפתיעות בחישובים פשוטים יחסית ברמה של מתמטיקה בכיתה ו'", ושהוא לא יכול להתמודד כרגע עם שאלות ניתוח תהליכים מתקדמות יותר. מצד שני, הגרסה הנוכחית של ChatGPT יכולה לשנות את תשובותיה בתגובה לרמזים אנושיים כדי להגיע לפתרון הנכון.

"בהתחשב בביצועים האלה, Chat GPT3 היה מקבל ציון B עד B בבחינה", כותב טרוויש.

כמה מהשאלות של Terwiesch נועדו לבדוק האם ChatGPT יכול לזהות צוואר בקבוק בפעולת עיבוד עם מספר מכונות בעלות יכולות תפוקה שונות.

עם זאת, ChatGPT "עשה טעות משמעותית בסדר גודל עצום" בעת חישוב עם אריתמטיקה ברמה בינונית.

מעניין ש-ChatGPT ענה בתחילה באופן שגוי לאחת השאלות של טרוויש בנוגע לניתוח תורים. הוא הניע אותו ברמז לתשובה טובה יותר ו-ChatGPT שיפר את התשובה שלו. למחרת, הפרופסור שאל אותה את אותה שאלה ראשונית בתור ללא הרמז - ו-ChatGPT ענה נכון בניסיון הראשון.

"או שהוא מסוגל ללמוד ממשוב מהעבר או שפשוט התמזל מזלי", הוא מציין, ומוסיף שנראה שיש אקראיות מסוימת באיכות התשובות שלו.

טרוויש גם מצא ש-ChatGPT מסוגל לנסח שאלות חכמות והומוריסטיות שבהן יוכל להשתמש בבחינות עתידיות. עם זאת, הצ'אטבוט הציג גם פגמים עדינים בכמה שאלות שלא אפשרו לענות עליהן.

כמו כן: ל-ChatGPT "חסרו עומק ותובנה", אומרים עורכי כתבי עת מדעיים יוקרתיים

Terwiesch מזהיר אחרים להיות מודעים ליכולות ולמגבלות של ChatGPT. הוא אומר שהוא "התאהב" ב-ChatGPT לאחר שקרא את התשובה לשאלה הראשונה שלו, אבל מזהיר שהוא "עשה טעויות גדולות בכמה מצבים פשוטים למדי".

"אנחנו עדיין רחוקים מ-A+ לבעיות מורכבות ואנחנו עדיין צריכים אדם במעגל", הוא כותב.

"להשקפתי על חינוך, תלמיד בית ספר יסודי עדיין צריך ללמוד ש-7 x 7 = 49 ושהבירה של פנסילבניה היא האריסבורג, למרות שמחשבונים נמצאים בשימוש נרחב כבר יותר מ-50 שנה ותלמידים יכולים להשתמש בגוגל ויקיפדיה כדי למצוא תשובות עבור רוב השאלות העובדתיות. טבעם של כישורי היסוד הם שהם נדרשים כדי להבין נושאים מתקדמים יותר."

טרוויש מסכים שהמחנכים צריכים להיות מודאגים מכך שתלמידי K-12 עשויים להשתמש ב-ChatGPT כדי לרמות במטלות ובבחינות. לדוגמה, מחלקת החינוך של העיר ניו יורק אסר לאחרונה את הצ'אט בוט מכיוון שמבחנים אמינים חשובים בהוראה, בעוד שאסור להתפשר על הסמכת מיומנויות בגלל טכנולוגיה חדשה. סטודנט המשתמש ב-ChatGPT זה כמו להיות מסוגל להתקשר לחבר בעל "יכולת אקדמית ממוצעת" כדי להשלים עבורו את הבחינה, הוא מציין.

אבל הוא גם טוען ל-ChatGPT ולטכנולוגיות דומות יש את היכולת לשחק את התפקיד של "יועץ חכם" - כזה שמייצר תשובות אלגנטיות אך לעיתים שגויות, שלדעתו היא "מגרש האימונים המושלם" לפיתוח מיומנויות בקרב תלמידי MBA הזקוקים לכך. להעריך באופן ביקורתי חלופות מוצעות.