האם ChatGPT יכול לעבור את בחינת הערכאה?

GPT בשיחה ובחינת הבר

מבחן הבר הוא בחינה מקפידה שמעריך ידע ויכולת חילוט שטחים באמצעות שאלות ריבוי ברירות, מבחני ביצוע, ומבחנים נוספים מסוג אחר. זהו מבחן תקני הנמצא בשימוש בגירויות רבות ביותר ברחבי רוב מדינות ארה"ב כחלק מתהליך קבלת רישום אל סוכנות המשמשת את הדרישה לתיקון המשפטי. בחינה זו מתבצעת בשלושה חלקים, המעריכים את ידעו של מועמד לעיקרון המשפט המוסכם, יכולתו להחיל עקרונות משפטיים לדפוסי קונפיגורציה מסוימת, ויכולתו להשלים משימות משפטיות.

מבחן זה מיועד לאפשר למשפטנים לקבל רישיון במספר מדינות בלי לצפות לחובה להתקשר למסדר דיני שונה בכל מדינה ולקבל את מבחן הבאר בכל מדינה. הציון המצויין נקבע על ידי כל משפטי סמכות, וניתן להעביר את ציונו של המבחן לסמכויות של מדינות אחרות תחת החוקות והדרישות המקומיות של כל סמכות.

GPT-3.5 ו-GPT-4 הם מודלי שפה גדולים של OpenAI ש-ChatGPT מבוסס עליהם. יש בהם יכולת לבצע משימות מורכבות הדורשות ידע משפטי מרחב, הבנת קריאה ויכולת כתיבה, עד כדי הרמה בה הם מסוגלים לעמוד בסטנדרט של עורכי דין אנושיים ברוב המוסדות המשפטיים בארה"ב. המועצה הלאומית של בוחני המקצוע, אשר יצרה את חלק הבחינה רב התשובות האפשריות, הביעה כי עורכים דיניים מחזיקים ביכולות ייחודיות שנרכשות דרך למידה ותרגול, ושבינהן אין יכולת שווה לביצוען באמצעות הבינה המלאכותית כרגע.

איךביצועיםשלChatGPTבמבחןהבר?

בתחילת השנה החוקרים מטעם מכון טכנולוגי באילינוי ומהפקולטה למשפטים של אוניברסיטת מישיגן דיווחו כי ChatGPT 3.5 הצליחה לעבור במבחן המולטי-איזון (MBE) בשני קטגוריות והתנהלה בדיוק דומה לתוחנים בנבחנים אנושיים בקטגורית מחלקי-השאלה השלישית, מה שמעיד על הבנתה הכללית של התחום המשפטי. במחקר נוסף שביצעו חוקרים מ OpenAI עצמה, ChatGPT התקבלה כשהחציון הגבוה במבחן המקצועי וקיבלה ציון מעל ל-90% על תשובות בחירה מרובות, העומד באופן מוחלט נכון, כך שהיא עברה מהאחוז בשביתת השאלות בחירה מרובות שהייתה לה קודם ועטפה את תוחנים הממוצעים של נבחנים אנושיים ביותר מאשר ביותר מ7%.

ChatGPT היה מסוגל ליצור תשובות במסגרת בדיקות ביצועים ובחניות שהיו בעיקר רלוונטיות וחיבור לוגי. סף העוברים את מבחן הבר משתנה ממדינה למדינה, ובניו יורק, נדרש ציון של 266, שהוא בקרב גובהל ה-50, כדי לעבור. התוצאות של ChatGPT מראות כי היכולות של מודלים שפה גדולים משתרעות על משימות מורכבות הדורשות ידע משפטי משמעותי, הבנה ויכולת כתיבה. מודלים אלו עונים על התקנה שמתייחסת לעו"דים במערכות משפט ברוב הסמכויות בארה"ב.

האם עבר ChatGPT במבחן משרד המשפטים?

צ'אטGPT עבר את מבחן בר המדינה המאוחד.

מהי ציון מבחן המקצוע הגבוה באחוז ה-1%?

300 הוא בערך המוביל בחסימה העליונה של 90% תוך שהציון 330 נמצא בערך בכחול הפורסם של 1%.