צ'אטGPT יכול לכתוב קוד. עכשיו חוקרים אומרים שהוא טוב גם בתיקון באגים

עיקר היתרון של שיחת הבוט ChatGPT של OpenAI הוא היכולת הייחודית שלו לנהל שיח עם בני אדם, המאפשרת לו לשפר את נכונות התשובה.

חוקרים מאוניברסיטת יוהאנס בן גוטנברג מיינץ ומבית הספר לקולג' בלונדון חידשו את ChatGPT של OpenAI לערמות "טכניקות תיקוני תוכנה אוטומטיות סטנדרטיות" ושני התקופסות למידת מתקנים לתוכנה: CoCoNut, מאוניברסיטת ווטרלו בקנדה; ו־Codex, מודל GPT-3 שבבסיסו של GitHub's Copilot מספק שירות של השלמת קוד-כתיבה אוטומטית בזוגות.

גם: איך להתחיל להשתמש ב-ChatGPT

"אנו מוצאים כי ביצועי תיקון הבאגים של ChatGPT מתחרה בצורה יעילה עם התיבות השחורות העמוקות הנפוצות CoCoNut ו-Codex ובהתאם טוב יותר מהתוצאות הדיווחות עבור הגישות התקינה הרגילות לתיקון תוכנה," כותבים החוקרים במאמר חדש באתר arXiv, זה יוחזר לראשונה על ידי New Scientist.

הצ'אטבוטים המתקדמים ביותר: ChatGPT ואלטרנטיבות מעניינות נוספות לנסות

בוטים משוחחים וכותבים קונפלקטנים עשויים לעזור להקל על העומס שעליך, כתיבת מיילים ומאמרים והם אפילו יכולים לעשות חישובים חשבוניים. הם משתמשים בלמידת מכונה ליצירת טקסט או לענות על שאלות בהתבסס על קלט משתמש. ChatGPT הוא דוגמא למוביל בראשות הכיתה, אך ישנם בוטים שאחרים ששווה לציין.

קרא עכשיו

שאיפתה הייחודית של צ'אטGPT לדיאלוג עם בני האדם מעניקה לו יתרון פוטנציאלי על גישות ומודלים אחרים, והאפשרות להשתמש בו כדי לפתור בעיות קידוד אינה חדשה, כפי שציינו החוקרים.

החוקרים בדקו את ביצועי ChatGPT באמצעות בחינת מדד התיקון של QuixBugs. מערכות התיקון האוטומטיות (APR) נראות כיותר חסרות אונים מאז שתוכנן בהן מעל 2018.

ChatGPT מבוסס על הארכיטקטורת transformer, שבוסגו השבוע על ידי ראש המודעה האינטיליגנצית של מטה, יאן לוקון, שפותח על ידי גוגל. Codex, CodeBERT ממחקר מיקרוסופט והקודמת שבתקין מגוגל מבוססות כולן על שיטת transformer של גוגל.

OpenAI מדגיש את יכולת הדיאלוג של צ'אטGPT בדוגמאות לתיקוני באגים בקוד, בהן הוא יכול לשאול בירורים ולקבל רמזים מאדם כדי להגיע לתשובה טובה יותר. הוא הוכשר על ידי למדגם את המודלים השפתיים הגדולים מאחורי צ'אטGPT (GPT-3 ו־GPT 3.5) באמצעות למידה חיזוקית ממערכת משוב אדם איכותית (RLHF).

בעוד שיכולת של ChatGPT לדון יכולה לעזור לו להגיע לתשובה נכונה יותר, איכות ההצעות שלו עדיין לא ברורה, מסמנים החוקרים. זו הסיבה שהם רצו להעריך את ביצועיו של ChatGPT בתיקוני באגים.

החוקרים בדקו את ChatGPT לעומת 40 בעיות מוקשים מסוג QuixBugs, שהיו בלתי יציבות וכתבו בלעדיות בשפת פייתון. לאחר מכן בדקו בדיקה ידנית האם הפתרון שהוצע נכון או לא. חזרו על הפנייה לארבע פעמים משום שיש שחלטיות מסוימת בדיוק התשובות של ChatGPT, פרופסור בהוארדן גילה את הדברים הללו לאחר שחוקר את הצ'אטבוט במבחן מבא-סוג מדהים.

ChatGPT פתר 19 מתוך 40 תקלות פייתון, ממקמתו ברמה דומה ל-CoCoNut (19) ול-Codex (21). אך שיטות APR סטנדרטיות פתרו רק שבע התקלות.

החוקרים גילו כי שיעור ההצלחה של ChatGPT עם אינטראקציות מאוחרות הגיע ל־77.5%.

ההשלכות עבור מפתחים בנוגע למאמץ וליעילות הם לפחות בלתי חד-משמעיים. Stack Overflow אחרונה אסרה תשובות שנוצרו על ידי ChatGPT משום שהן היו באיכות נמוכה אבל סבירות מספיק. הפרופסור מאוניברסיטת וורטון גילה כי ChatGPT יכול להיות שותף נהדר לסטודנטים לתואר MBA משום שהוא יכול לשחק כ"יועץ חכם" - מי שיוצר תשובות מעוצבות אבל ברוב המקרים שגויות - ולעודד חשיבה ביקורתית.

החוקרים מציינים: "כך מופיע שתרומת האדם יכולה לעזור מאוד במערכת APR אוטומטית, תוך שהיא מספקת לכך אמצעים"

"למרות הביצועים המעולים שלו, מתעורר השאלה האם העלות הנפשית הנדרשת לאמת את תשובות ChatGPT חורגת מהיתרונות שהולכים עימו."