מה זה ואיך אתה יכול להשתמש בו?

זה מה זה ChatGPT ולמה זה עשוי להיות הכלי החשוב ביותר מאז מנועי החיפוש המודרניים

OpenAI הציגה בינה מלאכותית לתשובות לשאלות בשם ChatGPT שעונה על שאלות מורכבות בשיחה.

זוהי טכנולוגיה מהפכנית מכיוון שהיא מאומנת ללמוד למה בני אדם מתכוונים כשהם שואלים שאלה.

משתמשים רבים נדהמים מהיכולת שלה לספק תגובות באיכות אנושית, מה שמעורר את התחושה שבסופו של דבר יש לו את הכוח לשבש את האופן שבו בני אדם מתקשרים עם מחשבים ולשנות את אופן אחזור המידע.

מה זה ChatGPT ?

ChatGPT הוא צ'אטבוט מודל שפה גדול שפותח על ידי OpenAI על בסיס GPT-3.5 . יש לו יכולת יוצאת דופן ליצור אינטראקציה בצורת דיאלוג שיחתי ולספק תגובות שיכולות להיראות אנושיות באופן מפתיע.

מודלים של שפה גדולים מבצעים את המשימה של חיזוי המילה הבאה בסדרת מילים.

למידת חיזוק עם משוב אנושי (RLHF) היא שכבה נוספת של אימון המשתמשת במשוב אנושי כדי לעזור ChatGPT ללמוד את היכולת לעקוב אחר הנחיות ולייצר תגובות משביעות רצון לבני אדם.

מי בנה את ChatGPT ?

ChatGPT נוצר על ידי חברת הבינה המלאכותית OpenAI מסן פרנסיסקו. OpenAI Inc. היא חברת האם ללא מטרות רווח של OpenAI LP למטרות רווח.

OpenAI מפורסמת בזכות ה-DALL·E הידוע שלה, מודל למידה עמוקה שיוצר תמונות מהוראות טקסט הנקראות הנחיות.

המנכ"ל הוא סם אלטמן, שהיה בעבר נשיא Y ComBypassGPTinator.

מיקרוסופט היא שותפה ומשקיעה בסכום של מיליארד דולר. הם פיתחו במשותף את פלטפורמת Azure AI.

דגמי שפה גדולים

ChatGPT הוא מודל שפה גדול (LLM). מודלים של שפה גדולה (LLMs) מאומנים עם כמויות אדירות של נתונים כדי לחזות במדויק איזו מילה מגיעה לאחר מכן במשפט.

התגלה כי הגדלת כמות הנתונים הגדילה את היכולת של מודלים לשפות לעשות יותר.

לפי אוניברסיטת סטנפורד:

"ל-GPT-3 יש 175 מיליארד פרמטרים והוא הוכשר על 570 גיגה-בייט של טקסט. לשם השוואה, קודמו, GPT-2, היה קטן יותר מפי 100 ב-1.5 מיליארד פרמטרים.

הגידול הזה בקנה מידה משנה בצורה דרסטית את התנהגות המודל - GPT-3 מסוגל לבצע משימות שלא הוכשר עליהן במפורש, כמו תרגום משפטים מאנגלית לצרפתית, עם מעט דוגמאות אימון.

התנהגות זו נעדרה בעיקר ב-GPT-2. יתר על כן, עבור כמה משימות, GPT-3 מתעלה על מודלים שהוכשרו במפורש לפתור את המשימות הללו, אם כי במשימות אחרות הוא נופל".

LLMs מנבאים את המילה הבאה בסדרת מילים במשפט ואת המשפטים הבאים - בערך כמו השלמה אוטומטית, אבל בקנה מידה מכופף תודעה.

יכולת זו מאפשרת להם לכתוב פסקאות ודפים שלמים של תוכן.

אבל לימודי תואר שני מוגבלים בכך שהם לא תמיד מבינים בדיוק מה בן אדם רוצה.

וזה המקום שבו ChatGPT משפר את הטכנולוגיה המתקדמת, עם ההכשרה המוזכרת לעיל למידת חיזוק עם משוב אנושי (RLHF).

כיצד הוכשר ChatGPT ?

GPT-3.5 הוכשר על כמויות אדירות של מידע על קוד ומידע מהאינטרנט, כולל מקורות כמו דיונים Reddit , כדי לעזור ChatGPT ללמוד דיאלוג ולהשיג סגנון תגובה אנושי.

ChatGPT הוכשר גם באמצעות משוב אנושי (טכניקה הנקראת Reinforcement Learning with Human FeedBypassGPTack) כך שה-AI למד למה בני האדם ציפו כששאלו שאלה. אימון ה-LLM בדרך זו הוא מהפכני מכיוון שהוא מעבר לאימון פשוט של ה-LLM לחזות את המילה הבאה.

מאמר מחקר מחודש מרץ 2022 שכותרתו אימון מודלים של שפות לביצוע הוראות עם משוב אנושי מסביר מדוע זוהי גישה פורצת דרך:

"עבודה זו מונעת על ידי המטרה שלנו להגביר את ההשפעה החיובית של מודלים שפות גדולים על ידי הכשרתם לעשות מה שקבוצה נתונה של בני אדם רוצה שהם יעשו.

כברירת מחדל, מודלים של שפה מייעלים את יעד חיזוי המילים הבא, שהוא רק פרוקסי למה שאנחנו רוצים שהמודלים האלה יעשו.

התוצאות שלנו מצביעות על כך שהטכניקות שלנו טומנות בחובן הבטחה להפיכת מודלים של שפה למועילים, אמיתיים ובלתי מזיקים יותר.

הפיכת מודלים של שפה לגדולים יותר אינה הופכת אותם מטבעם לטובים יותר במעקב אחר כוונת המשתמש.

לדוגמה, מודלים של שפה גדולים יכולים ליצור פלטים שאינם נכונים, רעילים או פשוט לא מועילים למשתמש.

במילים אחרות, המודלים הללו אינם מתאימים למשתמשים שלהם."

המהנדסים שבנו את ChatGPT שכרו קבלנים (המכונים תוויות) כדי לדרג את התפוקות של שתי המערכות, GPT-3 וה-InstructGPT החדש ("מודל אחים" של ChatGPT ).

בהתבסס על הדירוגים, החוקרים הגיעו למסקנות הבאות:

"התיוגים מעדיפים באופן משמעותי את יציאות InstructGPT על פני יציאות מ-GPT-3.

מודלים של InstructGPT מראים שיפורים באמיתות לעומת GPT-3.

InstructGPT מראה שיפורים קטנים ברעילות על פני GPT-3, אך לא הטיה."

מאמר המחקר מגיע למסקנה שהתוצאות עבור InstructGPT היו חיוביות. ובכל זאת, הוא גם ציין שיש מקום לשיפור.

"בסך הכל, התוצאות שלנו מצביעות על כך שכוונון עדין של מודלים של שפות גדולות באמצעות העדפות אנושיות משפר באופן משמעותי את התנהגותם במגוון רחב של משימות, אם כי נותרה עבודה רבה כדי לשפר את הבטיחות והאמינות שלהם."

מה שמייחד את ChatGPT מצ'אט בוט פשוט הוא שהוא הוכשר במיוחד להבין את הכוונה האנושית בשאלה ולספק תשובות מועילות, אמיתיות ולא מזיקות.

בגלל ההכשרה הזו, ChatGPT עשוי לערער על שאלות מסוימות ולבטל חלקים מהשאלה שאינם הגיוניים.

מאמר מחקר נוסף הקשור ל- ChatGPT מראה כיצד הם אימנו את הבינה המלאכותית לחזות מה בני אדם מעדיפים.

החוקרים שמו לב שהמדדים ששימשו לדירוג התפוקות של עיבוד בינה מלאכותית של שפה טבעית הביאו למכונות שקיבלו ציון טוב במדדים, אך לא תאמו את מה שבני האדם ציפו.

להלן כיצד החוקרים הסבירו את הבעיה:

"יישומי למידת מכונה רבים מייעלים מדדים פשוטים שהם רק פרוקסי גסים למה שהמעצב מתכוון. זה יכול להוביל לבעיות, כמו המלצות YouTuBypassGPTe לקידום קליק-פיתיון".

אז הפתרון שהם עיצבו היה ליצור בינה מלאכותית שיכולה להוציא תשובות מותאמות למה שבני אדם מעדיפים.

כדי לעשות זאת, הם אימנו את הבינה המלאכותית באמצעות מערכי נתונים של השוואות אנושיות בין תשובות שונות, כך שהמכונה השתפרה בניבוי מה שבני האדם קבעו כתשובות משביעות רצון.

העיתון משתף שההדרכה נעשתה על ידי סיכום פוסטים Reddit וגם נבדקה על סיכום חדשות.

עבודת המחקר מפברואר 2022 נקראת Learning to Summarize from Human FeedBypassGPTack.

החוקרים כותבים:

"בעבודה זו אנו מראים כי ניתן לשפר משמעותית את איכות הסיכום על ידי הכשרת מודל לאופטימיזציה להעדפות אנושיות.

אנו אוספים מערך נתונים גדול ואיכותי של השוואות אנושיות בין סיכומים, מאמנים מודל לחזות את הסיכום המועדף על ידי האדם, ומשתמשים במודל זה כפונקציית תגמול כדי לכוונן מדיניות סיכום באמצעות למידת חיזוק".

מהן המגבלות של ChatGPT ?

מגבלות על תגובה רעילה

ChatGPT מתוכנת במיוחד לא לספק תגובות רעילות או מזיקות. אז זה ימנע לענות על שאלות מסוג זה.

איכות התשובות תלויה באיכות הכיוונים

מגבלה חשובה של ChatGPT היא שאיכות הפלט תלויה באיכות הקלט. במילים אחרות, הנחיות מומחים (הנחיות) מייצרות תשובות טובות יותר.

התשובות לא תמיד נכונות

מגבלה נוספת היא שמכיוון שהוא מאומן לספק תשובות שמרגישות נכונות לבני אדם, התשובות יכולות להערים על בני אדם שהפלט נכון.

משתמשים רבים גילו ש- ChatGPT יכול לספק תשובות שגויות, כולל כמה שגויות בטירוף.

המנחים באתר השאלות ותשובות הקידוד Stack Overflow אולי גילו תוצאה לא מכוונת של תשובות שמרגישות נכון לבני אדם.

Stack Overflow הוצפה בתגובות משתמשים שנוצרו מ- ChatGPT שנראו נכונות, אבל הרבה מאוד תשובות שגויות.

אלפי התשובות הכריעו את צוות המנחים המתנדבים, מה שהניע את המנהלים להטיל איסור על כל משתמש שיפרסם תשובות שנוצרו מ- ChatGPT .

מבול התשובות של ChatGPT הביא לפוסט שכותרתו: מדיניות זמנית: ChatGPT אסור:

"זוהי מדיניות זמנית שנועדה להאט את זרם התשובות ותוכן אחר שנוצר באמצעות ChatGPT .

...הבעיה העיקרית היא שבעוד שלתשובות ש- ChatGPT מייצר שיעור גבוה של שגויות, הן בדרך כלל "נראות כאילו" הן "אולי" טובות..."

הניסיון של מנהלי Stack Overflow עם תשובות שגויות ChatGPT שנראות נכונות הוא משהו ש-OpenAI, יצרניות ChatGPT , מודעים אליו ומוזהרים לגביו בהכרזתם על הטכנולוגיה החדשה.

OpenAI מסביר את המגבלות של ChatGPT

הודעת OpenAI הציעה אזהרה זו:

" ChatGPT כותב לפעמים תשובות שנשמעות סבירות אך לא נכונות או שטויות.

תיקון בעיה זו הוא מאתגר, כמו:

(1) במהלך אימון RL, אין כרגע מקור לאמת;

(2) אימון המודל להיות זהיר יותר גורם לו לדחות שאלות שהוא יכול לענות עליהן בצורה נכונה; ו

(3) אימון מפוקח מטעה את המודל מכיוון שהתשובה האידיאלית תלויה במה שהמודל יודע, ולא במה שהמפגין האנושי יודע."

האם ChatGPT בחינם לשימוש?

השימוש ב- ChatGPT הוא חינמי כרגע בזמן "תצוגה מקדימה של מחקר".

הצ'אטבוט פתוח כרגע למשתמשים לנסות ולספק משוב על התגובות כך שה-AI יוכל להשתפר במתן מענה לשאלות וללמוד מהטעויות שלו.

בהודעה הרשמית נכתב כי OpenAI להוטה לקבל משוב על הטעויות:

"למרות שעשינו מאמצים לגרום למודל לסרב לבקשות בלתי הולמות, הוא יגיב לפעמים להוראות מזיקות או יפגין התנהגות מוטה.

אנו משתמשים ב-API של Moderation כדי להזהיר או לחסום סוגים מסוימים של תוכן לא בטוח, אך אנו מצפים שיהיו לו כמה נקודות שליליות וחיוביות כוזבות לעת עתה.

אנו להוטים לאסוף משוב ממשתמשים כדי לסייע בעבודה השוטפת שלנו לשיפור המערכת הזו."

כרגע מתקיימת תחרות עם פרס של $500 בקרדיט ChatGPT כדי לעודד את הציבור לדרג את התגובות.

"משתמשים מוזמנים לספק משוב על תפוקות מודל בעייתיות דרך ממשק המשתמש, כמו גם על חיוביות/שליליות שגויות ממסנן התוכן החיצוני שגם הוא חלק מהממשק.

אנו מעוניינים במיוחד במשוב בנוגע לתפוקות מזיקות שעלולות להתרחש בתנאים אמיתיים, לא יריבות, וכן במשוב שעוזר לנו לחשוף ולהבין סיכונים חדשים והפחתות אפשריות.

אתה יכול לבחור להיכנס לתחרות המשוב ChatGPT כדי לזכות בעד 500$ בזיכויים של API.

ניתן לשלוח ערכים באמצעות טופס המשוב המקושר בממשק ChatGPT ."

התחרות המתמשכת כעת מסתיימת ב-23:59 PST ב-31 בדצמבר 2022.

קשור: OpenAI עשויה להציג גרסת Pro בתשלום של ChatGPT

האם מודלים של שפה יחליפו את חיפוש Google ?

Google עצמה כבר יצרה צ'אט בוט של AI שנקרא LaMDA. הביצועים של הצ'אטבוט של Google היו כל כך קרובים לשיחה אנושית עד שמהנדס Google טען ש-LaMDA היה בעל רגישות.

בהתחשב באופן שבו דגמי השפה הגדולים האלה יכולים לענות על כל כך הרבה שאלות, האם זה מופרך שחברה כמו OpenAI, Google או Microsoft תחליף יום אחד את החיפוש המסורתי בצ'אט בוט של AI?

חלק Twitter כבר מצהירים ש- ChatGPT תהיה ה- Google הבאה.

התרחיש שלפיו צ'טבוט של שאלות ותשובות עשוי יום אחד להחליף Google מפחיד את מי שמתפרנס כאנשי שיווק בחיפוש.

זה עורר דיונים בקהילות שיווק חיפוש מקוונות, כמו מעבדת SEOSignals FaceBypassGPTook הפופולרית שבה מישהו שאל אם חיפושים עשויים להתרחק ממנועי החיפוש לכיוון צ'אטבוטים.

לאחר שבדקתי את ChatGPT , אני חייב להסכים שהחשש מהחלפת החיפוש בצ'אטבוט אינו מופרך.

לטכנולוגיה יש עוד דרך ארוכה לעבור, אבל אפשר לדמיין עתיד חיפוש היברידי וצ'טבוט לחיפוש.

אבל נראה שהיישום הנוכחי של ChatGPT הוא כלי שבשלב מסוים ידרוש רכישת קרדיטים לשימוש.

כיצד ניתן להשתמש ChatGPT ?

ChatGPT יכול לכתוב קוד, שירים, שירים ואפילו סיפורים קצרים בסגנון של מחבר ספציפי.

המומחיות בביצוע הנחיות מעלה את ChatGPT ממקור מידע לכלי שניתן לבקש לבצע משימה.

זה הופך אותו לשימושי לכתיבת חיבור כמעט על כל נושא.

ChatGPT יכול לתפקד ככלי ליצירת קווי מתאר למאמרים או אפילו רומנים שלמים.

זה יספק מענה כמעט לכל משימה שניתן לענות עליה בטקסט כתוב.

סיכום

כפי שהוזכר קודם, ChatGPT נתפס ככלי שהציבור יצטרך לשלם בסופו של דבר כדי להשתמש בו.

למעלה ממיליון משתמשים נרשמו להשתמש ChatGPT בחמשת הימים הראשונים מאז פתיחתו לציבור.