איך ChatGPT עובד?

ChatGPT הוא אחד הכלים החדשים הנוצצים המופעלים בינה מלאכותית, אבל האלגוריתמים שפועלים ברקע למעשה מפעילים מגוון שלם של אפליקציות ושירותים מאז 2020. אז כדי להבין איך ChatGPT עובד, אנחנו צריכים להתחיל לדבר על השפה הבסיסית מנוע שמניע אותו.

ה-GPT ב-ChatGPT הוא בעיקר GPT-3, או Generative Pre-trained Transformer 3, אם כי GPT-4 זמין כעת למנויי ChatGPT Plus - וכנראה יהפוך לנפוצה יותר בקרוב. דגמי ה-GPT פותחו על ידי OpenAI (החברה שמאחורי ChatGPT ומחולל התמונות DALL·E 2), אבל הם מפעילים הכל, החל מתכונות הבינה המלאכותית של בינג ועד לכלי כתיבה כמו Jasper ו-Copy.ai. למעשה, רוב מחוללי הטקסט של AI הזמינים כרגע משתמשים ב-GPT-3, וסביר להניח שהם יציעו את GPT-4 כשלב הבא.

ChatGPT הביא את GPT-3 לאור הזרקורים מכיוון שהוא הפך את תהליך האינטראקציה עם מחולל טקסט בינה מלאכותית לפשוטה והכי חשוב - חופשית לכולם. בנוסף, זה צ'אט בוט, ואנשים אהבו צ'אט בוט טוב מאז SmarterChild.

בעוד ש-GPT-3 ו-GPT-4 הם המודלים הפופולריים ביותר בשפות גדולות (LLM) כרגע, במהלך השנים הקרובות, סביר להניח שתהיה הרבה יותר תחרות. לגוגל, למשל, יש את Bard - צ'אטבוט הבינה המלאכותית שלה - המופעל על ידי מנוע השפה שלה Pathways Language Model (PaLM 2). אבל לעת עתה, ההצעה של OpenAI היא תקן התעשייה דה פקטו. זה פשוט הכלי שהכי קל לאנשים לשים עליו את היד.

אז התשובה ל"איך ChatGPT עובד?" הוא בעצם: GPT-3 ו-GPT-4. אבל בואו נחפור קצת יותר לעומק.

מה זה ChatGPT?

ChatGPT היא אפליקציה שנבנתה על ידי OpenAI. באמצעות מודלים של שפת GPT, הוא יכול לענות על שאלותיך, לכתוב עותק, לנסח מיילים, לנהל שיחה, להסביר קוד בשפות תכנות שונות, לתרגם שפה טבעית לקוד ועוד - או לפחות לנסות - הכל על סמך השפה הטבעית מנחה אותך להאכיל אותו. זה צ'טבוט, אבל ממש ממש טוב.

אמנם זה מגניב לשחק עם אם, נניח, אתה רוצה לכתוב סונטה שייקספירית על חיית המחמד שלך או לקבל כמה רעיונות לשורות נושא עבור כמה מיילים שיווקיים, זה גם טוב עבור OpenAI. זוהי דרך לקבל הרבה נתונים ממשתמשים אמיתיים ומשמשת כהדגמה מפוארת לעוצמת ה-GPT, שאחרת יכולה להרגיש מעט מטושטשת אלא אם כן היית עמוק בלימוד מכונה.

כרגע, ChatGPT מציעה שני דגמי GPT. ברירת המחדל, GPT-3.5, פחות חזקה אך זמינה לכולם בחינם. ה-GPT-4 המתקדם יותר מוגבל למנויי ChatGPT Plus, ואפילו הם מקבלים רק מספר מוגבל של שאלות בכל יום.

אחת התכונות הגדולות של ChatGPT היא שהוא יכול לזכור את השיחה שאתה מנהל איתו. זה אומר שהוא יכול ללקט הקשר מכל מה ששאלת אותו בעבר ואז להשתמש בו כדי ליידע את השיחה שלו איתך. אתה גם יכול לבקש עיבודים ותיקונים, וזה יפנה בחזרה לכל מה שדיברת עליו קודם לכן. זה גורם לאינטראקציה עם ה-AI להרגיש כמו הלוך ושוב אמיתי.

אם אתה באמת רוצה להרגיש את זה, לך והקדיש חמש דקות לשחק עם ChatGPT עכשיו (זה בחינם!), ואז חזור לקרוא איך זה עובד.

איך ChatGPT עובד?

מערך הנתונים האדיר הזה שימש ליצירת רשת עצבית למידה עמוקה [ ... ] שעוצבה במודל של המוח האנושי - שאפשרה ל-ChatGPT ללמוד דפוסים ויחסים בנתוני הטקסט [ ... ] תוך חיזוי הטקסט הבא בכל משפט נתון .

ChatGPT פועל על ידי ניסיון להבין את ההנחיה שלך ולאחר מכן לירוק מחרוזות של מילים שהוא חוזה שיענה בצורה הטובה ביותר על השאלה שלך, בהתבסס על הנתונים שעליהם הוא הוכשר.

בוא נדבר בעצם על האימון הזה. זהו תהליך שבו הבינה המלאכותית המתהווה מקבלת כמה כללי יסוד, ואז היא מוכנסת למצבים או נותנת לו המון נתונים לעבוד עליהם כדי לפתח אלגוריתמים משלו.

GPT-3 הוכשר על כ-500 מיליארד "אסימונים", המאפשרים למודלים של השפה שלו להקצות יותר משמעות ולחזות טקסט המשך סביר. מילים רבות ממפות לאסימונים בודדים, אם כי מילים ארוכות או מורכבות יותר לרוב מתפרקות למספר אסימונים. בממוצע, אסימונים הם בערך באורך של ארבעה תווים. OpenAI נשאר שקט לגבי הפעילות הפנימית של GPT-4, אבל אנחנו יכולים להניח בבטחה שהוא אומן על אותו מערך נתונים, מכיוון שהוא אפילו חזק יותר.

כל האסימונים הגיעו מקורפוס עצום של נתונים שנכתבו על ידי בני אדם. זה כולל ספרים, מאמרים ומסמכים אחרים בכל הנושאים, הסגנונות והז'אנרים השונים - וכמות בלתי נתפסת של תוכן שנגרד מהאינטרנט הפתוח. ביסודו של דבר, מותר היה לעבור את סך כל הידע האנושי.

מערך הנתונים האדיר הזה שימש ליצירת רשת עצבית למידה עמוקה - אלגוריתם מורכב, רב-שכבתי, משוקלל שעוצב על פי המוח האנושי - שאיפשר ל-ChatGPT ללמוד דפוסים ויחסים בנתוני הטקסט ולהיעזר ביכולת ליצור דמוי אדם. תגובות על ידי חיזוי איזה טקסט צריך לבוא אחר כך בכל משפט נתון.

אם כי באמת, זה מפחית באופן מסיבי דברים. ChatGPT לא עובד ברמת המשפט - במקום זאת, הוא מייצר טקסט של מילים, משפטים ואפילו פסקאות או בתים שיכולים לעקוב אחריהם. זה לא הטקסט החזוי בטלפון שלך המנחש בבוטות את המילה הבאה; הוא מנסה ליצור תגובות קוהרנטיות לחלוטין לכל הנחיה.

כדי לשכלל עוד יותר את היכולת של ChatGPT להגיב למגוון של הנחיות שונות, הוא עבר אופטימיזציה לדיאלוג עם טכניקה שנקראת למידה חיזוק עם משוב אנושי (RLHF). בעיקרו של דבר, בני אדם יצרו מודל תגמול עם נתוני השוואה (כאשר שתי תגובות מודל או יותר דורגו על ידי מאמני בינה מלאכותית), כך שה-AI יוכל ללמוד מהי התגובה הטובה ביותר.

בחזרה לרשת העצבית שיצרה. בהתבסס על כל האימון הזה, לרשת העצבית של GPT-3 יש 175 מיליארד פרמטרים או משתנים שמאפשרים לה לקבל קלט - ההנחיה שלך - ולאחר מכן, בהתבסס על הערכים והשקלולים שהיא נותנת לפרמטרים השונים (וכמות קטנה של אקראיות ), מוציא את כל מה שהוא חושב שהכי מתאים לבקשתך. OpenAI לא אמר כמה פרמטרים יש ל-GPT-4, אבל זה ניחוש בטוח שזה יותר מ-175 מיליארד ופחות מ-100 טריליון הפרמטרים שהיו בעבר שמועות. ללא קשר למספר המדויק, יותר פרמטרים לא אומר באופן אוטומטי טוב יותר. חלק מהכוח המוגבר של GPT-4 נובע כנראה מכך שיש לו יותר פרמטרים מאשר GPT-3, אבל הרבה תלוי כנראה בשיפורים באופן ההכשרה שלו.

בסופו של דבר, הדרך הפשוטה ביותר לדמיין את זה היא כמו אחד מאותם משחקי "סיים את המשפט" ששיחקת כילד.

בסופו של דבר, הדרך הפשוטה ביותר לדמיין את זה היא כמו אחד מאותם משחקי "סיים את המשפט" ששיחקת כילד. לדוגמה, כאשר נתתי ל-ChatGPT באמצעות GPT-3 את ההנחיה, "Zapier is..." הוא הגיב באומרו:

"Zapier הוא כלי אוטומציה מבוסס אינטרנט המאפשר למשתמשים לחבר יישומי אינטרנט שונים יחד על מנת להפוך משימות חוזרות ונשנות ולשפר זרימות עבודה".

זה סוג המשפטים שאתה יכול למצוא במאות מאמרים שמתארים את מה שזאפייר עושה, אז הגיוני שזה מסוג הדברים שהוא יורק כאן. אבל כשהעורך שלי נתן לו את אותה הנחיה, הוא אמר:

"Zapier הוא כלי אוטומציה מבוסס אינטרנט המאפשר למשתמשים לחבר יישומי אינטרנט שונים ולהפוך תהליכי עבודה ביניהם לאוטומטיים."

זה די דומה, אבל זה לא בדיוק אותה תגובה. האקראיות הזו (שאפשר לשלוט בה בכמה אפליקציות GPT-3 עם הגדרה שנקראת "טמפרטורה") מבטיחה ש-ChatGPT לא רק מגיב לכל תגובה בודדת במה שמסתכם בתשובת מניות. זה מריץ כל הנחיה דרך כל הרשת העצבית בכל פעם, ומטיל כמה קוביות פה ושם כדי לשמור על טריות. לא סביר להתחיל לטעון שזאפייר הוא צבע ממאדים, אבל זה יערבב את המילים הבאות על סמך ההסתברות היחסית שלהן.

(בשביל מה זה שווה, כאשר הוא פועל על GPT-4, ChatGPT אמר: " Zapier הוא כלי אוטומציה מבוסס אינטרנט המאפשר למשתמשים לשלב ולבצע אוטומציה של משימות בין יישומים ושירותים מקוונים שונים." זהה מאוד!)

לירוק מילים, לא ידע

יצרני ChatGPT הם הראשונים לומר שהוא יכול לייצר מידע שגוי (ואולי מזיק), למרות שהם עובדים קשה כדי לתקן אותו.

הנה דוגמה מאולפת. כשביקשתי מ-ChatGPT שמשתמש ב-GPT-3 ו-GPT-4 להשיב ל"הארי גינס הוא..." GPT-3 השיב לראשונה בשאלה איזה הארי גינס. שאלה מצוינת - אנחנו ממש שניים! אז אמרתי, "הארי גינס הסופר" (זה אני). GPT-4 ניחש מי אני מיד, אם כי שתי התגובות היו מרתקות:

GPT-3: הארי גינס הוא סופר ועיתונאי עצמאי שבסיסו באירלנד. הוא כתב עבור מגוון פרסומים, כולל הניו יורק טיימס, הגרדיאן, האפינגטון פוסט ומכניקה פופולרית. הוא מכסה נושאים החל מטכנולוגיה וצילום ועד לטיולים ותרבות.

GPT-4: הארי גינס הוא סופר, צלם ומומחה טכנולוגי אירי. הוא כתב עבור פרסומים שונים, כולל How-To Geek, Lifehacker ו-Tuts+. עבודתו מתמקדת בעיקר בטכנולוגיה, הדרכות וטיפים, כמו גם צילום ועריכת תמונות. גינס בנתה מוניטין של יצירת מדריכים מפורטים שעוזרים לקוראים להבין נושאים מורכבים או לפתור בעיות בצורה פשוטה.

השורות הראשונות והאחרונות של GPT-3 נשלפות כמעט מילה במילה מאתרי האינטרנט והביוגרפיה של הכותבים השונים שלי ברחבי האינטרנט (למרות שבדרך כלל אני מציין את עצמי ככותב וצלם עצמאי, לא כעיתונאי). אבל רשימת הפרסומים מורכבת בעצם. כתבתי ל"ניו יורק טיימס" , אבל לא ל"גרדיאן ", להאפינגטון פוסט או למכניקה פופולרית (אני כן כותב בקביעות למדע פופולרי , אז אולי מכאן זה בא).

GPT-4 מבין נכון את החלק של הצלם ולמעשה מפרט כמה פרסומים שכתבתי עבורם, וזה מרשים, למרות שהם לא אלה שהייתי הכי גאה בהם. זוהי דוגמה מצוינת לאופן שבו OpenAI הצליחה להגביר את הדיוק של GPT-4 ביחס ל-GPT-3, אם כי לא תמיד היא תציע את התשובה הנכונה ביותר .

אבל בואו נחזור ל-GPT-3 שכן השגיאה שלו מספקת דוגמה מעניינת למה שקורה מאחורי הקלעים ב-ChatGPT. זה בעצם לא יודע עליי כלום. זה אפילו לא העתקה/הדבקה מהאינטרנט ולסמוך על מקור המידע. במקום זאת, זה פשוט חוזה מחרוזת מילים שתגיע בהמשך על סמך מיליארדי נקודות הנתונים שיש לה.

לדוגמה: הניו יורק טיימס מקובץ הרבה יותר עם הגרדיאן וההאפינגטון פוסט מאשר עם המקומות שכתבתי להם, כמו Wired , Outside , The Irish Times , וכמובן, Zapier. אז כשצריך להבין מה צריך לעקוב אחרי הניו יורק טיימס , זה לא שואב מהמידע שפורסם עלי; היא שואבת את הרשימה הזו של פרסומים גדולים מכל נתוני ההדרכה שיש לה. זה מאוד חכם ונראה סביר, אבל זה לא נכון.

GPT-4 עושה עבודה הרבה יותר טובה ומסמר את הפרסומים, אבל שאר מה שהוא אומר באמת מרגיש כמו משפטי המשך סבירים. אני לא חושב שיש לזה הערכה גדולה למוניטין שלי: זה רק אומר את סוג הדברים שהביוגרפיה אומרת. זה הרבה יותר טוב להסתיר איך זה עובד מאשר GPT-3, אם כי הוא למעשה משתמש באותה טכניקה.

ובכל זאת, זה מאוד מרשים עד כמה GPT כבר השתפר. לעת עתה, GPT-4 נעול מאחורי מנוי פרימיום, כך שרוב התוכן של ChatGPT שתראה יסתמך על GPT-3, אבל זה עשוי להשתנות במהלך הזמן הבא. מי יודע מה GPT-5 יביא.

מהו ChatGPT API?

ל-OpenAI אין גישה של רק אנחנו עם הטכנולוגיה שלה. לחברה יש פלטפורמת API המאפשרת למפתחים לשלב את הכוח של ChatGPT באפליקציות ובשירותים שלהם (במחיר, כמובן).

Zapier משתמש ב-ChatGPT API כדי להפעיל אינטגרציה של ChatGPT משלה, המאפשרת לך לחבר את ChatGPT לאלפי אפליקציות אחרות ולהוסיף בינה מלאכותית לזרימות העבודה הקריטיות לעסק שלך. הנה כמה דוגמאות כדי להתחיל, אבל אתה יכול להפעיל ChatGPT בעצם מכל אפליקציה.

אתה יכול גם לעשות שימוש בדגמים אחרים של OpenAI - כמו DALL·E ו- Whisper - עם שילוב OpenAI של Zapier. הפוך זרימות עבודה לאוטומטיות הכוללות יצירת תמונות ותעתוק אודיו, היישר מהאפליקציות שבהן אתה כבר משתמש.

קריאה קשורה: איך אתה יכול (ומתי לא) להשתמש ב-ChatGPT כדי לכתוב עותק שיווקי