כיתתלוקח פתוחה חדשה של צ'אטג'יפט - נקראת דולי

פיתוח מערכת השיחה המבוזרת של GPT התקדם עוד צעד אחד עם השקת הדולי לארג דובר רחב שטח (DLL), שנוצר על ידי חברת תוכנה המפעילה Databricks.

חפשי חדש לשיחה הוא דולי, ששמו לקח מהכבשה המפורסמת בשם דולי, היונקת הראשונה שמועתקה.

מודלים שפתיים גדולים בקוד פתוח

ה- Dolly LLM הוא הביטוי האחרון של התנועה למדינה פתוחה של AI המתרבה ומעניקה גישה נרחבת יותר לטכנולוגיה, כך שהיא לא יתרומם ומתוכנתת על ידי חברות גדולות.

אחת הדאגות המניעות את תנועת האינטיליגנציה המלאכותית הפתוחה היא שעסקים עשויים להיות חסרי הכרה במסירת מידע רגיש לצד שלישי ששולט בטכנולוגיית האינטיליגנציה המלאכותית.

שקופה נפתחת

דולי נוצרה מדגם מקור פתוח שנוצר על ידי מכון המחקר הלא-ממסגרתי EleutherAI ודגם האלפאקה של אוניברסיטת סטנפורד, שבתוך זה נוצר מדגם האלפאקה של 65 מיליארד פרמטרים ממקור פתוח בשם LLaMA, שנוצר על ידי החברה Meta.

LLaMA היא תוכנית שמיועדת לשפת מודל גדול ברמה המטא, מסוג AI, אשר מאומנת על פי מידע כללי זמין לציבור.

על פי מאמר מאת Weights & Biases, LLaMA יכולה להוביל על פני רב ממודלי השפה המובילים (OpenAI GPT-3, Gopher על ידי Deep Mind ו-Chinchilla על ידי DeepMind) למרות שהיא קטנה יותר.

יצירת מערך נתונים מושלם יותר

אינספירציה נוספת הגיעה ממאמר מחקר אקדמי (SELF-INSTRUCT: התאמת מודל שפה עם הוראות יצירתיות מעצמן PDF) שתיאר אופן ליצירת נתוני הכשרה לשאלות ותשובות מבוססות מודל שהיא איכותית וטובה יותר ממידע ציבורי מוגבל.

המאמר המחקרי של Self-Instruct מסביר:

"...אנחנו מאגדים אוסף של הוראות שנכתבו על ידי מומחים עבור משימות חדשות, ומראים באמצעות הערכה אנושית שהגידול של GPT3 באמצעות SELF-INSTRUCT מוביל לתוצאות טובות יותר במידה רבה, ולתוצאה של רק הבדל של 5% מול InstructGPT ...

ביישול את שיטתנו על GPT3 המקורי, אנו מדגימים שיפור אוניברסלי של 33% מול הדגם המקורי על SUPERNATURALINSTRUCTIONS, שזהה לביצועים של InstructGPT ... המאומן בנתונים פרטיים של משתמשים והערות מאנשים."

חשיבותו של דולי היא שהיא מדגימה שניתן ליצור מודל שפה גדול, יעיל ושימושי עם סט נתונים קטן יותר אך באיכות גבוהה.

דאטהבריקס מתבונן:

“דולי פועלת על ידי לקיחת מודל קיים של 6 מיליארד פרמטרים מ-EleutherAI ושינויו בצורה קלה כדי ליצור יכולת לעקוב אחר הוראות כמו יכולת לחשוב חדש ויצירת טקסט, תוך שימוש במידע של Alpaca.

אנו מראים שכל אדם יכול לקחת מודל שפה גדול וגמיש מתוך קוד פתוח שקיים ולהעניק לו יכולת לעקוב אחרי הוראות כמו ב-ChatGPT באופן קסום באמצעות הכשרה במשך 30 דקות על מחשב יחיד, באמצעות נתוני הכשרה באיכות גבוהה.

למרבה ההפתעה, נראה שאין צורך במודלים הגדולים והמתקדמים ביותר עבור עוקבי ההוראות: המודל שלנו מכיל רק 6 מיליארד פרמטרים, בניגוד ל-175 מיליארד של GPT-3."

דאטהבריקס פתוחות קוד AI

דולי נאמרת לפוליטזציה של AI. זו חלק מתנועה שהוספה לאחריה לאחרונה על ידי הארגון הלא ממסחרי מוזילה עם הקמתה של Mozilla.ai. מוזילה הינה המפרסם של דפדפן ה- Firefox ותוכנה קוד פתוח אחרת.