שוחררו שבעה מודלים חינמים ופתוחי קוד עבור GPT

החברה הישראלית לבינה מלאכותית, Cerebras, שוחררה שבעה שדרוגים פתוחים של מודלים של GPT, כדי לספק אלטרנטיבה למערכות הסגורות והביתיות הקיימות היום.

המודלים של GPT שלא מוגבלים ברויוטי, כולל המשקלים והמתכונת הלימודית, שוחררו תחת רישיון פתוח וחופשי מאוד של Apache 2.0 על ידי Cerebras, חברת תשתיות לאינטיליגנציה מלאכותית במזרח החוף המערבי של ארה"ב.

עד רמה מסוימת, הדגמים של שבעת הדגמים הם הוכחת עקרון עבור מחשב הבינה המלאכותית של Cerebras Andromeda.

התשתית של Cerebras מאפשרת ללקוחות שלהם, כמו Jasper AI Copywriter, לאמן במהירות מודלי שפה מותאמים אישית.

פוסט בבלוג של Cerebras אודות טכנולוגיית החומרה הבא לתשומת לב:

"שכשלנו את כל מודלי Cerebras-GPT על אשפתות קאדר 16x CS-2 Cerebras שנקראו אנדרומדה."

"האשפתות מאפשרות להשלים את כל הניסויים במהירות, בלעדי הנדסת מערכות מבוצעות והתאמה מקבר למודלים גדולים נדרשת על ידי אשפתות קרטלי גרפיקה."

"מעין ניגוד עניין מאפשר לחוקרים שלנו להתמקד בעיצוב של הלמידה המלאכותייה במקום במערכת המפוזרת. אנחנו מאמינים כי היכולת לאמלל רשתות גדולות בקלות היא תמיכה מרכזית לקהילה הרחבה, לכן אנחנו הכנסנו את אשפתות Cerebras Wafer-Scale Cluster באופן זמין בענן דרך Cerebras AI Model Studio’’."

מודלים של Cerebras GPT ושקיפות

סירברס מציינת את הריכוז של בעלות על טכנולוגיית הבינה המלאכותית בידי מספר חברות כסיבה ליצירת שבעה מודלים GPT פתוחים מקוד פתוח.

OpenAI, Meta ו-Deepmind שומרות כמויות גדולות של מידע על המערכות שלהן במוגן ובשליטה צמודה, וכך הם מגבילים את החדשנות רק למה ששלושת החברות הללו מחליטות שארים מורשים לעשות עם הנתונים שלהן.

האם מערכת סגורה היא הכי טובה לחדשנות בתחום AI? או האם הקוד הפתוח הוא העתיד?

סרבאס כותבים:

"על מנת ש-LLM יהיה טכנולוגיה פתוחה ונגישה, אנחנו מאמינים שקיימת חשיבות בגישה למודלים מתקדמים, פתוחים, ניתנים לשכפול וללא דמי רישוי, היכולים לשרת מטרות מחקריות ומסחריות."

"עם זאת, אנחנו כשרנו משפחת מודלים של הטרנספורמרים באמצעות טכניקות האחרונות ומערכות נתונים פתוחות שאנו קוראים להן Cerebras-GPT."

"המודלים האלה הם המשפחה הראשונה של מודלי GPT שקוראים להם בנוסף לחוק האפאצ'י בגירסה 2.0."

לכן, כל הדגמים השבעה הללו פורסמו ב-Hugging Face וב-GitHub כדי לעודד יותר מחקר דרך גישה פתוחה לטכנולוגיית המודלים השלמים המבוססים על AI.

המודלים הללו נאמנו בעזרת מחשב המונים לבינה מלאכותית Andromeda של סרברס, תהליך שלקח רק שבועות להשתלב הן.

Cerebras-GPT היא מערכת פתוחה ושקופה לחלוטין, להבדיל ממודלי GPT האחרונים מתוך OpenAI (GPT-4), Deepmind ו-Meta OPT.

OpenAI ו-Deepmind Chinchilla אינם מציעים רשיונות לשימוש במודלים. Meta OPT מציעה רק רישיון לשימוש לשאף רווח.

ה-GPT-4 של OpenAI אין לו שום של פ逞 ֶֻïת ע* למידת הנ‘: אם הם משתמשים במידע מ-Common Crawl? האם הם סרקו את האינטרנט ויצרו את מערכת הנתונים משלהם?

OpenAI מחזיקה את מידע זה (ועוד) בסוד, דבר שנמנע בגישת Cerebras-GPT שפתוחה לחלוטין.

הבא הן כל הפרטים הפתוחים והשקופים:

• מבנה המודל
• נתונים לאימון
• משקלי המודל
• ביקורות
• סטטוס הסט האופטימלי לחישוב (כן)
• רישיון לשימוש: רישיון Apache 2.0

הגרסאות השבע באופן 111M, 256M, 590M, 1.3B, 2.7B, 6.7B ו־13B מודלים.

הוכרז:

"בדבר ראשון בין חברות אובדן AI לבין חברת חומרת אינטיליגנציה מלאכותית Cerebras, חוקרים של Cerebras הכשירו במחשב המרוכז Andromeda AI סדרה של שבעה מודלים GPT עם 111M, ‏256M‏, ‏590M‏, ‏1.3B‏, ‏2.7B‏, ‏6.7B‏, ‏ובעלי 13B מתפרמטרים.

בדרך כלל החידוש הזה יכול לקחת כמה חודשים, אבל עובדה שאפשר היה להשלים אותו בשבועות מודעה ממהירות האדירה של מערכות הCS-2 של Cerebras שמרכיבות את Andromeda, וגם מהיכולת של אדריכלות ה-MicroSON של Cerebras לבטל את הקשיים הקשורים לחישוב מופצת.

תוצאות אלו מדגימות שמערכות של Cerebras יכולות להכשיר את העומסים ה-Supreme AI הגדולים ביותר והמורכבים ביותר כיום.

הפעם הזו היא הראשונה בה מסד הנתונים של GPT הודפס ושאילת הזנים, באמצעות כלים המודרניים ביותר ליעילות הכשרה, הכלו בתהליך מתן פומבי,

מבחינת ביצועי מאזן השרדות. הם יכולים לשפר את זמן האימון, את עלויות האימון, ואת ההוצאות האנרגטיות לעומת כל דגמים פומביים קיימים."

מערכת פתוחה של AI

הקרן מוזילה, המייצרת של תוכנה קוד פתוח כמו פיירפוקס, הקימה חברה בשם Mozilla.ai כדי לבנות מערכות GPT וממליצים קוד פתוח שמאמינות ומכבדות פרטיות.

גם דאטה-בריקס לאחרונה שחררו גרסה פתוחה של גיבור הגפטה שנקרא דולי שמטרתה לדמוקרט ״את הקסם של צ'אטגפ"ט.״

בנוסף לשבעת המודלים של Cerebras GPT, חברת Nomic AI הפיצה את GPT4All, גרסה פתוחה של GPT שיכולה לרוץ על מחשב נייד.

תנועת הבינה המלאכותית הפתוחה נמצאת בשלב ראשון אך מקבלת תאוצה.

טכנולוגיית GPT מביאה לעולם שינויים עצומים במגוון ענפים, ויש אפשרות, אולי יתכן, כי השתתפויות במקור פתוח עשויות לשנות את הפנים של התעשיות המנהיגות את השינוי הזה.

אם תנועת הקוד הפתוח תמשיך להתקדם בקצב הזה, אנחנו עשויים להיות על סף עידוי שינוי בחדשנות בתחום הבינה מלאכותית שמונעת ממנה להתרכז בידי מספר חברות.

קרא את ההודעה הרשמית:

סִירְבְּרָס סִסְטֵמס מוֹצִיא לָאוֹר שִבעָה מֹדֵלִים חֲדָשִׁים שֶל GPT שנורו עַל מוֹדֶלִים חֲדָשִׁים שֶל מערכוֹת CS-2 בְגוּדָלָן של רֶקֶמַת הַקִרְנִיוֹת.