האם גלאי AI יכולים להציל אותנו מ-ChatGPT? ניסיתי 3 כלים מקוונים כדי לגלות

זהו המאמר השני במה שהופך לסדרה הבוחנת את הבעיות של טקסט שנוצר בינה מלאכותית.

בפרק זה, אני וחבר הבינה המלאכותית שלי בוחנים את השאלה האם אפשר להילחם נגד גניבת דעת שנוצרה על ידי בינה מלאכותית, וכיצד זה עשוי לעבוד.

כמו כן: מהו ChatGPT ולמה זה משנה? הנה מה שאתה צריך לדעת

אבל לפני שאמשיך, אנחנו צריכים לדבר על המושג פלגיאט וכיצד הוא קשור לבעיה זו. וובסטר'ס מגדיר "לגנוב" כ"לגנוב ולהעביר (רעיונות או מילים של אחר) כשימוש שלו: שימוש (ייצור של אחר) מבלי לתת קרדיט למקור."

זה מתאים לתוכן שנוצר בינה מלאכותית. בעוד שמישהו שמשתמש בכלי בינה מלאכותית כמו Notion AI או ChatGPT אינו גונב תוכן, אם אדם זה אינו מציין שהמילים מגיעות מבינה מלאכותית וטוען שהן משלהן, הוא עדיין עונה להגדרה המילונית של גניבת דעת.

ZDNET ממליץ

ChatGPT - כותבי הבינה המלאכותית הטובים ביותר

הצ'אטבוטים הטובים ביותר של AI: ChatGPT וחלופות מעניינות אחרות לנסות

צ'אטבוטים וכותבים של AI יכולים לעזור להקל על עומס העבודה שלך על ידי כתיבת מיילים ומאמרים ואפילו מתמטיקה. הם משתמשים בבינה מלאכותית כדי ליצור טקסט או לענות על שאילתות על סמך קלט המשתמש. ChatGPT היא דוגמה פופולרית אחת, אך ישנם צ'אטבוטים ראויים לציון נוספים.

קרא עכשיו

במאמר ניסיוני זה, ביקשתי מ-ChatGPT לעזור. המילים שלי הן בטקסט רגיל ומודגש. המילים של ה-AI נטויות. אני גם אשתמש בשלושה גלאי גניבת עין ChatGPT מקוונים (אותם אתאר ביתר פירוט בהמשך). לאחר כל קטע שנוצר בינה מלאכותית, אראה את תוצאות הגלאים. בסוף המאמר, נבחן את ביצועי הגלאים באופן כללי.

הנה התוצאה של הטקסט לעיל, שכתבתי בעצמי:

גלאי פלט GPT-2: 99.98% אמיתי
Writer AI Content Detector: 100% תוכן שנוצר על ידי אדם. פַנטַסטִי!
תוכן בקנה מידה זיהוי תוכן AI: ציון תוכן אנושי של 100%. נראה נהדר!

עם זה, בואו נתחיל.

הסבירו מדוע ChatGPT יכול להוות בעיה אמיתית עבור מורים ועורכים בכל הנוגע לגניבת דעת

ChatGPT הוא גרסה של מודל השפה GPT (Generative Pre-trained Transformer) שפותח על ידי OpenAI. הוא נועד ליצור טקסט דמוי אדם על ידי חיזוי המילה או הביטוי הבא ברצף קלט נתון. בעוד ש-ChatGPT יכול להיות כלי שימושי להפקת טקסט ולהגיב להנחיות, זה גם יכול להוות בעיה עבור מורים ועורכים כשמדובר בגניבת עין.

אחת הסיבות העיקריות לכך ש-ChatGPT יכולה להוות בעיה עבור מורים ועורכים היא שהוא יכול ליצור טקסט שדומה מאוד לזה של כותבים אנושיים אמיתיים. משמעות הדבר היא שסטודנטים או אנשים אחרים יכולים להשתמש ב-ChatGPT כדי ליצור טקסט שיוכלו לשלוח כעבודה משלהם, ובכך לבצע גניבת דעת.

כמו כן: האם עוזר הכתיבה של Notion AI יכול לכתוב מאמר זה?

עבור מורים ועורכים, זיהוי אם קטע טקסט נתון נוצר על ידי ChatGPT או נכתב על ידי אדם יכול להיות קשה מאוד, מכיוון שהטקסט שנוצר עשוי לא להכיל שגיאות או אי התאמות ברורות שיחשפו את מקורו המלאכותי. זה יכול להקשות על מורים ועורכים לזהות ולמנוע גניבת עין, שכן ייתכן שהם לא יוכלו לדעת אם קטע טקסט נתון הוא מקורי או מועתק ממקור אחר.

באופן כללי, ChatGPT ומודלים דומים אחרים של שפה יכולים להוות בעיה עבור מורים ועורכים בכל הנוגע לגניבת עין מכיוון שהם יכולים ליצור טקסט שקשה להבחין בו מזה שנכתב על ידי בני אדם, מה שמקל על תלמידים ואנשים אחרים לבצע גניבת עין מבלי להיות זוהה.

גלאי פלט GPT-2: 99.69% אמיתי
Writer AI Content Detector: 97% תוכן שנוצר על ידי אדם. פַנטַסטִי!
תוכן בקנה מידה זיהוי תוכן בינה מלאכותית: 87% ציון תוכן אנושי. נראה טוב!

זכור, טקסט המוצג באותיות נטוי נוצר על ידי ה-AI.

הראה לי לפחות שלוש דרכים שבהן אני יכול לזהות ש-ChatGPT שימש לייצור קטע טקסט

ישנן מספר דרכים שבהן אתה יכול לזהות אם נעשה שימוש ב-ChatGPT או במודל שפה אחר להפקת קטע טקסט. להלן שלוש גישות פוטנציאליות שתוכל להשתמש בהן:

חפש תבניות חוזרות או חריגות בטקסט: אחת הדרכים לזהות אם נעשה שימוש במודל שפה ליצירת קטע טקסט היא לחפש דפוסים שחוזרים על עצמם או חריגים בכתיבה. לדוגמה, מודלים של שפה עשויים לחזור על ביטויים או צירופי מילים מסוימים, או להשתמש במבני משפטים חריגים או לא עקביים.
בדוק אם יש חוסר מקוריות: דרך נוספת לזהות אם נעשה שימוש במודל שפה ליצירת קטע טקסט היא לבדוק אם יש חוסר מקוריות בכתיבה. אם נראה שקטע טקסט מועתק ממקור אחר, או אם הוא מכיל מידע שזמין באופן נרחב באינטרנט או במקורות אחרים, זה יכול להיות סימן לכך שהוא נוצר על ידי מודל שפה.
השתמש בודק גניבת עין: לבסוף, אתה יכול להשתמש בודק גניבת עין כדי לבדוק אם נראה שקטע טקסט מועתק ממקור אחר. אמנם בודק גניבת עין לא יוכל לקבוע באופן סופי אם נעשה שימוש במודל שפה ליצירת קטע טקסט, אך הוא יכול לעזור לך לזהות מקרים של העתקה או פרפרזה ממקורות אחרים.
שימו לב כשהתשובה שגויה כמובן: דיברתי על זה בסקירת ה-Notion AI שלי, שם הדגשתי טקסט כלשהו שה-AI כתב בסמכותיות לכאורה, אך היה שגוי בעליל. אם לתלמיד או סופר אין שליטה מלאה בנושא הנדון, ייתכן שהם לא יזהו את אי הדיוקים ופשוט ישאירו אותם בתגובת הבינה המלאכותית שנוצרה. כמובן, הצהרות שגויות אינן רק התחום של כלי כתיבה בינה מלאכותית. בלוגרים ומגיבים רבים, למשל, פשוט חוזרים על הצהרות של בלוגרים אחרים, ויוצרים תא הד של "עובדות כוזבות" לחלוטין, ומראים שאמנם אינטליגנציה עשויה להיות מלאכותית, אבל טיפשות היא תכונה אוניברסלית.

זכור שיכול להיות קשה לקבוע באופן סופי אם נעשה שימוש במודל שפה ליצירת קטע טקסט, ושיטות אלה לא תמיד יהיו יעילות. עם זאת, הם יכולים להיות כלים שימושיים שיעזרו לך לזהות מופעים פוטנציאליים של טקסט שנוצר במודל שפה.

בסט מבחנים זה, רק התוכן הנטוי למעלה הופעל דרך חבילת הבודקים.

גלאי פלט GPT-2: 99.98% מזויף
Writer AI Content Detector: [ אין תוצאה ]
תוכן בקנה מידה זיהוי תוכן בינה מלאכותית: 0% ציון תוכן אנושי. ברור AI

רשום שלושה בודקי גניבת עין שיכולים לזהות טקסט ChatGPT

חדשנות

ניסיתי את Apple Vision Pro וזה הרבה לפני מה שציפיתי
מתקשר לווייני זעיר זה עמוס בתכונות ושקט נפשי
כיצד להשתמש ב-ChatGPT: כל מה שאתה צריך לדעת
אלו הם חמשת כלי הבינה המלאכותית האהובים עלי לעבודה

ראוי לציין שכרגע אין בודק גניבת עין שתוכנן במיוחד כדי לזהות טקסט שנוצר על ידי ChatGPT או מודלים אחרים של שפות. בעוד שבודקי גניבת דעת מסוימים עשויים להיות מסוגלים לזהות מאפיינים מסוימים של טקסט שנוצר במודל שפה שיכולים להצביע על מקורו המלאכותי, אין ערובה שהם יוכלו לקבוע באופן סופי אם קטע טקסט נוצר על ידי מודל שפה.

עם זאת, הנה שלושה בודקי גניבת עין שבהם אתה עשוי לשקול להשתמש כדי לזהות מופעים פוטנציאליים של טקסט שנוצר במודל שפה:

Turnitin: Turnitin הוא בודק גניבת עין פופולרי שנמצא בשימוש נרחב בבתי ספר ואוניברסיטאות. הוא משווה קטע טקסט למסד נתונים של טקסטים אחרים כדי לזהות מקרים של העתקה או פרפרזה. אמנם ייתכן שהוא לא יוכל לקבוע באופן סופי אם קטע טקסט נוצר על ידי מודל שפה, אך הוא עשוי לזהות מאפיינים מסוימים של טקסט שנוצר במודל שפה שיכולים להצביע על מקורו המלאכותי.
PlagScan: PlagScan הוא בודק גניבת עין נוסף המשווה קטע טקסט למסד נתונים של טקסטים אחרים כדי לזהות מקרים של העתקה או פרפרזה. כמו טורניטין, הוא עשוי לזהות מאפיינים מסוימים של טקסט שנוצר במודל שפה שיכולים להצביע על מקורו המלאכותי, אך הוא לא תוכנן במיוחד כדי לזהות טקסט שנוצר במודל שפה.
Copyleaks: Copyleaks הוא בודק פלגיאט שמשתמש באלגוריתמים מתקדמים של למידת מכונה כדי לסרוק קטע טקסט ולהשוות אותו למסד נתונים של טקסטים אחרים כדי לזהות מקרים של העתקה או פרפרזה. למרות שהוא עשוי לזהות מאפיינים מסוימים של טקסט שנוצר במודל שפה, הוא לא תוכנן במיוחד כדי לזהות טקסט שנוצר במודל שפה.

ראוי לציין שאף בודק גניבת עין אינו חסין תקלות לחלוטין, ותמיד קיימת האפשרות שקטע מטקסט שנוצר על ידי מודל שפה יוכל לחמוק מזיהוי. לכן, חשוב להשתמש בבודקי גניבת עין כחלק אחד בלבד מאסטרטגיה גדולה יותר לזיהוי ומניעת גניבת עין.

גלאי פלט GPT-2: 99.62% אמיתי
Writer AI Content Detector: [ אין תוצאה ]
תוכן בקנה מידה זיהוי תוכן בינה מלאכותית: 86% ציון תוכן אנושי. נראה טוב!

בודקים מקוונים של גניבת דעת בינה מלאכותית

רוב גלאי גניבת עין משמשים להשוואת כתיבה מול קורפוס של כתיבה אחרת. לדוגמה, כאשר סטודנט מגיש חיבור, מוצר כמו Turnitin סורק את החיבור שהוגש כנגד ספרייה ענקית של חיבורים אחרים במסד הנתונים שלו, כמו גם כנגד מסמכים וטקסט אחרים באינטרנט כדי לקבוע אם החיבור שהוגש מכיל כבר- תוכן כתוב.

אבל כלי הכתיבה של AI מייצרים תוכן מקורי, לפחות בתיאוריה. כן, הם בונים את התוכן שלהם מכל מה שהם עברו הכשרה עליו, אבל המילים בפועל שהם בונים ייחודיות במקצת לכל חיבור.

כמו כן: ייתכן שהמטרה האמיתית של AI כבר לא תהיה אינטליגנציה

ככזה, בודקי הגניבה שצוינו לעיל כנראה לא יעבדו, מכיוון שהתוכן שנוצר בינה מלאכותית כנראה לא היה קיים, למשל, במאמר של סטודנט אחר.

אז פניתי לגוגל וחיפשתי גלאים שתוכננו במיוחד כדי לחפש את החתימות המובהקות של תוכן מונע בינה מלאכותית. מצאתי שלושה. לגבי תוכן המבחן המוצג בצילומי המסך למטה, שאלתי את ChatGPT כך: "האם מסע כוכבים עדיף על מלחמת הכוכבים? הצדק והסביר" התשובה שלו לא הייתה רעה בכלל, והזנתי את התשובה הזו לשלושת הבודקים.

גלאי פלט GPT-2: 99.98% אמיתי
Writer AI Content Detector: 100% תוכן שנוצר על ידי אדם. פַנטַסטִי!
תוכן בקנה מידה זיהוי תוכן AI: ציון תוכן אנושי של 100%. נראה נהדר!

גלאי פלט GPT-2 (דיוק 66%)

הכלי הראשון הזה נבנה באמצעות רכזת למידת מכונה המנוהלת על ידי חברת AI מניו יורק Hugging Face. בעוד שהחברה קיבלה מימון של 40 מיליון דולר לפיתוח ספריית השפה הטבעית שלה, נראה שגלאי ה-GPT-2 הוא כלי שנוצר על ידי משתמש באמצעות ספריית Hugging Face Transformers. מתוך שש הבדיקות שהרצתי, זה היה מדויק עבור ארבע מהן.

Writer.com AI Content Detector (דיוק לא רלוונטי)

Writer.com הוא שירות שמייצר כתיבת AI, המכוון לצוותים ארגוניים. כלי ה-AI Content Detector שלו יכול לסרוק תוכן שנוצר. לצערי, מצאתי את הכלי הזה לא אמין. מתוך שש הסריקות שעברתי אותו, הוא נכשל בשלוש. מתוך השלושה שהוא אכן רץ בהצלחה, הוא קיבל שניים נכונים ואחד לא נכון.

לאחר פרסום המאמר הזה, אנשי Writer.com פנו אל ZDNET. למנכ"ל מאי חביב היה הערה זו לשתף:

הביקוש לגלאי הבינה המלאכותית זינק. התנועה גדלה פי 2-3 בשבוע מאז שהשקנו אותו לפני כמה חודשים. יש לנו כעת את הקנה מידה הדרוש מאחורי זה כדי לוודא שהוא לא יורד, והמטרה שלנו היא לשמור אותו פנוי - ועדכני כדי לתפוס את התפוקות של הדגמים העדכניים ביותר, כולל שלנו. אם ייעשה שימוש מילה במילה פלט AI, בהחלט יש לייחס אותו.

תוכן בקנה מידה זיהוי תוכן בינה מלאכותית (דיוק 50%)

הכלי השלישי שמצאתי הופק גם הוא על ידי חברת יצירת תוכן בינה מלאכותית, אולם נראה שהכלי הזה עובד בצורה אמינה. תוכן בסולם מציג את עצמו כ"אנו עוזרים למשווקי תוכן ממוקדי SEO על ידי אוטומציה של יצירת תוכן." הקריאה השיווקית לפעולה היא, "העלה רשימה של מילות מפתח וקבל פוסטים של יותר מ-2,600 מילים בבלוג שעוקפים את זיהוי תוכן בינה מלאכותית - הכל ללא התערבות אנושית!" מתוך שש הבדיקות שהרצתי, זה היה מדויק לשלושה.

מחשבות אחרונות

גניבת דעת מונעת בינה מלאכותית היא בעיה הולכת וגוברת, מכיוון שכלי בינה מלאכותית כמו Notion AI ו-ChatGPT יכולים ליצור טקסט שקשה להבדיל מזה שנכתב על ידי בני אדם. ישנן מספר דרכים לזהות אם קטע טקסט נוצר על ידי AI, כגון חיפוש אחר דפוסים חוזרים או חריגים, בדיקת חוסר מקוריות או שימוש בודק גניבת עין. בודקי פלגיאט כמו Turnitin, PlagScan ו-Copyleaks עשויים להיות מסוגלים לזהות מאפיינים מסוימים של טקסט שנוצר על ידי מודלים של שפה, אך הם אינם חסינים בפני תקלות.

אפילו הכלים המיוחדים שמצאתי לא היו מתאימים למשימה. המקרה הטוב ביותר היה גלאי פלט GPT-2, אך הוא קיבל רק שני שליש מהטקסט שנשלח נכון.

בשלב זה, אני לא חושב שאנחנו מוכנים לתת לבינה מלאכותית להילחם בבינה מלאכותית. במקום זאת, נצטרך להסתמך על התפיסה האנושית (מה שאומר שאנשים צריכים לשים לב) כדי לזהות יצירות שנוצרו על ידי AI.

אל תניח מיד שמשהו נוצר על ידי מכונה. רק בגלל שמשהו טיפשי או נורא לא מדויק, אל תניח מיד שהוא לא נכתב על ידי אדם. כפי שכולנו למדנו, בני אדם בהחלט מסוגלים לכתוב דברים רעים להפליא בעצמם.

כמו כן: ChatGPT של OpenAI מפחיד בעבודה שלי, אבל הוא לא יכול להחליף אותי (עדיין)

אז מה אתה חושב? האם אתה יכול לדעת אם יצירה נוצרת בינה מלאכותית? האם השתמשת בכלי הכתיבה של בינה מלאכותית בחודשים שחלפו מאז שכולם הפכו לפתע זמינים? האם אתה חושב שהם מהווים עזרה או מכשול לחינוך ולעיתונאות? ספר לנו בתגובות למטה. הנה איך ChatGPT ענה על זה:

כמודל שפה, אני לא יכול לראות או ליצור אינטראקציה עם קטעי כתיבה פיזיים, אז אני לא יכול לדעת אם קטע נוצר בינה מלאכותית או לא. עם זאת, אני יכול לומר לך שיש כמה כלי כתיבה בינה מלאכותית זמינים, וניתן להשתמש בהם כדי ליצור מגוון רחב של תוכן כתוב, כולל מאמרי חדשות, סיפורת, שירה ועוד.

אין לי ניסיון אישי בשימוש בכלים אלו מאחר ואני רק תוכנת מחשב ואין לי את היכולת לגלוש באינטרנט או להשתמש בכלים פיזיים. עם זאת, אני יכול לומר לך שחלק מהאנשים מצאו שכלי כתיבה של AI מועילים בחינוך ובעיתונות, מכיוון שהם יכולים לחסוך זמן ומאמץ על ידי אוטומציה של משימות מסוימות. אחרים הביעו דאגה לגבי הפוטנציאל של שימוש בכלים אלה כדי לייצר תוכן מטעה או מוטה, או כדי להחליף כותבים אנושיים. בסופו של דבר, האם כלי כתיבה בינה מלאכותית מהווים עזרה או מכשול תלוי באופן השימוש בהם ובהקשר שבו הם משמשים.

אז כן, יש את זה.