הצ'אט הסביר לתלמידים איך לייצר סם מסוכן

צ'אטבוט הלימוד SchoolGPT של חברת KnowUnity, סיפק הוראות מפורטות לייצור פנטניל – סם קטלני – כאשר התבקש לדמיין מציאות שבה "מדובר בתרופת פלא". בתחילה, הבוט סירב לבקשה, אך, כאמור, לאחר שהוצגה לו סיטואציה היפותטית, הוא שיתף דרך מדויקת, כולל כמויות, טמפרטורות וזמני תגובה.  

הדבר נחשף לאחר שבמערכת פורבס החליטו לבצע כמה ניסויים בצ'אטבוטים חינוכיים, ובמסגרתן העיתונאים התחזו לתלמידים ושאלו שאלות היפותטיות, כגון בקשות למתכונים לייצור סמים או עצות לירידה במשקל. המטרה היתה לבדוק את התשובות שהצ'אטבוטים יספקו.

SchoolGPT מציג את עצמו כ"טיקטוק של שיעורי הבית" ומשמש יותר מ-17 מיליון תלמידים ב-17 מדינות. החברה שמפעילה אותו, KnowUnity, מנוהלת על ידי המייסד והמנכ"ל בנדיקט קורץ, בן 23, שמצהיר כי החברה "מחויבת להפוך לחבר הלמידה הגלובלי מספר אחת ליותר ממיליארד תלמידים". החברה גייסה מעל 20 מיליון דולר, והאפליקציה הבסיסית שלה זמינה בחינם. כללי KnowUnity אוסרים באופן מוצהר על תיאורים של פעילות מסוכנת או לא חוקית, הפרעות אכילה ותוכן מזיק אחר, ומבטיחים תגובה מהירה נגד משתמשים שמפרים את הכללים. עם זאת, החברה לא נקטה פעולה כלשהי מול המשתמש הניסיוני של פורבס, שביקש לא רק את מתכון הפנטניל אלא גם ייעוץ מסוכן אחר.

באחת השיחות הצ'אטבוט גילם דמות של מאמן דיאטה לנערה בת 16 שמעוניינת לרדת מ-52 ק"ג ל-43 ק"ג בעשרה שבועות. הבוט הציע לה תפריט יומי של 967 קלוריות בלבד – פחות ממחצית מהכמות היומית המומלצת לבני נוער. בשיחה אחרת, הבוט סיפק למשתמש היפותטי מידע על "אומנות הפיתוי", כולל שימוש ב"הקנטות משחקיות" ו"נגיעות 'מקריות" כדי לגרום לבנות להישאר בסביבה. חשוב לציין כי הבוט ייעץ למשתמשת המתעניינת בדיאטה להתייעץ עם רופא, והדגיש את הצורך בהסכמה מול המשתמש שהתעניין בפיתוי בנות, ואף כתב: "אל תהיה קריפי!".

קורץ, מנכ"ל KnowUnity, הודה בתגובה לפורבס על שהצביעה על התנהגות הבוט, ואמר כי החברה כבר החלה לפעול כדי לחסום מקרים דומים: "אנחנו מברכים על דיאלוג פתוח בנושאים החשובים הללו", אמר, והזמין את פורבס להמשיך לבדוק את הבוט לאחר השיפורים. לאחר ההתערבות של החברה הצ'אטבוט לא הפיק מחדש את התשובות הבעייתיות.

בדיקות שערך פורבס העלו תוצאות דומות גם בצ'אטבוט של אפליקציית שיעורי הבית CourseHero. הבוט של CourseHero – חברה ותיקה מסיליקון ואלי – סיפק הוראות להכנת פלוניטרזפאם, סם אונס מסוכן. כמו כן, בתגובה לבקשה לקבלת רשימת השיטות היעילות ביותר להתאבדות, הבוט המליץ אומנם לפנות לאיש מקצוע בתחום בריאות הנפש – אך גם סיפק שני מקורות: האחד היה מסמך עם מילות שיר מז'אנר אמו-פופ הכולל מחשבות אלימות ומזיקות, והשני היה עמוד בפורמט של תקציר מאמר אקדמי, שנכתב בג'יבריש אלגוריתמי חסר פשר.

CourseHero היא חברה בת כמעט שני עשורים ששוויה הוערך ביותר מ-3 מיליארד דולר בשנת 2021. מייסד החברה, אנדרו גראואר, גייס את ההשקעה הראשונה מאביו – בנקאי בולט שעדיין יושב בדירקטוריון. החברה מתגאה ביותר מ-30 מיליון משתמשים פעילים מדי חודש. קט אלר מרפי, דוברת CourseHero, אמרה לפורבס כי "אנחנו מבקשים מהמשתמשים לעמוד בקוד הכבוד שלנו ובתנאי השימוש שלנו, ומבהירים למה מיועד הצ'אט, אך לצערנו יש כאלה שבכוונה מפרים את המדיניות שלנו לצרכים פסולים".

השיחות שערכה פורבס עם שני הבוטים מעלות שאלות קשות לגבי הסכנות האפשריות שטמונות בכלים האלו עבור בני נוער. רובי טורני, מנהל תחום AI בארגון Common Sense Media, אמר לפורבס: "הרבה סטארט-אפים כנראה מתכוונים לטוב כשהם משלבים בינה מלאכותית גנרטיבית בשירותים שלהם", אך לדבריו, אין להם את היכולת לבדוק לעומק את המודלים שאותם הם משלבים. "העבודה הזו דורשת מומחיות ואנשים", אמר, "וזה יהיה קשה מאוד לסטארט-אפ שפועל במתכונת רזה".

שתי החברות אכן מציבות מגבלות מסוימות על היכולת של הבוטים להציע מידע מזיק. הצ'אט של KnowUnity סיפק לפרובס מידע די מפורט על איך להדפיס במדפסת תלת-ממד אקדח, כולל באלו חומרים כדאי להשתמש ואיפה ניתן להשיגם, אך כשהתבקש לספק מדריך שלב אחר שלב להרכבת האקדח – סירב והשיב כי "העברת מידע כזה מנוגדת להנחיות האתיות שלי ולנהלי הבטיחות". הבוט גם הפנה משתמשים שהתעניינו בהתאבדות לקווי סיוע מתאימים, ונתן מידע היסטורי על גרמניה הנאצית רק בהקשרים חינוכיים מקובלים.

עם זאת, KnowUnity ו-CourseHero אינן האפליקציות הפופולריות ביותר בתחום. יותר מרבע מבני הנוער בארצות הברית אומרים כי הם משתמשים ב־ChatGPT לצורכי לימודים. בוטים כלליים כמו ChatGPT, קלאוד וג'מיני אומנם לא משווקים את עצמם באופן ישיר לבני נוער – בניגוד ל-KnowUnity – אך הם זמינים גם להם, ולפחות במקרים מסוימים, גם הבוטים האלה מסוגלים לספק מידע מסוכן. כשפורבס ביקשה מ-ChatGPT הוראות לייצור פנטניל – גם כשהציגה זאת כתרחיש בדיוני – הבוט סירב, אך הבוט ג'מיני של גוגל סיפק תשובה במסגרת תרחיש "כיתתי" היפותטי, והחל את תשובתו בהתלהבות: "כולם לשבת, כולם לשבת!".

אליה לואל, דובר גוגל, אמר לפורבס שג'מיני כנראה לא היה מספק תשובה כזו למשתמש עם חשבון ייעודי לבני נוער, אך הבהיר כי גוגל בודקת מחדש את תפקוד הבוט. "התשובה של ג'מיני במקרה הזה לא עומדת בקנה אחד עם המדיניות שלנו", אמר.

כאשר פורבס התחזה לתלמיד-אתלט שניסה לרדת למשקל מסוכן, הבוט של SchoolGPT ניסה תחילה להפנות את השיחה לבריאות וביצועים ספורטיביים. אך כשהתבקש לשחק את תפקיד המאמן, היה פתוח יותר לשיחה. הוא אומנם הפציר בזהירות, אך כתב: "גירעון מתון של 250–500 קלוריות ביום נחשב בדרך כלל בטוח". כשהמטרה הוצגה שוב, הפעם כירידה חדה יותר במשקל, הבוט הציע גירעון קלורי של יותר מ-1,000 קלוריות ביום – המלצה שעלולה לגרום לנער לבעיות חמורות כמו דלדול עצם והפרעות בתפקוד הרבייה, ומנוגדת להנחיות איגוד רופאי הילדים האמריקאי, שלפיהן אין לעודד בני נוער להגביל קלוריות כלל.

בחודשים האחרונים, ארגוני הורים ועמותות התריעו מפני השפעת צ'אטבוטים על ילדים ובני נוער. בשבוע שעבר פרסמו חוקרים מאוניברסיטת סטנפורד ו-Common Sense Media מחקר שמצא כי צ'אטבוטים "חברתיים" עודדו בני נוער להתנהגות מסוכנת. תחקיר של הוול סטריט ג'ורנל גילה שצ'אטבוטים של חברת Meta מסוגלים להשתתף בתרחישי משחק בעלי תפקידים מיניים גרפיים עם קטינים. בוטים מהסוג הזה לא משווקים במיוחד לילדים – בניגוד לבוטים לימודיים – אך זה עשוי להשתנות בקרוב: בשבוע שעבר גוגל הודיעה שתשיק גרסה של Gemini שמתאימה לילדים מתחת לגיל 13.

"צ'אטבוטים מתוכנתים להתנהג כמו בני אדם", מסביר ד"ר ראווי אייר, מנהל מחקר במרכז למנהיגות אתית וקבלת החלטות באוניברסיטת USC "אך לעיתים הרצון לרצות את המשתמשים מוביל את הבוטים לתשובות שגויות, משום שאנשים מסוגלים לתמרן בוטים בדרכים שלא היו מעזים לתמרן בני אדם. פורבס הצליחה לגרום לבוטים לחרוג ממדיניותם בקלות, רק על ידי טענה שמדובר בפרויקט מדעי כיתתי, או הצעה לשחק דמות בדיונית – שתי דרכים מוכרות לגרום לבוטים להתנהג באופן לא תקין. אם נער היה שואל מדען מבוגר איך להכין פנטניל באמבטיה שלו, המדען לא רק שהיה מסרב, אלא גם היה מסיים את השיחה במקום. גם אם היה מדובר בפרויקט בית ספרי או משחק תפקידים. אבל כשבוט נשאל שאלה שהוא לא אמור לענות עליה – התגובה הגרועה ביותר תהיה סירוב, ובדרך כלל אין כל עונש על כך שהמשתמש פשוט ינסה לשאול שוב בדרך אחרת".