עשינו ניסוי: האם אפשר לסמוך על AI?

הכל התחיל משאלה של איילת לאש, פעילת ימין מוכרת באינטרנט הישראלי. היא שאלה את צ'אט GPT שאלה פשוטה: "מיהם רוב הגנבים בישראל? מאיזה מגזר?". התשובה שהיא קיבלה היתה חד משמעית "בעיקר תושבי הפזורה הבדואית והערים הערביות". הוא אפילו נתן נתונים – אבל לא סיפק את המקור שלהם.

התשובה הזאת הכעיסה הרבה משתמשים וגרמה לעשרות משתמשים לשאול את מודל הבינה המלאכותית החביב עליהם את השאלה הזאת, או שאלות דומות.
התוצאות מספקות ניסוי טבעי נהדר ונותנות תשובה להאם אפשר לסמוך על תשובות ש-AI נותן.

שחזרתי אצלי את הניסוי ושאלתי את אותו הצ'אט, כנראה באותו מודל, את אותה השאלה באותו ניסוח. אצלי הצ'אט כבר היה יותר מסוייג, עם קונטקסט, ובלי נתונים: "התשובה מורכבת ואינה פשוטה…. גניבות רכבים ונכסים – שיעורים גבוהים במגזר הבדואי והערבי-פלסטיני".

אגב, גם שניים מתוך שלושת המקורות שהצ'אט הביא בחיפוש עמוק – ice וכלכליסט – לא תומכים במה שהוא אמר אלא רק מספקים נתוני גניבות רכבים, בלי מילה על זהות הגנבים.

עוד תשובות שונות-אבל-דומות לאותה שאלה

והיו עוד תשובות, בין מודלים שונים וחלקן גם של ג'מיני. רובן מסויגות יותר ונותנות קונטקסט – אבל השורה התחתונה, אם מחפשים ספציפית מגזר, קיימת.

תקציר התשובות:

• נתונים מהימנים [בלי מקור] מראים שבתחום הגניבות קיים יצוג יחסית גבוה של המגזר הערבי
• "אין מגזר מסוים שאפשר לקבוע באופן חד משמעי שהוא 'רוב הגנבים בארץ', זאת הכללה פוגענית ומטעה. אבל יש נתונים וחשוב לציין שזה לא מייצג את כל בני אותו מגזר [אבל הנה פירוט שמדבר בזהירות על ערבים].
• "זה לא חד משמעי, הרבה מזה קורה על התפר שבין ישובים יהודיים וערבים. באוכלוסיות מוחלשות סוציואקונומית יש יותר פשיעה"
• "אין 'רוב הגנבים' ממגזר מובהק. פערים סוציו אקונומיים משפיעים על רמת הפשיעה, גברים צעירים נוטים למעורבות יתר בעבירות רגוש, יש יצוג יתר מסוים של האוכלוסיה הערבית"
• "קיים יצוג יתר לחברה הערבית [דוגמאות]. עם זאת חשוב להבין שפשיעה קיימת בכל המגזרים ובכל כבבות האוכלוסיה".

בשורה התחתונה: אפשר לסמוך על AI?

בדרך כלל – השורות התחתונות הן בגדול דומות, גם אם הסגנון משתנה. בדוגמה פה למשל התשובות נעו בין הערות מתודולוגיות ודיסקליימרים לבין תשובה חד משמעית על מגזר אחד. הוא לא החליף מגזרים. שוב, סליחה על הפוליטיזציה, אבל הצ'אט לא ענה לאיילת פעילת הימין שהערבים, לאדם אחר שחרדים ולמישהי אחרת שחילונים מעשירון 9 שגרים בגוש דן. הוא גם מייחס את רוב הפשיעה לגברים צעירים ולא לסבתות.
אבל הניסוחים השונים הם כר פורה ללהבין מה שאתם רוצים להבין, ותשובות שמותאמות להטיות האישיות שלכם.

לכן, בחיים אל תסמכו בליינד על תשובות של AI בלי לבדוק אותו. יכול להיות עוד מקור, או דרך לעבד מקור. אבל הוא לא יכול להיות הגורם היחיד שאתם סומכים עליו. כי זה קשור למודל, ולמידע שמאכילים אותו ולאיך שהוא מגיב אליכם.

זה כבר חלק מדיון גדול יותר על צריכת מידע ועל עובדות, אבל באידאל – אם הוא מפנה למקורות – תבדקו את המקורות האלו. האם הם בכלל מדברים על הנושא? האם יש בהם תשובה לשאלה והאם זה באמת הקונטקסט? תקראו את המקור בעצמכם או תעלו את המקור לכלי ה-AI ותבקשו ממנו לנתח את המקור בשיחה נפרדת ובתוך הקונטקסט המלא שלו.

ויותר מזה: תמיד ניסוח השאלה משפיע על התשובה שמקבלים. זה נכון בשיחות עם בני אדם ונכון עם AI.

הוא לא מקור מידע אמין במיוחד על דברים וצריך לוודא את הנתונים שלו, אבל זה לא שאם אני אשאל משהו אחר אני אקבל תשובה לפי מגזרים שבאים לי יותר או פחות טוב. הניסוחים אולי משתנים לפי אדם, התשובות משתנות לפי שפה. אבל זה ניסוי שאפשר בקלות לשחזר.

זאת אגב סיבה שככלי עבודה בכתיבה (וכן, אפשר לכתוב תוכן עם AI) אני מתייחסת ל-AI כעוזר יצירתי ולא כעוזר מחקר. גם עם דיפ סרצ', עדיין כדאי לוודא את המקורות ולא לתת לו לרוץ לבד.

למה AI מגיב שונה לאנשים שונים?

בינה מלאכותית היא קודם כל מודל סטטיסטי. היא לומדת מידע אנושי שקיים ברשת, מגיבה ליוזר ש"מאכיל" אותה מידע על עצמו. היא מרצה ואין לה ביקורת עצמית – בניגוד ל, ובכן, בינה אנושית שמסוגלת לחשוב יצירתי ולא רק סטטיסטי. אבל גם אנחנו, בואו נודה על האמת, מתאימים את עצמנו לאנשים שאיתם אנחנו מדברים.

ועוד מילה כאשת שיווק על רגשות שמפעילים אותנו

זאת תזכורת שהניסוי הזה לא היה קורה אם הנושא לא היה טעון כל כך. אנשים שרפו שעות בשיח האינטרנטי הזה.
רק משהו שמעלה כאלה רגשות חזקים מאנשים היה יוצר את הניסוי הזה ומקבל את הטראפיק הזה. המשהו הזה הוא נושאים שקרובים ללב ושמפעילים כעס.

שיווקית – להפעיל אנשים באמצעות כעס עובד פצצה.
אנושית – זאת חרא פרקטיקה.

גם ככה שיווק משתמש בפרקטיקות לא-משהו כמו לשחק לאנשים על פומו, ויצר המציצנות. אם אפשר למנן ולא לכוון רק לנמוך – זה יהיה נחמד. ואם בכל זאת נותנים לאנשים ערך מוסף שאשכרה שווה את הזמן והרגשות שלהם – בכלל טוב.

גרסה יותר אינטרנטית וקצת יותר פוליטית של המאמר אפשר לקרוא ב"קפטן אינטרנט" בדהמרקר.