אלישע והזוויות

שלום כולם, וברוכים הבאים לאלישע והזוויות, עונה שניה פרק מספר שבע! היום ה-9 בדצמבר, 2024, ואנחנו נדבר היום על כל מני דברים, כולל מודלים שמאבדים את שפיותם! אז יהיה מעניין!חוץ מזה, הרבה זמן כבר שאני שוכח להדגיש, למי שמעוניין, את קיומו של אתר אינטרנט לפודקאסט: הלינק נמצא בתיאור הפרק בספוטיפיי או ביוטוב, ומי שנרשם לאתר מקבל מייל כשיוצא פרק חדש, וגם יכול לקרוא את התמלול של הפרק. במיוחד בעונה הזו, התמונות והייצוגים הויזואליים מאד עוזרים, אז יש אתר כזה, ובואו תירשמו!בואו נפתח את הפרק שלנו היום בשאלה, כדי לעורר את התיאבון: מה היה קורה אם היינו מאמנים את GPT על הפלט של GPT עצמו?כדי לוודא שכולנו מיישרים קו, בואו ואפרק את השאלה הזו לגורמים שלה, על פי כל הדברים שראינו בעונה עד כה. נתחיל בתזכורת על איך הכלי הזה שקוראים לו GPT נוצר. GPT זו בעצם מערכת AI ש"האכילו" אותה המון קטעי טקסט שכתבו בני אדם, היא חילצה את התבניות שחבויות בהם בתהליך אינדוקטיבי, באופן כזה שהיא יכולה להפעיל את התבניות בתהליך דדוקטיבי ולייצר טקסטים חדשים. לתהליך האינדוקציה נקרא "אימון" או "למידה", בעוד שלתהליך הדדוקציה נקרא “הפעלה” של המודל המאומן. ושווה לזכור - המודל הזה מתחיל טאבולה ראסה, נקי מכל מידע על שפה, ורק תהליך החשיפה לדאטה אנושי מעצב אותו, כמו פלסטלינה, כך שהטקסטים שהוא מייצר יהיו דומים לטקסטים שהוא אומן עליהם, כלומר טקסטים אנושיים.ובכן, נחזור עכשיו לשאלה שבה פתחתי. נניח שיש לי מודל שפה משלי בשם ג'פטו, שהוא בעצם GPT של היום. אז עכשיו אני יכול לבקש ממנו לייצר לי המון טקסטים בהמון נושאים, ואז לקחת אותם, ולהשתמש בהם כדי לאמן GPT חדש. אנחנו נקרא לו פינוקיו, שהרי בעצם ג'פטו כאן הוא זה שמאמן את פינוקיו, ובכך נופח בו חיים. ואז השאלה היא - באיזו איכות יהיו הטקסטים של פינוקיו? או במילים אחרות - האם פינוקיו יהיה ילד אמיתי, או רק בובה על חוטים?השאלה הזו תלווה אותנו לאורך הפרק היום, אבל עוד לפני זה היא מתקשרת לפרק שעבר. כפי שאתם זוכרים, דיברנו שם באופן נרחב על הקשיים שיש בהשגת דאטה שבני אדם ייצרו לצורך אימון של מודלים. כיוון שכך, החלום הרטוב של עולם ה-AI הוא שלא נזדקק לבני אדם במשימה הזו בהיקפים גדלים והולכים, וזאת משום שנוכל פשוט לבקש מה-AI של הדור הקודם לייצר לנו דאטה שכזה. אם ג'פטו יכול לייצר דאטה באיכות גבוהה דייה, כך שפינוקיו יהיה ילד ככל הילדים, אז גם אם יגמר כל הדאטה הזמין באינטרנט אפשר יהיה לייצר עוד דאטה סינתטי בקלות רבה, בלחיצת כפתור.בשל החשיבות הרבה של הנושא הזה, נעשו ניסויים מדעיים בעניין, ואני אסקור כמה מהם בהמשך הפרק. בינתיים, קחו אולי איזו דקה לחשוב מה קרה באותם ניסויים. האם התברר שפינוקיו הוא מודל שקול בעוצמתו לג'פטו? אולי הוא אפילו היה חזק ומדוייק יותר ביכולותיו? או שמא להיפך, הביצועים שלו התדרדרו והתכנסו למשהו בינוני? התשובות - בהמשך.בפרק שלנו היום אני רוצה להמשיך את מה שהתחלנו בפרק הקודם, ולטעון שההישענות על דאטה אנושי הינה עקב האכילס של מודלי ה-AI העדכניים. זה כמובן די מצחיק לחשוב שאני שוקל להציג טיעון שכזה, שכן ההישענות הזו היא גם פריצת הדרך שאיפשרה, בעשור האחרון, למהפכת ה-AI המדהימה שסביבנו. אבל תזכרו את מה שראינו בשבוע שעבר: שבדאטה שבני אדם מייצרים יש בהחלט המון מידע שיכול לעזור לנו לבנות כלי AI חזקים, אבל יש מקום להטיל ספק בשאלה אם זה מספיק כדי להגיע לבינה מלאכותית שהיא באמת תבונית. כלומר, הטיעון שלי יהיה שאנו צריכים עוד מהפכות משמעותיות ב-AI לפני שנוכל להגיע לבינה מלאכותית אמיתית, וכל עוד אנחנו מתעקשים להישען בעיקר על אימון מתוך דאטה, אנחנו מפספסים משהו גדול מאד בסיפור.כדי להדגים את זה, אני רוצה שנתחיל את המסע שלנו בניתוח מדוקדק יותר של מבחן טיורינג. כפי שאתם זוכרים, במבחן טיורינג יושב לו אדם - נניח, אישה - ומקבלת את תפקיד הבוחנת. היא מנהלת שיחה עם דמות כלשהי דרך צ'ט, ולאחר כמה דקות של שיחה מודיעה אם לדעתה מדובר במחשב או אדם. בחינה מדוקדקת של המבחן הזה תגלה משהו חשוב, שכבר רמזנו עליו בפרק השני של העונה: הגורם האנושי שבבדיקה הזו איננה חלק מהותי מהמבחן, אלא פשוט המדד הכי זמין לתבונה שיש בידינו. טיורינג השתמש במדד הזה של "האם המכונה הצליחה להתל בבוחנת" פשוט בשל הזמינות של המדד והאינטואטיביות שלו. המהות של מבחן טיורינג, לעומת זאת, זו הקביעה הבאה: שאם מכונה מפיקה פלט באיכות ששקולה לזה של פלט אנושי - אזי היישות הזו תיחשב תבונית.שווה להדגיש את החלק הראשון - שבדיקה אנושית של איכות הטקסט איננה המרכיב המהותי במבחן טיורינג - כיוון שבניסויים שנעשו מתברר שיש כל מני בעיות בלסמוך על עצמנו. איך לומר זאת בעדינות - אנחנו לא כאלה טובים בלזהות תבונה אנושית כמו שאנחנו חושבים. קחו לדוגמה את התוצאות של מאמר שיצא לפני כשנה, שבו ניסו כמה חוקרים לבדוק עד כמהGPT גרסה 4 מצליח לעבור את מבחן טיורינג. בניסוי הכי מוצלח שלהם, הצליח GPT לשכנע 50% מאלו שדיברו איתו דרך צ'ט שהוא בעצם בן-אדם, שזו באמת הצלחה מרשימה ביותר (מערכות ישנות יותר שפותחו בשנות ה-60 של המאה הקודמת, כמו ELIZA, הגיעו להצלחה של 22% בלבד). אבל באותו מאמר גם הופיע פרט אחר, חשוב לא פחות, שקשור לתמונת המראה לתוצאה הזו: באותו ניסוי, כאשר מן העבר השני של הצ'אט היו בני אדם ולא מכונה, הבוחנים זיהו שמדובר בבני אדם רק ב-66% מהפעמים. במילים אחרות, בשליש מהפעמים שהם דיברו עם בני אדם, חשבו הבוחנים האנושיים שמדובר דווקא במכונה! אז נכון, בני האדם היו משכנעים יותר מה-50% של GPT, אבל התוצאה הזו כשלעצמה מטילה צל כבד על הקונספט הבסיסי של מבחן טיורינג: שבני אדם יודעים לזהות חשיבה אנושית דרך צ'ט אינטרנטי.מדובר, כמובן, רק במאמר אחד, ואפשר לצלול לפרטיו ולאתגר אותו וכן הלאה. אבל הוא כן ממחיש שהמסנן האנושי איננו בהכרח מדוייק. ולכן, אפשר לשדרג את מבחן טיורינג אם נמצא דרכים אחרות לבחון את הפלט הזה, דרכים שאינם עוברות דרך הערכה אנושית סובייקטיבית. כך אולי נוכל לדייק יותר את ההערכות שלנו לגביי תבוניות המכונה. אבל - האם יש דרכים כאלו?התשובה היא כמובן שכן, יש כל מני דרכים אלטרנטיביות לבדוק את זה, ואת חלקן אנחנו גם נפגוש בפרקים עתידיים, אם הכל יצא לפי התכנית. היום ספיצפית אנחנו נלך על משהו קצת יותר מגניב, שכמו האקדח של צ'כוב כבר ראיתם במערכה הראשונה: הניסוי הזה עם ג'פטו ופינוקיו! שימו לב:* ג'פטו אומן על דאטה אנושי - זה נתון.* פינוקיו מאומן על דאטה שג'פטו יצר. גם זה נתון.* אז אם הפלט של ג'פטו הוא פלט ששקול לפלט אנושי - כלומר, אם ג'פטו עומד בדרישות מבחן טיורינג - פינוקיו אמור להיות שקול לג'פטו. כלומר, אם ג'פטו הצליח להטמיע אצלו בינה ששקולה לבינה אנושית, אז הביצועים של יציר כפיו, של פינוקיו, לא אמורים ליפול מאלו שלו עצמו. מש”ל.אולי זה היה קצת קשה לעקוב, אז בואו תנו לי רגע להציג את העניין מזווית אחרת, עם דימו ויזואלי שבטח יהיה אינטואטיבי יותר לרובכם. נניח שיש לכם תמונה שצייר חבר שלכם, ומכונת צילום. אתם לוקחים את התמונה, מצלמים עותק שלה במכונה, ואז משווים בין התמונה המקורית לבין התמונה המצולמת. אם מכונת הצילום מושלמת, לא אמור להיות הבדל בין שתי התמונות. ואם יש הבדל בין שתי התמונות, זה אומר שמשהו בפעולה של מכונת הצילום אינו מדוייק. זה המשל. הנמשל הוא שמכונת הצילום היא ה-AI שלנו, תמונת המקור היא דאטה האימון האנושי, והצילום שיוצא מהמכונה הוא הדאטה הסינתטי שה-AI מייצר בעצמו. עכשיו, אם יש לנו AI שתפס באופן מושלם את מהות השפה והשיח האנושיים, אז לא אמור להיות הבדל בין שני סוגי הדאטה. ולעומת זאת, אם יש הבדל ניכר בין התמונה המקורית לצילום, הרי שזה אומר שמשהו ב-AI שלנו איננו מדוייק; מכונת הצילום המתוחכמת שבנינו כנראה מכילה שריטות על הזכוכית שלה, שמעוותים את התוצרים שלה.זהו המבחן שאני מציע לשדרוג מבחן טיורינג - בואו נקרא לו כאן "מבחן הזוויות". וכיוון שעכשיו הוא יושב לנו טוב בראש, שווה לשאול - מה קורה שמפעילים אותו?ובכן, אני שמח לבשר לכם שאני לא היחיד שחשב עליו, ויש כמה מאמרים שיצאו בנושא. ב-2023, עמוק בתוך ההתלהבות מכל ה-GPT למיניהם, ישבו כמה חוקרים מאוניברסיטת רייס (RICE) שבטקסס, ועשו ניסוי דומה למה שתיארתי. הם לקחו מודלים מוכרים לייצור תמונות של פרצופים, וייצרו איתם הרבה תמונות של פרצופים. עם התמונות הללו הם אימנו מודל חדש, וייצרו איתו תמונות של פרצופים גם כן. וכך הלאה, דור אחרי דור של מודלים, כל דור מבוסס על תוצרי הדור הקודם. כלומר, הם בעצם עשו את "ניסוי ג'פטו ופינוקיו" שלנו שוב ושוב, בשרשרת, ובסוף התהליך הם בדקו מה האיכות של התמונות שכל דור ייצר.לקראת הניסוי, אני מדמיין לעצמי מה חשבו החוקרים שהם יקבלו. הגירסה האופטימית היתה כנראה שהתמונות בכל דור יהיו טובות כמו הדורות שקדמו להם. הגירסה הפסימית יותר היתה שהתמונות החדשות יפלו באיכותן, בגלל חוסרים כלשהם במודל, אבל יתייצבו על רמה סבירה כלשהי. ובכן, מה אתם חושבים שקרה?מה שקרה היה משהו אחר לחלוטין - גרסה פסימית על סטרואידים. בכל סבב שכזה, הביצועים של המודל הלכו והתדרדרו. התמונות שנוצרו לאחר כמה דורות הכילו עיוותים, פסים מוזרים שהחלו להופיע על הפרצופים שהמודל יצר: בגרסאות שונות של הניסוי המגוון האנושי שהמודלים יצרו בכל דור חדש הלך והצטמצם, והתכנס לאוסף תמונות שנראות מאד דומות זו לזו - תמונות של גברים ונשים לבנים עם שער כהה ועיניים מערביות, שמביטים ישר למצלמה ומחייכים. שימו לב כאן לאוסף התמונות שהיה בהתחלה…… לעומת אלו שנוצרו לאחר כמה דורות:בכל אופן, לתופעה הזו קראו כותבי המאמר, model autophagy disorder, ראשי תיבות MAD, כלומר אי-שפיות. בכך הם ניסו לומר - כשמתמידים בתהליך הזה לאורך זמן, המודלים מתנהגים כאילו הם מאבדים את שפיותם. בהקשרים אחרים יש שקראו לתופעה הזו Hapsburg AI, בהתייחסות לשושלת האפסברג האוסטרית, שמרוב זה שהם התחתנו כל הזמן בתוך המשפחה הם דיללו את היציבות הגנטית שלהם, פיתחו כל מני מוטציות מוזרות ואולי הדבר אף גרם להכחדת השושלת.שווה לשים לב במיוחד לעובדה שביצועי המודלים בניסוי נהיו גרועים יותר מדור אחד לשני. אם נניח היינו רואים שיש ירידה מג'פטו המקורי לפינוקיו בכמה אחוזים, אבל משם הדברים מתייצבים ושומרים על רמת איכות נתונה מדור אחד לדור הבא, זה היה סיפור אחר. במצב שכזה היינו אומרים - “אוקיי, הצלחנו לתפוס 80% מהיעד באופן מדוייק”. בפועל מה שהניסוי הזה המחיש הוא שה-AI לא באמת יודע להבחין בין עיקר לטפל ולסנן טעויות שהוא נחשף אליהם, ולכן כל דור של אימון רק מעצים את העיוותים שהוא ראה בדאטה של הדור הקודם. אם נחזור שוב למשל מכונת הצילום שלנו, נראה לי שברור לכולנו שיש הבדל בין מקרה שבו מכונת הצילום פשוט לא עובדת טוב עם דפים מקומטים, לבין מצב שבו יש שריטה על הזכוכית של מכונת הצילום עצמה. במקרה הראשון מדובר בבעיה מקומית ומוגבלת למקרים נדירים, שלא תפריע לרוב, בעוד במקרה השני זו בעיה שתשליך על כל הצילומים כולם, בלי יוצא מן הכלל. וזה מאד מטריד.לצד המאמר הזה, יצא גם מאמר נוסף ביולי השנה שבחן את הנושא במודלים חדשים יותר, ושהכותרת שלו אומרת הכל: "AI models collapse when trained on recursively generated data". "מודלי AI קורסים כאשר הם מאומנים על דאטה שמיוצר רקורסיבית". אצלם הם הריצו את הניסוי גם על מודלים שמייצרים טקסטים, וגם שם התגלה שהטקסטים נהיים גרועים יותר ויותר ככל שהדורות מתקדמים. וגם כאן, ההתדרדרות הגיעה בשתי תצורות: לטקסטים יבשים מצד אחד, שזה מזכיר את הפרצופים האחידים מהמאמר הקודם, וטקסטים משובשים בטירוף מצד שני. בתמונה שתראו כאן, נתנו למכונה תחילת משפט וביקשו שהיא תשלים אותו - שימו לב איך כל דור (Gen0, Gen1…) מציג התדרדרות באיכות ההשלמה, עד שזה בסוף מגיע לג’יבריש מוחלט.באותו מאמר, בנוסף לניסויים שהם הריצו, הם גם פיתחו באופן מסודר את התיאוריה האנאליטית שמסבירה למה זה קורה באופן עקבי במודלים הללו, ולמה למודלים שבנויים על למידה מתוך דאטה בלבד אין באמת דרך להימלט מן הגורל הזה. כדי להבין את מה שהם מביאים שם במאמר, אנחנו צריכים לקחת שתי דקות כדי להסביר משהו חשוב על האופן שבו המודלים הללו מייצרים טקסטים מגוונים, כשהכל עובד כמו שצריך. אז, שימו לרגע בצד את ניסוי ג'פטו ופינוקיו שלנו ופתחו סוגריים בראש - אני מבטיח שהם לא יהיו ארוכים במיוחד.כשמישהו שואל אתכם "מה נשמע", אתם יכולים לענות בהמון צורות. "טוב, תודה". "ברוך השם סבבה". "עייפים אך מרוצים", וכן הלאה. אחד הדברים המגניבים במודלים הללו הוא שגם הם, כמו בני אדם, לא עונים תמיד את אותו הדבר כשמשוחחים איתם. איך זה קורה, אתם בוודאי תוהים? מאין מגיע הגיוון הזה? נכון, הטקסטים שהם רואים בזמן האימון מכילים את המגוון הזה, אבל איך הם בוחרים מה לומר?ובכן, למודלים הללו יש מידע סטטיסטי על תבניות השפה שלנו, ויודעים לומר איזו תגובה היא שכיחה ומקובלת, ואיזו נדירה ויוצאת דופן. כדי לייצר שיח טבעי, המודלים הללו בוחרים תבניות באופן אקראי, ומשתמשים בסטטיסטיקה על השפה כדי לבחור אופציה סבירה מבחינת ההקשר של השיחה. אז, אם נדמיין עקומת פעמון של התגובות המקובלות ל"מה נשמע", רוב הפעמים המודל יגיב באופן שנמצא במרכז הכובד של העקומה, ורק במקרים מאד נדירים הוא ישוטט לו בקצוות העקומה, ויתן פתאום תגובה לא צפוייה ממש ומפתיעה. האמת, שווה לציין כאן שלרוב המודלים הללו יש פרמטר מיוחד ששולט בהתנהגות הזו. קוראים לו בשם "טמפרטורה". כמו שאטומים זזים מהר יותר ורחוק יותר כשמגדילים את הטמפרטורה סביבם, כך גם המודל נע באופן קיצוני יותר כאשר מגבירים את הטמפרטורה שלו. במילים אחרות, ככל שמגדילים את אותה "טמפרטורה", אנחנו בעצם מעודדים אותו לשוטט באזורים הנדירים יותר של העקומה ולהגיב בצורה מפתיעה יותר, בעוד שככל שמנמיכים את פרמטר הטמפרטורה המודל יצמד למוכר, במרכז עקומת הפעמון.אז, אלו הסוגריים, אתם יכולים לסגור אותם עכשיו, ואנחנו חוזרים לאותו מאמר. מה שכותבי המאמר הסבירו שם באופן אלגנטי היה שכשאנו מבקשים מג'פטו לייצר לנו דאטה לאימון של פינוקיו, אנחנו מוצאים את עצמנו תקועים בין הפטיש לסדן בכל הקשור לכיוון השיטוט שלו בעקומת הפעמון שלנו. נניח שאנחנו רוצים לבקש ממחולל התמונות שלנו שייצר לנו תמונות מייצגות של פרצופים, ואנחנו יודעים שלרוב האנשים בעולם אין צלקות על הפנים. אז אם נאמץ מדיניות שהולכת על בטוח, ונצמדת למרכז העקומה, נקבל אחלה תמונות, אבל נגרום לכך שבאימון של פינוקיו לא יהיו בכלל פרצופים עם צלקות. זהו הפטיש: אם אנחנו ניצמדים למה שמוכר ושכיח, אנחנו מתחילים לאבד את קצוות הפעמון, ובעצם למחוק ייצוגים של המציאות שמופיעים רק לעיתים רחוקות.אולי תגידו - טוב, אז תדגום את הקצוות גם. נשמע סביר האמת. אלא שכאן מגיע הסדן. קצוות העקומה הם גם המקומות שבהם יש לנו פחות דאטה, ובאופן ניכר - הרי זה מה שהופך אותם לאירועים נדירים. באזורים הללו, המודל צריך למלא הרבה חורים, לנסות לנחש איך למקם את הדאטה הזה בהקשר הרחב יותר של העולם הפנימי שהוא בונה. דוגמה יחסית קלילה יכולה להיות שכנראה שיש גם פרצופים באינטרנט של אנשים שצבעו את פניהם לקראת משחק כדורגל בצבע ירוק. האם המודל צריך להסיק שיש אנשים עם פרצופים ירוקים בעולם, ולתת לזה ייצוג כמו לאנשים ממוצא אתני מסויים כשהוא מייצר פרצופים על פי בקשת המשתמש?וזו דוגמה קלילה, כמו שאמרתי. האזורים הנדירים באמת הם האזורים שכמעט אין לנו שום דבר שם, ואם נייצר תמונות מהקצוות הרחוקים וניתן אותן בזמן האימון של פינוקיו, אנחנו בעצם מכניסים לו רעש. לפינוקיו אין שום דרך לדעת שאסור לו להסתמך עליהם - הרי זה דאטה כמו כל דאטה, ANYTHING GOES.כדי להדגים את זה, לקראת הפרק ביקשתי ממערכות שכאלו לצייר את הציור הבא: "חתול שותה שמנת בקשית תוך כדי רכיבה על אופנוע הארלי-דייוידסון על ראש הר האוורסט, כשהוא חושב על פוליטיקה ומגרד לעצמו באוזן". שילוב שכזה הוא שילוב נדיר, וגם לא ברור איך יש לצייר אותו. והנה, זו הצורה שבה GROK של אילון מאסק צייר את זה:ציור חביב, אבל החתול לא מגרד באוזן, האופנוע שלו איננו הארלי דיווידסון, ואין לנו מושג על מה הוא חושב. ועוד דוגמה - ככה GPT צייר את זה:בנוסף לבעיות פיזיקליות (ראיתם איך הכוס מרחפת באויר?), מאד אהבתי איך GPT מנסה לייצג איך החתול חושב על פוליטיקה - בועת חשיבה מעל הראש של החתול, בתוך הבועה מאזניים, ועל המאזניים… מה בדיוק? שני גושים חסרי צורה. בנוסף, אל תפספסו את המעמד שנראה כאילו נועד לנאומים של פוליטיקאים, ועליו סימון עגול בצבעים אמריקאים של כחול-לבן-אדום, שיושב על הגלגל האחורי. שמעו - זה מאד מקורי אבל לא משכנע. ועכשיו, דמיינו מה יקרה אם ניתן את התמונות הללו לפינוקיו ומספרים לו שכך נראית חשיבה על פוליטיקה… נראה לי ברור איז זה היה מתחיל להזיז את המחט לכיוונים הזויים , מה שרק היה מתעצם עוד יותר בהמשך, בדורות הבאים.אז, זו הבעיה, הפטיש והסדן. לכל כיוון יש חסרונות. מה עושים כדי להתמודד עם הבעיה הזו? כותבי שני המאמרים מסבירים שאין ברירה, ויש רק דרך מוצא אחת שהם רואים מהברוך הזה: חייבים כל הזמן גם להזריק דאטה אנושי "מקורי" לדאטה שמאמנים איתו את פינוקיו, כדי לייצב את המודל החדש. באופן הזה אנחנו מקבלים דאטה מהקצוות שהוא אמין - נניח, תמונות של אנשים אמיתיים עם פרצופים אמיתיים שיש בהם צלקות אמיתיות, ולא רק מה שה-AI מדמיין שנראה כמו צלקת. הם מקדישים חלק מן המאמרים לדיון על כמות הדאטה הנדרשת מהסוג הזה, כלומר מה האיזון הנכון בין דאטה אנושי לסינתטי שיכול לשמר את השפיות של המודלים בין דור אחד לבא.אוקיי. אז זהו "מבחן הזוויות", וזכיתם כאן לטעום קצת מהמאמרים העדכניים בתחום. ועכשיו, בואו ניקח כמה דקות כדי לעכל את כל זה, ולהבין מה כל זה בעצם אומר? לדברים שראינו עכשיו יש גם השלכות פרקטיות, וגם השלכות רעיוניות סביב השאלה של העונה שלנו. בואו נתחיל עם הפרקטיקה, ולאחריה נעבור להשלכות העמוקות יותר.ההשלכה הפרקטית הראשונה של מה שראינו כאן היא המשך של מה שראינו בשבוע שעבר: שלעולם לא נוכל להפסיק להסתמך על בני אדם כדי לייצר לנו דאטה. בני אדם יצטרכו להמשיך לתייג תמונות וטקסטים ווידאו, וגם לייצר לנו תמונות, טקסטים וסרטים חדשים. הדברים כל כך ברורים שזה מוביל לכתבות קצת מצחיקות. כך לדוגמה נכתב באתר venturebeat שדיווח על הממצאים הללו: "בעתיד מלא בכלי AI גנרטיביים, תוכן שיוצר על ידי בני אדם יהיה יקר ערך עוד יותר מאשר היום — אם רק כמקור נתונים טהור לאימון AI.". שימו לב איך היוצרות מתהפכים: במקום שבני האדם ומה שטוב להם יהיה העיקר, הכותבים מדברים על כך שמבעד לעדשה של "בואו ניטיב עם המודלים שלנו" נצטרך לעודד אנשים להמשיך לייצר בעצמם תוכן, כדי שה-AI יהיה איכותי. די הזוי, לדעתי.ההשלכה הפרקטית השניה, שקשורה לראשונה, גם היא עולה באותו מאמר, והיא הבעיה שיש עכשיו לכל מי שירצה לאמן מודלי AI חדשים על בסיס מה שיש באינטרט: שהרי, האינטרנט מתמלא כל הזמן בתוכן חדש, אבל אם בעבר כל התוכן הזה היה מיוצר על ידי בני אדם, ככל שיש יותר זמינות ל-GPT ודומיו, אז אחוזים ניכרים מהתוכן שיש באינטרנט נוצרים עכשיו על ידי מכונות, לא בני אדם. ממילא, הדאטה החדש שיאמנו עליו יהיו "פגום" בכך שהוא סינטטי מדי, והתופעה שעליה הזהירו כאן תתחיל לקרות: המודלים יתחילו לקרוס ולהיות לא רלוונטים. העולם עכשיו שואל את עצמו - איך נצליח להפריד בין דאטה מקורי-אנושי לבין דאטה "פייק"? הרי אנחנו חייבים את הדאטה האנושי הטהור כדי לאמן מודלים טובים! ולָעולם אין פתרון עדיין, שכן כל הקטע של המודלים הללו הוא שהם מצליחים לייצר פייקים אמינים בעיניים אנושיות… אז הבעיה הזו עדיין לא פתורה, ונראה בשנים הקרובות איך יתמודדו איתה.אז אלו שתיים מהבעיות הפרקטיות המרכזיות, ועכשיו, לצד הרעיוני. וכאן יש המווון מה לומר, ואני אבחר ארבע עיקריות, בעיניי.דבר ראשון, זה לחזור ולראות איך המאמרים הללו תומכים במה שאמרנו: המודלים אינם מייצגים את המציאות, אלא גרסה מפוקסלת ולא מדוייקת שלה. המציאות היא בעלת ריבוד אינסופי, ואפילו את מה שאנו יודעים היום אנחנו לא מצליחים לתפוס באף מודל באופן עמוק מספיק. המודל תמיד יהיה קירוב, ותו לא. וכמו אפקט הפרפר, שלפיו כנף פרפר שזזה היום יכולה לגרום לטורנדו בקצה השני של העולם בעוד כמה חודשים, הסטיות שיש בקירוב הזה מתעצמות בכל דור של אימון, אם לא נתקן אותן על ידי מידע אנושי אמיתי, אותנטי.דבר שני, הוא התובנה ש"מבחן הזוויות" שלנו תופס עיוותים בתוצרי המודלים שמבחן טיורינג יכול הרבה פעמים לפספס. אז חשוב לשמור את הראש פתוח כשחושבים על מדדים לתבוניות. אולי צריך כמה מדדים ולא להסתפק בזה של טיורינג, עם כל זה שהוא מגניב ואינטואטיבי.הדבר השלישי הוא מה שרמזתי אליו בתחילת הפרק: לשים לב שהבעיה שאנו רואים כאן היא בדיוק תולדה של הקונספט הכי שורשי של ה-AI בתקופה שלנו, שהכל זה עניין של מספיק דאטה. מה שמתברר לנו כאן בסיפור הזה הוא שאין בכך די. ברגע שהכל תלוי בכמויות הדאטה, אז הדברים הנדירים תמיד ימחקו מן התוצרים של המערכות הללו. דברים נדירים הם אולי נדירים, אבל הם חלק מהמציאות, וכשמתחילים למחוק חלקים מהמציאות כי אין לנו מספיק דאטה עליהם - הרי שהתוצר של המודלים מפסיק להיות שקול לזה האנושי. משהו צריך לעגן את המציאות שמופיעה באופן נדיר באותה עוצמה ויציבות של הדברים השכיחים, וזה דבר שאי אפשר לעשות ללא הבנה מראש של המציאות האמיתית, זו שמעבר לדאטה.שווה להזכיר בשלב הזה שזה לא אומר שאין דרך לבנות מכשיר שיצליח במבחן טיורינג. אולי נזכיר כאן רק נקודה אחת למחשבה בעניין הזה: בני אדם לא עובדים כמו AI. הרי, ילדים מבינים מה זה חתול עם מספר דוגמאות קטן מאד. אף אחד מאיתנו לא ראה מיליוני תמונות של חתולים, אבל אנחנו עושים עבודה טובה יותר מה-AI בזיהוי שלהם רוב הזמן. כלומר, המוח האנושי עושה כאן משהו שונה ממה שהמערכות שבנינו עושות, אפילו אם הן משוכללות מאד. מה שזה אומר הוא שהמוח שלנו מכיל מערכות נוספות, משלימות לאלו שלומדות דברים מהדאטה הגולמי. ולכן, ההישענות היתירה על הדאטה היא מה שחושף את ה-AI לעקב האכילס שדיברנו עליו היום.אז נראה, אם כן, שהפתרון לבעיות עולם ה-AI איננו באיסוף של דאטה נוסף, או לפחות לא בעיקר שם, אלא צריך משהו אחר: שינוי תשתיתי בגישה המחקרית של איך בונים AI, כדי להגיע למשהו חדש ועמיד בפני המגבלות הללו שחשפנו כאן בפרקים האחרונים.והדבר הרביעי והאחרון להיום: לראות עד כמה “מבחן הזוויות” נשען על הרעיון של טיורינג, שאנחנו נחליט אם משהו הוא תבוני על פי התפוקה שלו. הרי יכול היה מישהו לבוא ולטעון - "טוב, כל מה שהצבעת עליו כאן בסיפור של ג’פטו ופינוקיו זו בעיה של דגימה. הפלט אולי חסר במשהו, אבל המוח של ה-AI, הדבר הזה שמסתתר בתוך הקופסה השחורה - הוא באמת חושב ותבוני! פשוט לא מצאנו את הדרך לגרום לו לדבר באופן שמשקף את המוח הזה כראוי". ובהחלט, אפשר להאמין שזה המצב, כל אחד לפי אמונתו. אבל כל הקטע של טיורינג היה לומר שלא מעניין אותנו איך נראה המנגנון הפנימי, כל עוד הוא מסוגל לייצר תפוקה כמו בני אדם. ולכן, כל עוד אי אפשר לייצר תפוקה ששקולה לזו האנושית, הרי שמבחן טיורינג בגרסת ה"זוויות" יוותר על כנו, ויחכה שמישהו ימצא דרך להוכיח שאכן הגענו למוח סינתטי אמיתי שם בפנים.אז - זהו להיום! מהפרק הבא אנחנו נעמיק עוד יותר בשאלה של התבוניות של המערכות הללו, אבל עכשיו ממקום יותר עקרוני. כלומר, במקום להתמקד בצורה המיוחדת שבה הם מאומנים ומעוצבים, נשאל - האם יכולה בכלל להיות מכונה שכזו, שתחשוב כמו בני אדם? כפי שנראה, לאורך העשורים מאז שטיורינג הציע את ההצעה שלו, היו הרבה דיונים בנושא.ובנוסף, עוד דבר שאנו ניאלץ להתמודד איתו ועד כה לא ממש עשינו: להסביר מה *באמת* קורה שם מתחת למכסה המנוע. כלומר, אם מה שיש שם הוא לא תבונה, אז… מה זה בדיוק? איך נכון לחשוב על התוכנה המתוחכמת הזו, באופן שגם יסביר את היכולות המטורפות שלה ובו זמנית יציב ליכולות הללו גבולות ברורים?ועד אז - להתראות… .ביי… This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit elishasangles.substack.com

שלום כולם, וברוכים הבאים לאלישע והזוויות, עונה שניה פרק מספר שבע! היום ה-9 בדצמבר, 2024, ואנחנו נדבר היום על כל מני דברים, כולל מודלים שמאבדים את שפיותם! אז יהיה מעניין!חוץ מזה, הרבה זמן כבר שאני שוכח להדגיש, למי שמעוניין, את קיומו של אתר אינטרנט לפודקאסט: הלינק נמצא בתיאור הפרק בספוטיפיי או ביוטוב, ומי שנרשם לאתר מקבל מייל כשיוצא פרק חדש, וגם יכול לקרוא את התמלול של הפרק. במיוחד בעונה הזו, התמונות והייצוגים הויזואליים מאד עוזרים, אז יש אתר כזה, ובואו תירשמו!בואו נפתח את הפרק שלנו היום בשאלה, כדי לעורר את התיאבון: מה היה קורה אם היינו מאמנים את GPT על הפלט של GPT עצמו?כדי לוודא שכולנו מיישרים קו, בואו ואפרק את השאלה הזו לגורמים שלה, על פי כל הדברים שראינו בעונה עד כה. נתחיל בתזכורת על איך הכלי הזה שקוראים לו GPT נוצר. GPT זו בעצם מערכת AI ש"האכילו" אותה המון קטעי טקסט שכתבו בני אדם, היא חילצה את התבניות שחבויות בהם בתהליך אינדוקטיבי, באופן כזה שהיא יכולה להפעיל את התבניות בתהליך דדוקטיבי ולייצר טקסטים חדשים. לתהליך האינדוקציה נקרא "אימון" או "למידה", בעוד שלתהליך הדדוקציה נקרא “הפעלה” של המודל המאומן. ושווה לזכור - המודל הזה מתחיל טאבולה ראסה, נקי מכל מידע על שפה, ורק תהליך החשיפה לדאטה אנושי מעצב אותו, כמו פלסטלינה, כך שהטקסטים שהוא מייצר יהיו דומים לטקסטים שהוא אומן עליהם, כלומר טקסטים אנושיים.ובכן, נחזור עכשיו לשאלה שבה פתחתי. נניח שיש לי מודל שפה משלי בשם ג'פטו, שהוא בעצם GPT של היום. אז עכשיו אני יכול לבקש ממנו לייצר לי המון טקסטים בהמון נושאים, ואז לקחת אותם, ולהשתמש בהם כדי לאמן GPT חדש. אנחנו נקרא לו פינוקיו, שהרי בעצם ג'פטו כאן הוא זה שמאמן את פינוקיו, ובכך נופח בו חיים. ואז השאלה היא - באיזו איכות יהיו הטקסטים של פינוקיו? או במילים אחרות - האם פינוקיו יהיה ילד אמיתי, או רק בובה על חוטים?השאלה הזו תלווה אותנו לאורך הפרק היום, אבל עוד לפני זה היא מתקשרת לפרק שעבר. כפי שאתם זוכרים, דיברנו שם באופן נרחב על הקשיים שיש בהשגת דאטה שבני אדם ייצרו לצורך אימון של מודלים. כיוון שכך, החלום הרטוב של עולם ה-AI הוא שלא נזדקק לבני אדם במשימה הזו בהיקפים גדלים והולכים, וזאת משום שנוכל פשוט לבקש מה-AI של הדור הקודם לייצר לנו דאטה שכזה. אם ג'פטו יכול לייצר דאטה באיכות גבוהה דייה, כך שפינוקיו יהיה ילד ככל הילדים, אז גם אם יגמר כל הדאטה הזמין באינטרנט אפשר יהיה לייצר עוד דאטה סינתטי בקלות רבה, בלחיצת כפתור.בשל החשיבות הרבה של הנושא הזה, נעשו ניסויים מדעיים בעניין, ואני אסקור כמה מהם בהמשך הפרק. בינתיים, קחו אולי איזו דקה לחשוב מה קרה באותם ניסויים. האם התברר שפינוקיו הוא מודל שקול בעוצמתו לג'פטו? אולי הוא אפילו היה חזק ומדוייק יותר ביכולותיו? או שמא להיפך, הביצועים שלו התדרדרו והתכנסו למשהו בינוני? התשובות - בהמשך.בפרק שלנו היום אני רוצה להמשיך את מה שהתחלנו בפרק הקודם, ולטעון שההישענות על דאטה אנושי הינה עקב האכילס של מודלי ה-AI העדכניים. זה כמובן די מצחיק לחשוב שאני שוקל להציג טיעון שכזה, שכן ההישענות הזו היא גם פריצת הדרך שאיפשרה, בעשור האחרון, למהפכת ה-AI המדהימה שסביבנו. אבל תזכרו את מה שראינו בשבוע שעבר: שבדאטה שבני אדם מייצרים יש בהחלט המון מידע שיכול לעזור לנו לבנות כלי AI חזקים, אבל יש מקום להטיל ספק בשאלה אם זה מספיק כדי להגיע לבינה מלאכותית שהיא באמת תבונית. כלומר, הטיעון שלי יהיה שאנו צריכים עוד מהפכות משמעותיות ב-AI לפני שנוכל להגיע לבינה מלאכותית אמיתית, וכל עוד אנחנו מתעקשים להישען בעיקר על אימון מתוך דאטה, אנחנו מפספסים משהו גדול מאד בסיפור.כדי להדגים את זה, אני רוצה שנתחיל את המסע שלנו בניתוח מדוקדק יותר של מבחן טיורינג. כפי שאתם זוכרים, במבחן טיורינג יושב לו אדם - נניח, אישה - ומקבלת את תפקיד הבוחנת. היא מנהלת שיחה עם דמות כלשהי דרך צ'ט, ולאחר כמה דקות של שיחה מודיעה אם לדעתה מדובר במחשב או אדם. בחינה מדוקדקת של המבחן הזה תגלה משהו חשוב, שכבר רמזנו עליו בפרק השני של העונה: הגורם האנושי שבבדיקה הזו איננה חלק מהותי מהמבחן, אלא פשוט המדד הכי זמין לתבונה שיש בידינו. טיורינג השתמש במדד הזה של "האם המכונה הצליחה להתל בבוחנת" פשוט בשל הזמינות של המדד והאינטואטיביות שלו. המהות של מבחן טיורינג, לעומת זאת, זו הקביעה הבאה: שאם מכונה מפיקה פלט באיכות ששקולה לזה של פלט אנושי - אזי היישות הזו תיחשב תבונית.שווה להדגיש את החלק הראשון - שבדיקה אנושית של איכות הטקסט איננה המרכיב המהותי במבחן טיורינג - כיוון שבניסויים שנעשו מתברר שיש כל מני בעיות בלסמוך על עצמנו. איך לומר זאת בעדינות - אנחנו לא כאלה טובים בלזהות תבונה אנושית כמו שאנחנו חושבים. קחו לדוגמה את התוצאות של מאמר שיצא לפני כשנה, שבו ניסו כמה חוקרים לבדוק עד כמהGPT גרסה 4 מצליח לעבור את מבחן טיורינג. בניסוי הכי מוצלח שלהם, הצליח GPT לשכנע 50% מאלו שדיברו איתו דרך צ'ט שהוא בעצם בן-אדם, שזו באמת הצלחה מרשימה ביותר (מערכות ישנות יותר שפותחו בשנות ה-60 של המאה הקודמת, כמו ELIZA, הגיעו להצלחה של 22% בלבד). אבל באותו מאמר גם הופיע פרט אחר, חשוב לא פחות, שקשור לתמונת המראה לתוצאה הזו: באותו ניסוי, כאשר מן העבר השני של הצ'אט היו בני אדם ולא מכונה, הבוחנים זיהו שמדובר בבני אדם רק ב-66% מהפעמים. במילים אחרות, בשליש מהפעמים שהם דיברו עם בני אדם, חשבו הבוחנים האנושיים שמדובר דווקא במכונה! אז נכון, בני האדם היו משכנעים יותר מה-50% של GPT, אבל התוצאה הזו כשלעצמה מטילה צל כבד על הקונספט הבסיסי של מבחן טיורינג: שבני אדם יודעים לזהות חשיבה אנושית דרך צ'ט אינטרנטי.מדובר, כמובן, רק במאמר אחד, ואפשר לצלול לפרטיו ולאתגר אותו וכן הלאה. אבל הוא כן ממחיש שהמסנן האנושי איננו בהכרח מדוייק. ולכן, אפשר לשדרג את מבחן טיורינג אם נמצא דרכים אחרות לבחון את הפלט הזה, דרכים שאינם עוברות דרך הערכה אנושית סובייקטיבית. כך אולי נוכל לדייק יותר את ההערכות שלנו לגביי תבוניות המכונה. אבל - האם יש דרכים כאלו?התשובה היא כמובן שכן, יש כל מני דרכים אלטרנטיביות לבדוק את זה, ואת חלקן אנחנו גם נפגוש בפרקים עתידיים, אם הכל יצא לפי התכנית. היום ספיצפית אנחנו נלך על משהו קצת יותר מגניב, שכמו האקדח של צ'כוב כבר ראיתם במערכה הראשונה: הניסוי הזה עם ג'פטו ופינוקיו! שימו לב:* ג'פטו אומן על דאטה אנושי - זה נתון.* פינוקיו מאומן על דאטה שג'פטו יצר. גם זה נתון.* אז אם הפלט של ג'פטו הוא פלט ששקול לפלט אנושי - כלומר, אם ג'פטו עומד בדרישות מבחן טיורינג - פינוקיו אמור להיות שקול לג'פטו. כלומר, אם ג'פטו הצליח להטמיע אצלו בינה ששקולה לבינה אנושית, אז הביצועים של יציר כפיו, של פינוקיו, לא אמורים ליפול מאלו שלו עצמו. מש”ל.אולי זה היה קצת קשה לעקוב, אז בואו תנו לי רגע להציג את העניין מזווית אחרת, עם דימו ויזואלי שבטח יהיה אינטואטיבי יותר לרובכם. נניח שיש לכם תמונה שצייר חבר שלכם, ומכונת צילום. אתם לוקחים את התמונה, מצלמים עותק שלה במכונה, ואז משווים בין התמונה המקורית לבין התמונה המצולמת. אם מכונת הצילום מושלמת, לא אמור להיות הבדל בין שתי התמונות. ואם יש הבדל בין שתי התמונות, זה אומר שמשהו בפעולה של מכונת הצילום אינו מדוייק. זה המשל. הנמשל הוא שמכונת הצילום היא ה-AI שלנו, תמונת המקור היא דאטה האימון האנושי, והצילום שיוצא מהמכונה הוא הדאטה הסינתטי שה-AI מייצר בעצמו. עכשיו, אם יש לנו AI שתפס באופן מושלם את מהות השפה והשיח האנושיים, אז לא אמור להיות הבדל בין שני סוגי הדאטה. ולעומת זאת, אם יש הבדל ניכר בין התמונה המקורית לצילום, הרי שזה אומר שמשהו ב-AI שלנו איננו מדוייק; מכונת הצילום המתוחכמת שבנינו כנראה מכילה שריטות על הזכוכית שלה, שמעוותים את התוצרים שלה.זהו המבחן שאני מציע לשדרוג מבחן טיורינג - בואו נקרא לו כאן "מבחן הזוויות". וכיוון שעכשיו הוא יושב לנו טוב בראש, שווה לשאול - מה קורה שמפעילים אותו?ובכן, אני שמח לבשר לכם שאני לא היחיד שחשב עליו, ויש כמה מאמרים שיצאו בנושא. ב-2023, עמוק בתוך ההתלהבות מכל ה-GPT למיניהם, ישבו כמה חוקרים מאוניברסיטת רייס (RICE) שבטקסס, ועשו ניסוי דומה למה שתיארתי. הם לקחו מודלים מוכרים לייצור תמונות של פרצופים, וייצרו איתם הרבה תמונות של פרצופים. עם התמונות הללו הם אימנו מודל חדש, וייצרו איתו תמונות של פרצופים גם כן. וכך הלאה, דור אחרי דור של מודלים, כל דור מבוסס על תוצרי הדור הקודם. כלומר, הם בעצם עשו את "ניסוי ג'פטו ופינוקיו" שלנו שוב ושוב, בשרשרת, ובסוף התהליך הם בדקו מה האיכות של התמונות שכל דור ייצר.לקראת הניסוי, אני מדמיין לעצמי מה חשבו החוקרים שהם יקבלו. הגירסה האופטימית היתה כנראה שהתמונות בכל דור יהיו טובות כמו הדורות שקדמו להם. הגירסה הפסימית יותר היתה שהתמונות החדשות יפלו באיכותן, בגלל חוסרים כלשהם במודל, אבל יתייצבו על רמה סבירה כלשהי. ובכן, מה אתם חושבים שקרה?מה שקרה היה משהו אחר לחלוטין - גרסה פסימית על סטרואידים. בכל סבב שכזה, הביצועים של המודל הלכו והתדרדרו. התמונות שנוצרו לאחר כמה דורות הכילו עיוותים, פסים מוזרים שהחלו להופיע על הפרצופים שהמודל יצר: בגרסאות שונות של הניסוי המגוון האנושי שהמודלים יצרו בכל דור חדש הלך והצטמצם, והתכנס לאוסף תמונות שנראות מאד דומות זו לזו - תמונות של גברים ונשים לבנים עם שער כהה ועיניים מערביות, שמביטים ישר למצלמה ומחייכים. שימו לב כאן לאוסף התמונות שהיה בהתחלה…… לעומת אלו שנוצרו לאחר כמה דורות:בכל אופן, לתופעה הזו קראו כותבי המאמר, model autophagy disorder, ראשי תיבות MAD, כלומר אי-שפיות. בכך הם ניסו לומר - כשמתמידים בתהליך הזה לאורך זמן, המודלים מתנהגים כאילו הם מאבדים את שפיותם. בהקשרים אחרים יש שקראו לתופעה הזו Hapsburg AI, בהתייחסות לשושלת האפסברג האוסטרית, שמרוב זה שהם התחתנו כל הזמן בתוך המשפחה הם דיללו את היציבות הגנטית שלהם, פיתחו כל מני מוטציות מוזרות ואולי הדבר אף גרם להכחדת השושלת.שווה לשים לב במיוחד לעובדה שביצועי המודלים בניסוי נהיו גרועים יותר מדור אחד לשני. אם נניח היינו רואים שיש ירידה מג'פטו המקורי לפינוקיו בכמה אחוזים, אבל משם הדברים מתייצבים ושומרים על רמת איכות נתונה מדור אחד לדור הבא, זה היה סיפור אחר. במצב שכזה היינו אומרים - “אוקיי, הצלחנו לתפוס 80% מהיעד באופן מדוייק”. בפועל מה שהניסוי הזה המחיש הוא שה-AI לא באמת יודע להבחין בין עיקר לטפל ולסנן טעויות שהוא נחשף אליהם, ולכן כל דור של אימון רק מעצים את העיוותים שהוא ראה בדאטה של הדור הקודם. אם נחזור שוב למשל מכונת הצילום שלנו, נראה לי שברור לכולנו שיש הבדל בין מקרה שבו מכונת הצילום פשוט לא עובדת טוב עם דפים מקומטים, לבין מצב שבו יש שריטה על הזכוכית של מכונת הצילום עצמה. במקרה הראשון מדובר בבעיה מקומית ומוגבלת למקרים נדירים, שלא תפריע לרוב, בעוד במקרה השני זו בעיה שתשליך על כל הצילומים כולם, בלי יוצא מן הכלל. וזה מאד מטריד.לצד המאמר הזה, יצא גם מאמר נוסף ביולי השנה שבחן את הנושא במודלים חדשים יותר, ושהכותרת שלו אומרת הכל: "AI models collapse when trained on recursively generated data". "מודלי AI קורסים כאשר הם מאומנים על דאטה שמיוצר רקורסיבית". אצלם הם הריצו את הניסוי גם על מודלים שמייצרים טקסטים, וגם שם התגלה שהטקסטים נהיים גרועים יותר ויותר ככל שהדורות מתקדמים. וגם כאן, ההתדרדרות הגיעה בשתי תצורות: לטקסטים יבשים מצד אחד, שזה מזכיר את הפרצופים האחידים מהמאמר הקודם, וטקסטים משובשים בטירוף מצד שני. בתמונה שתראו כאן, נתנו למכונה תחילת משפט וביקשו שהיא תשלים אותו - שימו לב איך כל דור (Gen0, Gen1…) מציג התדרדרות באיכות ההשלמה, עד שזה בסוף מגיע לג’יבריש מוחלט.באותו מאמר, בנוסף לניסויים שהם הריצו, הם גם פיתחו באופן מסודר את התיאוריה האנאליטית שמסבירה למה זה קורה באופן עקבי במודלים הללו, ולמה למודלים שבנויים על למידה מתוך דאטה בלבד אין באמת דרך להימלט מן הגורל הזה. כדי להבין את מה שהם מביאים שם במאמר, אנחנו צריכים לקחת שתי דקות כדי להסביר משהו חשוב על האופן שבו המודלים הללו מייצרים טקסטים מגוונים, כשהכל עובד כמו שצריך. אז, שימו לרגע בצד את ניסוי ג'פטו ופינוקיו שלנו ופתחו סוגריים בראש - אני מבטיח שהם לא יהיו ארוכים במיוחד.כשמישהו שואל אתכם "מה נשמע", אתם יכולים לענות בהמון צורות. "טוב, תודה". "ברוך השם סבבה". "עייפים אך מרוצים", וכן הלאה. אחד הדברים המגניבים במודלים הללו הוא שגם הם, כמו בני אדם, לא עונים תמיד את אותו הדבר כשמשוחחים איתם. איך זה קורה, אתם בוודאי תוהים? מאין מגיע הגיוון הזה? נכון, הטקסטים שהם רואים בזמן האימון מכילים את המגוון הזה, אבל איך הם בוחרים מה לומר?ובכן, למודלים הללו יש מידע סטטיסטי על תבניות השפה שלנו, ויודעים לומר איזו תגובה היא שכיחה ומקובלת, ואיזו נדירה ויוצאת דופן. כדי לייצר שיח טבעי, המודלים הללו בוחרים תבניות באופן אקראי, ומשתמשים בסטטיסטיקה על השפה כדי לבחור אופציה סבירה מבחינת ההקשר של השיחה. אז, אם נדמיין עקומת פעמון של התגובות המקובלות ל"מה נשמע", רוב הפעמים המודל יגיב באופן שנמצא במרכז הכובד של העקומה, ורק במקרים מאד נדירים הוא ישוטט לו בקצוות העקומה, ויתן פתאום תגובה לא צפוייה ממש ומפתיעה. האמת, שווה לציין כאן שלרוב המודלים הללו יש פרמטר מיוחד ששולט בהתנהגות הזו. קוראים לו בשם "טמפרטורה". כמו שאטומים זזים מהר יותר ורחוק יותר כשמגדילים את הטמפרטורה סביבם, כך גם המודל נע באופן קיצוני יותר כאשר מגבירים את הטמפרטורה שלו. במילים אחרות, ככל שמגדילים את אותה "טמפרטורה", אנחנו בעצם מעודדים אותו לשוטט באזורים הנדירים יותר של העקומה ולהגיב בצורה מפתיעה יותר, בעוד שככל שמנמיכים את פרמטר הטמפרטורה המודל יצמד למוכר, במרכז עקומת הפעמון.אז, אלו הסוגריים, אתם יכולים לסגור אותם עכשיו, ואנחנו חוזרים לאותו מאמר. מה שכותבי המאמר הסבירו שם באופן אלגנטי היה שכשאנו מבקשים מג'פטו לייצר לנו דאטה לאימון של פינוקיו, אנחנו מוצאים את עצמנו תקועים בין הפטיש לסדן בכל הקשור לכיוון השיטוט שלו בעקומת הפעמון שלנו. נניח שאנחנו רוצים לבקש ממחולל התמונות שלנו שייצר לנו תמונות מייצגות של פרצופים, ואנחנו יודעים שלרוב האנשים בעולם אין צלקות על הפנים. אז אם נאמץ מדיניות שהולכת על בטוח, ונצמדת למרכז העקומה, נקבל אחלה תמונות, אבל נגרום לכך שבאימון של פינוקיו לא יהיו בכלל פרצופים עם צלקות. זהו הפטיש: אם אנחנו ניצמדים למה שמוכר ושכיח, אנחנו מתחילים לאבד את קצוות הפעמון, ובעצם למחוק ייצוגים של המציאות שמופיעים רק לעיתים רחוקות.אולי תגידו - טוב, אז תדגום את הקצוות גם. נשמע סביר האמת. אלא שכאן מגיע הסדן. קצוות העקומה הם גם המקומות שבהם יש לנו פחות דאטה, ובאופן ניכר - הרי זה מה שהופך אותם לאירועים נדירים. באזורים הללו, המודל צריך למלא הרבה חורים, לנסות לנחש איך למקם את הדאטה הזה בהקשר הרחב יותר של העולם הפנימי שהוא בונה. דוגמה יחסית קלילה יכולה להיות שכנראה שיש גם פרצופים באינטרנט של אנשים שצבעו את פניהם לקראת משחק כדורגל בצבע ירוק. האם המודל צריך להסיק שיש אנשים עם פרצופים ירוקים בעולם, ולתת לזה ייצוג כמו לאנשים ממוצא אתני מסויים כשהוא מייצר פרצופים על פי בקשת המשתמש?וזו דוגמה קלילה, כמו שאמרתי. האזורים הנדירים באמת הם האזורים שכמעט אין לנו שום דבר שם, ואם נייצר תמונות מהקצוות הרחוקים וניתן אותן בזמן האימון של פינוקיו, אנחנו בעצם מכניסים לו רעש. לפינוקיו אין שום דרך לדעת שאסור לו להסתמך עליהם - הרי זה דאטה כמו כל דאטה, ANYTHING GOES.כדי להדגים את זה, לקראת הפרק ביקשתי ממערכות שכאלו לצייר את הציור הבא: "חתול שותה שמנת בקשית תוך כדי רכיבה על אופנוע הארלי-דייוידסון על ראש הר האוורסט, כשהוא חושב על פוליטיקה ומגרד לעצמו באוזן". שילוב שכזה הוא שילוב נדיר, וגם לא ברור איך יש לצייר אותו. והנה, זו הצורה שבה GROK של אילון מאסק צייר את זה:ציור חביב, אבל החתול לא מגרד באוזן, האופנוע שלו איננו הארלי דיווידסון, ואין לנו מושג על מה הוא חושב. ועוד דוגמה - ככה GPT צייר את זה:בנוסף לבעיות פיזיקליות (ראיתם איך הכוס מרחפת באויר?), מאד אהבתי איך GPT מנסה לייצג איך החתול חושב על פוליטיקה - בועת חשיבה מעל הראש של החתול, בתוך הבועה מאזניים, ועל המאזניים… מה בדיוק? שני גושים חסרי צורה. בנוסף, אל תפספסו את המעמד שנראה כאילו נועד לנאומים של פוליטיקאים, ועליו סימון עגול בצבעים אמריקאים של כחול-לבן-אדום, שיושב על הגלגל האחורי. שמעו - זה מאד מקורי אבל לא משכנע. ועכשיו, דמיינו מה יקרה אם ניתן את התמונות הללו לפינוקיו ומספרים לו שכך נראית חשיבה על פוליטיקה… נראה לי ברור איז זה היה מתחיל להזיז את המחט לכיוונים הזויים , מה שרק היה מתעצם עוד יותר בהמשך, בדורות הבאים.אז, זו הבעיה, הפטיש והסדן. לכל כיוון יש חסרונות. מה עושים כדי להתמודד עם הבעיה הזו? כותבי שני המאמרים מסבירים שאין ברירה, ויש רק דרך מוצא אחת שהם רואים מהברוך הזה: חייבים כל הזמן גם להזריק דאטה אנושי "מקורי" לדאטה שמאמנים איתו את פינוקיו, כדי לייצב את המודל החדש. באופן הזה אנחנו מקבלים דאטה מהקצוות שהוא אמין - נניח, תמונות של אנשים אמיתיים עם פרצופים אמיתיים שיש בהם צלקות אמיתיות, ולא רק מה שה-AI מדמיין שנראה כמו צלקת. הם מקדישים חלק מן המאמרים לדיון על כמות הדאטה הנדרשת מהסוג הזה, כלומר מה האיזון הנכון בין דאטה אנושי לסינתטי שיכול לשמר את השפיות של המודלים בין דור אחד לבא.אוקיי. אז זהו "מבחן הזוויות", וזכיתם כאן לטעום קצת מהמאמרים העדכניים בתחום. ועכשיו, בואו ניקח כמה דקות כדי לעכל את כל זה, ולהבין מה כל זה בעצם אומר? לדברים שראינו עכשיו יש גם השלכות פרקטיות, וגם השלכות רעיוניות סביב השאלה של העונה שלנו. בואו נתחיל עם הפרקטיקה, ולאחריה נעבור להשלכות העמוקות יותר.ההשלכה הפרקטית הראשונה של מה שראינו כאן היא המשך של מה שראינו בשבוע שעבר: שלעולם לא נוכל להפסיק להסתמך על בני אדם כדי לייצר לנו דאטה. בני אדם יצטרכו להמשיך לתייג תמונות וטקסטים ווידאו, וגם לייצר לנו תמונות, טקסטים וסרטים חדשים. הדברים כל כך ברורים שזה מוביל לכתבות קצת מצחיקות. כך לדוגמה נכתב באתר venturebeat שדיווח על הממצאים הללו: "בעתיד מלא בכלי AI גנרטיביים, תוכן שיוצר על ידי בני אדם יהיה יקר ערך עוד יותר מאשר היום — אם רק כמקור נתונים טהור לאימון AI.". שימו לב איך היוצרות מתהפכים: במקום שבני האדם ומה שטוב להם יהיה העיקר, הכותבים מדברים על כך שמבעד לעדשה של "בואו ניטיב עם המודלים שלנו" נצטרך לעודד אנשים להמשיך לייצר בעצמם תוכן, כדי שה-AI יהיה איכותי. די הזוי, לדעתי.ההשלכה הפרקטית השניה, שקשורה לראשונה, גם היא עולה באותו מאמר, והיא הבעיה שיש עכשיו לכל מי שירצה לאמן מודלי AI חדשים על בסיס מה שיש באינטרט: שהרי, האינטרנט מתמלא כל הזמן בתוכן חדש, אבל אם בעבר כל התוכן הזה היה מיוצר על ידי בני אדם, ככל שיש יותר זמינות ל-GPT ודומיו, אז אחוזים ניכרים מהתוכן שיש באינטרנט נוצרים עכשיו על ידי מכונות, לא בני אדם. ממילא, הדאטה החדש שיאמנו עליו יהיו "פגום" בכך שהוא סינטטי מדי, והתופעה שעליה הזהירו כאן תתחיל לקרות: המודלים יתחילו לקרוס ולהיות לא רלוונטים. העולם עכשיו שואל את עצמו - איך נצליח להפריד בין דאטה מקורי-אנושי לבין דאטה "פייק"? הרי אנחנו חייבים את הדאטה האנושי הטהור כדי לאמן מודלים טובים! ולָעולם אין פתרון עדיין, שכן כל הקטע של המודלים הללו הוא שהם מצליחים לייצר פייקים אמינים בעיניים אנושיות… אז הבעיה הזו עדיין לא פתורה, ונראה בשנים הקרובות איך יתמודדו איתה.אז אלו שתיים מהבעיות הפרקטיות המרכזיות, ועכשיו, לצד הרעיוני. וכאן יש המווון מה לומר, ואני אבחר ארבע עיקריות, בעיניי.דבר ראשון, זה לחזור ולראות איך המאמרים הללו תומכים במה שאמרנו: המודלים אינם מייצגים את המציאות, אלא גרסה מפוקסלת ולא מדוייקת שלה. המציאות היא בעלת ריבוד אינסופי, ואפילו את מה שאנו יודעים היום אנחנו לא מצליחים לתפוס באף מודל באופן עמוק מספיק. המודל תמיד יהיה קירוב, ותו לא. וכמו אפקט הפרפר, שלפיו כנף פרפר שזזה היום יכולה לגרום לטורנדו בקצה השני של העולם בעוד כמה חודשים, הסטיות שיש בקירוב הזה מתעצמות בכל דור של אימון, אם לא נתקן אותן על ידי מידע אנושי אמיתי, אותנטי.דבר שני, הוא התובנה ש"מבחן הזוויות" שלנו תופס עיוותים בתוצרי המודלים שמבחן טיורינג יכול הרבה פעמים לפספס. אז חשוב לשמור את הראש פתוח כשחושבים על מדדים לתבוניות. אולי צריך כמה מדדים ולא להסתפק בזה של טיורינג, עם כל זה שהוא מגניב ואינטואטיבי.הדבר השלישי הוא מה שרמזתי אליו בתחילת הפרק: לשים לב שהבעיה שאנו רואים כאן היא בדיוק תולדה של הקונספט הכי שורשי של ה-AI בתקופה שלנו, שהכל זה עניין של מספיק דאטה. מה שמתברר לנו כאן בסיפור הזה הוא שאין בכך די. ברגע שהכל תלוי בכמויות הדאטה, אז הדברים הנדירים תמיד ימחקו מן התוצרים של המערכות הללו. דברים נדירים הם אולי נדירים, אבל הם חלק מהמציאות, וכשמתחילים למחוק חלקים מהמציאות כי אין לנו מספיק דאטה עליהם - הרי שהתוצר של המודלים מפסיק להיות שקול לזה האנושי. משהו צריך לעגן את המציאות שמופיעה באופן נדיר באותה עוצמה ויציבות של הדברים השכיחים, וזה דבר שאי אפשר לעשות ללא הבנה מראש של המציאות האמיתית, זו שמעבר לדאטה.שווה להזכיר בשלב הזה שזה לא אומר שאין דרך לבנות מכשיר שיצליח במבחן טיורינג. אולי נזכיר כאן רק נקודה אחת למחשבה בעניין הזה: בני אדם לא עובדים כמו AI. הרי, ילדים מבינים מה זה חתול עם מספר דוגמאות קטן מאד. אף אחד מאיתנו לא ראה מיליוני תמונות של חתולים, אבל אנחנו עושים עבודה טובה יותר מה-AI בזיהוי שלהם רוב הזמן. כלומר, המוח האנושי עושה כאן משהו שונה ממה שהמערכות שבנינו עושות, אפילו אם הן משוכללות מאד. מה שזה אומר הוא שהמוח שלנו מכיל מערכות נוספות, משלימות לאלו שלומדות דברים מהדאטה הגולמי. ולכן, ההישענות היתירה על הדאטה היא מה שחושף את ה-AI לעקב האכילס שדיברנו עליו היום.אז נראה, אם כן, שהפתרון לבעיות עולם ה-AI איננו באיסוף של דאטה נוסף, או לפחות לא בעיקר שם, אלא צריך משהו אחר: שינוי תשתיתי בגישה המחקרית של איך בונים AI, כדי להגיע למשהו חדש ועמיד בפני המגבלות הללו שחשפנו כאן בפרקים האחרונים.והדבר הרביעי והאחרון להיום: לראות עד כמה “מבחן הזוויות” נשען על הרעיון של טיורינג, שאנחנו נחליט אם משהו הוא תבוני על פי התפוקה שלו. הרי יכול היה מישהו לבוא ולטעון - "טוב, כל מה שהצבעת עליו כאן בסיפור של ג’פטו ופינוקיו זו בעיה של דגימה. הפלט אולי חסר במשהו, אבל המוח של ה-AI, הדבר הזה שמסתתר בתוך הקופסה השחורה - הוא באמת חושב ותבוני! פשוט לא מצאנו את הדרך לגרום לו לדבר באופן שמשקף את המוח הזה כראוי". ובהחלט, אפשר להאמין שזה המצב, כל אחד לפי אמונתו. אבל כל הקטע של טיורינג היה לומר שלא מעניין אותנו איך נראה המנגנון הפנימי, כל עוד הוא מסוגל לייצר תפוקה כמו בני אדם. ולכן, כל עוד אי אפשר לייצר תפוקה ששקולה לזו האנושית, הרי שמבחן טיורינג בגרסת ה"זוויות" יוותר על כנו, ויחכה שמישהו ימצא דרך להוכיח שאכן הגענו למוח סינתטי אמיתי שם בפנים.אז - זהו להיום! מהפרק הבא אנחנו נעמיק עוד יותר בשאלה של התבוניות של המערכות הללו, אבל עכשיו ממקום יותר עקרוני. כלומר, במקום להתמקד בצורה המיוחדת שבה הם מאומנים ומעוצבים, נשאל - האם יכולה בכלל להיות מכונה שכזו, שתחשוב כמו בני אדם? כפי שנראה, לאורך העשורים מאז שטיורינג הציע את ההצעה שלו, היו הרבה דיונים בנושא.ובנוסף, עוד דבר שאנו ניאלץ להתמודד איתו ועד כה לא ממש עשינו: להסביר מה *באמת* קורה שם מתחת למכסה המנוע. כלומר, אם מה שיש שם הוא לא תבונה, אז… מה זה בדיוק? איך נכון לחשוב על התוכנה המתוחכמת הזו, באופן שגם יסביר את היכולות המטורפות שלה ובו זמנית יציב ליכולות הללו גבולות ברורים?ועד אז - להתראות… .ביי… This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit elishasangles.substack.com

הפעם ישבתי עם יאיר וייגלר, מנכ"ל ארגון מורים מובילים שינוי, כדי לדבר על בעיות המהות במערכת החינוך, מה צריך לעשות כדי לתקן אותם, ואיך כל זה מתקשר למה שקורה בצבא היום?לפרטים נוספים על יאיר וארגון "מורים מובילים שינוי":https://morimovilim.org/ X: @Yair27we   This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit elishasangles.substack.com

שלום כולם, וברוכים הבאים לאלישע והזוויות, עונה שניה פרק מספר 6! עבר יחסית הרבה זמן מאז הפרק הקודם. קודם היו החגים, ואז הגיע "אחרי החגים"... אתם יודעים איך זה. בכל אופן, אני חזרתי ומקווה שמעתה והלאה הפרקים יצאו באופן סדיר. כמו כן, חשבתי לשתף שעשיתי ראיון עם אלכס בקאלו בערוץ TOV על נושא הפרוגרסיביות - ערוץ אינטרנטי, למי שלא מכיר - אז אתם מוזמנים לצפות!בתקופה האחרונה, AI נמצא בכל מקום, והמונח הפשוט הזה, בינה מלאכותית, מתחיל לאבד מהזוהר שלו. הבאז החדש, הדבר שאליו כולם נושאים את עיניהם, הוא לממש בשטח AGI, ראשי תיבות של Artificial General Intelligence, "בינה מלאכותית כללית". אם יש לנו היום מערכות AI שיודעות לדבר, וכאלו שיודעות לכתוב, וכאלו אחרות שיודעות לצייר, וכן הלאה, AGI אמורה להיות מערכת שיודעת לעשות את כל הדברים הללו יחד, ובאופן אינטרגרטיבי. בעצם, השאיפה כאן היא לייצר משהו דמוי המוח האנושי, שמסוגל גם הוא לעשות את כל הדברים הללו. סם אלטמן, אחד המייסדים של OpenAI, החברה שהביאה לנו את GPT, הגדיר זאת כך:"לדעתי יש הרבה הגדרות סבירות ל-AGI, אבל עבורי, מדובר במשהו ששקול לאדם חציוני. יצור ממוחשב שתוכל לשכור כעובד בחברה לעבודה מרחוק, והוא יוכל לעשות כל מה שעובד רגיל יכול לעשות. זה כולל ללמוד להיות רופא, ללמוד לכתוב קוד - יש הרבה דברים שאדם חציוני יכול לעשות טוב. לדעתי מדובר במטא-יכולת כזו, של ללמוד דברים חדשים ולהתמקצע בכל דבר שאתה צריך."כפי שבוודאי שמתם לב, ההגדרה של אלטמן זו הרחבה של מבחן טיורינג: הוא רוצה מכונה שדרך ממשק המחשב הוא יחווה אותה כאילו היא אדם חציוני. זו "הרחבה", כמובן, שכן טיורינג דיבר רק על שיחת צ'ט טקסטואלי, בעוד אלטמן מניח שהמכונה תוכל לעשות עוד הרבה דברים שבני אדם עושים: לשרטט דיאגרמות, להבין מה קורה בוידאו, וכן הלאה. לצורה שבה אלטמן מדבר יש חשיבות נוספת כמובן. הוא לא רק אומר שהיכולות הללו יהיו קיימות, אלא הוא מדבר על המחשב כעל "עובד" אמיתי בחברה כלשהי. בחזונו, כך נראה, המחשבים החזקים הללו יוכלו להחליף אנשים ממש בתפקידים שלמים. אין ספק שכמו כל מהפכה טכנולוגית, הכניסה של AI לתעשייה משנה ותמשיך לשנות את עולם העבודה. אבל מה שנרמז בדבריו של אלטמן הוא, כך נראה, משהו עמוק יותר. לומר על מחשב שהוא יוכל לעשות "כל מה שעובד רגיל יכול לעשות" משמעו שהתפוקה של המחשב והתפוקה של בן האנוש יהיו שקולות באיכותן. אלתמן מדבר על כך שכמו שאדם יכול ללמוד לעשות כל מני דברים שונים זה מזה, כך גם ה-AGI יוכל להתאים את עצמו לכל משימה. בעצם, הוא רומז כאן שלא רק במשימות נתונות יהיה המחשב מוכשר, אלא שהפוטנציאל שלו יהיה שקול לזה של בן אדם, בכל מובן שדורש חשיבה והבנת העולם. היעד הזה הוא כמובן שאפתני, ובשלב הזה בעונה אני רוצה לשאול - האם זה נכון? האם באמת נגיע לרגע שבו הפוטנציאל של המחשב יהיה שקול לזה של בן האנוש, או שמא תמיד יהיה צורך בבני אדם איפהשהוא בתהליך? בפרקים הבאים אני אנסה לשרטט עבורכם - ועבורי גם - כמה מן הגבולות המעניינים שיהיו, לפחות לדעתי, לטכנולוגיות החדשות שסובבות אותנו, וזאת גם כשחושבים מה יקרה עשור או שניים קדימה.לומר משהו על איפה נהיה עוד עשרים שנה - זה קצת יומרני, אני יודע. אבל כפי שתראו, גם אם אני לא יכול להוכיח באופן מוחלט את התחזיות שלי, נקודות התורפה שנצביע עליהן בפרקים הבאים הינן עמוקות ביותר ונוגעות בדברים שורשיים מאד. אז תנו לי לתקן את ההימור שלי ולומר שאם בעוד עשרים שנה הבעיות שנדבר עליהם היום ובפרקים הבאים יפתרו, זה כנראה אומר ששינינו כמה דברים משמעותיים באיך שאנו בונים את ה-AI שלנו. הדרך שאנו צועדים בה היום היא אמנם בעלת עוצמה גדולה, אבל בלי לטפל בחסרונות שלה לא נוכל לפרוץ חסמים מסויימים. זה בגדול לאן אנו הולכים. ספיציפית בפרק הזה אני ארצה לטעון שהצורך בדאטה איכותי ובכמויות גדולות והולכות הוא גם אחד מאזורי החולשה של הטכנולוגיה הקיימת; וספיציפית, הרעב התמידי של המערכות הללו לעוד ועוד דאטה, מרמז על הצורך שלהן לחפות על מה שאין בהן באמת: חשיבה אנושית. אז יאללה, בואו נתחיל.איך מייצרים AI? כפי שאתם זוכרים מהפרקים הקודמים, לוקחים מכונה שיודעת ללמוד מדוגמאות, ועל ידי חשיפה להמון דוגמאות היא לומדת איך אנו מצפים ממנה להתנהג. כמה זה "המון דוגמאות"? הכל תלוי בסיטואציה, כמובן. נניח, אוסף התמונות המפורסם ImageNet מכיל כ-14 מיליון תמונות של כל מני עצמים בעולם, ושלצידם תיוג שקובע מהו העצם המופיע בתמונה: חתול, רמזור, וכן הלאה. האוסף הזה היה אחד האוספים הגדולים הראשונים של דאטה לטובת אימון AI, וזו היתה משימה ממש לא טריוויאלית ליצור אותו. בעוד שלארגן ולאסוף הרבה תמונות זה דבר יחסית קל, בהינתן הגישה האוניברסלית לאינטרנט, האתגר הקשה היה להשיג את התיוגים, כלומר לדעת מה מופיע בתמונה. תזכרו שהתיוגים זה החלק החשוב - תהליך הלמידה הוא שמראים למכונה תמונה, היא מנחשת מה יש שם, ואז נותנים לה משוב - או "כל הכבוד", או "נו-נו-נו, התשובה האמיתית היא (השלם את החסר)". בלי התיוגים, אין יכולת לתת משוב.אז מאין הגיעו התיוגים ב-ImageNet, או בכלל באוספים כאלו של דאטה? בצורה זו או אחרת, בני אדם מתייגים אותם. בחלק ניכר מהמקרים מדובר באנשים שפשוט יושבים מול מסך מחשב במשך שעות ומתייגים תמונה-אחר-תמונה, וידאו-אחר-וידאו. לצד זה יש גם גרסאות יצירתיות יותר של השגת תיוגים. נניח, כמו שמשחילים לכולנו פרסומות בסרטוני יוטוב, יש חברות שמשחילות משימות תיוג כאלו לתוך משחקי מחשב, והשחקן שנענה לאתגר התיוג מקבל בונוסים במשחק. בשורה התחתונה, מילוני אנשים מועסקים בצורה זו או אחרת ברחבי העולם בבניית אוספים של דאטה מתוייג. עולם התיוגים הוא עולם חדש, מעניין ולפעמים גם בעייתי. השכר של אלו שעובדים בתחום נמוך, וחלק ממשימות התיוג דורשות חשיפה לתכנים קשים כמו אלימות ופורנו. מאידך, רק בזכות התיוג שהם מספקים לחברות ההייטק אנחנו יכולים לשוטט ברשתות חברתיות בלי שמישהו ישחיל לנו תכנים שכאלו לפיד. אז, למי שמעוניין ללמוד יותר על תחום העיסוק הזה, אני מצרף כאן סרטון תיעודי של צוות צילום שחקר את הנושא. בסרט כל התמונות הגרפיות מצונזרות, אז אין לכם מה לדאוג בהקשר הזה אם דאגתם. בכל אופן, כפי שאתם יכולים לדמיין, לארגן "פס ייצור של דאטה מתוייג על ידי בני אנוש" זה לא דבר קל, ומהווה כאב ראש גדול עבור התעשייה. קודם כל, כמו בהרבה תעשיות, התשלום על משכורות לבני אדם תופס נתח נכבד מעלות התפעול. שנית, יש בעיה מהותית של בקרת איכות. אם אתם שוכרים אנשים לתייג מליוני תמונות, איך תדעו שהמתייגים עשו עבודה טובה בתיוג? איך תזהו טעויות ורמאויות, או אנשים עצלנים שלא מקפידים על דיוק? הבעיות הללו הינן רק כמה מהבעיות שכל חברה שרוצה לקבל דאטה מתוייג ואיכותי צריכה להתמודד איתן.בשל הצורך בהמון דאטה מצד אחד, ועלויות גבוהות בייצור ואיסוף הדאטה הזה מצד שני, הקהילה המדעית והטכנולוגית כל הזמן מחפשת קיצורי דרך, דרכים להמעיט את ההישענות שלהם על דאטה אנושי, ובמקום זה להשתמש בדאטה סינתטי - תיוגים שמחשבים מייצרים באופן אוטומטי, מחשבים שמייצרים דאטה מתוייג מראש לפי הזמנה, או שיטות ללמוד על העולם ללא צורך בתיוגים מראש, מה שקוראים בעגה המקצועית Self Supervised Learning, למידה בבקרה עצמית. אבל על אף המאמצים הללו, נראה שהצרכים בתיוג אנושי רק גדלים משנה לשנה. על פי מכון מחקר אחד שראיתי, אם ב-2023 שוק התיוגים תפס כ-1.8 מיליארד דולר, התחזית שלהם היא שב-2028 השוק יגדל ליותר מ-6 מיליארד. כל הדברים הללו אמורים לעורר אצלנו ספק מסויים, אפילו לא קטן במיוחד, לגביי חזון ה-AGI לפי סאם אלטמן. אם AGI אמור להיות מסוגל להחליף בני אדם באופן מוחלט בתפקידי עבודה, האם הוא לא אמור להיות מסוגל לתייג דאטה ולהגיד מה קורה בו? תיוג של דאטה נשמע כמו משימה של אדם חציוני, הלא כן? מרגיש שמשהו קצת אחר קורה כאן. כפי שאומרים - "כאן חשדתי": העובדה שאנחנו לא יכולים להישען על מכונות כדי לתייג לנו דאטה מרמזת, אולי, על משהו שחסר במערכות הקיימות. אז - מהו?כדי לענות על השאלה הזו, יעזור שנכיר את עולם התיוגים קצת יותר מקרוב. לפני כמה שנים קראתי כתבה בנושא תעשיית התיוג, וסיפור ששיתף הכותב, Josh Dzeiza, תפס את תשומת ליבי. כחלק מעבודת התחקיר שלו, ג'וש נרשם לאחת מחברות התיוג כדי לחוות את התפקיד באופן ישיר. המשימה הראשונה שקיבל היתה לעבור על תמונות ולתייג האם ואיפה מופיעים בגדים בתמונה. ההוראות דייקו עוד יותר את  המשימה: הוא התבקש לתייג רק "בגדים אמיתיים שיכולים להילבש על ידי אנשים אמיתיים". בגדי בובות, בא נאמר, לא כלולים ברשימה. קחו כמה שניות לחשוב על המשימה הזו, ותוודאו שאתם מבינים את הכלל. האם אתם מרגישים בנוח לבצע משימה כזו עבור תשלום ראוי? אני מהמר שרובכם תגידו "כן, נשמע די קל". ולכן, עם התחושה הזו, עם הביטחון העצמי הזה, קיראו את החוויה של ג'וש:משוכנע ביכולתי להבחין בין בגדים אמיתיים שניתנים ללבישה על ידי אנשים אמיתיים לבין בגדים שאינם אמיתיים שלא ניתן ללבוש, ניגשתי למבחן ההתקבלות למערכת. מיד על ההתחלה, המערכת זרקה לכיווני אתגר אונטולוגי: תמונה ובה מגזין, כשהמגזין מציג תצלומים של נשים בשמלות. האם צילום של בגד הוא בגד אמיתי? "לא", חשבתי לתומי, "כי אדם לא יכול ללבוש צילום של בגד." אבל המערכת הודיעה לי שטעות בידי! מבחינת הבינה המלאכותית, תצלומים של בגדים אמיתיים הם בגדים אמיתיים. אחר כך הגיעה תמונה של אישה בחדר שינה, מואר בעמעום, המְצָלֶמת סֶלפי בעומדה לפני מראָה באורֶך מלא. החולצה והמכנסיים הקצרים שהיא לובשת הם אמיתיים, כמובן, אבל מה לגבי ההשתקפות שלהם? המערכת קבעה - גם כן בגדים אמיתיים! מבחינת המערכת, השתקפויות של בגדים אמיתיים הם גם בגדים אמיתיים.סיפור חביב, נכון? וזה לא נגמר שם. ג'וש מתאר איך לאחר שעבר את שלב הסינון הראשוני בתהליך ביצוע המשימה, הוא קיבל את ההוראות המלאות, ואלו היו באורך של לא פחות מ-43 דפים (!!) גדושים בהוראות מפורטות ותמונות להדגמה. כפי שהוא כותב, נעליים נחשבו בגדים אבל לא כפכפים; טייטס כן אבל גרביונים לא; תחפושות בפנים אבל שיריון אבירים - בחוץ; ואם יש תמונה של מזוודה פתוחה ובה בגדים מקופלים - אין לסמן אותם. בקיצור, בלאגן אחד גדול.מה קורה כאן? בואו נפרק את הסיפור שמאחורי הסיפור. זה מתחיל בכך שהמציאות מבולגנת ורועשת, וההוראות באו להתמודד עם הבלאגן הרועש הזה. Milagros Miceli, חוקרת גרמניה שמצוטטת במאמר, מסבירה שהלקוח רוצה את התיוג כדי לשרת את המוצר או השירות שלו, ומתוך זה נגזרים ההוראות. חברות התיוג צריכות לאפיין במדוייק מה לתייג כדי שהלקוח יהיה מרוצה, וכפי שהיא מצוטטת בכתבה, הם "מנסים לפשט מציאות מורכבת ומרובת-רבדים, לכדי משהו שמכונָה ממש טיפשה תוכל להבין". הדברים אולי יזכירו לכם את מה שהערתי בפרק הרביעי, לגביי זה שאפילו שבני אדם מסוגלים לזהות חתולים ביתר קלות, זה מאד קשה לנסח במדוייק סדרת הוראות לזיהוי חתולים, ומי שינסה - יפול לבור שלא יצא ממנו. אתם יודעים איך נראה בור שכזה? בדיוק - הוא נראה כמו 43 דפים של הוראות מפורטות, שמנסות לתחם באופן עיקבי מציאות בלאגניסטית, ושאת העיקביות שבה קשה הרבה פעמים לראות. רואים אם כן, עד כמה משימת התיוג היא קשה - קשה למתייגים, כמובן, אבל גם קשה לאלו שבאים להגדיר אותה. זהו המסר הראשון העולה מן הסיפור.אבל מעבר לקושי הטכני באיפיון משימה נתונה, טמון כאן גם מסר נוסף, והוא שהמציאות עצמה היא כל כך מורכבת ומרובדת, שתמיד יש המון דרכים להסתכל עליה, הרבה יותר ממה שאנו מדמיינים במחשבה ראשונה. בניגוד לאינטואיצה שלנו, מסתבר שהמושג "לבוש שאנשים לובשים" הוא רב-משמעי, ואנחנו נבין אותו אחרת בהקשרים שונים. או נניח שהתבקשתם לסמן בתמונה אנשים שלובשים חולצה אדומה. מה תעשו עם חולצת פסים, או חולצה כחולה עם כיס אדום? אין תשובה אחת נכונה. אם נרצה להיות מדוייקים יותר, מה שקובע מהי התשובה הנכונה במקרה נתון הוא המטרה שלשמה אנו מתייגים את הדברים, ואפשר להדגים זאת עם דוגמה פשוטה. נניח שהתבקשתם לעבור על הוידאו של מצלמות האבטחה בקניון הקרוב למקום מגוריכם, ולתייג את כל כלי נשק שמופיעים בפְרֶיים. ועכשיו לשאלה: האם אני רוצה לתייג גם חולצות עם הדפסים של רמבו? מה לגביי דונלד דאק המחזיק באקדח מצוייר? האם צריך לסמן ילד שהתחפש לאינדיאני ומחזיק חץ-וקשת? ומה בעניין השתקפויות של אקדח במראה?התשובה היא שהכל תלוי במיהו הלקוח ומה מעניין אותו. אם הלקוח הוא המשטרה, אז סביר שהיא מעוניינת בכל דבר שיכול להוות סכנה בטחונית למבקרי הקניון, ואז חולצות וסרטים מצויירים לא רלוונטים אבל השתקפויות במראות - סופר רלוונטי. מחר, יגיע פרופסור למדעי החברה שחוקר את המוטיבים המיליטנטים בחברה הישראלית, ומבחינתו כל הוריאציות שהזכרתי יכולות להיות סופר-רלוונטיות.  אז, אם נמשיך את הקו הזה ונשאל - מהי כמות הצרכים האנושיים? התשובה היא ברורה וידועה: פלוס-מינוס אינסוף. כוחות השוק והחברה מייצרים כל הזמן צרכים חדשים. כל עוד המציאות והאופנים שאפשר להסתכל עליה היא ימשיכו להתרחב ללא סוף, התיוג של תמונה היום לא יספיק לנו לכל צרכי העתיד, ולאורך זמן, נזדקק כל הזמן לעוד ועוד תיוגים. ולכן כנראה שעבודת התיוג האנושית לעולם לא תסתיים.אז דיברנו על מורכבות התיוג, ודיברנו על ריבוי הצרכים, אבל שווה להקדיש גם שתי דקות לסיבה נוספת שבגינה תיוגים ימשיכו להיות חלק מתעשיית ה-AI, והיא התנועה של התחום גם לתחומים מופשטים ועמוקים יותר מסתם זיהוי חפצים בתמונה. קחו לדוגמה את האוסף המכונה AffectNet, שמכיל כחצי מיליון תמונות של פרצופים, ושלגביי כל תמונה מישהו הסתכל בפרצוף שניבט ממנה ותייג את התחושה שמובעת בפרצוף הזה. הסימונים נבחרו מתוך 8 קטגוריות בלבד של תחושות, דברים כמו נייטרלי, שמחה, עצב וכן הלאה. עכשיו, זה נשמע כמו אוסף מגניב, ואולי כזה שאפשר לאמן לפיו מחשבים שיזהו רגשות לפי פרצופים. אבל נראה לי ברור לכולנו שיש כאן משימה שונה לגמרי מאשר תיוג של חתולים ורמזורים בתמונות. קודם כל, בני אדם שונים ותרבויות שונות מביעים רגשות באופן שונה בפרצוף שלהם. שנית, מאותה הסיבה גם זהות המתייג יכולה להשפיע על התיוג - מתייג אנגלי ומתייג יפני יתייגו דברים אחרת, אני מהמר. ולסיום, והכי חשוב, תוסיפו את זה שמחר יכול להגיע מישהו אחר, אולי מתרבות אחרת, ולהציע ששמונה הקטגוריות אינן נכונות או מדוייקות, והפסיכולוגיה האנושית דווקא מחייבת שנקטלג ל-11 קטגוריות. מכל הסיבות הללו, עבודת התיוג לא תסתיים לעולם.אפשר להמשיך ולהרחיב, אבל נדמה לי שהעניין ברור: מחשבים זקוקים לתיוגים הללו כדי לשדרג את היכולות שלהם, ואפילו שיש שרוצים להיפטר מהגורם האנושי בתהליך התיוג, הצורך בבני אדם רק מתרחב. ואולי באמת יבוא יום שבו נוכל להפסיק לייצר עוד ועוד דאטה אנושי, אבל ממה שראינו דווקא נראה שההיפך הוא המקרה הסביר יותר: כיוון שיש אינסוף דרכים להסתכל על המציאות, ורק בני אדם יכולים לומר למחשבים איזה מכל הדרכים הללו הוא מעניין, התיוג האנושי לא הולך לשום מקום.המעמסה של יצירת כמויות דאטה גדולות היא בעיה חדשה יחסית, כזו שקיימת במיוחד מאז שעולם ה-AI הבין איך אפשר למנף כמויות גדולות של דאטה. אבל בעומקה מדובר דווקא בבעיה ישנה ומוכרת. כבר באמצע המאה ה-20, התגלתה בעיה בחקר ה-AI ושמה "בעיית המיסגור", The Frame Problem. חוקרי הבינה המלאכותית דאז התקשו בפיצוח אגוז מעצבן: איך מסבירים למחשב אילו עובדות רלוונטיות למשימה שלו ואילו לא? בהינתן בעיה כלשהי, איך הוא אמור לדעת שמידע X יכול לעזור לפתור את בעיה Y, או שכיוון Z לא שווה בדיקה? איך הוא צריך לדעת שאין קשר בין הגירוד שיש לי בראש לבין מזג האוויר ביפן? הנה, תשמעו קטע קטן מדבריו של פרופסור מוריי שנאהאן, פרופסור ב-Imperial College of London וחוקר בגוגל, בהרצאה שנתן לפני כעשור על הנושא:באופן כללי יותר, כיצד יכולה תוכנת מחשב לזהות את קבוצת האמונות הרלוונטיות לתפקוד קוגניטיבי כלשהו? נניח, תחשבו על מי שחשב על זה שהמבנה של האטום דומה למבנה של מערכת השמש. איך מישהו אי פעם חשב על הכיוון הזה? יש כאן תהליך לא טריוויאלי, שמקשר בין שני דברים שונים לחלוטין. כיצד אפשר להדריך תוכנת מחשב לעשות דבר שכזה?... הבעיה היא, שכל דבר עשוי להיות קשור לכל דבר אחר!ובהחלט, מדובר בבעיה קשה. בגדול, הדרך שבה פותרים אותה היא שבני אדם מכוונים את המכונות ומצמצמים עבורם את החתכים של העולם שמעניינים מראש, ואת השאר המכונות פותרות באמצעים הסתברותיים, מנחשים משהו על בסיס העבר ולומדים מטעויות. החלק הראשון, ההכוונה האנושית, מגיע בכל מני צורות: הוראות מפורשות בקוד של המחשב, בחירת החיישנים שהמערכת תקבל ואלו שלא תקבל, וגם הרבה מידע שעובר למחשב ברמיזה, דרך הדאטה המתוייג והאופן שבו הוא מאורגן. אבל תמיד יש מעורבות של האדם, ובלי בני אדם שיתנו את המיסגור בצורה כלשהי, כל הסיפור הזה לא יעבוד. בואו נעמיק עוד קומה בתובנה שבפנינו. מה בדיוק התרומה האנושית פה בסיפור הזה של המיסגור? עד היום דיברנו הרבה על תבונה, אבל ממה מורכבת התבונה הזו? חלק מזה הוא בוודאי מה שאנו קוראים אינטלגנציה, חשיבה לוגית ורציונלית. אבל האם זה הכל? נראה שמרכיב נוסף וקריטי הוא בעיקר משהו אחר: סוג של "common sense" , ובמיוחד common sense אנושי - דברים שבני אדם יודעים באופן אינטואטיבי שהם טובים או רעים, רצויים או דחויים. תחשבו על זה שמה שהופך דבר לרצוי או פגום איננו משהו במציאות הגולמית, אלא רק האופן שבו המציאות הזו מתייחסת ומשמשת את האדם. כוס פלסטיק שלמה וחזקה טובה יותר מכוס פלסטיק שנקרעה לגזרים רק בגלל שעבור בני אדם, לכוס השלמה יש שימוש שאין לזו שנקרעה. וכיוון שכל המחשבים הללו נבנים כדי לשרת את צרכי בני האדם, אנחנו חייבים לוודא שהוא, המחשב, רואה את העולם באותו אופן שאנחנו רואים אותו. אפשר לראות גם איך הדברים משתלבים, כרגיל, במבחן טיורינג: מחשב שאינו מבין את העולם דרך עיניים אנושיות, ייכשל במבחן טיורינג די מהר.במילים אחרות, בעיית המיסגור משקפת משהו אמיתי - באמת יש אינסוף דרכים לאפיין ולהממשק עם העולם. כשאנו מספקים למחשבים הרבה דאטה, אנחנו בעצם מספרים להם לא רק על העולם, אלא על איך אנחנו, בני האדם, תופסים את העולם. וכאן אנו מגיעים לנקודה שבה פתחנו את הפרק היום. שאלתי בתחילת הפרק, האם יש סיכוי שאותו AGI יוכל להתנהל בעולם העבודה ללא מגע יד אדם. לאור מה שראינו עכשיו, הכל תלוי במה שקורה שם מתחת למכסה המנוע של המחשב. אם המחשב היה מצליח לזקק מכל הדאטה שהוא ראה את אופן החשיבה האנושי, לייצר ממש מוח אנושי-סינתטי, אז משלב מסויים והלאה הוא לא היה צריך לקבל עוד הדרכות, ולא היה צריך לייצר עבורו עוד ועוד דאטה מתוייג. כמוני וכמוכם, הוא היה מסתכל בעולם דרך משקפיים אנושיות-סינתטיות, ומבין לבד איך אנשים רואים את העולם. אבל כפי שראינו, צרכי התיוג כל הזמן גדלים, מה שאומר שלפחות נכון להיום, נראה שהמחשב איננו באמת מבין איך אנו רואים את העולם. אבל, אם הוא לא באמת מבין איך אנחנו רואים את העולם, אז איך המחשב מצליח היום לכתוב טקסטים שנשמעים מאד משכנעים, כאילו בן אדם כתב אותם? משהו משמעותי בכל זאת קורה שם, נכון? ובכן, להבנתי קורה שם משהו אחר. אני ארחיב על זה בפרקים הבאים, וכרגע רק אתן את זה בקצרה: במקום ללמוד איך בני אדם חושבים ורואים את המציאות, המכונות מחלצות מן הדאטה שנתנו להם סוג של "צילום מצב" של החשיבה האנושית ברגע נתון. הצילום הזה הוא ברזולוציה גבוהה מספיק ש-GPT וחבר מרעיו יכולים לחקות התנהלות ויצירתיות אנושית באופן מוגבל, אבל הן לא יורדות לעומק התפיסה האנושית את המציאות. ולכן לאורך זמן, וללא מעורבות של אנשים שיזרימו לו עוד מידע ויעצבו אותו מחדש, המחשב היה מאבד מהרלוונטיות שלו. הרעב המתמיד לעוד דאטה חושף בפנינו, אם כן, שנתנו ל-AI המון דגים, אבל כנראה שעדיין לא לימדנו אותו לדוג לבד.אז, זהו להיום. הנקודה העיקרית שרציתי להעביר כאן היא שהמציאות היא אינסופית במורכבות שלה, ובני האדם מעוניינים רק בחתך קטן מכל מה שיש שם בחוץ. כיוון שאפילו החתך הזה מתפתח כל הזמן, האופן שבו GPT ודומיו מתמודדים עם ההתפתחות הזו יכול לרמז משהו על מה שבאמת הם עושים. וכיוון שכרגע נראה שה-AI זקוק כל הזמן לעוד ועוד דאטה, נראה שיש כאן יותר שכפול של מידע אנושי סטטי מאשר עיצוב חשיבה אנושית עצמאית ודינמית בתוך המכונה. כמובן, אפשר לחשוב אחרת. יש כאלו שבטוחים שהכל עניין של זמן, וש-GPT גרסה 10 תצליח לממש חשיבה אנושית מלאה. לאלוקים פתרונים, כפי שאומר הפתגם המפורסם, ואתם מוזמנים לבחור את העמדה שלכם בעניין.אבל מה שראינו היום הוא רק הצעד הראשון. בפעם הבאה נדבר על סדרת מחקרים מהשנה האחרונה ששרטטה גבולות נוספים לבינה המלאכותית של GPT, ושגם היא הגיעה למסקנה שאין מנוס מאשר להמשיך כל הזמן להזריק פנימה למערכת ידע אנושי חדש. אבל בעוד הדברים שדיברנו עליהם היום התכווננו למצבים שבהם הידע והשימושים השתנו, הם הראו משהו יותר דרמטי: שאפילו בידע הקיים, הזה שהמכונות אומנו עליו מראש - אפילו שם המכונות נאלצות להישען על בני אדם להמשיך ולייצב את המערכת. אז יש למה לחכות!ובינתיים…להתראות, ביי… This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit elishasangles.substack.com

שלום כולם, וברוכים הבאים לפרק מיוחד של אלישע והזוויות!כפי שאתם יודעים, לאחרונה התחלתי (במקביל לעונה הרגילה) להרחיב את הפעילות של “אלישע והזוויות” גם לתחום הראיונות, כדי לקבל זוויות נוספות על נושאים שונים שדיברנו עליהם כאן, וגם מעבר. היום, אני מנסה כאן משהו חדש - שיחה עם בּריאנה וּו, דמות מאד ידועה בתנועה הפרוגרסיבית בארצות הברית, שמאז שפרצה המלחמה יצאה להגנת ישראל באופן חד-משמעי ב-X (טוויטר ז”ל). רציתי לדבר איתה על החיכוך הפנימי שהיא חווה מול אנשים אחרים בתנועה, על איך השביעי לאוקטובר השפיע עליה, ועל מה היא חושבת שיקרה אם קאמלה האריס תנצח. הרגשתי שרק התחלנו לגעת בכל מני נקודות - זו היתה סוג של שיחת היכירות, ואני מקווה שבהמשך אמשיך את השיחות עם בריאנה כדי להעמיק יותר בסוגיות שדיברנו עליהם בעונה הראשונה. ספיציפית, בריאנה היא גם אישה טרנסית, וגם בתחום הזה אני רואה אותה מנסה למתוח קו מסויים בינה לבין פעילים טרנסים אחרים. אז - נראה אם אצליח לדבר איתה שוב בעניינים אחרים.השיחה עצמה היא באנגלית, כמובן, כיוון שהיא לא יודעת עברית. בימים הקרובים אני מתכוון לתרגם את השיחה, ולהעלות גרסת וידאו עם כתוביות, בנוסף לתמלול העברי המלא. אז חפשו את זה במייל שלכם! בשלב הזה גם עדיין לא העליתי את זה לספוטיפיי, גם זה יגיע. חוץ מזה, אולי שווה לציין ולהרגיע, שעל אף הניסויים הללו שלי בז’אנרים אחרים, “אלישע והזוויות” ימשיך להיות פודקאסט שכמעט כולו בעברית, ותמיד אמשיך עם העונות הסדורות כפי שאתם מכירים ואוהבים. :)להתראות, ביי… This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit elishasangles.substack.com

שלום כולם, וברוכים הבאים לאלישע והזוויות, עונה שנייה, פרק חמישי. היום ט'  אלול, ה-12 לספטמבר, ואנחנו נדבר היום על בינה מלאכותית ושפה. אבל קודם כל, לפני שנתחיל, רציתי להזכיר לכם שיש מייל לפודקאסט, כמו גם חשבון טוויטר ואתר אינטרנט שבו תוכלו למצוא את כל הפרקים של הפודקאסט גם בגרסה כתובה, ומי שנרשם לאתר מקבל מייל כל פעם שיוצא פרק. אז, הלינקים בתיאור הפרק, ואתם מוזמנים ליצור קשר ולהגיב באופן חופשי. אני מבטיח לנסות ולענות לכל מי שיכתוב.בפרק הקודם הסתכלנו על מבנה המנוע של הבינה המלאכותית של ימינו, והיום אנחנו נחפור עוד בתשתיות שלה. כזכור, מבחן טיורינג מסתמך על היכולת של מכונה לנהל שיחה עם בן אדם, מה שמצריך ממנה להבין שפה של בני אדם. אז היום אנחנו נרצה לחטט קצת בשאלה כיצד מחשבים מבינים שפה, וספיציפית, איך מחשבים מבינים את המשמעות של מילים? שווה לציין ששפה היא הרבה מעבר לרק המשמעות של מילים. לשפה יש גם דקדוק, ומילים משנות את משמעותן בהקשרים שונים, וכן הלאה. אבל הבסיס לכל זה הוא, קודם כל, להבין את המשמעות של מילה בודדת, ובזה אנחנו נתמקד היום.מהניסיון שלי, המפתח להבנת רעיונות עמוקים ומורכבים הוא למצוא את הדימוי האלגנטי ביותר עבורם, אז בפרק הזה יהיו כמה דימויים כאלו, ואני מקווה שזה יקלע לטעם שלכם ויעזור לקונספטים שנציג כאן להחליק לכם בקלילות בגרון. הדימוי הראשון שישרת אותנו כאן שאוב מעולם סרטי הילדים. אני משער שרוב המאזינים, אם לא כולם, מכירים את הז'אנר של סרטי דיסני ופיקסאר, שבהם ישנו עולם מאד דומה לשלנו, רק שבו האנשים מוחלפים במשהו אחר. בסרט "צעצוע של סיפור" הדמויות הן צעצועים, בסרט "באג לייף" הנמלים הם הדמויות האנושיות, ב"זוטופיה" כל חיות העולם מאכלסות מטרופולין גדול כמו ניו-יורק, ובסרטים "מכוניות" ו"מטוסים" אתם יכולים לנחש לבד מה עבר האנשה. ובכן, על אותו מטבע, גם אנחנו "נחייה" יישות כלשהי היום, והרי היא המילה, או בואו נגיד - את כל המילים בשפה העברית. בואו נדמיין סיפור על עולם דמיוני שבו מילים הם דמויות חיות, אנשים כמוני וכמוכם. כל מילה חיה בעולם הזה במקום מסויים, והיא אוהבת לחיות קרוב למילים שדומות לה. אם תפתחו את הספר שמספר על העולם הזה, תמצאו בכריכה הפנימית שלו מפה מאויירת של העולם הזה, עם ציונים של אזורי עניין. נניח, יכול להיות שתראו שיש עיר שבה גרים כל הצבעים, המילים "אפור", "ירוק", "כחול" וכן הלאה. במקום אחר בעולם תהיה עיר שבה יגורו כל המקצועות, מילים כמו "רופא", "סבל", "מתכנתת", "נהגת" וכן הלאה. וגם הערים הללו יהיו ממוקמות יחסית אחת לשניה באופן שעושה שכל. נניח, עיר המונחים הפיזיקליים כנראה תהיה קרובה לעיר המונחים המתמטיים, ועיר שיש בה שמות של שחקני הוליווד תהיה ליד עיר שיש בה שמות של צלמי פאפראצי. ככל שאתם, והילדים שלכם, מביטים במפה, אתה רואים שמי שעיצב אותה ממש עשה עבודת אומן, וחשב על המון דברים מגניבים. לדוגמה, אתם שמים לב שמילים של צורת רבים תמיד נמצאות ממזרח למילים של צורת רבות, כלומר בלשון נקבה. הילד שלכם גם מעיר שבעיר הצבעים, ככל שהצבע כהה יותר הוא נמצא צפונה יותר בעיר. כיוון שגם בעולם הזה יש בתי דירות, המפה תתייחס גם לגובה ולא רק לאורך ורוחב, ואז אולי תגלו שככל שלמילים יש משמעות עוצמתית יותר, הן גרות בקומה גבוהה יותר בבניין שלהן. כך נראה שהמילה "ענק" תהיה בקומה גבוהה יותר מאשר המילה "גדול", והמילה "פצפון" תהיה בקומת הקרקע.עכשיו, דמיינו שהילד שלכם הוא חנון. חנון מקצועי ומוכשר. יום אחד, הוא חוזר הביתה ואיתו דף משבצות שקוף, כמו מתוך מחברת חשבון אבל שקוף. הוא לוקח את הספר, פותח אותו ומניח עליו את דף המשבצות. הוא מסמן נקודה מסויימת כראשית הצירים, נקודה אפס-אפס-אפס, ואז הוא מסמן עבור כל מילה במפה את הקואורדינטות שלה. "תראי אמא" הוא אומר כשהוא מסיים, "תראי מה עשיתי. עכשיו אני יכול לתכנת GPS שיעזור לנווט מהמילה 'ילד' למילה 'כאפות' ". :) נשים את ההומור היבש שלי בצד, ונחזור לנושא שלנו. אני משער שכבר ניחשתם את הקשר לפודקאסט: כשמלמדים מחשבים שפה, אנחנו בעצם עוזרים להם לשרטט מפה שכזו, כשכל מילה מופיעה על המפה. למפת מילים שכזו קוראים בשפה המדעית word embeddings, או "הטמעות מילים", כדי להביע את העובדה שלקחנו את כל המילים בשפה ו"הטמענו" אותם באיזה מרחב גיאוגרפי, כך שלכל מילה יש קואורדינטה במרחב הזה. וספיציפית, הטמעות מילים איכותיות הן כאלו שהמיקומים של כל מילה מייצגים, במובן מסויים, את המשמעות שלה.יש המון מחקר שהוקדש בעבר וגם היום לפיתוח שיטות לייצור הטמעות מילים שכאלו, ואנחנו ניגע בחלק מהטכניקות לזה בהמשך הפרק. אבל בשלב הזה אני רוצה לעצור ולשאול: מה ההשלכות של ההתמרה הזו? ותנו לי למקד עבורכם את הפנס שלי על שלוש השלכות שכאלו, שכן אם באמת אפשר להכין מפה שכזו, מדובר באירוע דרמטי ביותר.בראש ובראשונה, מה שעשינו כאן הוא חשוב בגלל שמחשבים לא מבינים שפה של בני אדם, אבל הם יודעים טוב מאד איך לעבוד עם מספרים וקואורדינטות. מחשב יכול לחשב מרחקים בין שתי נקודות במפה, וגם לחשב את הכיוון היחסי של תנועה מנקודה א' לנקודה ב', וכן הלאה. במילים אחרות, המעבר מאוסף מילים רנדומלי למפת המילים היפה שלנו הוא מה שסולל לנו את הדרך להעביר את כל נושא השפה לייצוג שמחשבים יכולים לעבוד איתו. המרכיב השני שהופך את המעבר הזה למשמעותי הוא העובדה שבָמפה שאנחנו מייצרים המיקום של המילים איננו אקראי, אלא הוא בהלימה למשמעות של המילים. כפי שתיארתי קודם, במפה הדמיונית הזו מילים דומות נמצאות קרוב אחת לשניה, וכיוונים במפה גם הם בעלי משמעות. אז לדוגמה, אם הייתי רוצה לכתוב תוכנה שמוצאת מילים נרדפות, אני יכול פשוט לומר למחשב - "הנה הקואורדינטה של מילה X, תמצא את המילה Y שהכי קרובה ל-X במפה, וזו כנראה תהיה מילה נרדפת". נכון מגניב? ברור שמגניב!ויש נקודה השלישית, אולי הנקודה העמוקה ביותר. זוכרים את הילד החנון שלנו, שהגיע הביתה עם השקף המשובץ? איפה הוא סימן את ראשית הצירים? איפה שהוא רצה. לא משנה איפה הוא היה מסמן את הנקודה 000, המפה היתה בדיוק אותו דבר, רק עם מספרים שונים. השקף שלו לא שינה את המפה עצמה, ולא השפיע על המרחק בין שתי מילים או הזווית ביניהן, אלא רק את הייצוג המספרי שיהיה לנקודות על המפה. אז כשחושבים על זה, מגלים את התובנה הסופר-חשובה הבאה: אם אני מספר לכם שהמילה "חתול" מצויה בקואורדינטה (1 2 3), למספרים הללו אין באמת חשיבות. כל המשמעות שלהם היא רק בדבר אחד - שהם מקודדים עבורי את המיקום היחסי של "חתול" ביחס לשאר המילים במפה.אלו שלושת ההשלכות של המעבר למפת המילים. כפי שבטח שמתם לב, הדגשתי באופן חד דווקא את הנקודה השלישית, ואני רוצה שתבינו למה. אז, נקו את הראש, שכחו לרגע מהמפות שלנו, וצאו איתי לכיוון מחשבה אחר. תחשבו רגע על מילון עברי-עברי, כזה רגיל כמו שלכולנו היה בבית הספר היסודי. קחו שם כל מילה - נניח, המילה "מזלג". מזלג מוגדר במילון ספיר המקוון כ-"כּלי מוּארָך בעל שיניים לאכילה של מזון מוצק", כלומר - הוא מוגדר על ידי סדרת מילים כלשהי. עכשיו, כל אחת מהמילים הללו גם כן מוגדרת במילון, ושוב על ידי סדרת מילים אחרת, שגם כל אחת מהן מוגדרת על ידי מילים אחרות, וכן הלאה. אז בעצם, מה זה מילון? זהו ספר, שכולל את כל המילים בשפה, ומגדיר את המשמעות של כל מילה על ידי תיאור היחס שלה לסדרת מילים אחרות!אם כן, מה שאני רוצה להציע לכם כאן הוא את הרעיון הבא: שאותה מפה של עולם המילים שדמיינו קודם לכן היא בעצם המקבילה הממוחשבת של מילון: כמו שבמילון המשמעות של מילה מעוצבת רק על ידי מילים אחרות, כך גם במפה שבנינו קודם, המשמעות של מילה מקודדת רק ביחס שלה לשאר המילים בשפה. לא פחות ולא יותר. ונכון, יש הבדלים בין מילון לבין המפה שתיארנו - לדוגמה, בהגדרה מילונית יש רק סדרה קצרה של מילים, לא את כל המילים בשפה, לעומת המפה שלנו. אבל מה שחשוב לענייננו הוא העובדה שבשתיהן מדובר במערכת סגורה: בשתיהן, המשמעות של כל מילה מעוצבת רק על ידי היחס שלה למילים אחרות, ותו לא.אולי זה נראה לכם פשוט וקל, אבל הרשו לי לנסות לשכנע אתכם שיש משהו קצת מטריד ברעיון הזה, שהמשמעות של מילה מובעת על ידי מילים אחרות. שכן, אם כל מילה מוגדרת על ידי מילים אחרות, אז די מהר ניווכח שיהיו לנו במילון בהכרח הגדרות מעגליות. לדוגמה, בואו ניקח את המילים "זכר" ו"נקבה". במילון ספיר אונליין:* זכר מוגדר כ"מין בבעלי החיים ובצמחים שתפקידו להעביר לבת הזוּג (הנקבה) זֶרע להפריה ולהולָדה", * ואילו נקבה מוגדרת כ"מין בבעלי החיים ובצמחים שתפקידוֹ לקלוט את זֶרע הזָכר להולדה".שימו לב שהמילה זכר מופיעה בהגדרה למילה נקבה, ונקבה - בהגדרה של זכר. יש כאן הגדרה מעגלית. בעולמות הלוגיקה, הגדרה מעגלית היא דבר פסול. זה בעצם להגדיר מילה על ידי שימוש בה עצמה. לומר "ההגדרה של אבן היא אבן" זו לא הגדרה בכלל, אלא אמירה סתמית חסרת ערך. אבל איכשהו, במילונים, זה לא מפריע לנו. למה זה לא מפריע לנו?הסיבה לכך גם היא, האמת, די מתבקשת. כי המילון רק בא לעזור לנו ליישר קו סביב ההגדרות של מילים שאת המיפוי שלהם לעולם האמיתי אנחנו מכירים כבר לפני כן, גם בלי קשר למילון. ילד יודע מה זה מזלג לא בגלל שקרא את ההגדרה במילון, אלא כי ההורים שלו הראו לו הרבה מזלגות ואמרו לו שזה מזלג. אם כן, המילון אמנם מכיל הגדרות מעגליות, ומה שמאפשר את השימוש בו הוא שהמילים הם בראש ובראשונה ייצוגים של דברים בעולם שבחוץ שאנחנו מכירים בלי כל קשר למילון. במילים אחרות, העולם שבחוץ - אני אקרא לזה כאן לפעמים ה"עולם האמיתי", אבל אל תתפסו אותי על משמעות המילה "אמיתי" כאן - הוא העוגן הנסתר למילון, שנותן למילים הללו משמעות יציבה. האופן שבו מילים יכולות לאבד את משמעותן כשאין להם עוגן אמיתי מובע בכל מני הקשרים קומיים. נניח, קחו את הדיאלוג המגוחך הבא שקורה בסדרה "המשרד" האמריקאית, בין דווייט, המעצבן המשרדי, לבין ג'ים, הבחור הנחמד במשרד שגם אוהב להתעלל קצת בדוייט כשהוא עובר גבול מסויים. הרקע לקטע הבא הוא שלפני כמה פרקים, ג'ים קיבל קידום והוא עכשיו הבוס הישיר של דווייט. בוקר אחד, כשג'ים מגיע בכמה דקות איחור למשרד, דווייט מביט בו בעלבון, משרבט משהו על דף צהוב ונותן אותו לג'ים, ואומר לו שהדף הזה הינו הערה שלילית. ואז קורה הדיאלוג הבא:דוויט: אתה צריך ללמוד, ג'ים. אתה אולי מספר שתיים במשרד, אבל אינך מעל החוק.ג'ים: או-הו, אני מבין לגמרי. וגם, יש לי הרבה שאלות. כמו, מה זה בכלל אומר "הערה שלילית"?דוויט: בוא נגיד את זה ככה. אתה לא רוצה לקבל שלוש כאלה.ג'ים: יאללה, ספר לי.דוויט: שלוש הערות שליליות, ותקבל התראה.ג'ים: וואו, זה נשמע רציני.דוויט: או-הו, זה רציני. חמש התראות, ותירשם לך הפרה. ארבע כאלה, ותקבל אזהרה בעל פה. תמשיך ככה, ואתה כבר תקבל אזהרה בכתב. שתיים כאלה, ותתחיל באמת לסבול, כשאני אוציא דו"ח משמעת. דו"ח שאני אעלה על הכתב ושיגיע ישירות לשולחן של הממונה הישיר שלי.ג'ים: הממונה הישיר שלך, שזה אני.דוויט: אממ… נכון.מה שקורה כאן בדיאלוג הזה הוא שלאורכו מתברר שלמילים שדווייט אומר, אין באמת משמעות. כל אחת תלויה או מובילה לשניה, וכשמצליחים להתיר את כל המורכבות הלשונית שדוייט המציא, מגלים שאין לזה שום עוגן במציאות, אלו מילים שנשמעות דרמטיות אבל ללא תוכן אמיתי. המצב הזה של רגרסיה שבסופה אין כלום, מתקשר אצלי בראש לעוד קטע הומוריסטי. יש לו כמה גרסאות, אבל הנה אחת מהן:לאחר הרצאה על קוסמולוגיה ומבנה מערכת השמש, ניגשה גברת קטנה ומבוגרת אל המרצה. "התיאוריה שלך, שהשמש היא מרכז מערכת השמש והארץ היא כדור שמסתובב סביבה, נשמעת מאוד משכנעת, אדוני, אבל היא שגויה. יש לי תיאוריה טובה יותר," אמרה הגברת הקטנה. "ומהי התיאוריה שלך, גברתי?" שאל המרצה בנימוס. "אנחנו חיים על פיסת אדמה שנמצאת על גבו של צב ענק." אמרה האישה. במקום לנפץ את התיאוריה המוזרה הזו על ידי הצגת אסופה של ראיות מדעיות נחרצות, החליט המרצה לנסות ולשכנע אותה בעדינות. "אם התיאוריה שלך נכונה, גברתי," הוא שאל, "על מה עומד הצב הזה?" "אתה איש חכם מאוד, פרופסור, וזו שאלה טובה מאוד," השיבה הגברת הקטנה, "אבל יש לי תשובה לזה, והיא כזו: הצב הראשון עומד על גבו של צב שני, גדול בהרבה, שעומד ישירות מתחתיו!" "ועל מה עומד הצב השני?" המשיך המרצה בסבלנות. לכך השיבה הגברת הקטנה בתרועת ניצחון. "שאלות שכאלו הינן חסרות טעם —הצבים ממשיכים ככה כל הדרך למטה."גם כאן, ההומור טבוע בכך שכל צב נשען על צב שתחתיו, אבל נראה שאין באמת דרך שכל מגדל הצבים הזה יוכל להתקיים, כי אין לו עוגן אמיתי שחיצוני למערכת הצבים, משהו שכל הצבים בסופו של דבר נשענים עליו כדי לקבל יציבות. כמו בטיעוניו של דוייט, בתחילת התהליך נשמע שאולי יש להם כאן משהו, אבל מתברר לאחר זמן קצר שבעצם למילים שלהם אין באמת משמעות. מהלך החשיבה שלהם מאבד ממשות כשמגיעים לסופו. אז מה יש לנו כאן בעצם? אפשר לומר שראינו שיש למילים שני רבדים של משמעות. רובד אחד הוא הרובד הפשוט, הקישור של המילים לעולם שבחוץ, המיפוי שלהם למה שהם מתייחסים אליו. בני אדם רוצים לתקשר לגביי משהו שם בחוץ, והם מגבשים מילים שמאפשרים להם לדבר על כך כחברה. במובן הזה, המשמעות של המילה מעוגנת במשהו שחיצוני לשפה. ברובד השני, יש להן משמעות שהינה רק פנימית לשפה: משמעות שמנוסחת על ידי שימוש במילים אחרות, או, בגרסה הממוחשבת, קואורדינטות שמאפיינות את המיקום היחסי של מילה נתונה ביחס למיקום של שאר המילים. כשאנו אומרים שמחשבים "מבינים" את המשמעות של מילים, אנחנו מתכוונים לכך שיש להם גישה למשמעות שלהן רק במובן השני. זה גם הגיוני, כמובן. גם אם נניח שהייתם מצליחים איכשהו להסביר למחשב שהמילה "מזלג" קשורה למזלג פיזי, את המילה "אהבה" אין למחשב שום דרך להבין. זו מילה שאת העיגון שלה במציאות אנחנו, כבני אדם, חווים באופן ייחודי. הדרך היחידה שמחשב יוכל אי פעם לעכל את הרעיון של "אהבה" היא בצורה השניה, שבה המילה אהבה ממוקמת במיקום הראוי לה במפת עולם המילים, ומתוך היחס שלה למילים אחרות, כמו "נישואין", "משפחה" ו"רומנטיקה" המחשב יוכל להסיק את התשובה לשאלה, "מה זו אהבה?" אבל, בשל המגבלה הזו, יכולים אנשים לבוא ולומר - "שמעו, זה די מבריק הקטע הזה של מפת המילים - אבל זה לא מבריק מספיק. אתם בעצמכם מודים שמחשבים לא יכולים באמת להבין את המשמעות האמיתית של מילים. המילים לא מעוגנות עבורם במציאות החיצונית, וזו מגבלה שאי אפשר להתגבר עליה! GPT לעולם יהיה רק מכונה שמוציאה פלט שנראה מגניב, אבל אין לו באמת עומק". ואכן, אנחנו נראה את הדעות הללו בהמשך העונה. אבל כרגע, לפחות לפרק הזה, אני רוצה לתת את הקייס החזק ביותר דווקא לצד שסבור שמה שיש בידי המחשב הוא די והותר כדי לא רק להוציא פלט שיש לו משמעות, אלא אפילו כדי, בהמשך, לחשוב ממש על העולם האמיתי. כדי להבין את זה, אני רוצה שנקדיש כמה דקות לשאלה - איך באמת בונים מפת מילים שכזו? להסביר איך זה קורה באופן מדוייק יקח הרבה יותר מדי זמן ויותר מדי צלילה לעומקים טכניים, אז כרגיל, אנחנו ניגע רק בקווים המנחים של התהליך, של חלקים ממנו, כדי לקבל את הרושם הכללי שיספיק לצורך הדיון שלנו כאן. מה שאני ארצה להראות לכם היום הוא שגם בלי לדעת דבר או חצי דבר על העולם, אפשר לחלץ מתוך השפה הרבה מידע על היחס שבין מילים שונות, מידע שיכול לשמש אותנו בבניית מפה שכזו. אז שוב, נקו את הראש ודמיינו את הסיפור הבא. נניח שחייזרית טסה לה בחלל ועוברת ליד כדור הארץ. אין לה זמן לרדת ולחקור את המין האנושי, אבל היא כן מספיקה לעשות האקינג לאחד הלוויינים של אילון מאסק, להתחבר לאינטרנט ולהוריד את כל הספרות העברית, כולל כל הדפים בעברית באינטרט, אליה למחשב. עכשיו, היא לא מכירה עברית בכלל, וגם לא מכירה את העולם שלנו בגרוש, אבל יש לה זיכרון פנומנלי והמון זמן לשרוף עד שהיא מגיעה חזרה לבית שלה במאדים. מה היא יכולה ללמוד על המילים בשפה העברית?ובכן, יש כל מני טריקים שהיא יכולה להפעיל, שכולם מבוססים אך ורק על התבוננות בתבניות של השפה כפי שהיא מוצגת בספרות העברית. טריק אחד הוא להסתכל על מבנה של משפטים. נניח שהיא תחפש את כל המקומות שמופיעה המילה "אכלתי", ואז עושה רשימה כל המילים שמופיעות מיד אחריה. כנראה שברשימה הזו ימצאו הרבה סוגי אוכל, נכון? וכמובן, יהיו עוד קבוצות של מילים שאינם מאכלים, כמו תיאורי זמן (אכלתי אתמול) וכו', אבל עדיין, אוכל יהיה מאד דומיננטי שם, ומצד שני מילים רבות, כמו המילה "פלסטיק", לא יופיעו אפילו פעם אחת. אם כן, ניתן יהיה להבין שיש קשר חזק יותר בין המילים "אכלתי" ו"תפוח" מאשר המילים "אכלתי" ו"פלסטיק", ולמקם את "תפוח" קרוב יותר מאשר "פלסטיק" במפה. עכשיו שהבנתם את הטריק הראשון הזה, בטח תוכלו לחשוב על עוד טריקים. לדוגמה, אולי פשוט תסתכלו על האותיות של כל מילה, ותשימו מילים עם אותיות דומות, באותו סדר, אחת בקירבת השניה. בעברית, למילים יש שורשים, ומילים בעלות שורש משותף גם יחלקו, הרבה פעמים, משמעות דומה, אז זה יכול להיות אחלה רעיון. וחוץ מזה, יש גם תחיליות וסיומות שחוזרות על עצמן, כמו הסיומת "ים" או הסיומת "ות". גם כאן אתם רואים איך בלי לדעת דבר על העולם שלנו אפשר להסיק משהו לגבי המילים - יחסי דמיון ושונות, קרבה וריחוק. ועוד טריק חביב אחד לסיום - אפשר להסתכל במילונים! למילים דומות יהיו הגדרות דומות, אז אם לשתי מילים יש הגדרות עם הרבה מילים משותפות - יש סיכוי לא רע שהן קשורות במשמעותן.רשימת הטריקים שמניתי כאן איננה מקיפה את כל האפשרויות. עולם מדעי המחשב מלא וגדוש בטכניקות מתוחכמות הרבה יותר ממה ששיתפתי כאן, טכניקות שסוחטות המון משמעות מהמבנה של המילים והשפה ועוזרות לייצר מפות מילים מאד מפורטות ומדוייקות. צריך גם להבין ששפה היא דבר סופר מורכב. תחשבו אפילו רק על העובדה שלמילים יש כמה משמעויות, לפעמים משמעות סלנגית שהופכת למשמעות הרשמית, וכן הלאה. עם כל זה שאני מנסה לתאר דברים כאן באופן שקל להבנה, חשוב לזכור שכל צעד כאן הוא צעד שלקח הרבה זמן של הרבה אנשים חכמים לגלות, לפתח ולדייק.לענייננו, התהליך שתיארתי כאן יכול לתרום לדיון על השאלה ששאלנו קודם. אתם זוכרים ששאלנו - האם העובדה שמחשבים רק מבינים את המשמעות של מילים במובן היחסי, בלי עוגן במציאות, אומרת שאין להם סיכוי לחשוב על העולם האמיתי? לדעתי, כשרואים את האופן שבו מייצרים את המפה הזו, מבינים שאי אפשר לשלול כל כך מהר את האופציה הזו. ולמה? שכן, אם העולם היה שונה, אז השפה היתה שונה, וממילא המפה היתה משתנה. אם אנשים היו נוהגים לאכול פלסטיק באופן קבוע, אז המשפט "אכלתי פלסטיק" היה מופיע בכל הטקסטים שהם למדו, נכון? כלומר, אמנם המפה שהם בונים מקודדת רק את היחסים שבין המילים, אבל הטקסטים שאנו נותנים להם לעבד אינם מנותקים מהעולם, אלא קשורים אליו באופן חזק ומשקפים משהו לגביו. דרך אחרת לומר זאת היא שהאדם המציא את השפה כדי לעזור לו לחשוב ולתקשר עם אחרים לגביי העולם - העולם הפיזי, העולם הפנימי שלו, וכן הלאה. ממילא, אפשר לחשוב על שפה כמו פלסטלינה שמישהו הטביע בתוכה צורה, צורה שמשקפת את העולם האמיתי. אז נכון - מחשבים יכולים להתממשק רק עם הפלסטלינה הזו, רק עם המבנה היחסי שבין מילה אחת לחברתה - אבל היחס הזה אינו מקרי, אלא הוא עצמו תולדה של איך שהעולם האמיתי בנוי, נראה ועובד. ובזכות זה, בזכות ההלימה של השפה למציאות, המחשב יכול, דרך העבודה על ועם השפה האנושית, ללמוד על המציאות שמעבר לשפה.דרך אגב, ממש לסיום, רציתי לשתף עוד דוגמה יפה ומגניבה שממחישה את העניין הזה, של האופן שבו העולם משוקף דרך השפה, והיא הקונספט של אונומטופיה. למי שלא מכיר, על פי ויקיפדיה, אונומטופיה "היא מילה או צירוף מילים שצלילם מזכיר את הדבר שהם מסמנים". יש לכך הרבה דוגמאות, כמו נניח המילה "לצפצף" שנשמעת כמו ציפצוף, וכך גם המילים רישרוש וזימזום. זו דוגמה יפהפיה לאופן שבו השפה מעצבת את עצמה באופן שתופס חלק מהמציאות ומקודד אצלה באופן אלגנטי, כזה שגם מחלחל עד למחשב. נכון מגניב? ידעתי שתאהבו.אז, זהו להיום! אני מקווה שהיה לכם מעניין, כמובן, ושהדברים שהוצגו כאן, עם כל זה שיש הרבה פרטים שאנחנו מדלגים עליהם בנפנוף ידיים קליל, היו לכם ברורים ומעוררי מחשבה. חוץ מזה, בהקשר של השאלה של העונה הזו, האם מחשבים יכולים לחשוב - אני רוצה לקוות שאתם גם קצת יותר מבינים כמה תחכום נכנס לבנייה של המערכות הללו שסביבנו, ולמה מי שעוסק בתחום יכול להאמין שכן, מחשבים יכולים להבין שפה אנושית ובהמשך אולי גם להתל בנו כשהם מדברים אותה. מהפרק הבא, אתם תתחילו לראות את הצד השני של המטבע שחשפנו היום. אנחנו נראה עוד צדדים של המאמצים לבניית מכונות חושבות, אבל נתחיל לגלות למה, מאחורי הזוהר וההתלהבות, מסתתרות להם עובדות שמרמזות שאולי המצב הוא הפוך. אולי, עם כל הגאונות של המערכות הקיימות, יש להן גבול שלא יוכלו לעבור אותו. ועד אז… להתראות… ביי… This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit elishasangles.substack.com

שלום כולם, וברוכים הבאים לאלישע והזוויות, עונה שנייה, פרק חמישי. היום ט'  אלול, ה-12 לספטמבר, ואנחנו נדבר היום על בינה מלאכותית ושפה. אבל קודם כל, לפני שנתחיל, רציתי להזכיר לכם שיש מייל לפודקאסט, כמו גם חשבון טוויטר ואתר אינטרנט שבו תוכלו למצוא את כל הפרקים של הפודקאסט גם בגרסה כתובה, ומי שנרשם לאתר מקבל מייל כל פעם שיוצא פרק. אז, הלינקים בתיאור הפרק, ואתם מוזמנים ליצור קשר ולהגיב באופן חופשי. אני מבטיח לנסות ולענות לכל מי שיכתוב.בפרק הקודם הסתכלנו על מבנה המנוע של הבינה המלאכותית של ימינו, והיום אנחנו נחפור עוד בתשתיות שלה. כזכור, מבחן טיורינג מסתמך על היכולת של מכונה לנהל שיחה עם בן אדם, מה שמצריך ממנה להבין שפה של בני אדם. אז היום אנחנו נרצה לחטט קצת בשאלה כיצד מחשבים מבינים שפה, וספיציפית, איך מחשבים מבינים את המשמעות של מילים? שווה לציין ששפה היא הרבה מעבר לרק המשמעות של מילים. לשפה יש גם דקדוק, ומילים משנות את משמעותן בהקשרים שונים, וכן הלאה. אבל הבסיס לכל זה הוא, קודם כל, להבין את המשמעות של מילה בודדת, ובזה אנחנו נתמקד היום.מהניסיון שלי, המפתח להבנת רעיונות עמוקים ומורכבים הוא למצוא את הדימוי האלגנטי ביותר עבורם, אז בפרק הזה יהיו כמה דימויים כאלו, ואני מקווה שזה יקלע לטעם שלכם ויעזור לקונספטים שנציג כאן להחליק לכם בקלילות בגרון. הדימוי הראשון שישרת אותנו כאן שאוב מעולם סרטי הילדים. אני משער שרוב המאזינים, אם לא כולם, מכירים את הז'אנר של סרטי דיסני ופיקסאר, שבהם ישנו עולם מאד דומה לשלנו, רק שבו האנשים מוחלפים במשהו אחר. בסרט "צעצוע של סיפור" הדמויות הן צעצועים, בסרט "באג לייף" הנמלים הם הדמויות האנושיות, ב"זוטופיה" כל חיות העולם מאכלסות מטרופולין גדול כמו ניו-יורק, ובסרטים "מכוניות" ו"מטוסים" אתם יכולים לנחש לבד מה עבר האנשה. ובכן, על אותו מטבע, גם אנחנו "נחייה" יישות כלשהי היום, והרי היא המילה, או בואו נגיד - את כל המילים בשפה העברית. בואו נדמיין סיפור על עולם דמיוני שבו מילים הם דמויות חיות, אנשים כמוני וכמוכם. כל מילה חיה בעולם הזה במקום מסויים, והיא אוהבת לחיות קרוב למילים שדומות לה. אם תפתחו את הספר שמספר על העולם הזה, תמצאו בכריכה הפנימית שלו מפה מאויירת של העולם הזה, עם ציונים של אזורי עניין. נניח, יכול להיות שתראו שיש עיר שבה גרים כל הצבעים, המילים "אפור", "ירוק", "כחול" וכן הלאה. במקום אחר בעולם תהיה עיר שבה יגורו כל המקצועות, מילים כמו "רופא", "סבל", "מתכנתת", "נהגת" וכן הלאה. וגם הערים הללו יהיו ממוקמות יחסית אחת לשניה באופן שעושה שכל. נניח, עיר המונחים הפיזיקליים כנראה תהיה קרובה לעיר המונחים המתמטיים, ועיר שיש בה שמות של שחקני הוליווד תהיה ליד עיר שיש בה שמות של צלמי פאפראצי. ככל שאתם, והילדים שלכם, מביטים במפה, אתה רואים שמי שעיצב אותה ממש עשה עבודת אומן, וחשב על המון דברים מגניבים. לדוגמה, אתם שמים לב שמילים של צורת רבים תמיד נמצאות ממזרח למילים של צורת רבות, כלומר בלשון נקבה. הילד שלכם גם מעיר שבעיר הצבעים, ככל שהצבע כהה יותר הוא נמצא צפונה יותר בעיר. כיוון שגם בעולם הזה יש בתי דירות, המפה תתייחס גם לגובה ולא רק לאורך ורוחב, ואז אולי תגלו שככל שלמילים יש משמעות עוצמתית יותר, הן גרות בקומה גבוהה יותר בבניין שלהן. כך נראה שהמילה "ענק" תהיה בקומה גבוהה יותר מאשר המילה "גדול", והמילה "פצפון" תהיה בקומת הקרקע.עכשיו, דמיינו שהילד שלכם הוא חנון. חנון מקצועי ומוכשר. יום אחד, הוא חוזר הביתה ואיתו דף משבצות שקוף, כמו מתוך מחברת חשבון אבל שקוף. הוא לוקח את הספר, פותח אותו ומניח עליו את דף המשבצות. הוא מסמן נקודה מסויימת כראשית הצירים, נקודה אפס-אפס-אפס, ואז הוא מסמן עבור כל מילה במפה את הקואורדינטות שלה. "תראי אמא" הוא אומר כשהוא מסיים, "תראי מה עשיתי. עכשיו אני יכול לתכנת GPS שיעזור לנווט מהמילה 'ילד' למילה 'כאפות' ". :) נשים את ההומור היבש שלי בצד, ונחזור לנושא שלנו. אני משער שכבר ניחשתם את הקשר לפודקאסט: כשמלמדים מחשבים שפה, אנחנו בעצם עוזרים להם לשרטט מפה שכזו, כשכל מילה מופיעה על המפה. למפת מילים שכזו קוראים בשפה המדעית word embeddings, או "הטמעות מילים", כדי להביע את העובדה שלקחנו את כל המילים בשפה ו"הטמענו" אותם באיזה מרחב גיאוגרפי, כך שלכל מילה יש קואורדינטה במרחב הזה. וספיציפית, הטמעות מילים איכותיות הן כאלו שהמיקומים של כל מילה מייצגים, במובן מסויים, את המשמעות שלה.יש המון מחקר שהוקדש בעבר וגם היום לפיתוח שיטות לייצור הטמעות מילים שכאלו, ואנחנו ניגע בחלק מהטכניקות לזה בהמשך הפרק. אבל בשלב הזה אני רוצה לעצור ולשאול: מה ההשלכות של ההתמרה הזו? ותנו לי למקד עבורכם את הפנס שלי על שלוש השלכות שכאלו, שכן אם באמת אפשר להכין מפה שכזו, מדובר באירוע דרמטי ביותר.בראש ובראשונה, מה שעשינו כאן הוא חשוב בגלל שמחשבים לא מבינים שפה של בני אדם, אבל הם יודעים טוב מאד איך לעבוד עם מספרים וקואורדינטות. מחשב יכול לחשב מרחקים בין שתי נקודות במפה, וגם לחשב את הכיוון היחסי של תנועה מנקודה א' לנקודה ב', וכן הלאה. במילים אחרות, המעבר מאוסף מילים רנדומלי למפת המילים היפה שלנו הוא מה שסולל לנו את הדרך להעביר את כל נושא השפה לייצוג שמחשבים יכולים לעבוד איתו. המרכיב השני שהופך את המעבר הזה למשמעותי הוא העובדה שבָמפה שאנחנו מייצרים המיקום של המילים איננו אקראי, אלא הוא בהלימה למשמעות של המילים. כפי שתיארתי קודם, במפה הדמיונית הזו מילים דומות נמצאות קרוב אחת לשניה, וכיוונים במפה גם הם בעלי משמעות. אז לדוגמה, אם הייתי רוצה לכתוב תוכנה שמוצאת מילים נרדפות, אני יכול פשוט לומר למחשב - "הנה הקואורדינטה של מילה X, תמצא את המילה Y שהכי קרובה ל-X במפה, וזו כנראה תהיה מילה נרדפת". נכון מגניב? ברור שמגניב!ויש נקודה השלישית, אולי הנקודה העמוקה ביותר. זוכרים את הילד החנון שלנו, שהגיע הביתה עם השקף המשובץ? איפה הוא סימן את ראשית הצירים? איפה שהוא רצה. לא משנה איפה הוא היה מסמן את הנקודה 000, המפה היתה בדיוק אותו דבר, רק עם מספרים שונים. השקף שלו לא שינה את המפה עצמה, ולא השפיע על המרחק בין שתי מילים או הזווית ביניהן, אלא רק את הייצוג המספרי שיהיה לנקודות על המפה. אז כשחושבים על זה, מגלים את התובנה הסופר-חשובה הבאה: אם אני מספר לכם שהמילה "חתול" מצויה בקואורדינטה (1 2 3), למספרים הללו אין באמת חשיבות. כל המשמעות שלהם היא רק בדבר אחד - שהם מקודדים עבורי את המיקום היחסי של "חתול" ביחס לשאר המילים במפה.אלו שלושת ההשלכות של המעבר למפת המילים. כפי שבטח שמתם לב, הדגשתי באופן חד דווקא את הנקודה השלישית, ואני רוצה שתבינו למה. אז, נקו את הראש, שכחו לרגע מהמפות שלנו, וצאו איתי לכיוון מחשבה אחר. תחשבו רגע על מילון עברי-עברי, כזה רגיל כמו שלכולנו היה בבית הספר היסודי. קחו שם כל מילה - נניח, המילה "מזלג". מזלג מוגדר במילון ספיר המקוון כ-"כּלי מוּארָך בעל שיניים לאכילה של מזון מוצק", כלומר - הוא מוגדר על ידי סדרת מילים כלשהי. עכשיו, כל אחת מהמילים הללו גם כן מוגדרת במילון, ושוב על ידי סדרת מילים אחרת, שגם כל אחת מהן מוגדרת על ידי מילים אחרות, וכן הלאה. אז בעצם, מה זה מילון? זהו ספר, שכולל את כל המילים בשפה, ומגדיר את המשמעות של כל מילה על ידי תיאור היחס שלה לסדרת מילים אחרות!אם כן, מה שאני רוצה להציע לכם כאן הוא את הרעיון הבא: שאותה מפה של עולם המילים שדמיינו קודם לכן היא בעצם המקבילה הממוחשבת של מילון: כמו שבמילון המשמעות של מילה מעוצבת רק על ידי מילים אחרות, כך גם במפה שבנינו קודם, המשמעות של מילה מקודדת רק ביחס שלה לשאר המילים בשפה. לא פחות ולא יותר. ונכון, יש הבדלים בין מילון לבין המפה שתיארנו - לדוגמה, בהגדרה מילונית יש רק סדרה קצרה של מילים, לא את כל המילים בשפה, לעומת המפה שלנו. אבל מה שחשוב לענייננו הוא העובדה שבשתיהן מדובר במערכת סגורה: בשתיהן, המשמעות של כל מילה מעוצבת רק על ידי היחס שלה למילים אחרות, ותו לא.אולי זה נראה לכם פשוט וקל, אבל הרשו לי לנסות לשכנע אתכם שיש משהו קצת מטריד ברעיון הזה, שהמשמעות של מילה מובעת על ידי מילים אחרות. שכן, אם כל מילה מוגדרת על ידי מילים אחרות, אז די מהר ניווכח שיהיו לנו במילון בהכרח הגדרות מעגליות. לדוגמה, בואו ניקח את המילים "זכר" ו"נקבה". במילון ספיר אונליין:* זכר מוגדר כ"מין בבעלי החיים ובצמחים שתפקידו להעביר לבת הזוּג (הנקבה) זֶרע להפריה ולהולָדה", * ואילו נקבה מוגדרת כ"מין בבעלי החיים ובצמחים שתפקידוֹ לקלוט את זֶרע הזָכר להולדה".שימו לב שהמילה זכר מופיעה בהגדרה למילה נקבה, ונקבה - בהגדרה של זכר. יש כאן הגדרה מעגלית. בעולמות הלוגיקה, הגדרה מעגלית היא דבר פסול. זה בעצם להגדיר מילה על ידי שימוש בה עצמה. לומר "ההגדרה של אבן היא אבן" זו לא הגדרה בכלל, אלא אמירה סתמית חסרת ערך. אבל איכשהו, במילונים, זה לא מפריע לנו. למה זה לא מפריע לנו?הסיבה לכך גם היא, האמת, די מתבקשת. כי המילון רק בא לעזור לנו ליישר קו סביב ההגדרות של מילים שאת המיפוי שלהם לעולם האמיתי אנחנו מכירים כבר לפני כן, גם בלי קשר למילון. ילד יודע מה זה מזלג לא בגלל שקרא את ההגדרה במילון, אלא כי ההורים שלו הראו לו הרבה מזלגות ואמרו לו שזה מזלג. אם כן, המילון אמנם מכיל הגדרות מעגליות, ומה שמאפשר את השימוש בו הוא שהמילים הם בראש ובראשונה ייצוגים של דברים בעולם שבחוץ שאנחנו מכירים בלי כל קשר למילון. במילים אחרות, העולם שבחוץ - אני אקרא לזה כאן לפעמים ה"עולם האמיתי", אבל אל תתפסו אותי על משמעות המילה "אמיתי" כאן - הוא העוגן הנסתר למילון, שנותן למילים הללו משמעות יציבה. האופן שבו מילים יכולות לאבד את משמעותן כשאין להם עוגן אמיתי מובע בכל מני הקשרים קומיים. נניח, קחו את הדיאלוג המגוחך הבא שקורה בסדרה "המשרד" האמריקאית, בין דווייט, המעצבן המשרדי, לבין ג'ים, הבחור הנחמד במשרד שגם אוהב להתעלל קצת בדוייט כשהוא עובר גבול מסויים. הרקע לקטע הבא הוא שלפני כמה פרקים, ג'ים קיבל קידום והוא עכשיו הבוס הישיר של דווייט. בוקר אחד, כשג'ים מגיע בכמה דקות איחור למשרד, דווייט מביט בו בעלבון, משרבט משהו על דף צהוב ונותן אותו לג'ים, ואומר לו שהדף הזה הינו הערה שלילית. ואז קורה הדיאלוג הבא:דוויט: אתה צריך ללמוד, ג'ים. אתה אולי מספר שתיים במשרד, אבל אינך מעל החוק.ג'ים: או-הו, אני מבין לגמרי. וגם, יש לי הרבה שאלות. כמו, מה זה בכלל אומר "הערה שלילית"?דוויט: בוא נגיד את זה ככה. אתה לא רוצה לקבל שלוש כאלה.ג'ים: יאללה, ספר לי.דוויט: שלוש הערות שליליות, ותקבל התראה.ג'ים: וואו, זה נשמע רציני.דוויט: או-הו, זה רציני. חמש התראות, ותירשם לך הפרה. ארבע כאלה, ותקבל אזהרה בעל פה. תמשיך ככה, ואתה כבר תקבל אזהרה בכתב. שתיים כאלה, ותתחיל באמת לסבול, כשאני אוציא דו"ח משמעת. דו"ח שאני אעלה על הכתב ושיגיע ישירות לשולחן של הממונה הישיר שלי.ג'ים: הממונה הישיר שלך, שזה אני.דוויט: אממ… נכון.מה שקורה כאן בדיאלוג הזה הוא שלאורכו מתברר שלמילים שדווייט אומר, אין באמת משמעות. כל אחת תלויה או מובילה לשניה, וכשמצליחים להתיר את כל המורכבות הלשונית שדוייט המציא, מגלים שאין לזה שום עוגן במציאות, אלו מילים שנשמעות דרמטיות אבל ללא תוכן אמיתי. המצב הזה של רגרסיה שבסופה אין כלום, מתקשר אצלי בראש לעוד קטע הומוריסטי. יש לו כמה גרסאות, אבל הנה אחת מהן:לאחר הרצאה על קוסמולוגיה ומבנה מערכת השמש, ניגשה גברת קטנה ומבוגרת אל המרצה. "התיאוריה שלך, שהשמש היא מרכז מערכת השמש והארץ היא כדור שמסתובב סביבה, נשמעת מאוד משכנעת, אדוני, אבל היא שגויה. יש לי תיאוריה טובה יותר," אמרה הגברת הקטנה. "ומהי התיאוריה שלך, גברתי?" שאל המרצה בנימוס. "אנחנו חיים על פיסת אדמה שנמצאת על גבו של צב ענק." אמרה האישה. במקום לנפץ את התיאוריה המוזרה הזו על ידי הצגת אסופה של ראיות מדעיות נחרצות, החליט המרצה לנסות ולשכנע אותה בעדינות. "אם התיאוריה שלך נכונה, גברתי," הוא שאל, "על מה עומד הצב הזה?" "אתה איש חכם מאוד, פרופסור, וזו שאלה טובה מאוד," השיבה הגברת הקטנה, "אבל יש לי תשובה לזה, והיא כזו: הצב הראשון עומד על גבו של צב שני, גדול בהרבה, שעומד ישירות מתחתיו!" "ועל מה עומד הצב השני?" המשיך המרצה בסבלנות. לכך השיבה הגברת הקטנה בתרועת ניצחון. "שאלות שכאלו הינן חסרות טעם —הצבים ממשיכים ככה כל הדרך למטה."גם כאן, ההומור טבוע בכך שכל צב נשען על צב שתחתיו, אבל נראה שאין באמת דרך שכל מגדל הצבים הזה יוכל להתקיים, כי אין לו עוגן אמיתי שחיצוני למערכת הצבים, משהו שכל הצבים בסופו של דבר נשענים עליו כדי לקבל יציבות. כמו בטיעוניו של דוייט, בתחילת התהליך נשמע שאולי יש להם כאן משהו, אבל מתברר לאחר זמן קצר שבעצם למילים שלהם אין באמת משמעות. מהלך החשיבה שלהם מאבד ממשות כשמגיעים לסופו. אז מה יש לנו כאן בעצם? אפשר לומר שראינו שיש למילים שני רבדים של משמעות. רובד אחד הוא הרובד הפשוט, הקישור של המילים לעולם שבחוץ, המיפוי שלהם למה שהם מתייחסים אליו. בני אדם רוצים לתקשר לגביי משהו שם בחוץ, והם מגבשים מילים שמאפשרים להם לדבר על כך כחברה. במובן הזה, המשמעות של המילה מעוגנת במשהו שחיצוני לשפה. ברובד השני, יש להן משמעות שהינה רק פנימית לשפה: משמעות שמנוסחת על ידי שימוש במילים אחרות, או, בגרסה הממוחשבת, קואורדינטות שמאפיינות את המיקום היחסי של מילה נתונה ביחס למיקום של שאר המילים. כשאנו אומרים שמחשבים "מבינים" את המשמעות של מילים, אנחנו מתכוונים לכך שיש להם גישה למשמעות שלהן רק במובן השני. זה גם הגיוני, כמובן. גם אם נניח שהייתם מצליחים איכשהו להסביר למחשב שהמילה "מזלג" קשורה למזלג פיזי, את המילה "אהבה" אין למחשב שום דרך להבין. זו מילה שאת העיגון שלה במציאות אנחנו, כבני אדם, חווים באופן ייחודי. הדרך היחידה שמחשב יוכל אי פעם לעכל את הרעיון של "אהבה" היא בצורה השניה, שבה המילה אהבה ממוקמת במיקום הראוי לה במפת עולם המילים, ומתוך היחס שלה למילים אחרות, כמו "נישואין", "משפחה" ו"רומנטיקה" המחשב יוכל להסיק את התשובה לשאלה, "מה זו אהבה?" אבל, בשל המגבלה הזו, יכולים אנשים לבוא ולומר - "שמעו, זה די מבריק הקטע הזה של מפת המילים - אבל זה לא מבריק מספיק. אתם בעצמכם מודים שמחשבים לא יכולים באמת להבין את המשמעות האמיתית של מילים. המילים לא מעוגנות עבורם במציאות החיצונית, וזו מגבלה שאי אפשר להתגבר עליה! GPT לעולם יהיה רק מכונה שמוציאה פלט שנראה מגניב, אבל אין לו באמת עומק". ואכן, אנחנו נראה את הדעות הללו בהמשך העונה. אבל כרגע, לפחות לפרק הזה, אני רוצה לתת את הקייס החזק ביותר דווקא לצד שסבור שמה שיש בידי המחשב הוא די והותר כדי לא רק להוציא פלט שיש לו משמעות, אלא אפילו כדי, בהמשך, לחשוב ממש על העולם האמיתי. כדי להבין את זה, אני רוצה שנקדיש כמה דקות לשאלה - איך באמת בונים מפת מילים שכזו? להסביר איך זה קורה באופן מדוייק יקח הרבה יותר מדי זמן ויותר מדי צלילה לעומקים טכניים, אז כרגיל, אנחנו ניגע רק בקווים המנחים של התהליך, של חלקים ממנו, כדי לקבל את הרושם הכללי שיספיק לצורך הדיון שלנו כאן. מה שאני ארצה להראות לכם היום הוא שגם בלי לדעת דבר או חצי דבר על העולם, אפשר לחלץ מתוך השפה הרבה מידע על היחס שבין מילים שונות, מידע שיכול לשמש אותנו בבניית מפה שכזו. אז שוב, נקו את הראש ודמיינו את הסיפור הבא. נניח שחייזרית טסה לה בחלל ועוברת ליד כדור הארץ. אין לה זמן לרדת ולחקור את המין האנושי, אבל היא כן מספיקה לעשות האקינג לאחד הלוויינים של אילון מאסק, להתחבר לאינטרנט ולהוריד את כל הספרות העברית, כולל כל הדפים בעברית באינטרט, אליה למחשב. עכשיו, היא לא מכירה עברית בכלל, וגם לא מכירה את העולם שלנו בגרוש, אבל יש לה זיכרון פנומנלי והמון זמן לשרוף עד שהיא מגיעה חזרה לבית שלה במאדים. מה היא יכולה ללמוד על המילים בשפה העברית?ובכן, יש כל מני טריקים שהיא יכולה להפעיל, שכולם מבוססים אך ורק על התבוננות בתבניות של השפה כפי שהיא מוצגת בספרות העברית. טריק אחד הוא להסתכל על מבנה של משפטים. נניח שהיא תחפש את כל המקומות שמופיעה המילה "אכלתי", ואז עושה רשימה כל המילים שמופיעות מיד אחריה. כנראה שברשימה הזו ימצאו הרבה סוגי אוכל, נכון? וכמובן, יהיו עוד קבוצות של מילים שאינם מאכלים, כמו תיאורי זמן (אכלתי אתמול) וכו', אבל עדיין, אוכל יהיה מאד דומיננטי שם, ומצד שני מילים רבות, כמו המילה "פלסטיק", לא יופיעו אפילו פעם אחת. אם כן, ניתן יהיה להבין שיש קשר חזק יותר בין המילים "אכלתי" ו"תפוח" מאשר המילים "אכלתי" ו"פלסטיק", ולמקם את "תפוח" קרוב יותר מאשר "פלסטיק" במפה. עכשיו שהבנתם את הטריק הראשון הזה, בטח תוכלו לחשוב על עוד טריקים. לדוגמה, אולי פשוט תסתכלו על האותיות של כל מילה, ותשימו מילים עם אותיות דומות, באותו סדר, אחת בקירבת השניה. בעברית, למילים יש שורשים, ומילים בעלות שורש משותף גם יחלקו, הרבה פעמים, משמעות דומה, אז זה יכול להיות אחלה רעיון. וחוץ מזה, יש גם תחיליות וסיומות שחוזרות על עצמן, כמו הסיומת "ים" או הסיומת "ות". גם כאן אתם רואים איך בלי לדעת דבר על העולם שלנו אפשר להסיק משהו לגבי המילים - יחסי דמיון ושונות, קרבה וריחוק. ועוד טריק חביב אחד לסיום - אפשר להסתכל במילונים! למילים דומות יהיו הגדרות דומות, אז אם לשתי מילים יש הגדרות עם הרבה מילים משותפות - יש סיכוי לא רע שהן קשורות במשמעותן.רשימת הטריקים שמניתי כאן איננה מקיפה את כל האפשרויות. עולם מדעי המחשב מלא וגדוש בטכניקות מתוחכמות הרבה יותר ממה ששיתפתי כאן, טכניקות שסוחטות המון משמעות מהמבנה של המילים והשפה ועוזרות לייצר מפות מילים מאד מפורטות ומדוייקות. צריך גם להבין ששפה היא דבר סופר מורכב. תחשבו אפילו רק על העובדה שלמילים יש כמה משמעויות, לפעמים משמעות סלנגית שהופכת למשמעות הרשמית, וכן הלאה. עם כל זה שאני מנסה לתאר דברים כאן באופן שקל להבנה, חשוב לזכור שכל צעד כאן הוא צעד שלקח הרבה זמן של הרבה אנשים חכמים לגלות, לפתח ולדייק.לענייננו, התהליך שתיארתי כאן יכול לתרום לדיון על השאלה ששאלנו קודם. אתם זוכרים ששאלנו - האם העובדה שמחשבים רק מבינים את המשמעות של מילים במובן היחסי, בלי עוגן במציאות, אומרת שאין להם סיכוי לחשוב על העולם האמיתי? לדעתי, כשרואים את האופן שבו מייצרים את המפה הזו, מבינים שאי אפשר לשלול כל כך מהר את האופציה הזו. ולמה? שכן, אם העולם היה שונה, אז השפה היתה שונה, וממילא המפה היתה משתנה. אם אנשים היו נוהגים לאכול פלסטיק באופן קבוע, אז המשפט "אכלתי פלסטיק" היה מופיע בכל הטקסטים שהם למדו, נכון? כלומר, אמנם המפה שהם בונים מקודדת רק את היחסים שבין המילים, אבל הטקסטים שאנו נותנים להם לעבד אינם מנותקים מהעולם, אלא קשורים אליו באופן חזק ומשקפים משהו לגביו. דרך אחרת לומר זאת היא שהאדם המציא את השפה כדי לעזור לו לחשוב ולתקשר עם אחרים לגביי העולם - העולם הפיזי, העולם הפנימי שלו, וכן הלאה. ממילא, אפשר לחשוב על שפה כמו פלסטלינה שמישהו הטביע בתוכה צורה, צורה שמשקפת את העולם האמיתי. אז נכון - מחשבים יכולים להתממשק רק עם הפלסטלינה הזו, רק עם המבנה היחסי שבין מילה אחת לחברתה - אבל היחס הזה אינו מקרי, אלא הוא עצמו תולדה של איך שהעולם האמיתי בנוי, נראה ועובד. ובזכות זה, בזכות ההלימה של השפה למציאות, המחשב יכול, דרך העבודה על ועם השפה האנושית, ללמוד על המציאות שמעבר לשפה.דרך אגב, ממש לסיום, רציתי לשתף עוד דוגמה יפה ומגניבה שממחישה את העניין הזה, של האופן שבו העולם משוקף דרך השפה, והיא הקונספט של אונומטופיה. למי שלא מכיר, על פי ויקיפדיה, אונומטופיה "היא מילה או צירוף מילים שצלילם מזכיר את הדבר שהם מסמנים". יש לכך הרבה דוגמאות, כמו נניח המילה "לצפצף" שנשמעת כמו ציפצוף, וכך גם המילים רישרוש וזימזום. זו דוגמה יפהפיה לאופן שבו השפה מעצבת את עצמה באופן שתופס חלק מהמציאות ומקודד אצלה באופן אלגנטי, כזה שגם מחלחל עד למחשב. נכון מגניב? ידעתי שתאהבו.אז, זהו להיום! אני מקווה שהיה לכם מעניין, כמובן, ושהדברים שהוצגו כאן, עם כל זה שיש הרבה פרטים שאנחנו מדלגים עליהם בנפנוף ידיים קליל, היו לכם ברורים ומעוררי מחשבה. חוץ מזה, בהקשר של השאלה של העונה הזו, האם מחשבים יכולים לחשוב - אני רוצה לקוות שאתם גם קצת יותר מבינים כמה תחכום נכנס לבנייה של המערכות הללו שסביבנו, ולמה מי שעוסק בתחום יכול להאמין שכן, מחשבים יכולים להבין שפה אנושית ובהמשך אולי גם להתל בנו כשהם מדברים אותה. מהפרק הבא, אתם תתחילו לראות את הצד השני של המטבע שחשפנו היום. אנחנו נראה עוד צדדים של המאמצים לבניית מכונות חושבות, אבל נתחיל לגלות למה, מאחורי הזוהר וההתלהבות, מסתתרות להם עובדות שמרמזות שאולי המצב הוא הפוך. אולי, עם כל הגאונות של המערכות הקיימות, יש להן גבול שלא יוכלו לעבור אותו. ועד אז… להתראות… ביי… This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit elishasangles.substack.com

שלום כולם, וברוכים הבאים לאלישע והזוויות, בפרק מיוחד על הדילמה שקורעת אותנו היום, החזרת חטופים מול הכרעת חמאס.היום א’ אלול, הרביעי לספטמבר 2024. אנחנו כמה ימים לאחר האירועים הקשים סביב החזרת הגופות של ששת החטופים שנרצחו בדם קר על ידי חמאס. הרש גולדברג-פולין, עדן ירושלמי, אורי דנינו, אלמוג סרוסי, כרמל גת ואלכס לובנוב, הי"ד. מאז היוודע דבר גורלם המדינה בסערה, וסוגיית היחס בין שתי מטרות המלחמה המרכזיות - ניצחון החמאס והשבת החטופים - שוב נמצאת במרכז הדיון הציבורי. כמו כל נושא חשוב ברמה הלאומית, מתנקזים אליו המון כוחות פוליטיים וחברתיים. יש כאן ויכוחים בנושאי פוליטיקה פנים-ישראלית, בנושאי אסטרטגיה צבאית וגיאו-פוליטיקה עולמית, וכן הלאה. כל צד עסוק בלהדגיש עד כמה רק הוא מבין את המציאות לאשורה, וכל כך משתכנע מהטיעונים של עצמו, שכשהוא מביט מעבר לגדר אל הצד השני הוא אומר לעצמו - "איך הם יכולים באמת לחשוב ככה?" לתוך הוואקום הזה נכנסים טיעוני הג'וקר, הטיעונים שאפשר לשלוף תמיד: הם כבשים, מהתלים בהם, הם בורים, הם שונאים את המדינה, הם אוכלי מוות, וכן הלאה וכן הלאה.אני לא יודע לְמה זה טוב, השיח הזה, אבל אני יודע למה זה רע: לכולנו. לעם שלנו, לשרידות שלנו.לצד הויכוח הבינארי הזה, ישנם גם כוחות הפשרה והאחדות. אלו שמעירים שיש כאן ויכוח לגיטימי בסיטואציה מורכבת, שלא כל מי שחולק עליך בשורה התחתונה הוא אדם רע אלא פשוט משערך אחרת את הסיכונים והסיכויים. בקצת שאני מעיר על הדיון הזה ברשתות, פה ושם, אני נמנה על הקבוצה הזו. אבל לקבוצה הזו יש שתי חסרונות. קודם כל, המדיום הוא המסר. רשת חברתית אינה באמת מקום לאמירות עומק, ואינה מאפשרת ניתוח מעמיק של תבניות. החסרון השני הוא שהרבה פעמים זה מרגיש שגם הטיעון ש"יש אמת בשני הצדדים", עד כמה שהוא נכון, הוא גם טיעון ג'וקרי. הוא מנסה להנמיך להבות על ידי אמירה עקרונית שאיננה מבררת באופן מעמיק את הויכוח, ולכן לא מציעה לאנשים דרך החוצה מהויכוח. ויכוח הוא דרך טובה לבירור האמת, אבל כדי לפעול צריך גם להכריע. האם כל מה שאנשי האמצע עושים הוא למנוע ההכרעה?בגלל העניינים הללו, החלטתי להקדיש את הפרק הזה לנושא הקשה והכאוב הזה. ובתור התחלה אני רוצה להגדיר את מוקד הניתוח שאציג בהמשך. בניגוד לכמעט כל מה שאני רואה באינטרנט וברשתות, אני לא רוצה לבחון את הדיון הזה מהמקום הפרקטי שלו. יש טיעונים כבדי משקל לכאן ולכאן, באמת. מה שאני רוצה לעשות במקום זאת הוא לחדור לנושא מזווית אחרת לגמרי: הזווית המוסרית, לשים את האצבע על מה שמניע, מוסרית, את כל אחד מן המחנות במדינה. מה שאני ארצה לטעון כאן ולשכנע אתכם בו הוא שמה שמניע אנשים משני המחנות להגן בחירוף נפש על העמדה שלהם הוא ויכוח מוסרי עמוק על השאלה, מה היה הכשל המוסרי הגדול של המדינה בשביעי לאוקטובר. כל צד מרגיש שהוא חייב לכפר, שהממשלה שלנו חייבת לכפר, על אותו חטא עמוק של השביעי לאוקטובר, ובשם התביעה המוסרית הזו הוא פועל ללא לאות. זו גם הסיבה שהוא חש שהצד השני פגום מוסרית באיזה אופן, כי הצד השני מפספס, לטעמו, את הנקודה העיקרית המוסרית שעומדת על הפרק.לפני שאגש לגוף הדברים, שתי הערות חשובות שאלו שמכירים את הפודקאסט שלי בוודאי לא יופתעו לשמוע ממני. ראשית, כל הכללה חוטאת לאמת המושלמת. אני עומד לעשות הכללות כאלו היום, אבל כל אדם פרטי יש לו מניעים ותובנות משלו. אז קחו כל דבר שאני אומר כאן כמרכיב אחד חשוב ומרכזי של הדיון, אבל לא כל התמונה. ושנית, אנחנו עומדים לגעת בנושאים מאד טעונים בחברה הישראלית, וכנראה שכל אחד מכם המאזינים חושב שהצד שלו הוא הצודק. אבל בכדי שהפרק הזה יהיה אפקטיבי, אני רוצה להמליץ לכם לפתוח את הראש והלב, ולהקשיב. אם יש משהו שהיינו צריכים ללמוד מהשביעי לאוקטובר, זה שהצד השני לא באמת כזה רע כמו שאנחנו מאמינים. אז אפילו שזה קשה, תנו לזה צ'אנס, ונראה אם תצאו מהפרק היום עם משהו בעל ערך.נקודת המוצא שלי לפרק הזה היא הסכֶימָה של פרופ' ג'ונתן היידט מאוניברסיטת ניו-יורק, NYU, שעשה את הדוקטורט שלו על ההבדלים בתפיסת המוסר בין שמרנים לליברלים. את הדברים הללו הצגתי כבר בעבר, בתימצות, בפרק השני של העונה הראשונה של הפודקאסט. אז כדי ליישר קו, אני שניה אצטט קטע מתוך הפרק ההוא, ולמי שלא שמע את הפרק בעבר, אני ממליץ ללכת ולקרוא\להקשיב לכולו.היידט חקר את האופן שבו ליברלים ושמרנים תופסים את המוסר. בתור התחלה, המודל שלו מחלק את עולם המוסר לחמש קטגוריות, כלומר, שכל דבר שמישהו מדבר עליו במושגי "טוב" ו"רע", נופל לאחד או יותר מהקטגוריות הבאות:* מניעת כאב - כלומר, אם אני רואה מישהו שכואב לו, זה רע, וזה חשוב לעזור למנוע את הכאב הזה.* שיוויון - כלומר, חשוב לתת יחס שווה לכולם, בלי אפליה* נאמנות פנים קבוצתית - כלומר, נאמנות למשפחה, לקהילה ולפעמים גם לעם ולמדינה.* כבוד למנהיג או לדמויות סמכות - מתחיל מהורים, מורים, וממשיך למח"ט גולני ומנהיגים תרבותיים, פוליטים ודתיים* טהרה וקדושה - בין אם במובן של טקסים דתיים, בין אם במובן של טהרת הגוף והנפש מבחינה מינית או מבחינה של אנרגיות ודברים שמכניסים לגוף, כמו אידיאולוגיות טבעוניות מסויימות.אז אלו חמשת הקטגוריות, שמשמען שכל אמירה בתחום המוסר יושבת בסוף על אחד או יותר מהקטגוריות הללו. מוזמנים לנסות - זה לא קשה בכלל - לקחת תחושות מוסריות חזקות שלכם ולראות לאילו קטגוריות זה מתמפה.אז - איך זה קשור לשמרנות וליברליות? הממצא המדהים של היידט היה שאם בודקים עם אנשים מה המדרג של הערכים הללו, רואים אבחנה ברורה בין שמרנים לליברלים.השמרן סבור שלכל אחד מן הקטגוריות יש משקל פחות או יותר שווה. כלומר, אם יש מתח בין שמירה על טהרה לבין מניעת כאב, השמרן מנהל כאן מתח בין שני דברים עם משקל דומה, לפחות ברמת העקרון.לעומתו, הליברל מאמין שיש משקל גדול הרבה יותר לשניים הראשונים, מניעת כאב ושיוויון, לעומת שאר הדברים. כלומר בתור דוגמה, אם אפשר למנוע כאב גדול, זה שווה את המחיר של נאמנות פחותה לקולקטיב.ממילא, אומר היידט, כיוון שכל צד נותן משקל שונה לכל קטגוריה, ברור למה בויכוח הפוליטי-חברתי שלנו כל צד מסתכל בעין עקומה על הצד השני: השמרנים מרגישים שהליברלים לא נותנים מספיק כבוד לממסד, ללאום ולמסורות של קדושה וטהרה, בעוד הליברלים חשים שהשמרנים פוגעים בעקרונות השיוויון וגורמים סבל לאנשים "סתם", בגלל "נאמנות עיוורת" לדת, ללאום או לגזע, ולמנהיגים חזקים.  אני ממליץ בחום להאזין להרצאה שלו בנושא, כדי לקבל תמונה יותר מדוייקת של האבחנות שלו, אבל לצורך מה שאנחנו נשוחח כאן זה מספיק. וספיציפית, חשוב לי שתזכרו את העניין הזה:מניעת כאב והשגת שיוויון הם "שיקולי העל" של הליברל, מעל הכל, בעוד השמרן סבור שגם נאמנות לקהילה ולהנהגה הם לא רק פרקטיקה יעילה, הם גם עקרון מוסרי ממדרגה עליונה, ולפעמים נוותר על שיוויון כדי לשמר את המסגרת הקהילתית והמנהיגותית הקיימת.זהו. עד כאן הקטע מהפרק הקודם. ועכשיו, בואו ניגש לנושא שלנו. אמרתי בפתיחה שלדעתי יש ויכוח גדול בין שני המחנות, מהו החטא הגדול של השביעי לאוקטובר. אני רוצה למקד את השאלה הזו שלי: מי נפגע מאוזלת היד של כל המערכות השלטוניות שלנו באותו יום נורא? כמובן, התשובה המלאה לשאלה הזו היא שכולנו נפגענו בצורה זו או אחרת. אבל תפיסה מוסרית מטרתה לכוון את המעשים שלנו, ואנחנו באופן טבעי מדרגים דברים לפי אמות מידה כלשהן כדי לדעת להתמקד בנושאים הגדולים, העיקריים. אז, מי הנפגע המרכזי, העיקרי? אני רוצה שנבחן את הדברים משתי הזוויות, הליברלית והשמרנית. ונתחיל בזווית הליברלית.הליברל מסתכל ורואה בעיקר את שני העקרונות שחשובים לו מעל הכל: שיוויון ומניעת סבל. לצורך הדיון שלנו אנחנו נתמקד במניעת סבל, אבל הדברים שנאמר כאן ישליכו גם על נושא השיוויון. שואל הליברל - מי סובל הכי הרבה מהמתקפה של חמאס, ומאוזלת היד של המדינה? והתשובה לשאלה הזו גם היא די ברורה עבורו: החטופים. אמנם, יש הרבה אנשים שסובלים כיום, ובראשם היינו בוודאי ממקמים את המשפחות השכולות שאיבדו את היקר להם מכל: אבות, אמהות, בנים ובנות, אחים ואחיות. אולי אתם הייתם שמים מישהו אחר שם בראש, נניח את הפצועים או המפונים. אבל החטופים יהיו בראש, אצל רוב האנשים, שכן הסבל של כל השאר, עם כל העוצמה שלו, הוא סבל שנעוץ בעבר. אירוע טראגי נוראי - אבל סטטי. המדינה חייבת לתמוך בכל אלו שנפגעו כלכלית, מורלית, רפואית - אבל את המתים אי אפשר להשיב, ופציעות קשות יקחו הרבה זמן לאורך זמן כדי להחלים. החטופים, לעומתם, עדיין חיים, ומצויים בסכנת חיים נוראית. כל יום שעובר, כל רגע שהם ממשיכים לחיות בשבי חמאס, זהו יום של סבל. סבל של תת-תזונה, של התדרדרות רפואית, של פוטנציאל להתעללות מינית או סתם אלימות קשה, ושל טראומה רגשית שלא תתואר, של לא לדעת אם היום יוציאו אותך להורג. תוסיפו לזה שרובם אפילו לא היו חיילים שהיו בתפקיד, אלא אזרחים תמימים שנקלעו לאירוע - גם תחושת חוסר הצדק, הפגיעה בשיוויון, היא אדירה.העובדה שהמדינה לא היתה שם כשהאזרחים שלה נטבחו, נאנסו ונחטפו בשביעי לאוקטובר, זהו החטא הגדול של אותו יום. וכנגד זה, אנחנו חייבים, כמדינה, לשים את הכאב שלהם במרכז המפה המוסרית שלנו, ולהכווין את כל המאמצים לשם, לכפר על החטא הזה. אם לא נעשה זאת, סבורים הליברלים, נשבר כאן החוזה החברתי הכי עמוק ביננו כאזרחים ובין מוסדות המדינה לאזרחיה, כי אנחנו בעצם אומרים אחד לשני - אם אתה תיחטף באשמתי, אני לא אהיה מוכן לסכן הכל כדי להשיב אותך בחיים אלינו. שימו לב שהשיח כאן איננו טכני, טקטי או פרגמטי. זו אמירה עקרונית: יש כאן פצע ערכי מדמם, ותביעה מוסרית מהדהדת מטעם החטופים כלפינו, כלפי כל אזרח, להשיב אותם הביתה. ואם אתה או את מסוגלים ללכת לישון בלילה בלי שעשיתם את המירב כדי להשיב אותם, כדי לנסות ולכפר על החטא ההוא בקצת שעוד אפשר, בכך שנוודא שעוד יהיו להם חיים כאן כאזרחים במדינה ולא ימותו באיזו מנהרה חשוכה בעזה, אז משהו לא בסדר איתנו.כשזה מגיע לפסים פרגמטיים, הדברים מסתבכים כמובן. לא הכל נמצא בידיים שלנו. בסוף סינוואר, ולא מישהו מתוך החברה שלנו, הוא זה שמחזיק בהם. זה מייצר הרבה מגבלות על היכולת של כל אחד מאיתנו לפעול כדי לכפר, ולו במשהו, על אותו חטא. יש כאלו שכמובן עושים דברים בשטח, צוותי המשא ומתן למיניהם, פוליטיקאים ומגשרים, וגם חלק מהחיילים המדהימים שלנו פועלים כדי להציל חטופים, ופה ושם אפילו מצליחים בגבורה ותושייה אדירה. אבל עבור רובנו, אין הרבה מה לעשות. אז אנחנו מוציאים את הכאב שלנו, ואת התסכול שלנו, ברשתות החברתיות ובהפגנות, ומקווים שזה יזיז משהו, איכשהו. צריך גם להבין שיש גם ערך לשפה, לזעקה, למאמץ. דבר ידוע לגביי החיים שלנו כאן בעולם הוא שאנחנו לא יכולים להבטיח תוצאות, אלא רק לעשות כמיטב יכולתינו. חטופי אנטבה והחטוף נחשון ווקסמן שניהם נחטפו על ידי טרוריסטים, ועבור שניהם צה"ל יצא למבצע חילוץ. באנטבה הצלחנו, בעוד עם ווקסמן הי"ד לא הצלחנו, אבל הניסיון שידר מסר: אנחנו לא מוותרים על חטופים. לא משאירים אתכם לבד שם. וגם היום, חלק מהמטרה של ההפגנות היא סימבולית וייצוגית: שהדור הבא לא יגיד שלא נלחמנו עבורם. כעוצמת הסולידריות כך צריכה להיות עוצמת ההפגנה. על גביי זה, כמובן, מתלבשים גם הלבושים הפוליטיים. אפשר הרי להפגין בהרבה מקומות - מול שגרירות ארה"ב בדרישה להפסיק את הסיוע ההומניטרי לעזה, מול האו"ם בדרישה שיגנו את חמאס, מול מדינות המערב בתביעה שיפעילו לחצים על מדינות ערב ועל איראן בפרט. אפשר להרים קמפיינים ברשתות כדי לעשות לחמאס דה-לגיטימציה בכל מקום. הבחירה להפגין כנגד הממשלה הישראלית דווקא נובעת, למיטב הבנתי, משני מקומות עיקריים. קודם כל, כיוון שהממשלה לא שמה את שחרור החטופים בתור היעד העליון, בהא הידיעה, של המלחמה, התחושה היא שהיא איננה עושה דייה עבור החטופים בשטח, מה שאומר שהיא מייצגת עבור הצד הליברלי בדיוק את המקום המוסרי שאליו הוא לא רוצה להגיע: מקום של אטימות לב לסבל שעוברים החטופים. הסיבה השניה היא התפיסה שהממשלה האשמה העיקרית במחדל עצמו של השביעי לאוקטובר, ושלכן חלק מן התיקון חייב להיות בסילוקה. חלק ממה שאנחנו חייבים, כביכול, לחטופים, הוא לוודא שמי שהפקיר אותם ישלם על כך את מלוא המחיר. רק כך נוכל להחלים כחברה. וכל מי שמגן על הממשלה כיום, כל אותם אנשים בסקרים שמוכנים להצביע שוב לביבי נתניהו אחרי שהוא היה הקברניט של הספינה בכשלון הגדול ביותר שידענו כאן - אלו אנשים שמוכנים לסלוח על דבר בלתי נסלח, ובכך בעצם להרעיל את התשתית המוסרית שמחזיקה אותנו כאן יחד. לנקודה הזו אנחנו נחזור שוב בהמשך, מהצד השמרני. אל מול הטיעונים הללו, אל מול העמדה המוסרית הזו, עונים שמרנים בדברים של טעם במישורים הפרגמטיים והטקטיים. דיבורים על כך שהפגנות שכאלו מחלישות את ישראל ובפרט מחלישות את העמדה שלנו במשא ומתן מול חמאס. דיבורים על עסקת שליט וההתנתקות, ובייחוד ניסיון להשליך מהמקרים הללו על הקרבנות העתידיים של עסקה גרועה מול חמאס. הטיעונים הללו אכן חשובים ורלוונטים, אף אם אפשר לענות להם מהצד של המוחים. ועדיין, תבדקו את עצמכם: אם יש משהו מוסרי שאתם מאמינים בו בכל נימי נשמתכם, האם טיעונים של טקטיקה מסוגלים להניא אתכם מהדרך שאתם פועלים בה? זה מאד קשה. ולכן, אנחנו שומעים מהצד הליברלי טיעונים שממעיטים מעוצמת האתגרים הטכניים, בקביעה שהעתיד בידינו ונדע להתאים את עצמנו, ונעשה זאת טוב יותר לאחר שהחטופים יחזרו ונוכל להמשיך קדימה. נעזוב את פילדלפי - אבל נדע לחזור אליו. יהיו סכנות מחמאס כתוצאה מעיסקה - אבל נתארגן בהתאם. ליברלים, כפי שפירטתי באותו פרק בעונה הקודמת, סבורים שהעתיד מלא בפוטנציאל חיובי, ולכן מוכנים לקחת סיכונים, להמר כדי להשיג משהו יותר טוב. מה שמאיים יותר מכל הוא המצב הנוכחי, הסטטי: הכאב המתמיד, כל הזמן, של אחינו ואחיותנו ששבויים שם. כל עוד הם לא איתנו, כל עוד לא עשינו הכל כדי לכפר על אותו חטא, לא נוכל להמשיך הלאה.אז, זה היה הצד הליברלי. אני רוצה לקוות שהשמרנים שביניכם, מתנגדי המחאה והעסקאות שביניכם, הצלחתם להאזין לרחשי ליבם. להיות שם באמת עם מה שהם חווים. ועכשיו, בואו נחליף דיסקט, הליברלים שבכם יכנסו לתפקיד ההאזנה, וניכנס לנעליו של השמרן והשמרנית ונשאל - מבחינתם, מה היה החטא הגדול של השביעי לאוקטובר? מי היה הקרבן העיקרי של המחדל?השמרנים, כפי שאמר היידט, רואים גם הם בשיוויון ומניעת סבל ערכים גדולים. הם לא מעלימים עין לרגע ממה שקרה לחטופים. גם הם כואבים את כאבם, גם הם רוצים אותם הביתה. הראייה לכך ברורה, שכן הם בין החיילים שיוצאים לסכן את עצמם כדי להשיב אותם, או שהחיילים הללו הם קרובי משפחתם. זה לא דבר של מה בכך. וגם הם סבורים שהממשלה ושאר המערכות במדינה כשלו באותו יום, וחבה לחטופים חוב לא יתואר, שספק אם אי פעם נוכל לשלם אותו במלואו. אלא שלצד הערכים הללו, שמרנים רואים עוד קרבן של אותו יום נורא, והוא הביטחון הקבוצתי שלנו כעם וכמדינה. העובדה שבמשך כמה יממות אפקטיבית לא היה לנו גבול בדרום, ודרכו נכנסו אלפי מחבלים, היא סכנה קיומית למדינה. זו סכנה קיומית אפילו שהגבול שם נסתם מאז, כיוון שאותו אירוע שינה את המשוואה בכל המזרח התיכון. חמאס וסינוואר בראשו הראו לכל המדינות העוינות אותנו שאנחנו פגיעים, ועוד פגיעים ביחס לאוייב הכי חלש שלנו בגזרה. הדברים מזכירים את המדרש המפורסם על האפקט של תקיפת עמלק. לפי מה שכתוב בספר שמות, עמלק תקף את ישראל מהר מאד אחרי שיצא ממצרים על הרקע של עשרת מכות מצרים. חז"ל מאשימים את עמלק בכל המלחמות שקרו לאחר מכן עם ישראל בכך שעמלק הפיג את אפקט ההרתעה שהיציאה ממצרים יצרה. הם ממשילים את זה לאמבטיה רותחת, שהראשון שנכנס נכווה אבל בכך גם סופג חלק מהאנרגיה שבמים והופך אותם לפושרים, כך שאנשים נוספים חושבים שיוכלו להיכנס בלי להיכוות בעצמם. “משל לאמבטי רותחת שאין כל בריה יכולה לירד בתוכה, בא בן בליעל אחד קפץ וירד לתוכה אע"פ שנכוה הקרה אותה בפני אחרים”פּגִיעוּת קבוצתית שכזו היא דבר נורא ואיום. היא יכולה בקלות להוביל לעליית מדרגה בכל המישורים של האלימות שמופנית כלפי ישראל, וכלפי יהודים בכל העולם, כפי שאנחנו יודעים טוב מאד. מחיקת אפקט ההרתעה של ישראל כלפי המדינות שרוצות ברעתנו, וגם כאלו שחושבות אולי להתעמת איתנו, כמו מצרים, זו סכנה שבבירור יכולה לגרור אירועים שיהפכו את השביעי לאוקטובר להערת שוליים בהיסטוריה של המדינה. שווה להזכיר לעצמנו שאנחנו מתמודדים כאן מול איראן בהמון חזיתות, שבין השאר גם מפתחת נשק גרעיני. השביעי לאוקטובר היה הפוגרום הגדול ביותר ביהודים מאז השואה. מלחמה מול מעצמת גרעין יכול להוביל לשואה שניה ממש, במובן הכי פשוט וישיר של המילה. לא מדובר כאן בניתוח אסטרטגי או טקטי, לפחות לא עבור השמרן. מדובר בכשל מוסרי ממדרגה ראשונה. להעמיד את הקולקטיב היהודי בסיכון קיומי - זה כשל מוסרי. את המדינה בנינו אחרי השואה, בין השאר מתוך תפיסה שזה יהיה מקום המבטחים של העם היהודי. אם את זה אנחנו לא מסוגלים להבטיח, אנחנו בוגדים בעם שלנו לדורותיו. בוגדים בדורות העתיד, שלא יהיה להם מקום מבטחים, ובוגדים בדורות העבר - כל אלו שהקריבו ומתו למען המדינה הזו, למען אותו עתיד. האמירה שנשמעת מפי שמרנים, כשמדברים על עסקה לא אופטימלית שכרוכה בהשארת חמאס על כנו, היא הרבה פעמים משהו בסגנון של: "האם הדם של החיילים שלנו היה לחינם? על מה הקרבנו אותם, אם בסוף לא ננצח באופן מוחלט ומשכנע?" - זו אמירה שמדגישה את החוב המוסרי שלנו כשומרי המדינה בדור הזה, עבור כל הדורות שהקריבו למענה. אנחנו רק חולייה אחת בשרשרת, ואסור שהחוליה שלנו תהיה זו שתשבר ותנתק את העבר מן העתיד.מכאן גם נגזרים הרבה דברים מהצד השמרני. נניח, למה צריך שננצח ניצחון טוטאלי? למה חייבים להשמיד את חמאס, לפי השמרנים? למה האיום הגדול ביותר לישראל הוא שסינוואר יצא מהבונקר ויעשה "וי" של ניצחון מול כל העולם? ליברלים לפעמים חושבים שמדובר בייצר נקמה חסר הגיון, או בתאוות דמים שלא יודעת שובע. אבל זה לא העניין. העניין הוא שאותו "וי" באצבעות של סינוואר ישמש דלק מטוסים מוראלי לכל האנטישמיים שרוצים להשמיד את העם היהודי ומדינת ישראל. אם אנחנו לא נצא מן המלחמה הזו בניצחון של נוקאאוט חד-משמעי, אפשר לחתום על זה כבר עכשיו שנותקף בעוצמה פי כמה וכמה ולעוד שנים רבות, כי יוכח לכולם שאפשר להרוג בנו בלי לשלם את המחיר האולטימטיבי. ומנגד, אם נצא מכאן עם תמונות של הבונקר המפורק של סינוואר, וידו המרוסקת מבצבצת מבעד להריסות, המסר יהיה חד משמעי בכיוון ההפוך: אל תתעסקו עם ישראל אם אתם לא רוצים לסיים ככה. ומתוך המסר הזה, נקים מחדש את "קיר הברזל" שעליו דיבר ז'בוטינסקי, ונוכל לקנות עבור הדורות הבאים תקופה ארוכה של שקט. שקט שבו אוייבנו יתכננו דברים, אבל לא יעזו לפעול ולהסתכן בגורל דומה.כששמרן יושב ושוקל את שני הדברים, את סבלם של החטופים אל מול הסכנה לקולקטיב, ההכרעה עבורו כואבת אבל ברורה: הבית היהודי הלאומי חייב לשרוד את הדור שלנו ולעשות זאת בעוצמה, למען הדורות הבאים, וגם במחיר של חיי החטופים. המשקל של הסכנה לקולקטיב כולו, קולקטיב שמורכב ממליוני יהודים, בארץ ובעולם, גבוה לאין שיעור מהגורל האכזר שיסבלו החטופים בידי חמאס. השמרן אומר: אני מוכן להקריב חיים של חיילים רבים עבור שחרור החטופים, אבל לא מוכן לסכן את הדבר הזה שקוראים לו מדינת ישראל. מדינת ישראל היא דבר גדול יותר ממני, ממך, ומכל אוסף של אזרחים שחיים כאן היום. זה בדיוק הרעיון שטמון בכך שעם ומדינה מקריבה את חייליה במלחמות: שאזרחי המדינה הזו מבינים שיש דברים שהפרט צריך להקריב כדי שלדורות הבאים יהיה מה להילחם עבורו, ואפילו - כדי שיהיו בכלל דורות הבאים. זכרון השואה מלמד אותנו את זה.כאן אנחנו מגיעים שוב לנקודה של היחס לעבר והסקת המסקנות לגביי העתיד. מוקדם יותר תיארתי איך הליברל אומר: למדנו מן הטעויות שלנו, ובעתיד לא נטעה. העתיד, לטעמו, מלא בפוטנציאל גדול לשינויים חיוביים ביחס לעבר, וזאת על ידי שנשנה את האופן שנחשוב על העתיד, הפרספקטיבה שנאמץ ביחס אליו. יזמי סטרטאפים הם כמעט תמיד ליברלים, כי מה שמוביל אותם הוא הרעיון שדרך חשיבה רציונלית ויצירתית אפשר לשנות את העולם באופן דרסטי. לעומתו, השמרן אומר הפוך: מה שלמדנו מן העבר אלו אמיתות יסודיות על המציאות שאינן משתנות. נניח, על הפוליטיקה הבינלאומית, על דינמיקות גיאו-פוליטיות, וכן הלאה. למדנו שהאנטישמיות פורחת בהמון מוסדות שאמורים להיות נייטרלים, כמו האוניברסיטאות והאו"ם ובתי הדין הבינלאומיים ופרלמנטים באירופה ואפילו בארצות הברית. למדנו שלא משנה כמה רֶשע החמאס יציג לעיני כל העולם, מדינות המערב ילחצו דווקא עלינו לא לעשות רעש. ראינו שבעבר לא עמדנו בהבטחות שנתנו לעצמנו על תגובות חזקות מול חמאס וחיזבאללה, כי המחירים היו גבוהים מדי והיה קל יותר לטמון את הראש בחול. כלומר, השמרן אומר: לאדם יש טבע, והטבע הזה לא משתנה רק בגלל שברמה הרציונלית הבנתי משהו. עדיף להכיר בטבע האדם והפוליטיקה ולהתנהג בהתאם, ולא לדמיין שנוכל לעצב את הטבע הזה מחדש בגלל שנפל לנו איזה אסימון. מי שהקשיב לדברים של ביבי על ההתעקשות שלא לצאת מפילדלפי, ולדברים של גנץ לגביי היכולת לצאת ולהתמודד עם היציאה הזו, ישמע בדיוק את שני הצדדים הללו שם.אז בא השמרן ואומר: הקרבנות העתידיים של עסקה גרועה הם אמנם בעתיד, ואמנם אנחנו לא יודעים מתי הם ישלמו את מחיר העסקה - אבל הקרבנות הללו הם אמיתיים כבר היום. הם חלק מהדינמיקה הצפויה מראש. הוא אוֹמֶר בהדגשה יתירה: הסבל שלהם ושל המשפחות שלהם צריך להיות בלב שלנו היום בדיוק כמו הסבל של החטופים שחמאס מחזיק היום. אם היינו מתנהלים כך בעסקת שליט, סינוואר היה עדיין בכלא, וגם היה ברור לחמאס שחטיפת חיילים או אזרחים זה לא דבר משתלם, או לפחות פחות משתלם. להתעלם מהדינמיקה הזו, זה להתעלם מאמיתה שיש במציאות, וכפי שלמדנו מהשביעי לאוקטובר, האמת בסוף תובעת את המחיר שלה. ולכן, מי שמתעלם מן האמת הזו ומסכן את דורות העתיד של המדינה, הוא החוטא הגדול יותר.הדברים הללו גם משפיעים על היחס לממשלה. גם רוב רובם של השמרנים רוצה שחברי הממשלה ישלמו מחיר אישי על השביעי לאוקטובר. ולא רק הם, אלא כולם - כל הממשלות, כל הראשים ושרי הביטחון והרמטכ"לים שאיפשרו לחמאס להתעצם כפי שהתעצם. אבל יש משהו אחד שהם לא מוכנים: שמי שיירשם על שמו האירוע הזה, יהיה סינוואר. יהיה חמאס. אם חמאס יוכל לומר שהוא הפיל את ממשלת ישראל, זה שוב יכנס לאותו מקום של איום על המעמד והביטחון הלאומי של המדינה. השמרן אומר: צריך לזכור שראש ממשלה אינו רק אדם, אלא גם מוסד ממלכתי. ממשלה אינה רק אסופת אנשים, אלא גם סמל לאומי. ביבי האיש ואלו שסביבו צריכים לשלם מחיר, ועוד נתחשבן איתם ברמה הפנימית, אבל הכבוד והחוסן הלאומי שלנו חייבים להישאר יציבים כלפי חוץ. ולכן עבור השמרן, המחשבה שסינוואר ירצח חטופים ובעקבות זה הממשלה תיפול הינו רעיון עיוועים, סיוט שמוביל לעוד ועוד דם ומסכן את הלאום והמדינה היהודית דורות קדימה. במצב שכזה, הפגנות נגד הממשלה רק מחזקות אצלו את המחוייבות לשמר אותה כל עוד הלחימה נמשכת. עבורו, זהו צו השעה המוסרי.עכשיו, שווה לומר משהו על העמדה הליברלית ביחס לטענות הקולקטיב של השמרן. גם הליברל מכיר בסכנות הללו, בוודאי. יש אנשים חכמים ורציניים בשני הצדדים. אז מה ההבדל? ההבדל הוא, לטעמי, עמוק אך בו זמנית פשוט, וחוזר לנקודה שבה התחלנו: הליברל לא רואה בסכנה לקולקטיב בעיה מוסרית, אלא בעיה טקטית או אסטרטגית. הוא אומר - מה שאתם מדברים עליו זה ניהול סיכונים. חייבים להביט אל העתיד, כמובן, אבל כשיש סיכונים קונקרטיים נוראיים לאנשים שחיים היום, כמו החטופים, אי אפשר להתכחש אליהם בגלל סיכונים עתידיים א-מורפיים, חסרי צורה. אין באמת דבר כזה קולקטיב - קולקטיב הוא אוסף של פרטים, שמתחלפים כל הזמן. בכל זמן נתון, ממשלה צריכה לדאוג לפרטים שתחת חסותה, מתוקף החוזה החברתי שהיא חתומה עליו מול האזרח שבחר בה. וכן, זה חכם לתכנן לעתיד, זה חלק מהתפקיד של הממשלה, אבל הדיון הוא במסגרת הניתוח הטכני, מה הכי כדאי לעשות, ולא מעבר. לעומתו, השמרן מקודד את היחס לקולקטיב כעמדה מוסרית. הקולקטיב ממש קיים עבורו, ולכן אפשר לייצר ביחס אליו חובה מוסרית קונקרטית. עבורו, מדובר במתח בין ערכים, לא מתח בין ערך לפרגמטיות. הוא גם חושב שיש לשמירה על הערך זה משמעויות פרגמטיות אמיתיות, אבל הן בנויות על גבי תשתית מוסרית עמוקה. ומכאן השפה השונה והחיכוכים שנוצרים בין שתי הקבוצות.אז זו התיזה שלי, אם תרצו, למילכוד שאנחנו מצויים בו, ואני מקווה שזה עשה לכם קצת סדר. וצריך עכשיו לשאול - אז מה עושים עם כל זה? קודם כל, אני חושב שזה נותן עומק לאותה אמירת ג'וקר שציטטתי בשם אנשי הפשרה בתחילת הפרק. באמת, כשאתם עומדים פנים אל פנים מול אדם מהצד השני של המתרס, אתם לא עומדים מול מישהו חסר ערכים. רוב הזמן, אתם פשוט מעכלים אחרת את המשוואה המוסרית שבפניה כולנו עומדים. אני אבהיר שאני לא מצפה מאנשים להתייחס כך, בהכרח, לאנשי ציבור ופעילים חברתיים ספיציפיים. לכולנו יש עמדה, נניח, לגביי ביבי, לפיד, סמוטריץ' וגנץ וכן הלאה, ושָם יש לנו רזולוציה חדה יותר ויכולת טובה יותר לשפוט את המניעים שלהם, כל אחד לפי הבנתו. אבל כשמסתכלים על הציבורים השונים, זו לדעתי הדרך הנכונה והאמיתית יותר להבין את מה שהם עושים. בעצם, אני רוצה לדייק את זה: לא את מה שהם עושים, אלא מה מניע אותם לעשות את מה שהם עושים. הדרך לגיהינום רצופה כוונות טובות, ולכן זה שמישהו מכוון לטוב לא אומר שאני לא צריך למנוע ממנו להביא אותי לגיהינום בהחלטות פגומות. אבל בו זמנית, זה לא חכם ולא צודק לשכנע את עצמי שהכוונות שלו רעות. זה לפעול תחת הנחות שגויות על המציאות, ומזה לא יצמח שום דבר טוב.שנית, אני חושב שחשוב לזכור עוד דבר: מכך שבכל חברה יש שמרנים וליברלים צריך גם להסיק מסקנות: שחברה בריאה צריכה את שתי הקולות הללו, שכל אחד מהצדדים מאיר על נקודות עיוורון של הצד השני, נקודות עיוורון שקריטיות לשרידות החברתית שלנו. בהקשר שדיברנו עליו היום, נראה שיש לנו ויכוח על המקום הנכון של הסכנות לקולקטיב בחישובים המוסריים שלנו, שמשליכים על המעשים שננקוט. לא משנה מה אתם חושבים בעצמכם, נראה לי שברור לכולנו שאם נטעה בהערכה נכונה של הסכנות הללו, המחירים יהיו כבדים מאד, ולא משנה לאיזה כיוון נטעה. ולכן, שווה לנו להקשיב אחד לשני, ולראות - אולי יש מה ללמוד זה מזה, ומתוך זאת לכוון טוב יותר את צעדינו הלאה.אז - זהו להיום. לסיום, אני רוצה לבקש - הפרק הזה מרגיש לי חשוב מאד בימים הללו, אז בבקשה - שתפו אותו בכל הכוח. מרגיש לי שהמבנה שהוא מציג יכול באמת לעזור להפיג מתחים ביננו בטווח הקצר וגם הארוך, וגם לאפשר לנו לעבוד טוב יותר יחד. הוא גם יכול להוריד את מפלס הלחץ כשאנחנו רואים פעילות של הצד השני בויכוח. עדיין נרגיש לחוצים, כנראה, מהמרצפות שהוא מרצף בדרך לגיהינום שאנו צופים בהמשך הדרך לפי תפיסתנו. אבל לפחות לא נרגיש שמדובר באנשים שרוצים ברעתנו, ברעת החטופים, או ברעת המדינה. בכך גם לא נאפשר לפוליטיקאים והפעילים השונים, שמנסים להפעיל עלינו כל מיני טריקים ושטיקים כדי שנראה ככה את אחינו ואחיותנו, בני העם הזה והמדינה הזו, וניתן להם יותר כח מאשר אנחנו חושבים שמגיע להם. מתוך גישה מתונה יותר, אני מאמין שנגיע למקום טוב יותר.אני רוצה לאחל לכולנו ימים טובים יותר, ויכולת הכלה גדולה יותר לדרכים שונות לתפיסת המציאות בתוך תוכנו אנו. וכמובן, ניצחון מהיר על האוייבים שלנו, וחזרה של כל החטופים הביתה בשלום במהרה. ועד הפעם הבאה, להתראות… ביי… This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit elishasangles.substack.com

שלום כולם, וברוכים הבאים לאלישע והזוויות, עונה שניה פרק 4. היום ה-22 לאוגוסט 2024, י"ח אב תשפ"ד (טוב, זה לא. הקלטתי אתמול… עמכם הסליחה!) בפרק הקודם עשינו את הקישור שבין בינה מלאכותית לבין יכולת למידה, ואמרנו שהיום נרים את מכסה המנוע ונראה באופן קצת יותר מפורט איך הדברים עובדים שם בפנים, בתוך הקופסה השחורה של מערכת לומדת שכזו. כמובן, זה לא פודקאסט טכני, אז המטרה שלנו בחיטוט הזה פנימה היא בעיקר לעבות את האינטואיציה שלנו לגביי המערכות הללו. כפי שתראו, מתוך ההבנה של איך הדברים עובדים בפנים, וגם מתוך השוואה לגישות אלטרנטיביות שנוסו לפני חמישים שנה, אנחנו נצא השבוע עם כמה תובנות עומק על הפוטנציאל הגלום במערכות הללו, לצד האתגרים שיש בעבודה איתן. ספיציפית, אני רוצה שבסוף הפרק הזה תהיה לכם לפחות תשובה חלקית לשאלה: למה קשה לנו להסתכל בתוך המערכות הללו ולענות על השאלה - האם יש שם תבונה? הרבה פעמים קל יותר לדבר על דברים כשיש לנו דוגמה קונקרטית ביד, ולכן בפרק הזה אנחנו נשתמש בעיקר במערכת דמיונית שנקרא לה "החתוליה". המערכת הזו מספקת שירות פשוט: מקבלת כקלט תמונה דיגיטלית, ומוציאה כפלט קביעה - האם יש או אין בתמונה הזו חתול. מערכות כאלו מבצעות את הפעולה שלהן לרוב על ידי תוכנה, אבל יותר קל לדמיין אותן דווקא כמשהו פיזי, קופסה שחורה פיזית שמונחת לנו על השולחן, כשהקלט נכנס מצד שמאל, והפלט יוצא מצד ימין. מה קורה בין קבלת הקלט לבין הוצאת הפלט? אם השירות הזה נבנה על פי הארכיטקטורות המקובלות היום, אז כשנפתח את הקופסה נגלה שבתוכה יש הרבה רכיבים קטנים, קופסאות שחורות קטנות יותר, שגם הן מקבלות קלט ומוציאות פלט. כדי להבחין בינן לבין הקופסא כולה, בואו נקרא להן "רכיבים" בהמשך הדיון. הרכיבים הללו מאורגנים בשכבות, והמידע זורם בהם משמאל לימין: הקלט הראשוני נשלח לכל הרכיבים שבשכבה הראשונה, והפלט של רכיבים אלו נשלח לרכיבים בשכבה השניה, וכן הלאה וימינה עד שזה מגיע לשכבה האחרונה ויוצא החוצה עם תשובה למשתמש. אתם בטח רוצים לדעת - מה עושה כל אחד מן הרכיבים הללו? בגדול, מה שקורה כאן הוא שכל רכיב כזה עובד רק על חלק קטן מהבעיה, ומעביר את התוצאות מהניתוח שלו הלאה. לצורך ההמחשה בלבד, אפשר לדמיין את זה ככה: כדי למצוא חתולים בתמונות, אז אולי אחד הרכיבים עסוק בלחפש עיניים של חתול, ורכיב אחר עסוק בלחפש זנבות חתולים, וכן הלאה, ובשכבות מתקדמות יותר יש רכיב שצריך לשלב את כל המידע מהשכבות הקודמות כדי להגיע להחלטה, יש או אין חתול. בשלב הזה בעונה, אני לא חושב שכדאי שנפתח את תיבת הפנדורה שצוללת לתוך איך הרכיבים עצמם עובדים, ועדיף שנישאר ברמת הרזולוציה שהגדרנו כאן: יש לנו מערכת שמפמפמת מידע משמאל לימין, מעבירה אותו כמה שלבים של עיבוד בין רכיבים מדורגים, כשכל שלב בעיבוד יכול לקבל כקלט את התוצרים המעובדים של השלבים שקדמו לו. ולסיום הפירוט הזה אני רוצה גם לספר לאלו מכם שלא מגיעים מהתחום, שכשאתם שומעים על משהו בשם "רשת נוירונים" - מתכוונים בדיוק למערכת מהסוג שתיארתי כאן, לפחות בגרסתה הפשוטה ביותר.עם המבנה הזה בראש, בואו נקשר את זה לדדוקציה ואינדוקציה שדיברנו עליהן בשבוע שעבר. כפי שאתם זוכרים, דדוקציה זו הפעלת הכללים שמוטמעים במערכת על קלט חדש, וזה בדיוק מה שתיארנו כרגע. מגיעה תמונה, היא נכנסת משמאל, עוברת ניתוח בשכבה הראשונה, משם לשניה וכן הלאה דרך כל השכבות, עד שהמערכת מוציאה בסוף תשובה למשתמש. לדבר הזה קוראים, במונחים של מדעי המחשב Forward Propagation, פיעפוע קדמי, כשהמילה forward פה מרמזת על כך שהתנועה היא קדימה, משמאל לימין, מן הקלט אל הפלט. לעומת זאת, בשלב האינדוקציה, אנחנו רוצים ללמוד את הכללים. איך זה קורה? ובכן, כאן יש תהליך כפול. מתחילים באותו תהליך של פיעפוע קדמי, מסתכלים על התשובה שקיבלנו בסוף, ובודקים אם המערכת צדקה. בואו נניח שהיא טעתה - נניח אמרה שאין חתול בתמונה כשבעצם יש שם חתול. במקרה כזה אנחנו נותנים לה משוב, ואומרים לשכבה האחרונה - "טעות! יש כאן חתול! את צריכה לתקן את הכללים שלך כדי להכריע באופן מדוייק יותר על קלט שכזה". עכשיו, השכבה האחרונה הזו אומרת לעצמה: "אוקיי, אולי טעיתי בשיקול הדעת שלי, אבל יכול להיות גם שהבעיה היא במה שקיבלתי מהשכבה הקודמת. אולי שם היתה טעות. נניח, השכבה הקודמת אמרה לי שיש בתמונה עינים חתוליות בפינה השמאלית העליונה, אבל אולי אין כאלו". בשל המצב הזה, השכבה גם מבצעת אצלה, מקומית, תיקונים, וגם מספרת לשכבות שקדמו לה - "היי, עשינו טעות, בצעו בדק בית ושפרו ביצועים". וכך זה ממשיך אחורה ואחורה במערכת, כשכל שכבה גם מבצעת התאמות אצלה וגם מעבירה את המשוב לשכבה שלפניה. לתהליך הזה קוראים Back Propagation, פיעפוע אחורי, ונראה לי שברור לכם מה הסיבה: התנועה כאן היא הופכית, מהפלט אל הקלט.יש לנו הרבה מה להעמיק במערכות הללו, אבל כבר מתוך התהליך שתיארתי כאן עולה משהו מעניין: המערכות הלומדות הללו הינן מערכות מבוזרות, כשכל רכיב רק רואה חלק מהתמונה המלאה, וממילא קשה למקד איפה בדיוק ההחלטה לגביי החתול נעשית. והאמת, שווה לומר שיש עוד מערכות בעלות אופי דומה בעולם, כמו נניח מערכות של ביורוקרטיה ממסדית. דמיינו שאתם רוצים לקבל אישורי בנייה לאיזשהו משהו גדול, נניח איזה קניון. זה בוודאי דורש הרבה אישורים בירוקרטיים, הרבה אישורים בכל מיני רשויות, רשויות מקומיות, רשויות ארציות, בדיקות של תברואה, בדיקות של פגיעה במאגרי מים וטבע וכן הלאה וכן הלאה. אז אתם מגישים בקשה, וכל אחת מן הרשויות בוחנת את הבקשה מהזווית שלה, ומעבירה את המסמך שהיא חתמה עליו לרשות אחרת, וכן הלאה וכן הלאה, עד שזה מתנקז להחלטה מרוכזת אחת. גם כאן יש לכל רשות פרספקטיבה מקומית בלבד על הסיפור, וגם כאן אם תערערו על ההחלטה הסופית תצטרכו לעקוב אחרי מסלול הניירת מהסוף להתחלה כדי לגלות איפה התגלעו בעיות בבקשה שלכם. אז אפשר לחשוב על מערכות לומדות כמו שלנו באופן הזה, משרדים ביורוקרטיים שמעבירים ביניהם מסמכים כדי להחליט החלטות, רק שבמקום תקשורת מסמכולוגית, הרכיבים שלנו מתקשרים במספרים, המון מספרים, וגם הכללים שהם לומדים ומפעילים הם נוסחאות מתמטיות וסטטיסטיות. בפרק הבא אנחנו נדבר קצת על מה בדיוק המספרים הללו מייצגים, ובינתיים אנחנו נמשיך הלאה.מבין שני התהליכים, אינדוקציה ודדוקציה, נראה שהחלק של הדדוקציה הוא החלק הקל. הכללים כבר שם, נכון? רק צריך להפעיל אותם. שלב הלמידה, לעומת זאת, הוא מאתגר יותר: איך מלמדים מחשבים? אנחנו מדברים כאן על למידה מתוך ניסוי וטעיה, אבל לפני כחצי מאה, בעיקר בשנות השבעים והשמונים, היתה גישה אחרת לכך מאשר הגישה האינדוקטיבית. בתחום שלם שנקרא "מערכות מומחה" - Expert Systems - רצו ללמד מחשבים את הכללים באופן ישיר ומפורש, ולא להזדקק בכלל לשלב האינדוקציה. גם כאן, אפשר וכדאי לשאוב אינטואיציה מבני אדם. בני אדם אמנם יכולים ללמוד על ידי ניסוי וטעיה, אבל יש להם גם מסלול עוקף אינדוקציה: הוראה על ידי מישהו אחר. רובנו למדנו כשהיינו קטנים שאסור לגעת באש, אבל אם התמזל מזלנו למדנו את זה לא על ידי ניסוי וטעיה. אלא ההורים שלנו אמרו לנו לא לעשות את זה, ואולי גם הסבירו למה, ולכן לא עשינו את זה. כשמורה מלמד אותנו קורס פיזיקה באוניברסיטה, הוא בעצם חוסך לנו הרבה זמן של למידה אינדוקטיבית בכך שהוא מספק לנו את הכללים, את הנוסחאות - את כל התובנות שאנשים אחרים ירקו דם כדי לגלות ולנסח. לפעמים נידרֶש לבדוק שהנוסחאות נכונות באיזו מעבדה, אבל את הכללים מישהו אחר גילה וניסח, ואנחנו מקבלים אותם כנתון ופועלים על פיהם. כפי שאמר ניוטון - אם ראיתי למרחוק, זה בגלל שעמדתי על כתפי ענקים. כלומר, אצל בני אדם תיתכן למידה על ידי העברת ידע קיים לאנשים חדשים באופן מפורש, והטמעה שלו באופן ישיר במוחם של הלומדים, בלי שהם צריכים לעבור את תהליך האינדוקציה באופן עצמאי.ואכן, זה היה הרעיון מאחורי הרבה מערכות המומחה שהזכרתי קודם: בואו נכתוב תוכנה שבה, במקום שאיש התוכנה יגדיר את הפעולות שצריך לעשות, התוכנה תאפשר לאיש מקצוע בָּתְחום הרלוונטי להכניס בעצמו את הכללים למערכת. בשנות ה-60 וה-70 נבנתה מערכת בשם Mycin שהתמקדה בדיאגנוזה של מחלות מִדבקות, ומערכת בשם Dendral שהתמחתה בזיהוי מרכיבים כימיים לחומרים לא מזוהים. עוד דוגמה יש לנו ממאמר בשנת 1986, שבו השתמשו במערכת בשם APES כדי להטמיע במחשב את הוראת החוק הבריטי שקובע מיהו אזרח בריטי. ולא רק שהמערכות הללו פותחו, אלא שבשנות ה-80, כשהמערכות הללו היו חזית הטכנולוגיה, הרבה אנשים היו בטוחים ששם טמונה ההבטחה של ה-AI. עם מספיק מאמץ והשקעה, כך חשבו, נוכל לבנות מערכות שכאלו, להעביר להן את כל הידע האנושי, וכך נקבל רופאי-על ממוחשבים, עורכי-דין מטאוריים עשויים מסיליקון, וכן הלאה.אולי חלקכם אומרים לעצמכם: רגע, למה שזה בכלל ייחשב AI? פעם, מתכנתים כתבו את החוקים של התוכנה, ובתוכנות הללו שתיארת כאן המתכנתים פשוט מעבירים את השרביט למישהו אחר שיכתוב את הכללים. אתם יכולים לקרוא לכתיבה הזו של החוקים מה שתרצו, אפילו "למידה", אבל במה התוכנה הסופית שונה מתוכנה רגילה? רק הגמישות המקדמית של התוכנה?השאלה הזו מצויינת, ולכן שאלתי אותה! אני רוצה לענות עליה בשתי רמות. קודם כל, תמיד צריך לחזור לטיורינג היקר שלנו: לפי מבחן טיורינג, לא מעניינת אותנו שאלת המימוש, שאלת ה"איך זה בנוי". כל עוד זה מסוגל לעבור את מבחן טיורינג, מבחינת טיורינג זהו מכשיר תבוני. ובמקרה שלנו, מערכת APES שהזכרתי, שיכולה לענות על שאלות בתחום החוק הבריטי, יכולה אולי לעבור סוג של מבחן טיורינג מצומצם, כזה שמוגבל לשאלות ששואלים עורכי דין מומחים בתחום. אז אף אחד לא חשב ש-APES עוברת את מבחן טיורינג, אבל אפשר להבין למה חשבו שזה צעד בכיוון הנכון. זו סיבה אחת. מעבר לזה, ישנה גם סיבה עמוקה עוד יותר שמצדיקה את החשיבה לפיה תוכנות כאלו יכולות להפוך עם הזמן למשהו אינטלגנטי יותר מתוכנה קלאסית. הסיבה הזו היא שהתוכנות הללו התאפיינו בכמה יכולות חדשות שלא היו לתוכנות קלאסיות, שנראו כאילו הן מתקרבות לחשיבה אנושית. לצורך הדיון בואו נתמקד בתוכנת APES שמכילה את הכללים על אזרחות בריטית. יכולות הדדוקציה של התוכנה איפשרו לה לקבל מקרים מעניינים וחדשים שמעולם לא ראתה, לקבוע מה עמדת החוק לגביהם, או להתריע על סתירות מסעיפים שונים בחוק כמו גם על חורים בחוק. לדוגמה, אם החוק קובע שמישהו הוא אזרח בריטי רק אם אחד ההורים שלו היה אזרח בריטי בעת לידתו, מה יאמר החוק במקרה של תינוק עזוב שנמצא ברחוב ללא תעודת זהות? על ידי הפעלת הכללים הקיימים באופן אוטומטי במחשב, אפשר לגלות יחסית בקלות אם המקרה הזה מכוסה בכלל בחוק.דבר עוד יותר מגניב שאפשר היה לעשות, היה להתחיל מתוצאה מסויימת ולשאול את המערכת - האם יש מקרים שיובילו לתוצאה הזו. בעצם מה שנדרש כאן היה להפעיל את הכללים מהסוף להתחלה - לומר, "אם מישהו הגיע למעמד אזרחי X, זה יכול היה להיגרר רק מסעיפים א–ד בחוק, שהם יכולים להיווצר רק בסיטואציה 7". דברים מהסוג הזה היוו קפיצת מדרגה מבחינת יכולות לוגיות של מחשבים, קפיצה שהרגישה כמתקרבת יותר לעולם של חשיבה אנושית רציונלית. וכאן, אני רוצה לקוות, אתם מבינים איך זה גם מתקשר לתחילת הפרק. שכן לתהליך הראשון של בחינת מצב נתון ובדיקה מה החוק קובע לגביו קראו אז forward chaining, שרשור קדמי, ולתהליך השני של ספקולציה על מה יכול לגרום לתוצאה מסויימת קראו - backward chaining, שרשור אחורי. שמים לב לדמיון עם המונחים back and forward prop? זה לא סתם, אלא אותה אינטואיציה: באחד אתה מפעיל כללים קיימים על מקרה נתון, בעוד בשני אתה מקבע תוצאה מסויימת ובודק אם הכללים מסוגלים להכיל אותה ובאילו מקרים היא תתממש. גם במערכות הללו אפשר היה למדל את ההתנהגות שלהם כמו רכיבים קטנים של לוגיקה שמופעלים בשני הכיוונים. מה שהיה חסר למערכות הללו היה היכולת ללמוד - לא היתה שום דרך לעדכן באופן אוטומטי את הכללים. העדכונים יכלו לקרות רק על ידי הוראה מפורשת מפי המומחה.בסופו של יום, הכיוון הזה לבניית AI גווע וכך גם ההתלהבות ממנו. היו לכך הרבה סיבות, ונזכיר רק אחת חשובה לענייננו, והיא בעיה טכנית כבדה: זה קשה מאד להושיב מומחים לתחום X ולבקש מהם שיכניסו את כל הידע הזה שיש להם לתוך המחשב. למה זה מסובך? קודם כל, כי ככל שמישהו מומחה יותר כך הוא גם עסוק יותר ומבוקש יותר, אז אין לו זמן. ושנית, הרבה מהידע הזה אינו ידע שכתוב באיזה ספר, או אפילו מנוסח בצורה מודעת בראש של המומחה. חלק מזה זה הרגלים, או נוהגים לא רשמיים שכולם בתחום מכירים אפילו שזה לא כתוב בשום מקום, וכן הלאה. בשורה התחתונה, העברת כל הידע למחשב היתה דבר שנשמע נחמד בתיאוריה, אבל בפועל היה מאד קשה לההתקדם בכיוון.לאור הבעיה הזו, אפשר להבין את הכוח הפרגמטי של הגישה האינדוקטיבית בפתרון האתגר הזה: בגישה האינדוקטיבית, אין צורך להושיב מומחה מול המחשב, אלא אפשר פשוט לזרוק לתוך המחשב הרבה דאטה, והמחשב עצמו יחלץ את הכללים ממנו, בין אם הם כללים רשמיים ובין אם הם נרמזים מבין השורות. כמובן, הגישה הזו התאפשרה ברמה הפרקטית רק בגלל הרבה התפתחויות טכנולוגית חשובות שקרו בחמישים השנים האחרונות. קודם כל, הזמינות של המון המון דאטה מהמון המון סוגים היתה אבן דרך קריטית, שבין השאר נפתרה על ידי האינטרנט שהנגיש מאגרי נתונים חשובים לכל העולם. שינוי נוסף שקרה הוא ההתקדמות המטאורית בכוח המיחשוב וצניחה בעלויות שלו. רק כדי להמחיש עד כמה זה דרמטי, עשיתי בדיקה: שאלתי את GPT4 כמה זמן היה לוקח לאמן אותו אם היינו מנסים לעשות את זה עם טכנולוגיה של שנות ה-80 בלבד, אותם השנים שבהן מערכות המומחה כיכבו. התשובה שלו היתה: 2.7 מיליון שנה. בפועל, לקח לאמן אותו רק חצי שנה - אז תבינו איזו התקדמות טכנולוגית מטורפת קרתה כאן, ולמה יש דברים שגם אם פעם ידענו איך לעשות אותם על הנייר, הם נראו בלתי אפשריים בפועל ולכן לא קרו עד לאחרונה.אלא שבד בבד עם התחכום שיש במערכת שלומדת לבד מהדאטה, נוצרה לנו בעיה חדשה. שכן כחלק בלתי נפרד מזה שהעצמנו אותה ונתנו לה יכולת ללמוד תבניות לבד מהדאטה, איבדנו על הדרך את הוודאות שאנחנו נוכל להבין בעצמנו את התבניות שהיא מחלצת מתוך הדאטה. כאן אנחנו בעצם נוגעים בתחום שלם שקוראים לו לפעמים AI Explainability, או "מובנותה של הבינה המלאכותית". חלק מהבעיה מגיעה ממה שראינו קודם, כשדיברנו על הביזור של המידע בין הרכיבים הרבים שמרכיבים את הקופסא השחורה שלנו, מה שמצריך חיבור פאזל לכדי סיפור שלם. עכשיו, אנחנו נראה עוד זווית של אותה הבעיה.בואו נחשוב שוב על אפליקציית החתוליה שלנו. למה מראש חשבנו שבכלל אפשר לתכנת מחשב שיזהה אם יש או אין חתול בתמונה? אחת הסיבות הפשוטות לכך היא שבני אדם עושים את זה כל הזמן, אז כנראה שזה אפשרי. אנחנו מסתכלים בעזרת העיניים שלנו על תמונות, והמוח שלנו מסוגל לזהות אם יש שם חתול או לא. ואפילו אם פה ושם נטעה, בגדול אנחנו עושים עבודה ממש ממש טובה בזיהוי הזה. אבל בו זמנית שאני משוכנע שזה אפשרי לתכנת, אם הייתם אומרים לי לנסח כללים שיסבירו איך אני יודע אם יש שם חתול או לא, לא נראה לי שהייתי מצליח. תזכרו שהכללים הללו צריכים לעבוד בתמונות שחור לבן כמו בתמונות בצבע; בזום-אין על הפרצוף של החתול או בזום אאוט כשרואים רק את הזנב שלו; צריך להתמודד עם זוויות צילום שונות וסוגי תאורה שונים, ומעל כל זה צריך להיות מסוגלים להבחין בין חתול לבין כלב לבין עכבר. כלומר, אפילו שאנחנו עושים את זה באופן אינטואטיבי, רובנו ואולי כולנו נתקשה להגדיר במדוייק מהם הכללים שהמוח משתמש בהם כדי להצליח לזהות חתולים. ולכן, כשאנחנו נותנים למכונה הלומדת לחלץ את התבניות הללו בעצמה, אנחנו נצטרך לאפשר למכונה מקסימום גמישות בזיהוי והגדרת הכללים הללו, כולל לצאת ממרחבים שאינטואטיבים לנו אל עבר הלא נודע, נכון? גם כללים שלנו נראים לא הגיוניים או אינטואטיבים, מבחינתנו היא יכולה להשתמש בהם אם זה ישיג את התוצאה הנדרשת של זיהוי חתולים.כיוון שכך, כשהמכונה סוף סוף מצליחה לזהות חתולים, אם נבקש ממנה לספר לנו מהם הכללים שהיא מאמצת, זה לא יפתיע שיהיה לנו קשה להבין את התשובה שלה. לנו זה יראה, רוב הזמן, כאוסף גדול של מקרים ותגובות, במקום משהו אלגנטי כמו המשוואה המפורסמת של איינשטיין E=mc2. וכאן הקונטראסט למערכות מומחה מאד בולט: השפה של הכללים שם היתה שפה אנושית שמומחה כלשהו הכניס למערכת, ולכן היה לנו קל להבין עבור כל מקרה מה היה ההיגיון שהוביל להחלטה שלה. אבל עכשיו, במערכות הלומדות שתיארנו כאן, השפה שבה הכללים מנוסחים היא שפה שמחשב משתמש בה - מספרים ומשוואות. ממילא, זה מאד שכיח בעולמות ה-AI שאנשים מייצרים לעצמם מודלים מאד חזקים שמסוגלים לעשות המון דברים, כמו לזהות חתולים בתמונות, אבל שקשה מאד אפילו לאנשים הטכניים להבין מה הכללים שהמערכת משתמשת בהם בפועל. נכון, אפשר בהינף מקלדת לקבל את כל הנוסחאות שהמחשב משתמש בהן - אבל את המשמעות שלהן, למה דווקא הכללים הללו או הנוסחאות הללו עושות את הקסם הזה - את זה אין לנו דרך להבין רוב הזמן. הגישה שהמחשב יבחר בה כדי לגשת לפתרון בעיית זיהוי החתולים יכולה להיות שונה באופן קיצוני מגישה אנושית, כמו שציפורים ומטוסים עפים בצורות שונות מאד זו מזו. לנו יש אינטואיציות שמותאמות לנו, אבל הגמישות שנתנו בידי המחשב אומרת שהוא יכול להתכנס לכיוונים שמונחים על ידי אינטואיציה אחרת לגמרי, כזו שתהיה לנו קשה להבנה. בואו נעמיק בבעיית המובנות כתוצאה מהשפה שהמחשב מאמץ, מעוד זווית, דוגמה שתיתן לעניין קונקרטיזציה מסויימת. דרך הדוגמה הזו אני מקווה שתבינו באופן חד יותר איך עודף הגמישות הזה שאנחנו נותנים למחשב יכול לייצר מערכת שתבלבל אותנו כשננסה להבין את הכללים שפיתחה. והדוגמה הזו היא ממערכת השמש.כולנו בוודאי יודעים שהיו, לאורך ההיסטוריה, שתי גישות מרכזיות לתיאור האופן שבו גרמי השמיים נעים. הגישה הראשונה, שהתמסדה במאה הרביעית לפני הספירה על ידי אריסטו ותלמי, היתה הגישה הגיאוצנטרית, לפיה כדור הארץ נמצא במרכז היקום והשמש ושאר הפלנטות סובבות סביבו. הגישה השניה, שאותה פיתח קופרניקוס במאה ה-16 ושגלילאו תמך בה אפילו במחיר של עימות מול הכנסיה, היא זו שמקובלת כיום: הגישה ה"הליוצנטרית", לפיה השמש היא במרכז והפלנטות סובבות סביבה.יש הרבה סיבות מדוע אנחנו מעדיפים כיום את הגישה ההליוצנטרית כתיאור נאמן ועדיף יותר מבחינה מדעית. אבל חשוב גם שנזכור שמבחינה מתמטית שתי האפשרויות הינן נכונות באותה מידה. כלומר, באותה מידה שאפשר לצייר את השמש במרכז ואז לצייר את תנועת הכוכבים והפלנטות סביבה, אפשר לעשות אותו הדבר כששמים את כדור הארץ במרכז, כנקודת הייחוס לכל החישובים שלנו. והאמת היא שכדור הארץ גם לא מיוחד בזה - כל נקודה ביקום שנבחר כנקודה ארכימדית, נקודה יציבה, ופשוט נפנה את המצלמה אל כל הגופים האחרים ביקום כפי שהם נראים מהזווית שלה - אפשר לתאר את התנועה שלהם ביחס לנקודה היציבה שבחרנו. עכשיו, אם זה ככה, למה אנחנו מעדיפים את הגישה ההליוצנטרית? למה זה היה כל כך חשוב לגלילאו לבוא ולהגיד, בוא נעבור להסתכל על השמש כמרכז, ועל כל הפלנטות כסובבים את השמש? אחת התשובות העיקריות היא כי כשמסתכלים על הפלנטות ככה, הכל יותר אלגנטי ופשוט יותר לפירמול מתמטי. יש משהו במרכז, וכל הגופים האחרים עושים מסלול של מעגל, או יותר נכון אליפסה, סביב אותו מרכז. לעומת זאת, כאשר שמים את כדור הארץ במרכז ומציירים את תנועת הפלנטות, הם נראים כאילו הם מתחילים להשתולל. הם עדיין בסוף מסתובבים סביב כדור הארץ, אבל מסלולי התנועה שלהם מוזרים, שחלקם נראים כמו עלי כותרת של פרח, מתקרבים לכדור הארץ ואז מתרחקים באופן חד, ועוד כל מיני צורות מעניינות. במדע אנחנו אוהבים לומר שפשטות היא סימן לנכונות, שהיא כנראה משקפת איזשהו סדר יותר עמוק במציאות. ולכן אנחנו כבני אדם מעדיפים את האופציה ההליוצנטרית דווקא.אבל - האם למחשב יש העדפה כזו? לא ממש. אם נציג למחשב את תנועת הכוכבים לאורך אלף שנה, ונבקש ממנו לבנות נוסחאות שאיתן נוכל לחזות את התנועה בעתיד, אין שום דבר שיחייב אותו להתכנס דווקא למודל ההליוצנטרי. הוא יכול ללמוד את התבניות מזוויות גיאוצנטרית באותה מידה. מרוב זה שהוא גמיש, מרוב זה שהוא יכול לבוא וללמוד חוקים חדשים וכללים חדשים ואיננו כבול לאינסטיקטים אנושיים של מה זו אלגנטיות מדעית, זה יכול לקרות. כמובן, אולי לא אכפת לכם. אולי אתם מסתפקים בכך שיש לכם מכונה שדופקת עבודה ומצליחה לחזות את תנועת הכוכבים. אבל זה אך טבעי שיהיו כאלו שיגידו: אולי מתוך מבט על מה שהמכונה למדה נוכל לקבל תובנות על היקום? הרי היא מצליחה לחזות דברים מורכבים ביותר, אז בטח שם בפנים מחכה לה תובנה עסיסית או שתיים, לא? אלא שכפי שאמרנו, באותה המידה שיכול להיות שתפתחו את מכסה המנוע ותגלו שם את המודל ההליוצנטרי האלגנטי, יכול להיות שתמצאו דווקא את המודל גיאוצנטרי, ולפיו כל פלנטה זזה קצת אחרת מהשניה, באופן שהוא מאד מבלבל ולא אינטואטיבי. בעוד המערכת הראשונה תלמד אותנו משהו על היקום, מהחשיפה למערכת השניה אנחנו נצא מבולבלים, כי לא היינו מצליחים להבין מה המסר, ולא היה ניתן להשליך את המודל שהיא חשפה למרחבים אחרים של ידע. בואו נשווה את מה שאחנו אומרים כאן למה שדיברנו עליו בפרק שעבר, בסיפור עם האנס הנבון. שם, החשש שהעלינו היה שאולי מה שהמכונה למדה הוא טעות, או זיוף, כמו האנס האהוב שלנו שלמד לזהות שפת גוף ולא חילוק ארוך. אבל במקרה שלנו מדובר בבעיה דקה יותר ובמידה מסויימת מטרידה יותר: בשתי האפשרויות שתיארתי כאן המערכות הממוחשבות מדוייקות באותה מידה, וזיהו באותה מידה של דיוק את התבניות של גרמי השמיים. אף אחת מהן איננה זיוף או אשליה יותר מהשניה. אבל עדיין, באינטואיציה אנושית אחת מהן מספקת תובנות עומק זמינות לשימוש, בעוד השניה מספקת לנו רק בלאגן, בליל של כללים שאולי עובד בשטח אבל לא מעבר לזה. באופן אינטואטיבי אפשר אפילו לומר שאם היינו נוחתים על המודל הגיאוצנטרי, היינו קצת, בסתר ליבנו, מורדים במבחן טיורינג: היינו חשים, אני חושב, שלא רק מבחן התוצאה חשוב, אלא גם הדרך שמשיגים את התוצאה חשובה לא פחות.אז בואו נתחיל לסכם. ראינו כאן איך המעבר מלמידה על ידי הוראה מפורשת מפי בני אדם, ללמידה עצמאית של המערכות הללו, פותרת סט אחד של בעיות ומייצרת סט אחר. באופן גס, אולי אפשר לומר שסט הבעיות שנפתר הינו סט בעיות הנדסי: איך לבנות מערכת מאד גמישה, שיכולה להתאים את הפעילות שלה להמון סיטואציות. אותה מערכת לזיהוי חתולים תוכל לזהות גם יצורים אחרים, הכל לפי כמות וסוג הדאטה שתיחשף אליו. אם נביא למערכת הרבה תמונות שבהן מסומנים ציפורי דרור, היא תזהה את ציפורי הדרור. מהרגע שהמערכת נבנתה, היא נתונה בידיו של המשתמש להחליט על איזה דאטה לאמן אותה ולאיזו מטרה.אבל בד בבד שהבעיה ההנדסית נפתרה, נוצרה על הדרך בעיה אנאליטית: אפילו שאנחנו בנינו את המערכת, אנחנו פעמים רבות לא נוכל להסתכל עליה ולהבין למה ואיך היא מחליטה את הדברים שהיא מחליטה. כשנקבל פלט מהמערכת, אין לנו דרך לדעת למה דווקא פה זה מה שהיא החליטה. ולדבר הזה יש השלכות שחשובות לענייננו: קודם כל, זה קצת מקשה עלינו לענות על השאלה, האם המערכות הללו תבוניות? משהו בתוכנו היה מצפה לפתוח את מכסה המנוע, וכמו בסרטים שיזרח מבפנים אור לבן בוהק שימחיש שכן, נוצרה כאן תבונה, נוצר כאן מוח כמו המוח האנושי ואולי משהו שמעליו. אבל במקום זה אנחנו מקבלים משהו שנראה יותר כמו אוסף ענק של כללים שרירותיים, ואנחנו תוהים - אולי אין כאן דבר מלבד רשימה ארוכה ויבשה של מקרים ותגובות? גם אם המערכת הזו עוברת את מבחן טיורינג, זה מרגיש שהיא עוברת אותו באופן, איך נאמר, מאכזב. כמו כן, לחוסר המובנות של המערכת יש גם תופעות לוואי לא פשוטות, שכן תחשבו על השאלה - מי אחראי חוקית על הפעילות של מערכת שכזו? הבעלים שלה? מי שכתב את התוכנה? מי שאימן אותה? ככל שההבנה שלנו את מה שהיא עושה היא מוגבלת, כך קשה להגדיר את גבולות האחריות המשפטית שיש לכל צד בסיפור הזה.אז זהו להיום! כמובן, חשוב לי לציין שתחום המובנות של AI הוא תחום מחקר נרחב, ולאורך זמן מדענים מצליחים לפענח חלקים ממה שמערכות ה-AI עושות בקישקעס שלהם. אבל הטיעון שניסיתי לפתח כאן היה לומר שכמעט תמיד אנחנו נהיה בפיגור גדול מאחורי הבנת המערכות הללו. אולי אני צודק, ואולי אני טועה - ימים יגידו! מה שחשוב הוא שעכשיו, בתקווה, יש לכם קצת יותר כלים אנאליטיים לדעת כיצד לגשת לנושא. הכלים הללו יוכלו לשמש אתכם וגם אותי ככל שהטכנולוגיה תתקדם, לבדוק האם משהו מהותי השתנה.בכל אופן, בפעם הבאה אנחנו נסתכל על השאלה - איך מחשבים מבינים שפה, ואיך מספרים להם מה יש בתמונות? שני הדברים הללו, כפי שנראה, הם סופר קריטיים כדי לענות על השאלה שלנו האם מחשבים הם תבוניים, וזאת כי דרך שתי הנקודות הללו נבין גם חלק מהגאונות שבמערכות הללו, אבל גם נתחיל לראות איפה המטריקס של הבינה המלאכותית מסתיים והמציאות מתחילה. ועד אז… This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit elishasangles.substack.com

שלום כולם, וברוכים הבאים לאלישע והזוויות. היום יום שישי, ה-16 לאוגוסט 2024, י"ב אב תשפ"ד. במקור, תכננתי שהשבוע אוציא את הפרק הרביעי של העונה השניה, והוא באמת כמעט יצא, אבל בשל צום תשעה באב הדברים התעכבו - אז חכו עוד שבוע, ולא תתאכזבו.אפילו שהדברים תוכננו אחרת, אני דווקא חושב שזה טוב שזה יצא ככה. ביום שני הקרוב מתחילה הועידה הדמוקרטית בשיקגו, והאדמה שם רותחת מתחת לפני השטח, ואולי כבר מעל פני השטח. העימותים הפנים-פרוגרסיבים מתפרצים החוצה, בעיקר סביב הנושא של התמיכה בישראל, וכל מני גורמים אנטי-ישראלים מתכננים שם הפגנות מחאה ועוד ועוד. ולכן, נראה לי שזה הזמן המושלם לפרק הזה: זווית אישית עם ד"ר קובי ברדה, מומחה לפוליטיקה האמריקאית ובעל הפודקאסט "אמריקה בייבי", שאיתו נצלול קצת למה שקורה שם מעבר לים. הדיון שלנו יהיה יותר פוליטי היום, אבל עדיין עם העמקה בתהליכים שמביאים לביטויים הפוליטיים. חוץ מזה, בפרק הזכרנו גם את הסיפור של Evergreen College, ובהמלצתו של קובי אני מצרף כאן את הלינקים לשלושת החלקים של הסרט עליו - מוזמנים לצפות ולהיזכר בימים הטובים של פרק 5 מהעונה הראשונה…מקווה שתהנו! וניפגש בשבוע הבא עם עוד ענייני בינה מלאכותית.להתראות… ביי… This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit elishasangles.substack.com