רגע, כבר יצא לכם להשלים משפט בראש?
אתם יושבים עם חבר בבית קפה, והוא מתחיל לומר “אתמול בעבודה כמעט…”, והמוח שלכם מיד מנחש “התפוצצתי מצחוק” או “הברזתי לכולם”.
אנחנו עושים את זה כל הזמן – משערים מה המילה הבאה תהיה עוד לפני שהיא נאמרת. זו תכונה טבעית של בני-אדם, והיא בדיוק הרעיון שמאחורי מודלי השפה.
אז מה זה בעצם “מודל שפה”?
מודל שפה הוא תוכנה שלומדת מראש כמויות עצומות של טקסט ומנסה לחזות מה המילה הבאה במשפט, צעד אחרי צעד. אם תתנו לה התחלה של משפט, היא תמשיך אותו על סמך דפוסים שראתה במהלך האימון. התוצאה נראית כמו כתיבה אנושית, אבל בפועל מדובר בחישוב הסתברויות: איזו מילה הכי סבירה לבוא עכשיו? ובכל פעם שהמודל בוחר מילה, הוא חוזר על אותו תהליך כדי לבחור את הבאה אחריה.
כמו משחק “השלם את המשפט”
דמיינו שאתם משחקים עם חברים – כל אחד מוסיף מילה לסיפור בתורו. אם שמעתם עד כה “החתול טיפס על…”, קרוב לוודאי שתציעו “העץ”. המשחק מצליח כי כולנו מכירים חוקים לא כתובים של השפה והעולם. מודל שפה עובד דומה: הוא “שומע” חלקי משפט ממאגר הנתונים עליו הוא אומן, לומד את ההמשכים הסבירים, וכשיגיע תורו להוסיף מילה הוא ישלוף את הבחירה שהכי מתאימה להקשר, כאילו ישב איתנו במשחק הקופסה הזה.
איך GPT עושה את זה מאחורי הקלעים
GPT בנוי ממיליוני “נורונים” מתמטיים שמסודרים בשכבות. בזמן האימון הוא קורא טקסט, מסתיר מילה אחת, ומנסה לנחש אותה; הטעות שלו נמדדת, והוא מעדכן את המשקלים הפנימיים כך שבפעם הבאה ינחש טוב יותר. התהליך הזה חוזר טריליוני פעמים עד שהמודל לומד קשרים עדינים בין מילים, מושגים וסגנונות כתיבה.
כשהמודל מוכן לשימוש, אתם מקלידים שאלה או בקשה, והוא הופך את המילים למספרים, מעביר אותן דרך השכבות שחילצו בזמן האימון תבניות סמנטיות ודקדוקיות, ומחזיר תשובה במילים.
למודל אין הבנה מודעת של העולם, אבל הוא מחזיק מפה סטטיסטית עשירה שמאפשרת לו: לנסח רעיונות מחדש, להציע כותרות, לכתוב קוד בסיסי, לתרגם שפות, ולנתח סנטימנט – הכול פשוט כי ראה דוגמאות דומות בעבר והפנים איך משפטים כאלה נראים.
מה תוכלו לעשות עם זה מחר בבוקר
1. לנסח מיילים או פוסטים מהר יותר – תנו כותרת, בקשו ניסוחים חלופיים ובחרו את המתאים לכם.
2. סיכום מסמכים – העתיקו טקסט ארוך, בקשו תמצית בשלוש נקודות וחסכו זמן קריאה.
3. סיעור מוחות – זרקו רעיון ראשוני, בקשו מהמנוע רשימת כיוונים, ואז לטייב כל כיוון בנפרד.
4. תרגום או התאמה תרבותית – עברית לאנגלית ולהפך, כולל טון רשמי או קליל על פי צורך.
5. בניית תבניות שיחה – הגדירו “פרסונה” רצויה (למשל, יועץ שיווקי) וקבלו תשובות עקביות בסגנון שנוח לכם.
כשהתיאוריה פוגשת את המסך שלכם
אתם כותבים בקשה ל-ChatGPT, מקבלים תשובה מרשימה, ואז מוסיפים שאלה המשך – ופתאום נדמה שהמודל שכח לגמרי מה סיפרתם לו לפני דקה. זו לא עצלות שלו, אלא מגבלה מובנית שנקראת חלון הקשר: המודלים זוכרים רק כמות מוגבלת של מילים אחרונות. כשהשיחה מתארכת, חלק מהטקסט נדחק החוצה וזה נראה כאילו הוא התעלם. אותה תופעה מורגשת גם ב-Claude וב-Bard, פשוט כי כולן נשענות על אותו עיקרון סטטיסטי של “מה סביר לבוא עכשיו” מתוך רצף המילים שהועבר אליו ברגע זה.
רגע אחר אתם מבקשים סיכום מאמר, והמודל מסתבך במינוחים או טועה בעובדות. הסיבה לכך קשורה לאופן שבו הוא “לומד” מן האינטרנט: הוא לא מחזיק מאגר ידע קבוע כמו אנציקלופדיה, אלא מפזר הסתברויות. אם הטקסט שהוזן לו דל בפרטים, או שהנושא נדיר בחומר האימון, הוא משלים פערים באמצעות ניחוש מחושב. כאן נולדות “הזיות” – משפטים שנשמעים סמוכים על המקור, אך בעצם ממציאים שמות מאמרים או נתונים. Midjourney חווה משהו דומה כשמבקשים ממנו ציור של דמות היסטורית לא מוכרת; הוא מחבר פרטים בסגנון שנראה הגיוני, אבל לא בהכרח נכון.
גם עניין ה-“נתקע באמצע” מוכר: לפעמים אתם מקבלים תשובה שנחתכת בפתאומיות. מאחורי הקלעים פועל מנגנון בקרה על אורך ההשלמה, כדי למנוע מהמנוע לחולל מגילות אינסופיות. אם בחרתם באפשרות הפלט הקצרה מדי, או שהמודל מסתבך במשפט תלוי, הוא פשוט עוצר. אותה נקודה שבה הוא קופא אינה שגיאה לוגית אלא החלטה תפעולית – עדיף לעצור מאשר לגלוש לחזרתיות משעממת.
הטמפרטורה – אותו מספר קטן שמוצג באופציות המתקדמות – מסבירה למה לפעמים אתם מקבלים ניסוחים רעננים ולפעמים תשובה בנאלית. ערך גבוה אומר “תתפרע קצת”, ולכן יופיעו יותר הפתעות לשוניות, בעוד ערך נמוך מקבע את המודל לבחירות השכיחות ביותר. מי שעובד עם Midjourney מכיר תכונה דומה תחת שם ה-stylize: ככל שמעלים, כך התמונה מתרחקת מהמציאות ומגלה יצירתיות צבעונית.
ברגע שמבינים את החוקים האלו, העבודה נעשית מדויקת יותר. לפני דיאלוג ארוך, חשוב להזכיר מחדש את הנקודות המרכזיות כדי לשמור אותן בתוך חלון הקשר. כשרוצים ציטוטים אמינים, כדאי לבקש מן המודל לציין מקור ולבדוק אותו ידנית, ממש כפי שהייתם עושים עם מקור אנושי. אם התשובה נקטעת, פשוט אמרו “המשך מהמקום שבו הפסקת” – רוב הזמן הוא ישלים את המשפט מילה במילה. ולניסוח יצירתי שמרגיש שטחי? הורידו מעט את הטמפרטורה, או ספרו לו במפורש באיזה טון וסגנון תרצו להשתמש. כך הופכים את סטטיסטיקת המילים למכחול שבאמת מצייר את מה שהיה לכם בראש.
