מהו מודל טרנספורמר (Transformer Model)?

פתיחה יומיומית

אתם יושבים בו-זמנית בוואטסאפ, במייל ובפיד של פייסבוק, וכל הודעה קופצת עם סגנון שונה: בקשה מהבוס, בדיחה מחבר וקופון מקניון. איכשהו, אתם מיד מבינים מה שייך לאן ומגיבים בהתאם. מוחכם ממיין את השפה וההקשר בלי להתאמץ, כאילו יש בו מתורגמן פנימי שמכיר את כולם.

הגדרה פשוטה

מודל טרנספורמר הוא שיטה ממוחשבת שמנסה לחקות את היכולת הזאת: להבין רצפי טקסט, תמונה או קול, ולענות בצורה שמרגישה טבעית. הוא עושה זאת על-ידי "תשומת לב" דיגיטלית – בחירת המילים או החלקים החשובים מתוך ים המידע, במקום לעבור שורה-שורה כמו רובוט. GPT, לדוגמה, הוא משפחה של טרנספורמרים שאומנה על אינספור דפי אינטרנט וספרים, וכעת מצליחה להמשיך משפט, לכתוב מכתב או לייעץ במתכונים. כל תגובה שאתם מקבלים ממנו היא חיבור מחושב של חלקי משפטים שלמד בעבר, לא ציטוט ישיר.

כמו שף במטבח פתוח

דמיינו שף שעומד במטבח פתוח ומבשל מול קהל. במקום ללכת לפי מתכון אחד, הוא מרפרף בין עשרות דפים בראש, מזהה בזמן אמת מה מתאים למנות שכבר הזמינו, ואם נשארו לכם שאלות על אלרגיות הוא משנה את התיבול. כך גם הטרנספורמר: הוא מחזיק "ספר מתכונים" ענקי של דוגמאות לשפה, מזפזפ ביניהן בתשומת לב ממוקדת, ובוחר את ה"מצרכים" (מילים) שמתאימים בדיוק לשאלה ששאלתם עכשיו.

למה זה חשוב לכם ואיך להפיק יותר

כשאתם יודעים ש-GPT בוחר מילים לפי דפוסים שלמד, ולא "יודע" עובדות כמו אנציקלופדיה, אתם יכולים לשאול שאלות בצורה ממוקדת ולבקש מקורות. זאת הסיבה שכדאי לנסח הוראות ברורות: ציינו סגנון, קהל יעד ומספר נקודות שתרצו לקבל, והמודל יכוון את "תשומת הלב" שלו בהתאם.

כדי לקבל תשובות עקביות, המשיכו את השיחה במקום לפתוח חדשה; המודל זוכר את ההקשר הטקסטואלי ומסתמך עליו בבחירת המילים הבאות. אם אתם מקבלים תשובה לא מדויקת, אל תתייאשו – פשוט תקנו את העובדה בטקסט, והטרנספורמר יעשה התאמה מיידית, כי מבחינתו זו עוד דוגמה ללמידה על המקום. לבסוף, זכרו שהמודל מצוין בהרחבה ויצירת ניסוחים, אך פחות טוב באימות מידע עדכני, לכן משלבים אותו עם חיפוש ברשת או בודקים מול מומחה אנושי. כך תנצלו את הטרנספורמר כעוזר יצירתי ולא כסמכות יחידה.

מה קורה מאחורי הקלעים כשאתם לוחצים Enter

ברגע שההודעה שלכם נוחתת ב-GPT היא נחתכת ל”טוקנים” – חתיכות מילים קצרות שאפשר לחשב עליהן הסתברויות. המודל עובר על כל הטוקנים בבת-אחת, קצת כמו שאתם סורקים במהירות רשימת מקומות ישיבה במסעדה ומייד שמים לב לשולחן הפנוי ליד החלון. זו ה”תשומת הלב” המפורסמת: מנגנון שמזהה אילו מילים משפיעות ביותר על ההמשך ומעניק להן משקל גבוה.

אחרי חלוקת המשקולות, המודל מחשב אילו מילים יכולות לבוא עכשיו ומדרג אותן. ChatGPT למשל בוחר את המילה בעלת הסיכוי הגבוה – או מוותר עליה אם ביקשתם “כתיבה יצירתית” והעליתם את רמת האקראיות. אותו טריק עובד גם ב-Claude וב-Midjourney, רק שבמקום מילים הם מדרגים משיכות מכחול דיגיטליות או פיקסלים. בכל מקרה, ההתנהגות דומה: תשומת לב, דירוג אפשרויות, בחירת ההמשך.

כשהזיכרון מתמלא והדמיון מתפרע

ל-GPT יש “חלון הקשר” מוגבל: כמו שולחן עבודה שבו אפשר לפרוס רק מספר סביר של דפים. כשהשיחה מתארכת, הדפים הראשונים נדחקים החוצה, והמודל כבר לא “רואה” אותם. לכן הוא פתאום שוכח שהגדרת מראש טון רשמי או הגבלת אורך. אותו לחץ מרחב גורם לפעמים לחזרה מעגלית על משפטים – סימן שהמודל מנסה לשמור על עקביות עם מה שעדיין בזיכרונו המצומצם.

ומה לגבי “המצאות” מפתיעות? כאן נכנס שלב דירוג המילים. אם אין במשפטים הקודמים מספיק רמזים, המודל משלים פערים על בסיס דוגמאות דומות שנלמדו בתקופה אחרת. בשבילכם זו נראית “שטות” מוחלטת, אך עבורו זו ההשלמה הסבירה ביותר כרגע. מעלת האקראיות משפיעה: בחירה יצירתית יותר תוליד גם סיכון גבוה יותר לנתונים לא-מדויקים.

איך זה מרגיש בממשק היומיומי

אתם מבקשים מ-ChatGPT לנסח מייל קצר, והוא גולש לפתע לשיר הלל בשפה פרחונית. הסיכוי שזה יקרה עולה אם בתיבת הצ’אט מופיעות דוגמאות קודמות עם סגנון כזה, כי הן מושכות את תשומת הלב של המודל כמו מגנט. ב-Claude אולי נתקלתם במצב שבו הוא עונה חלקית ואז “נתקע” – זה קורה כשדירוג המילים מוביל ללולאה פנימית שלא חוצה את סף הביטחון, ולכן המערכת מפסיקה את ההפקה במקום לסכן משפט סתום.

גם Midjourney מראה את אותה תופעה חזותית: אתם מזינים תיאור נקי, מקבלים דימוי עמוס פרטים שלא ביקשתם, ומגלים שבמנוע יש עודף זיכרון על פרומפטים פופולריים מהקהילה. ברגע שמבינים שהמודל לא קורא מחשבות אלא מנחש לפי סטטיסטיקה, ההתנהגויות האלו נראות פתאום הגיוניות – ואפילו צפויות.

ליישם את ההבנה: שיחה ממוקדת ותוצאות מדויקות

אם שמתם לב שהמודל מתחיל לשכוח, אל תמתינו לרגע הקריסה. סיימו קטע אחד, בקשו סיכום קצר ואז המשיכו – כך אתם “מרעננים” את החלון ומעבירים קדימה את המידע החשוב באמת. כשרוצים תשובה יציבה, הורידו את רמת האקראיות וציינו מפורשות “הישאר במסגרת הנושא”. מנגד, לפרצים יצירתיים דווקא העלו את האקראיות והשאירו הוראות פתוחות.

רוצים למנוע המצאות? הוסיפו צמד מילים כמו “אסמך למקורות” או “בדוק עובדות”. הדרישה הזו מזכירה למודל שהמשפט הבא אמור לכלול אסמכתא, ולכן היא מקבלת משקל גבוה בתשומת הלב. במידת הצורך, אל תהססו לעצור אותו באמצע ולתקן: “נתון זה אינו נכון, השתמש בנתונים עדכניים יותר”. התיקון שלכם נכנס מיד לחלון הקשר, מהדק את המשקולות ומכוון מחדש את החיזוי. כך כל שיחה הופכת לפינג-פונג מודע ולא למופע קסמים בלתי מפוענח.