מהי הסקה (Inference)?

רגע לפני הלגימה הראשונה

אתם פותחים את הבוקר, לוקחים שלוק מהקפה ומקלידים שאלה בצ'אט-GPT. אחרי שנייה מתנוססת על המסך תשובה שלמה שנשמעת כאילו מישהו באמת ישב וחשב. ברגע הזה התרחש תהליך שנקרא "הסקה".

אז מה זה בעצם הסקה?

הסקה היא הרגע שבו המודל משתמש בכל מה שלמד בשלב האימון כדי לייצר תשובה חדשה על בסיס הבקשה שלכם. הדבר דומה לשליפת פיסות ידע מאינספור ספרים שהוא כבר קרא, חיבורן יחד והצגתן בשפה טבעית. בפועל, המחשב רק מחשב מספרים, אבל עבורכם זו יצירה של תוכן רענן ומותאם. אם האימון הוא בית-הספר של המודל, ההסקה היא המבחן שבו הוא מציג מה הבין.

כמו לבשל לפי מתכון

דמיינו שיש לכם מדף מלא ספרי בישול שכבר עברתם עליהם מקרוב. כשחבר מבקש "תכין לי ארוחת ערב טבעונית", אתם לא חוזרים לקרוא את כל הספרים מהתחלה. במקום זאת אתם שולפים מהזיכרון את השילוב המדויק של מרכיבים וטכניקות, מרכיבים מנה ומגישים אותה בזמן קצר. כך גם המודל: הוא אינו "לומד" מחדש בכל שאלה, אלא שולף את הידע שכבר אגר ומחבר אותו למנה – כלומר לתשובה – שמתאימה לבקשה הנוכחית.

איך למנף את ההסקה לטובתכם

כשאתם יודעים שהמודל שולף ידע קיים ולא מחפש מידע חדש בזמן אמת, ברור למה ניסוח מדויק של השאלה משנה הכול. נסו לפרט בדיוק מה אתם רוצים לראות: סגנון, אורך, דוגמאות או קהל יעד, וכך תכוונו את תהליך ההסקה למקום הנכון. גם הבהרה של מה לא לכלול יכולה לחסוך לכם זמן עריכה אחר כך.

עוד טיפ שימושי: אל תפחדו לשאול שוב עם שינוי קטן בפרומפט. כל שינוי כזה מפעיל הסקה חדשה, ויכול להפיק וריאציות שמביאות את התשובה המדויקת. לבסוף, זיכרו שהסקה עולה בחישוב ובזמן, לכן כדאי לשמור את הפרומפטים הטובים – בפעם הבאה תחסכו גם שניות וגם tokenים.

כשזה מרגיש שהמודל 'חושב' יותר מדי

הפעולה שאנו מכנים "הסקה" דורשת מהמודל לסרוק מהר מאוד מיליוני שורות של ייצוגים מתמטיים ולבחור את המילה הבאה בעלת הסבירות הגבוהה ביותר. כשאתם יושבים מול ChatGPT ורואים נקודות מתרוצצות על המסך, זה לא משום שהמודל נזכר לפתע ללמוד משהו חדש, אלא מפני שהחישוב הזה מתרחש בזמן אמת ומושפע מאורך הבקשה שלכם, מרמת הפירוט שהתבקשה ומהעומס על השרתים באותו רגע. ב־Claude או בגרסאות דחוסות של Midjourney עיכוב דומה מופיע כשהבקשה כוללת תיאורים מורכבים, מפני שהמודל צריך "לעבור" בנתיב חישובי ארוך יותר כדי להרכיב תוצאה שמכילה את כל הפרטים.

הזיכרון שהולך ומתמלא

במהלך שיחה ארוכה נדמה לעיתים שהמודל "שכח" מה ביקשנו בתחילה. ההסבר פשוט: לכל מודל יש חלון הקשר בגודל קבוע, מעין דף טיוטה שבו נשמרות ההודדות האחרונות. כשמספר הטוקנים בשיחה חוצה את הגבול הזה, הנתונים הישנים נדחקים החוצה לטובת חדשים, ולכן ChatGPT עשוי להתעלם מהנחיות מוקדמות או ממידע שנתתם בהתחלה. אותו עיקרון פועל גם כשאתם בונים שרשרת פרומפטים ב-Claude; אם התסריט ארוך מדי, חלקו הראשון נחתך ואיננו משפיע עוד על התשובה.

המודל ממציא עובדות? כך זה קורה

מה שנראה כהמצאה פרועה, או "הזיה", הוא תוצאה של אותו מנגנון הסתברותי: המודל מחבר קטעי משפטים שראה בתקופת האימון ומנסה להשלים פערים באופן הכי "הגיוני" סטטיסטית. אם לא קיים חיבור מובהק במידע שאוחסן, הוא ייצור אחד חדש שנשמע סביר. ב-Midjourney זה בולט כשמוסיפים אלמנט שלא הופיע בתמונות האימון, והתוצאה מזכירה משהו מוכר אך איננה נאמנה למציאות. עבור טקסט, ChatGPT עלול לשלב מקור אקדמי שקיים לצד כותרת שלא קיימת כלל, מפני שהשילוב הזה הוא בעל סבירות גבוהה במרחב הדוגמאות שבלעדיו הוא היה חסר.

כשסגנון משתלט על תוכן

הבחירה בטון כתיבה—רציני, היתולי או שיווקי—נובעת מאותם חישובים הסתברותיים בדיוק. כאשר אתם מבקשים סיכום "בגובה העיניים", המודל מחפש דוגמאות רבות מהאימון שבהן מופיעה בקשה דומה, ומשליך מהן את אוצר המילים, רמת הפירוט והמבנה. לכן ייתכן שתשובה של ChatGPT תישמע "מכאנית" או "מוגזמת" אם ההקשר שנשלף הציג דוגמאות כאלו. ב-Claude, שמשווק כמיומן יותר בדיאלוג, תראו לעיתים תוצאה מרוככת או אדיבה יתר על המידה מאותה סיבה—זהו הטון הסטטיסטי השכיח בסוג השיחות שעליו אומן.