הסיטואציה המוכרת
אתם שולחים הודעה בוואטסאפ, והמכשיר מחלק אותה לאותיות ומילים כדי לשדר אותה במהירות. באותו רגע אתם לא חושבים על הפירוק הזה, הוא קורה מאחורי הקלעים – אבל הוא הכרחי בשביל שהמסר יגיע בדיוק כמו שכתבתם.
אז מה זה בכלל טוקן?
טוקן הוא חתיכה קטנה של טקסט – חצי מילה, מילה שלמה, או אפילו סימן פיסוק – שמשמשת את מודל הבינה המלאכותית כדי “לעכל” את מה שכתבתם. במקום לקרוא משפטים ארוכים כמקשה אחת, המודל קולט רצף של טוקנים ומחשב מהם את התשובה. ככל שיש יותר טוקנים, כך נדרש למודל יותר “מאמץ” וזמן עיבוד. לכן כשאומרים לכם שיש מגבלה של טוקנים, מתכוונים לגודל חבילת ה”חלקיקים” שהמודל מסוגל להתמודד איתה בפעם אחת.
כמו קוביות לגו
דמיינו שאתם בונים טירה מלגו. אינכם מרימים את כל החומה בבת-אחת; אתם מצמידים קובייה לקובייה, צבע ליד צבע, עד שנוצרת צורה גדולה וברורה. הטוקנים הם הקוביות: יחידות קטנות ופשוטות שעליהן נשענת כל התמונה המפוארת שהמודל יוצר.
כשאתם מוסיפים עוד משפט להנחיה, כאילו הוספתם שקית נוספת של קוביות. המודל בונה מהן תשובה מפורטת יותר – אבל אם תשפכו יותר מדי קוביות בבת-אחת, שולחן העבודה יתמלא והבנייה תאט. לכן חשוב לדעת כמה קוביות (טוקנים) כבר השתמשתם וכמה עוד נשאר לכם לפני שהשולחן מתפוצץ.
למה זה חשוב כשעובדים עם מודלים?
הכרה בסיסית של טוקנים עוזרת לכם לנסח הנחיות ממוקדות. אם אתם מגזימים באורך, חלק מהשאלה או מהמסמך פשוט ייחתכו, והמודל ישיב בלי שמידע קריטי היה מול עיניו. הבנה של מגבלת הטוקנים מאפשרת לכם לקצר, לדחוס או לפצל שאלות כדי לשמור על רלוונטיות.
בנוסף, תמחור של שירותי AI רבים מתבסס על מספר הטוקנים שנצרכו. ידיעת המושג חוסכת הפתעות בחשבון בסוף החודש ומאפשרת לכם לשלוט בעלויות. לסיכום, טוקנים הם המטבע הקטן שבונה את הדיאלוג הגדול – וכשאתם יודעים לספור מטבעות, אתם מנהלים את השיחה עם הבינה המלאכותית בחוכמה רבה יותר.
מאחורי הקלעים של ספירת הטוקנים
כשאתם מדביקים מאמר שלם לתוך ChatGPT ומבקשים “תסכם בבקשה”, המודל מתחיל בעצם לספור. לא מילים, אלא טוקנים. בהתחלה הוא עובר על הכותרת, מפצל אותה לטוקנים, מחליק הלאה לגוף הטקסט וממשיך לפורר כל מילה, רווח ונקודה. ברגע שהסכום מתקרב לתקרת הזיכרון הפנימית שלו, נדלקת נורה אדומה: מכאן אין לו מקום לשמור גם את השאלה שלכם וגם את כל מה שכתב עד כה. לכן הוא חייב לבחור מה יישאר ומה יעוף החוצה.
ב-Claude תראו את זה בא לידי ביטוי קצת אחרת. תדביקו חוזה ארוך במיוחד, תבקשו ניתוח חוזי ועוד תיקון נוסח – בהנחיה הבאה הוא כבר יבקש לקצר או ידלג על סעיפים. מאחורי ההתנהגות הזו יושב אותו שעון חול של טוקנים: כל גרגר עובר למטה, וברגע שהזכוכית מתמלאת, שום קסם שיווקי לא יכול להגדיל אותה ברגע.
“למה הוא שכח מה שביקשתי?”
דמיינו שפתחתי מולכם מסמך Word וניסיתי לזכור הכול בראש בלי לגלול למעלה. אחרי כמה פסקאות כבר קשה לזכור את הניסוח המדויק של ההתחלה. אותו דבר קורה למודל. כשאתם מנהלים שיחה ארוכה ב-ChatGPT על קמפיין חדש, כל תגובת המשך דוחפת החוצה את הטוקנים הוותיקים. בשלב מסוים ההנחיה המקורית, זו שהייתה הכי חשובה, נדחקת מעבר לאופק הזיכרון – ואז אתם מקבלים תשובה שאולי נשמעת חכמה, אבל מחמיצה לגמרי את “הטון” שביקשתם לשמור.
ב-Midjourney זה מתבטא בכך שפרטים קטנים פתאום נעלמים מהתמונה. נתתם הוראה להוסיף כובע רחב שוליים, הוספתם עוד תיאור של התאורה ואפקט צבעוני, ופתאום הכובע התנדף. לא כי הכלי “עצל”, אלא כי הטוקנים שמייצגים את הבקשה לכובע נדחפו החוצה כדי לפנות מקום לניסוחי התאורה הארוכים יותר.
להפוך ידע על טוקנים לפעולה יומיומית
בפועל, כל מה שצריך הוא לאמן את עצמכם לדבר אל המודל כמו עורך וידאו שקוצץ קליפים: העיקר בהתחלה, פירוט רק כשצריך, וכל תוספת נמדדת בשאלה “האם היא שווה מקום בזיכרון?”. כשאני מבקש מ-ChatGPT רעיונות לפוסט, אני פותח במשפט מטרה אחד, עובר לשני משפטים של הקשר, ואז עוצר. אם חייבים להוסיף רקע, אני מסכם אותו בעצמי לפני ההדבקה – כך אני חוסך למודל את הצורך לפרק מאות טוקנים מיותרים.
ואם כבר נתקעתם עם מסמך עצום? ב-Claude אני שולח קודם בקשה ל-“תקציר שמור את כל הפרטים המשפטיים”, מקבל תקציר דחוס, ורק אז עובד מולו על הערות. בצורה הזו אני “מחליף” ערימות טוקנים יקרים בחבילה מצומצמת ויעילה. כך השיחה זורמת, העלות נשארת שפויה, והמודל זוכר בדיוק את מה שאני צריך – לא גרם אחד יותר.
