מהו מודל רב-מודלי (Multimodal Model)?

‍

מכירים את זה ש...
‍

אתם מדברים עם חבר בוואטסאפ, שולחים תמונה של מאפה שיצא מהתנור, ומיד מוסיפים שורת טקסט: “יצא טעים, לא?” החבר רואה את התמונה וקורא את המילים יחד, וככה מבין בדיוק למה אתם מתכוונים.
‍

המעבר הטבעי בין מילה לתמונה קורה אצלנו במוח בלי מאמץ, אבל עד לא מזמן מחשבים היו צריכים לבחור: או טקסט או תמונה. כאן נכנסים המודלים הרב-מודליים.

‍

‍

מהו מודל רב-מודלי?
‍

מודל רב-מודלי הוא מערכת בינה מלאכותית שמסוגלת להבין ולשלב סוגי מידע שונים – למשל טקסט, תמונות, אודיו או וידאו – ולענות בהתאם. במקום לעבוד רק עם מילים כתובות או רק עם פיקסלים, המודל “קורא” את שניהם יחד ומחבר את המשמעות.
‍

התוצאה: אתם יכולים לבקש מהמחשב לתאר מה רואים בתמונה, לשאול שאלות על גרף שמופיע במסמך, או לנסח מייל רשמי על בסיס צילום של פתקים ידניים, והכול בשיחה אחת רציפה.

‍

‍

כמו שף במסעדת פיוז’ן
‍

תחשבו על שף שמגיש מנות פיוז’ן: הוא לוקח תבלינים מהמזרח, ירקות ים-תיכוניים וטכניקת בישול צרפתית, ומחבר הכול לצלחת אחת טעימה.
‍

השף צריך להבין כל מרכיב לחוד – מה חריף, מה עדין, מה מתבשל מהר – ואז לדמיין איך כולם יעבדו יחד. כך גם מודל רב-מודלי: הוא “טועם” טקסט ותמונה, קולט את הטעמים הנפרדים, ואז מחבר אותם לתשובה עשירה אחת.
‍

אם תוציאו מהמנה מרכיב אחד, היא עדיין אכילה אבל פחות מעניינת; אותו דבר קורה כששואלים את המודל רק בטקסט או רק בתמונה. השילוב הוא מה שנותן את העומק.

‍

‍

איפה זה פוגש אתכם בעבודה?
‍

1. סיכומים חכמים: צלמו לוח מחיק מהישיבה והנחו את המודל ליצור תכנית עבודה מסודרת בשפה רהוטה.
‍

2. חיפוש מהיר: גררו צילום מסך של דוח מורכב ושאלו “האם המכירות בעלייה?” במקום לחפש בעצמכם את המספרים הקטנים.
‍

3. יצירת תוכן: ספקו תמונת מוצר וטקסט קצר, ובקשו ניסוח פוסט שיווקי שמדגיש את מה שרואים בתמונה.

‍

‍

טיפים לשימוש חכם
‍

• תנו הקשר בשני הערוצים: כיתוב קצר לצד התמונה יעזור למודל לדייק.
‍

• היו ספציפיים: במקום “תסביר מה קורה כאן”, נסו “תאר את השלבים בתרשים והמלץ על שיפור”.
‍

• בדקו את עצמכם: אם קיבלתם תשובה יצירתית מדי, שמרו על ביקורתיות והצליבו עם נתונים נוספים.
‍

כך תפיקו יותר ממודלים רב-מודליים ותגרמו לכלים לעבוד בשבילכם, לא להפך.

‍

‍

למה זה לפעמים מרגיש שהמודל מתבלבל?
‍

כשאתם מעלים לקלוד צילום של לוח קנבן וכותבים מיד אחריו “סדר לי את המשימות לפי דחיפות”, התמונה ותיבת הטקסט עוברות קידוד לשפה משותפת של מספרים. המודל יוצר “תצלום מילולי” של הפתקים, ומניח אותו על אותו שולחן עבודה פנימי שבו מונחות גם המילים שלכם. אלא שהשולחן הזה מוגבל בגודל; אם הוספתם בהמשך עוד שתי תמונות וקצת טקסט, ייתכן שהקידוד שבידו כבר הדף ישן יותר כדי לפנות מקום לחדש. מנגנון העדיפויות הזה – שנועד לחסוך זיכרון חישובי – הוא הסיבה לכך שלעתים נראה ש-ChatGPT “שכח” פרט ברור שהופיע בתמונה הראשונה או שמידג׳רני מתעקש לחזור לצבע ששיניתם שלוש הודעות קודם.

‍

‍

מה זה אומר עבורכם ביום-יום?
‍

אותה גלילה מתמדת בין סוגי מידע גורמת למודל לחפש עוגנים ברורים שיקשרו תמונה לטקסט. אם מישהו שלח לכם במסנג’ר צילום של קבלה וביקש סיכום הוצאות, ואתם מדביקים את כל השיחה כמות שהיא, המודל עלול לפענח את הקבלה נכון אבל לחבר אותה לשאלה הלא-נכונה, פשוט כי לא “הבין” מי דיבר על מה. כאשר אתם חווים תשובה שנשמעת מנותקת, זה לרוב לא באג קסום אלא תוצאה של ערבוב מקורות שלא סומנו היטב. במילים אחרות, החוויה ש”הוא לא קרא עד הסוף” היא לא רחוקה מהאמת: המודל ראה הכול, אבל לא הצליח לדרג מה חשוב ומה רק רעש רקע.

‍

‍

ליישם בלי מאמץ
‍

כדי למנוע בלבול, נסו ליצור לרגע “מיני־שיחה” נפרדת לכל משימה. ב-Claude, למשל, פתחו תיבה חדשה, הטמיעו את התרשים או צילום המסך, והוסיפו משפט קצר שמצהיר על הכוונה: “הנה תרשים ה־Gantt, אני רוצה להבין סיכונים.” הצהרה כזו מאפסת את הזיכרון הרלוונטי ומבהירה למודל מה צריך לשרוד בדחיסת המידע הבאה. אם בהמשך תרצו לחזור לאותה תמונה, ציינו בצורה מילולית שאתם מתייחסים אליה – בדיוק כפי שהייתם עושים עם קולגה ב-Zoom: “חזור לתרשים מההתחלה ובדוק אם חסר שלב.” ההתנהלות הזו, שפועלת היטב גם מול גרסאות ה-Vision של ChatGPT, לא דורשת ידע תכנותי; היא פשוט מחזירה למודל את ההקשרים שנשרו בדרך ומשאירה אתכם בשליטה על מה שנשמר בזיכרון ומה נמחק אוטומטית.

‍

‍