השבוע דיברתי ב-Haifa BeerTech על שימוש יעיל בכלי AI, כדי שלא תיחסמו כל פעם לכמה שעות אפילו במנוי בתשלום. אתם מכירים את זה שבאמצע משימה הצ׳אט מודיע לכם לחזור מאוחר יותר? אז מסתבר שאת רוב החסימות האלה אפשר למנוע... למי שפספס, הנה התובנות העיקריות מההרצאה.
רגע, מה זה טוקן?
טוקן הוא יחידת הטקסט שהמודל קורא וכותב: מילה קצרה, חלק ממילה ארוכה, סימן פיסוק או כמה ספרות. כל מה שאתם שולחים למודל נספר בטוקנים (הפרומפט, המסמכים והתמונות שאתם מעלים, וכל השיחה עד עכשיו), וגם כל מה שהמודל כותב בחזרה. מי שעובד דרך ה-API משלם לפי טוקן. במנויים של $20 לחודש המחיר קבוע, אבל השימוש עדיין נמדד בטוקנים, וכשהם נגמרים, הצ׳אט נעצר.
ב-Claude, למשל, המכסה מתחדשת בחלון מתגלגל של חמש שעות, ובמנויים בתשלום יש גם מכסה שבועית. כמה תספיקו בחלון הזה תלוי באורך השיחות, במודל שבחרתם ובכלים שהפעלתם. כלומר: הכל תלוי באיך שאתם משתמשים בטוקנים.
פתרון אחד הוא לשלם יותר. גם ChatGPT וגם Claude מוכרים מנויים גבוהים יותר, שנותנים פי כמה מהשימוש של מנוי הבסיס:
| מחיר לחודש | ChatGPT | Claude |
|---|---|---|
| $20 | Plus (1×) | Pro (1×) |
| $100 | Pro 100 (5×) | Max 5x (5×) |
| $200 | Pro 200 (10×) | Max 20x (20×) |
| $500 | Pro 500 (25×) | אין מנוי כזה |
אבל לפני שמשלמים פי חמישה או פי עשרים וחמישה, כדאי להפיק יותר מהמנוי שכבר יש לכם. שלושה הרגלים עושים את רוב ההבדל.
שיחות ארוכות
אורך השיחה הוא זללן הטוקנים הכי גדול. למודל עצמו אין זיכרון, ולכן אפליקציית הצ׳אט שולחת אליו עם כל בקשה חדשה את כל ההיסטוריה של השיחה: כל מה שאתם כתבתם וכל מה שהצ׳אט ענה מתחילת השיחה. השאלה העשירית שלכם נכנסת למנוע השפה יחד עם תשע השאלות ותשע התשובות שלפניה. כל תור גדל רק קצת, אבל הסכום הכולל מטפס מהר.
לכן, גם כשממשיכים לעסוק באותו נושא, כדאי לפתוח מדי פעם שיחה חדשה. אפשר לעשות את זה כשהנושא השתנה, כשהשיחה מלאה בניסוי וטעייה, כשהצטברו בה מסמכים גדולים, או כשהתשובות מתחילות לחזור על עצמן. לא צריך להתחיל מאפס: בקשו מהצ׳אט לסכם את עיקרי השיחה, והדביקו את הסיכום בשיחה החדשה. הנה פרומפט שאני משתמש בו כדי להעביר את עיקרי השיחה הנוכחית לשיחה חדשה:
הכן סיכום להעברה לשיחה חדשה. כלול את המטרה, עובדות שאושרו, החלטות שכבר התקבלו, אילוצים ושאלות פתוחות. הפרד בין עובדות להנחות, שמור על מספרים ונתונים קריטיים בדיוק, ואל תחרוג מ-400 מילים.
הערה חשובה: סיכום הוא לא תחליף למקור. בכל נושא משפטי או כספי, צרפו לשיחה החדשה גם את המסמך המקורי.
המודל הנכון
מודלים חכמים וכבדים כמו Claude Fable ו-GPT Astra עולים פי 100 ממודלים מהירים ופשוטים כמו Claude Haiku ו-GPT Luna. תשתמשו במודל שמתאים למשימה שלכם: לא צריך פרופסור לפיזיקה כדי להכין רשימת קניות למכולת. הנה המחירים ב-API, שהם גם אינדיקציה טובה להבדל העלות בין המודלים גם כשמשתמשים בהם במנוי החודשי:
| מודל | קלט | פלט | מתאים ל |
|---|---|---|---|
| Claude Fable 5.1 | $10 | $50 | המשימות הקשות והארוכות ביותר |
| Claude Opus 5.5 | $4 | $20 | החלטות שדורשות שיקול דעת |
| Claude Sonnet 5.5 | $2 | $10 | רוב העבודה היומיומית |
| Claude Haiku 5.5 | $0.10 | $0.50 | עריכה, תרגום, טיוטות שגרתיות |
| GPT-6 Astra | $10 | $50 | המשימות הקשות והארוכות ביותר |
| GPT-6.1 Sol | $2 | $10 | רוב העבודה היומיומית והחלטות שדורשות שיקול דעת |
| GPT-6 Luna | $0.10 | $0.50 | עריכה, תרגום, טיוטות שגרתיות |
מקורות: דף המחירים של Claude ודף המחירים של OpenAI .
בכל מודל אפשר גם לשלוט ברמת ה״מאמץ״ (effort level), כלומר בכמות הטוקנים שהמודל ישקיע בחשיבה על המשימה שלכם לפני שהוא עונה. התאמה של המודל ושל רמת המאמץ למשימה הספציפית תחסוך לכם הרבה טוקנים, ותאפשר עבודה רציפה גם במנוי הבסיס.
לדייק כבר בפעם הראשונה
תסתכלו שוב בטבלה: בכל המודלים, הטוקנים שהמודל מייצר בתשובה עולים פי 5 מהטוקנים שאתם מכניסים. ההוראות שלכם זולות, התשובות של המודל יקרות. לכן חשוב להשקיע בפרומפט מפורט שמגדיר את אורך התשובה, כמות האפשרויות, הפורמט והסגנון, כדי לקבל כבר בפעם הראשונה תשובה קרובה למה שאתם מחפשים, בלי סבבי תיקונים שגוזלים עוד טוקנים.
תשוו בין ״תכתוב כמה כותרות לניוזלטר שלנו״ (שכנראה יחזיר עשר כותרות, הסבר על כל אחת והצעה לכתוב עוד) לבין ״תכתוב שלוש כותרות של עד 60 תווים לניוזלטר אוקטובר ללקוחות קיימים. כותרת טובה מציגה תועלת אחת מוחשית.״ המשפט האחרון הוא החשוב ביותר: כשאתם מגדירים מה נחשב תשובה מוצלחת (what good looks like), הצ׳אט בונה את התשובה מראש לפי הציפיות שלכם.
רק אל תגזימו לכיוון השני. פרומפט מקוצץ מדי, שהמודל לא מבין או שחסר בו אילוץ חשוב, לא חוסך כלום: משלמים שוב בתיקונים, בעבודה מחדש ובזמן שלכם. המדד הנכון הוא לא מספר הטוקנים, אלא העלות של תשובה שאפשר להשתמש בה.
תנו ל-AI לבנות את הכלי
ועוד רעיון מההרצאה: אם משימה לא דורשת שיקול דעת או הבנת שפה (אותו קלט נותן תמיד אותו פלט), אל תבקשו מהמודל לבצע אותה מחדש כל פעם. בקשו ממנו פעם אחת לבנות כלי קטן שעושה אותה, למשל Artifact ב-Claude, Site ב-ChatGPT, או אפליקציה ב-Lovable או ב-Base44. עיבוד של קובץ אקסל שבועי, חישוב לוח תשלומים או בדיקה שכל השדות מולאו הם עבודה לתוכנה, ואחרי שהכלי קיים, כל הרצה עולה אפס טוקנים. אפשר לראות חלק מהאפליקציות שבניתי עם AI ללקוחות של גמדלה בדף פתרונות AI.
תהליכי העבודה הטובים ביותר משלבים בין השניים: ה-AI קורא את המסמך פעם אחת ומחלץ את מה שחשוב, התוכנה עושה את כל החישובים החוזרים, ואדם מאשר כל מה שיש לו משמעות משפטית או כספית. בדיוק את זה אנחנו מתרגלים בסדנת ה-Vibe Coding, בלי שום רקע בתכנות.
לסיכום
לפני הסשן הארוך הבא, שאלו את עצמכם כמה שאלות קצרות:
- האם הגיע הזמן לפתוח שיחה חדשה?
- האם בחרתי את המודל ורמת המאמץ שמתאימים למשימה?
- האם הגדרתי את אורך התשובה ומה נחשב תשובה טובה?
- האם חלק מהעבודה צריך לעבור לתוכנה?
תענו נכון על הארבע האלה, ותיחסמו הרבה פחות, גם במנוי הבסיסי. ואם תרצו את ההרצאה הזאת אצלכם בארגון, הציצו בהרצאות שלי לארגונים.
