טוקן הוא יחידת הטקסט הקטנה שהכלי עובד איתה, בערך מילה או חלק ממילה. לדוגמה, עמוד וורד אחד בעברית ≈ 1,000–1,500 טוקנים.
A token is the smallest text unit the tool works with, roughly a word or part of a word. For example, one Hebrew Word page ≈ 1,000–1,500 tokens.
צריכת הטוקנים מושפעת משלושה גורמים: החברה (Claude הוא הספק היקר ביותר), גרסת המודל (ככל שחדשה יותר, גוזלת יותר טוקנים), ומורכבות המשימה (ככל שמורכבת יותר, גוזלת יותר טוקנים).
Token consumption depends on three factors: the provider (Claude is the most expensive), the model version (newer = more tokens consumed), and task complexity (more complex = more tokens consumed).
לשמחתכן, בקופיילוט הארגוני אין הגבלת טוקנים 😊 גם כשבוחרים את המודלים המתקדמים ביותר של GPT או Claude (הרחבה בלשונית קופיילוט) וגם במשימות מחקר מורכבות.
Good news: the org Copilot has no token limit 😊 even when you pick the most advanced GPT or Claude engines (more on this in the Copilot tab), and even on complex research tasks.
RAG (אחזור מידע) היא שיטה שבה הכלי שולף רק את הקטעים הרלוונטיים ממאגר גדול ומכניס אותם להקשר. כך אפשר "לדבר" עם אלפי מסמכים בלי להציף את החלון. RAG מתקדם תומך לא רק במסמכים, אלא גם בתמונות, בקטעי קול ובסרטוני וידאו.
RAG (retrieval-augmented generation) is a method where the tool fetches only the relevant passages from a large repository and inserts them into the context. This lets you "talk" to thousands of documents without flooding the window. Advanced RAG supports not just documents, but also images, audio clips, and video.
זיכרון (Memory) הוא יכולת חדשה שבה הכלי שומר עובדות עליכן בין שיחות. שימוש חכם: בקשו מהכלי לזכור את סגנון התשובה המועדף עליכן, מבנה טבלה אהוב, סגנון הפניות APA, או דרישות כמו ביסוס כל תשובה במקורות. רק שימו לב שהכלי לא זוכר עליכן דברים שלא ביקשתן שיזכור.
Memory is a newer capability where the tool retains facts about you across sessions. Smart use: ask the tool to remember your preferred answer style, a table format you like, an APA citation style, or requirements like grounding every answer in sources. Just make sure the tool doesn't retain things you didn't ask it to.
Lost in the Middle (אובדן באמצע) הוא דפוס מתועד שבו הכלי שם פחות לב למידע שנמצא באמצע ההקשר, ויותר למידע שבתחילה ובסוף, גם כשהכל בתוך חלון ההקשר.
Lost in the Middle is a documented pattern where the tool pays less attention to information in the middle of the context, and more to information at the beginning and end, even when everything is within the context window.
ממה זה נובע? ממנגנון תשומת הלב של המודלים: התחלה וסוף "בולטים" יותר במבנה ההכשרה, ולכן המודל "זוכר" אותם טוב יותר.
What causes it? The model's attention mechanism. The beginning and end are more "salient" in the training data structure, so the model "remembers" them better.
איך למנוע? הציבו את ההוראות והמידע הקריטיים בתחילת הפרומפט או בסופו, לא באמצע. במשימות עם מסמך ארוך מצורף, סכמו את הנקודות החשובות בתחילת ההודעה וחזרו עליהן בסוף.
How to avoid it? Place critical instructions and information at the start or end of the prompt, not in the middle. For long-document tasks, summarize key points at the start of your message and repeat them at the end.
מבוסס על Liu et al., 2023, "Lost in the Middle: How Language Models Use Long Contexts".
Based on Liu et al., 2023, "Lost in the Middle: How Language Models Use Long Contexts".