סוכני AI: איך מחברים מודל בלי לשלוח ללקוח לבד

המאמר הזה עוסק בסוכני AI, גם כשהכלי הטכני נשמע אחרת. אצל קבלן שיפוצים היום נראה כך: הצעות מחיר בוואטסאפ, תמונות בגלריה, וסטטוס העבודה אצל מנהל העבודה. הסוכן ממיין פניות, מכין טיוטה ומסמן מה דחוף. הוא לא שולח ללקוח לפני שאישרתם. הפנייה נכנסת למערכת המידע, הסוכן מציע תשובה בעברית פשוטה, ואתם מאשרים או מתקנים בשורה אחת. הסוכן עובד מתוך מערכת המידע ומתוך בוט הוואטסאפ. בלי המערכת הוא עונה באוויר. בלי הבוט הלקוח נשאר בשיחה נפרדת. הסוכן רואה רק את התיקים של התפקיד שאישרתם, לא את כל העסק. הסוכן לא סוגר עסקה, לא משנה מחיר ולא מוחק רשומה. אלה נשארים אצל אדם. את השאר של המאמר כדאי לקרוא כהסבר: איך בית תוכנה בונה את זה בלי להשאיר את הצוות עם הדגמה, ואיך יודעים שהמערכת אמיתית.

מודלים גדולי שפה (LLM) הם רכיבים הסתברותיים בתוך מערכות דטרמיניסטיות. התייחסו אליהם כשותפים חזקים ולעיתים מפתיעים: תנו משימות צרות, אמתו פלטים, ואל תנו להם להיות השער היחיד לפעולות בלתי הפיכות בלי מדיניות.

תחילה גבולות ארכיטקטוניים: אימות, הרשאות, חיוב ומצב האפליקציה שייכים לקוד שאתם שומרים. שכבת המודל צריכה לקבל הקשר מסונן ומאושר ולהחזיר טיוטות או הצעות מובנות. ההפרדה מאפשרת החלפת ספק, בדיקות לא מקוונות וסגירת תקלות ללא בלבול.

תוכניות פרומפט הן קוד: ניהלו גרסאות שלהן, סקרו אותן ובדקו אותן. שמרו תבניות עם משתנים; הימנעו מ"כישוף פרומפט" שחי רק בצ’אט. לרגרסיה החזיקו סטי זהב - קלטים מעוברי אנונימיזציה עם טווחי פלט מקובלים - והריצו מחדש כשמודלים או פרומפטים משתנים.

עיגון עם אחזור (RAG) מפחית טענות שגויות שנשמעות כמו עובדות אך מוסיף סיכוני צינור: מסמכים מיושנים, צ׳אנקינג שגוי ושיוך מקור שגוי. הנדסו את האחזור כמו חיפוש - היברידי לקסיקלי-וקטורי כשמתאים, פילטרי מטא-דאטה, דירוג מחדש והצגת מקורות למשתמש כשצריך לאמת.

פלטים מובנים חייבים לעבור ולידציית סכמה. מצבי JSON, קריאה לפונקציות או דקדוקים עוזרים - אך השירות עדיין צריך לדחות מצבים בלתי אפשריים. אל כפו המרות טיפוס בשקט; עדיף לבקש מהמודל לתקן מאשר לגרור שגיאות שקטות.

כלכלת הקשר שולטת בעלות ובזמן תגובה. סכמו שרשורים ארוכים, קצצו היסטוריה מיותרת ואצרו מסמכים מצורפים בטעות. עקבו אחר שימוש בטוקנים לפי פיצ׳ר - הפתעות לעיתים מסתתרות בפרומפט מערכת מפורט או בהורדות כבדות.

מטמון ואידמפוטנטיות עוזרים בנפח גבוה. גזרו פרומפטים עם קנוניזציה יציבה; כבדו PII - אל תשמרו תוכן רגיש במטמון משותף בלי מדיניות. להתאמה אישית לפי דייר (tenant) בידדו מטמונים או השביתו שימוש חוצה-דיירים.

בטיחות בשכבות: הוראות קשיחות לא מספיקות; שלבו הפרדת הוראות מתוכן לא מהימן, רשימות לבנה לכלים, סינון פלט לפעולות מסוכנות וסקירה אנושית בתחומים רגישים.

פרטיות וטיפול אצל ספקים דורשים בחירה מכוונת. עברו על תיעוד הרשמי לגבי שמירת לוגים, מחיקה, שימוש להדרכה והגדרות ארגוניות - סווגו נתונים לפני שחוצים גבול רשת; תקלות רבות מתחילות ב"לא חשבנו שזה רגיש".

תצפית לפיצ׳רי LLM כוללת השהיה, שיעור שגיאות, צריכת טוקנים, דחיות ותיקוני משתמשים. דגמו מסלולים לאיכות; הפעילו רידאקט בנתיבי הלוג לפני שמירה ארוכת טווח.

תבניות תפעול דומות למיקרו-שירותים: ניסיונות חוזרים עם backoff, מפסקים כשספקים נחלשים, והנמכה נשלטת למודלים פשוטים יותר או תשובות תבניתיות. דגלי פיצ׳ר מאפשרים הפעלת פרומפטים חדשים בצל ו-rollback מהיר.

אדם בלולאה עדיין נחוץ לציות, סיכון מותגי ואוטומציה בסיכון גבוה. הכריעו היכן טיוטות נעצרות ואישורים מתחילים; שמרו היסטוריית החלטות כשנדרש.

לסיכום: שלבו LLM כרכיב מנוהל - הקשר מגודר, מבנה מאומת, ידע מעוגן כשצריך, בטיחות שתואמת לסיכון, וטלמטריה שמקשרת עלות לתוצאות. צוותים בשלים שולחים פחות דמויי קסם ויותר מסייעים משעממים ואמינים.

אפשר לחזור מכאן לשיחה פשוטה: תביאו עשר פניות אמיתיות מהשבוע, בלי שמות אם אסור, ואת התשובה שהייתם שולחים בעצמכם. בבוקר רואים תור של טיוטות, לא תיבה אינסופית. מה שאישרתם אתמול כבר יצא. מה שלא, מחכה. ההצעה נשארת אותה הצעה: סוכני AI, מערכת מידע ובוט וואטסאפ, עם אישור אנושי, דרך ספק רשמי של Meta.