אישור אנושי: איך כלי AI פנימי לא שולח ללקוח לבד

המאמר הזה עוסק באישור אנושי, גם כשהכלי הטכני נשמע אחרת. בחברת שירות בשטח היום נראה כך: קריאות בקבוצה, כתובות בהודעה קולית, וסיום עבודה בטלפון של הטכנאי. שום הודעה ללקוח לא יוצאת מסוכן או מבוט לפני שאדם אישר. הטיוטה ממתינה, מי שמורשה מאשר או מתקן, ורק אז זה נשלח ומתעדכן בכרטיס. אישור אנושי הוא החלק שמחבר סוכן AI ובוט וואטסאפ למערכת מידע בלי לאבד שליטה. רק תפקיד שהוגדר יכול לאשר. כל השאר רואים, לא שולחים. לא מאשרים לסדר עיניים. אם אין סיכון, אין תור. אם יש סיכון, אין שליחה לבד. את השאר של המאמר כדאי לקרוא כהסבר: איך בית תוכנה בונה את זה בלי להשאיר את הצוות עם הדגמה, ואיך יודעים שהמערכת אמיתית.

מודלי Claude דרך API מושכים לכלי פנימיים כי צוותים כבר עובדים בשפה - כרטיסים, wiki, PDF וגיליונות. אתגר ההנדסה הוא לרתום את הגמישות בלי להפוך כל תיבת צ׳אט לערוץ דליפה בלתי מבוקר.

הגדירו use case-ים צרים. עדיפו עוזרים שטיוטים בתוך תבניות, מחלצים שדות מטפסים ידועים או מנתבים לפי מחוון גרסה-ב. לוחות "שאל כל דבר" קשים יותר לאבטחה, לבדיקה ולתמיכה.

עגנו תשובות בידע ארגוני עם אחזור - המודל צריך להסתמך על קטעים מקורפוס מבוקר עם SLA רענון. שמרו provenance: אילו מסמכים הוזנו, מתי נוספו לאינדקס, האם הם מסמכים מחייבים.

תנו למודל לעבור אותה ולידציה כמו קלט משתמש לפני כתיבה לבסיס נתונים; חטאו טקסט חופשי לפני דוא"ל המוני. אימות והרשאה קורים באפליקציה שלכם לפני בחירת רשומות לאחזור או לסיכום.

בהקמת ארגונית הדגישו מזעור נתונים והחלטות שמירה. עברו על תיעוד הרשמי של הספק לגבי לוגים, שמירה והגדרות ארגוניות, והתאימו למפת סיכונים. בהקשרי בריאות ופיננסים לעיתים נדרשים הסכמים נוספים מעבר לתנאי קו מקוון.

מפו תרחישי שימוש לרעה: הזרקת פרומפט מתוכן כרטיס, הדבקת סודות בטעות והרצת פעולות מיוחסות. שלבו הפרדת הוראות מנתונים, סינון ארגומנטים לכלים ורשימות לבנה לכלי הרסני.

בדיקות מתמשכות משתמשות בתמלילים אנונימיים אמיתיים עם פלט צפוי; הריצו מחדש בשינוי מודל או פרומפט. גששו אחרי עלות טוקנים והשהיה לפי זרימה כדי לגלות נבול שקט.

ארגונומיית מפתחים: מרכזו מפתחות API בשרת; אל תשלחו מפתחות ארוכי-טווח לדפדפן בטעות שפרויקט "פנימי" הופך לייצור. קונפיגורציה מבוססת סביבה וניתוב לפי חטיבה כשמשרתים גורמים שונים.

נפילה נשלטת: אם ה-API נכשל או מוגבל, דעכו לתגובות מטמון, מודל פשוט יותר או תור אנושי עם הסבר. חוסן עדיף על דמו מושלם.

לסיכום: Claude מאיץ עבודה פנימית כשמשימות מצומצמות, ידע מעוגן, פלט מאומת, וטיפול בנתונים תואם לרכש, אבטחה ופרטיות - כרכיב בפלטפורמה מנוהלת, לא קסם-אמצע.

אפשר לחזור מכאן לשיחה פשוטה: תביאו דוגמה להודעה שאסור שתצא לבד, ודוגמה להודעה שמותר שתצא מיד. התור קצר, כי רק מה שמחכה לאדם נשאר בו. השאר כבר נרשם. ההצעה נשארת אותה הצעה: סוכני AI, מערכת מידע ובוט וואטסאפ, עם אישור אנושי, דרך ספק רשמי של Meta.