אמון אינו משפך המרה עם סוף שמח
בניסויים עם 301 משתתפים, אנשים שהשתמשו בהסברי LLM רגילים היו רק מעט טובים מהטלת מטבע בהבחנה בין תשובות נכונות ושגויות: ציוני ההבחנה היו כ־0.59–0.60. הביטחון הפנימי של המודלים הגיע לכ־0.75–0.78. ההסבר השוטף לא הצליח להעביר אות שהמודל כבר החזיק בו.
המטרה העסקית היא הסתמכות מתאימה. לקוחות צריכים להשתמש במערכת היכן שהיא אמינה, לזהות ראיות שצריכות להפחית ביטחון, לאמת כאשר הסיכון מצדיק זאת ולהגיע לאדם כאשר המערכת אינה יכולה להמשיך בבטחה. דפוס כזה עשוי להוריד את האמון הכללי ולהעלות את ערך המוצר, משום שהציפיות מתאימות ליכולת.
אי־ודאות של המודל ואי־ודאות של האדם הן דברים שונים
מחקר ב־Nature Machine Intelligence בוחן מה מודלי LLM יודעים, כיצד הם מבטאים ביטחון ומה אנשים מסיקים מכך. ההסתברות הפנימית של המודל, ניסוח מילולי כגון ״סביר״ והאמונה שנוצרת אצל המשתמש הם שלושה מדדים שונים. המרה מאחד לאחר היא בעיית ממשק ותקשורת, לא פרט עיצובי שמוסיפים בסוף.
אחוז יכול להיראות מדעי ובכל זאת להסתיר כיול לקוי. כתב ויתור יכול להופיע טכנית ולהיעלם מעשית. הסתייגויות חוזרות יכולות להגדיל עומס בלי לעזור לבחירה. אי־ודאות שימושית מסבירה מה אינו ודאי, מדוע, אילו חלופות עדיין סבירות, איזה מידע חסר ישנה את התמונה ואיזו פעולה בטוחה תחת אי־הוודאות הזאת.
הימנעות מתשובה היא חלק מהתשובה
מחקר בלמידת מכונה רפואית מתייחס לכימות אי־ודאות, הימנעות והסלמה כאמצעי הגנה. אותה ארכיטקטורה חלה גם מחוץ לרפואה. עוזר פיננסי עשוי לזהות את הכלל הרלוונטי אך להיעדר נתוני חשבון עדכניים. בוט תמיכה עשוי לזהות מצב חומרה מסוכן. עוזר משפטי עשוי להיתקל בעימות שיפוטי לא פתור. המשך בפרוזה מלוטשת וכללית עלול להיות גרוע יותר מעצירה.
עצבו את ההעברה לאדם לפני הניסוח. אמרו מה המערכת הצליחה לקבוע, מה מנע השלמה, ואיזה מידע או איש מקצוע נדרשים כעת. שמרו את העבודה שכבר נעשתה כדי שהלקוח לא יצטרך להתחיל מחדש. סירוב טוב מגן גם על המומנטום, לא רק על הבטיחות.
ביטחון יכול לדכא את החשיבה של הלקוח
מחקר CHI 2025 בקרב עובדי ידע מצא שביטחון גבוה יותר ב־GenAI היה קשור לפחות מאמץ של חשיבה ביקורתית. המחקר לא הוכיח שכל ממשק בטוח בעצמו גורם לירידה קוגניטיבית, אך הוא מצביע על סיכון מוחשי: תשובות חלקות יכולות להפחית אימות בדיוק כאשר המשתמשים מרגישים שאינם זקוקים לו.
חנופה מספקת מסלול שני. מחקר של Anthropic מצא שהעדפות אנושיות ומודלי העדפה יכולים לתגמל תשובות שמסכימות עם המשתמש, לפעמים על חשבון האמת. מערכת שנשמעת תומכת יכולה ליצור אמון באמצעות התאמה חברתית במקום איכות אפיסטמית. ידידותיות מועילה; חנופה להנחת היסוד אינה מועילה.
תנו לביטחון להרוויח את מקומו על המסך
בנו אוסף מקרים מציאותיים שבהם המודל חזק, עמום ושגוי. השוו את התשובה הנוכחית לעיצוב שמציג את איכות הראיות, החלופות וההסלמה. אל תספרו למשתתפים איזו קטגוריה הם רואים. מדדו הסתמכות סלקטיבית: קבלה כאשר התשובה נכונה, דחייה או אימות כאשר היא חלשה והסלמה מתאימה כאשר המערכת צריכה להימנע.
כללו שביעות רצון ואמון נתפס, אך אל תהפכו אותם למדדים הראשיים. בעיצוב מוצר עתיר־סיכון, גרסה שמפחיתה מעט את שביעות הרצון אך משפרת מאוד את ההבחנה עשויה להיות המנצחת האחראית. במסחר בעל סיכון נמוך יותר, בדקו אם כיול מגן על שימור לטווח ארוך ומפחית כישלונות יקרים לאחר רכישה. אמון מייצר ערך כאשר הוא מצביע לאותו כיוון כמו הראיות.