אזיקים בגלל שקית חטיפים: התראת שווא של בינה מלאכותית הובילה לעימות משטרתי מול תלמיד תיכון

אירוע חריג בבית ספר תיכון במדינת מרילנד העלה בימים האחרונים שאלות נוקבות לגבי השימוש הגובר בטכנולוגיות זיהוי מבוססות בינה מלאכותית בשטחי מוסדות חינוך. תלמיד בן 16, שלא החזיק בכל נשק, נכבל באזיקים על ידי שוטרים חמושים -בעקבות זיהוי שגוי של מערכת אוטומטית שזיהתה בידו אקדח. בפועל, הוא החזיק שקית ריקה של חטיף.

לפי העדויות, לאחר אימון ספורט בבית הספר, הכניס התלמיד לכיסו שקית חטיפים. כעבור כחצי שעה, הגיעו למתחם כ־8 ניידות משטרה, עם קצינים חמושים שביצעו פעולת מעצר מדומה בשטח בית הספר - מול עיניהם של תלמידים ואנשי צוות.

"המערכת התריעה - אבל האנשים לא קראו את הנתונים"

מבירור ראשוני של האירוע עולה כי ההתראה הראשונית אכן הופעלה על ידי מערכת אוטונומית לזיהוי נשק, אך בוטלה על ידי בקרה אנושית זמן קצר לאחר מכן. עם זאת, דיווח נוסף של אחד מאנשי ההנהלה בבית הספר הופץ שוב לגורמי הביטחון - והוביל להזעקת משטרה חמושה אל המקום, תוך החמרת המצב.

לפי המשטרה המקומית, השוטרים "פעלו על פי המידע שהתקבל באותו רגע", וביצעו הליך עיכוב לזמן קצר - ללא מעצר פורמלי. "האירוע נפתר מבלי שנגרם נזק, לאחר שהתברר שלא נשק מדובר", נמסר.

הנער עצמו סיפר לכלי תקשורת מקומיים כי מאז האירוע, הוא חושש לשהות מחוץ לכותלי בית הספר לאחר שעות הלימודים, גם לצורך פעילויות שגרתיות. "אני כבר לא מרגיש בטוח להחזיק בקבוק שתייה או חטיף מחוץ לבית הספר", אמר.

חברת הפיתוח: "כך נראית מערכת זהירה"

החברה שפיתחה את המערכת מסרה בתגובה רשמית כי היא "מצרה על עוגמת הנפש שנגרמה לתלמיד ולמשפחתו", אך הבהירה כי "כל שלבי הפעולה עבדו לפי התכנון". לדבריה, זיהוי ראשוני של אובייקט חשוד הועבר לבדיקה מיידית על ידי בודק אנושי - והוגדר כ"אין איום". עם זאת, החברה טוענת כי לא הייתה לה כל שליטה על החלטות שבוצעו לאחר מכן.

לדבריה, המערכת נועדה "לזהות מוקדם כל סימן לאיום אפשרי, מתוך עדיפות ברורה לזהירות יתר ולמניעת טרגדיה". באתר החברה אף נכתב כי "זיהוי כלי נשק בתנאים אמיתיים הוא תהליך מורכב, שדורש איזון בין תגובה מהירה לבין אימות אנושי מדויק".

לחץ ציבורי: בחינה מחדש של נהלים

באזור שבו התרחש האירוע, נבחרי ציבור ומובילי קהילה קוראים כעת לבחינה מקיפה של הנהלים. "יש לבחון מחדש את השימוש במערכות כאלה בקרב קטינים", נכתב בהודעה של אחד מחברי המועצה המקומית. "אסור שהתוצאה של מערכת זיהוי שגויה תהיה איום נשק על תלמיד תיכון".

מנהלת בית הספר כתבה להורים כי ההתרעה בוטלה מיידית על ידי צוות הביטחון, אך דיווח מקביל הופץ לגורמים אחרים וגרם להזעקת הכוחות. לדבריה, תחקיר פנימי מתבצע במקביל לבדיקות מצד גורמים חיצוניים.

הפער בין טכנולוגיה לאנושיות

האירוע מציף שאלות רחבות על מקומן של מערכות מבוססות בינה מלאכותית במרחב הציבורי - במיוחד כאשר מדובר בזיהוי נשקים, תחום שבו כל טעות עלולה להוביל להסלמה מסוכנת. אף שמערכות אלו נועדו להתריע על איומים אמיתיים, מקרים כאלו מחדדים את החשש שהן יובילו למעצרים מיותרים, ואף לנפגעים - בעיקר כאשר מדובר בבני נוער.

התלמיד שסומן בטעות אמר בסיכום האירוע: "לא הגיוני ששקית חטיפים תגרום להתנהלות כזו. אני רק ילד שחזר מאימון".