המדריך הזה מספק מידע חשוב למפתחים שיוצרים אפליקציות ל-Android באמצעות AI גנרטיבי (GenAI). שילוב של AI גנרטיבי מציב אתגרים ייחודיים שחורגים מהתחום של פיתוח תוכנה רגיל.
אנחנו מעדכנים את המדריך הזה באופן קבוע כדי לשקף סיכונים חדשים ומתפתחים שקשורים ל-AI. התוכן הזה יעזור לכם להבין את הסיכונים המשמעותיים שקשורים לשילוב יכולות של AI גנרטיבי באפליקציות שלכם, ולגלות אסטרטגיות יעילות לצמצום הסיכונים.
החדרת פרומפטים
תוקף יוצר קלט זדוני (הנחיות) כדי להטעות את המודל ולגרום לו לעקוף את מדיניות האבטחה והבטיחות שלו או לבצע פעולות לא מכוונות. התקפה מוצלחת עלולה לגרום למודל לחשוף מידע אישי רגיש, ליצור תוכן מזיק או לבצע פעולות לא מכוונות, וכך לפגוע באמון המשתמשים. איך מצמצמים את הסיכון למתקפות של החדרת פרומפטים
חשיפה של מידע רגיש
מודלים של AI גנרטיבי יוצרים סיכון משמעותי לחשיפת מידע רגיש, ועלולים לגרום לדליפה של מגוון רחב של נתונים שמשפיעים על מודל ה-LLM ועל הקשר של השימוש בו. הדלפות יכולות לקרות כשהמודל מוציא את הנתונים הסודיים האלה למשתמשים אחרים, כשספקי למידת מכונה כשירות (MLaaS) מאחסנים הנחיות בצורה לא מאובטחת, או כשגורמים זדוניים מנצלים את המערכת כדי לחשוף לוגיקה פנימית. ההשלכות חמורות, החל מהפרות של קניין רוחני וקנסות רגולטוריים (לדוגמה, GDPR, CCPA) ועד לאובדן מוחלט של אמון המשתמשים ופריצה למערכת. איך מצמצמים את הסיכון לחשיפת מידע רגיש
יותר מדי סוכנויות
שילוב של סוכני LLM עם פונקציות או כלים לביצוע פעולות עלול להוביל לסיכוני אבטחה. פרומפטים זדוניים שמנצלים את התכונה 'הפעלת פונקציות' עלולים לגרום לאובדן נתונים לא מכוון. המפתחים אחראים להטמעת אמצעי הגנה (למשל, הסכמת משתמש, אימות, בקרת גישה) כדי למנוע פעולות מזיקות של AI. איך מפחיתים את הסיכון המוגזם של סוכנות
סיכום
אבטחת מערכות AI גנרטיבי דורשת גישה רב-פנים שמרחיבה את שיטות הסייבר המקובלות כדי להתמודד עם האתגרים הייחודיים שמציבים מודלים של AI, כמו מחזור חיי הפיתוח ואינטראקציות עם משתמשים ומערכות. המאמץ המקיף הזה כולל בדיקות יזומות, מעקב מתמשך, משילות חזקה ועמידה במסגרות רגולטוריות משתנות. דרך מצוינת ליישם את העקרונות האלה היא להשתמש בכלים בתחום כמו הערכה עצמית של סיכונים ב-SAIF כדי להבין טוב יותר את הסיכונים ולצמצם אותם.