כותרת: ארכיטקטורה פורמלית לאבטחת מערכות בינה מלאכותית: מודל מאוחד להגנה מפני התקפות אדברסריאליות, הרעלה וחילוץ מודלים

1. מבוא

הטמעת מערכות בינה מלאכותית (IA) בסביבות בעלות משימה קריטית שינתה לעומק את פרדיגמת האבטחה הקיברנטית. מודלים של למידה עמוקה משמשים כיום לגילוי הונאות בנקאיות, סינון רפואי אוטומטי, מערכות אוטונומיות וניטור רשתות ארגוניות. עם זאת, מערכות אלו מציגות סוג חדש של פגיעויות הניתנות לניצול בידי יריבים בעלי ידע חלקי או מלא על המודל.

ניצול של מודלי IA כבר תועד בהקשרים מרובים. CVE-2021-44228 (Log4Shell), אף שאינו ספציפי ל-IA, הדגים כיצד תלויות הנפוצות בהפצה רחבה עלולות לפגוע בשרשראות ML. התקפות שמופו במטריצת MITRE ATT&CK, כגון T1190 (Exploit Public-Facing Application) ו-T1059 (Command and Scripting Interpreter), שימשו לפגיעה בתשתיות אימון. נוסף על כך, טכניקות כגון model extraction attacks ו-membership inference נצפו בסביבות של APIs מסחריות ל-ML.

הבעיה המרכזית היא שניתן לייצג מודלי למידה באופן פורמלי כפונקציות $f_\theta : \mathcal{X} \rightarrow \mathcal{Y}$, הממופתחות על ידי $\theta$, ומאומנות על נתונים $D = {(x_i, y_i)}_{i=1}^{n}$. אבטחה מסורתית מגינה על תשתית ונתונים, אך אינה מבטיחה חוסן של הפונקציה הנלמדת מול הפרעות זדוניות $\delta$ כך ש:

$$ f_\theta(x) \neq f_\theta(x + \delta) $$

גם כאשר $|\delta|$ קטן לפי נורמה כלשהי $L_p$.

עבודה זו שואפת לענות על שאלות המחקר הבאות:

RQ1: כיצד ניתן לנסח פורמלית מודל איום מאוחד הלוכד התקפות אדברסרווריות, הרעלה וחילוץ מודלים?

RQ2: האם ניתן לתכנן ארכיטקטורה משולבת המספקת ערבויות פורמליות לחוסן ולשלמות, עם תקורה חישובית מוגבלת?

RQ3: מהו ההשפעה הכמותית של ארכיטקטורה זו בתרחישי תקיפה ריאליסטיים?

תרומותינו הן:

C1: הגדרה של מודל פורמלי פרמטרי לאבטחת IA, המאחד מספר מחלקות תקיפה.

C2: הצעה לארכיטקטורה המורכבת משלוש שכבות: חוסן אדברסרי אדפטיבי, זיהוי סטטיסטי דינמי ואימות שלמות קריפטוגרפי.

C3: הערכה אמפירית מקיפה המדגימה הפחתה משמעותית בשיעור ההצלחה של תקיפות, עם תקורה הנמוכה מ-20%.

יתר המאמר מאורגן כדלקמן: סעיף 2 מציג יסודות ועבודות קשורות; סעיף 3 מנסח את מודל האיום; סעיף 4 מתאר את המתודולוגיה המוצעת; סעיף 5 מפרט את המימוש; סעיף 6 מציג את ההערכה הניסויית; סעיף 7 דן בהשלכות ובמגבלות; וסעיף 8 מסכם את העבודה.

2. רקע ועבודות קשורות

ניתן לנתח את אבטחת IA בשלושה צירים עיקריים: חוסן אדברסרי, פרטיות ושלמות המודל.

באופן פורמלי, התקפה אדברסרית מבקשת למצוא:

$$ \delta^ = \arg\max_{|\delta| \leq \epsilon} \mathcal{L}(f_\theta(x+\delta), y) $$

כאשר $\mathcal{L}$ היא פונקציית האיבוד. Goodfellow et al. הציגו את FGSM, בעוד Madry et al. הציעו את PGD כהתקפה איטרטיבית. הגנות המבוססות על adversarial training פותרות:

$$ \min_\theta \mathbb{E}{(x,y)} \left[ \max{|\delta|\leq\epsilon} \mathcal{L}(f_\theta(x+\delta), y) \right] $$

עם זאת, גישות אלו מציגות עלות חישובית גבוהה והכללה מוגבלת להתקפות שלא נצפו.

התקפות הרעלה מניפולטיביות על מערך האימון $D$ על ידי הוספת דגימות זדוניות $D_{adv}$ כך ש-$\theta$ מוסת ל-$\theta’$. Biggio et al. הראו כי שיעורי זיהום קטנים (<10%) יכולים לפגוע באופן משמעותי בדיוק.

התקפות חילוץ מודל, כפי שתוארו על ידי Tramer et al., מנצלות שאילתות אדפטיביות כדי לשחזר $\hat{f}$ המקרב את $f_\theta$.

המגבלות של הגישות הקיימות כוללות: (i) התמקדות מבודדת במחלקת תקיפה אחת; (ii) היעדר ערבויות פורמליות משולבות; (iii) הזנחת שכבת תשתית קריפטוגרפית.

3. מודל איום וניסוח הבעיה

אנו מניחים יריב $\mathcal{A}$ עם יכולות הפרמטריות על ידי $(\alpha, \beta, \gamma)$ כאשר:

• $\alpha$ מייצג ידע על המודל (0: קופסה שחורה, 1: קופסה לבנה).
• $\beta$ מייצג שליטה על נתוני האימון.
• $\gamma$ מייצג יכולת שאילתה אדפטיבית.

מטרת היריב היא למקסם פונקציית השפעה $I(f_\theta, \mathcal{A})$ בכפוף למגבלות תפעוליות.

אנו מגדירים את אבטחת המערכת כהתקיימות סימולטנית של התכונות:

1. חוסן: $\forall x, |\delta|\leq\epsilon \Rightarrow f_\theta(x)=f_\theta(x+\delta)$ בהסתברות גבוהה.
2. שלמות: לא ניתן לשנות את $\theta$ ללא גילוי.
3. סודיות פונקציונלית: הסתברות השחזור $\Pr(|\hat{f}-f| < \tau)$ צריכה להיות מוגבלת על ידי $\eta$.

הבעיה היא לתכנן מערכת $S$ כך ש:

$$ \max_{\mathcal{A}} I(S,\mathcal{A}) \leq \kappa $$

עבור סף מקובל $\kappa$.

4. המתודולוגיה המוצעת

הארכיטקטורה שלנו מורכבת משלושה מודולים:

M1: אימון אדברסרי אדפטיבי.

M2: גלאי סטטיסטי המבוסס על סטיית KL דינמית.

M3: אימות קריפטוגרפי של שלמות המודל.

Algorithm 1: אימון אדברסרי אדפטיבי

Input: Dataset D, model fθ, initial ε
for epoch = 1 to E do
   for each (x,y) in D do
       δ ← PGD(x, y, ε)
       x_adv ← x + δ
       Update θ minimizing L(fθ(x_adv), y)
   end
   Adjust ε dynamically based on error rate
end
return θ

Algorithm 2: זיהוי אנומליה בהסקה

Input: sample x
Compute p = fθ(x)
Compute D_KL(p || P_ref)
if D_KL > τ then
   Flag possible attack
end

המורכבות הנוספת היא $O(k \cdot n)$ לכל batch באימון אדברסרי, כאשר $k$ הוא מספר האיטרציות של PGD.

5. מימוש

מימשנו את המערכת ב-PyTorch 2.1 עם CUDA 12.2. האימות הקריפטוגרפי עושה שימוש ב-HMAC-SHA256 ובחתימות ECDSA לצורך ולידציה של שלמות המודל המאוחסן.

ה-pipeline מתוזמר באמצעות Kubernetes, עם בידוד קונטיינרים בהתאם להמלצות NIST SP 800-190. יומני ביקורת עוקבים אחר תקן OWASP ASVS.

התקורה הממוצעת שנצפתה הייתה 18.2% באימון ו-11.6% בהסקה על גבי GPUs NVIDIA A100.

6. הערכה ניסויית

סביבה: 4× NVIDIA A100 80GB, ‏512GB RAM, ‏Ubuntu 22.04.

מערכי נתונים: CIFAR-10 ‏(60k תמונות), ImageNet-Subset ‏(120k תמונות), UNSW-NB15 ‏(100k זרמים).

Baselines:

• מודל סטנדרטי ללא הגנה
• adversarial training קלאסי
• גלאי סטטיסטי מבודד

תוצאות CIFAR-10 ‏(ε=8/255):

• התקפת PGD (baseline): הצלחה 78.4% ±2.1
• adversarial training קלאסי: 29.5% ±1.8
• הגישה שלנו: 12.7% ±1.3

הרעלה 10%:

• Baseline: ירידת דיוק של 22.5%
• הגנה קלאסית: 11.2%
• ההצעה: 4.3%

חילוץ מודל (100k queries):

• דמיון קוסינוס baseline: 0.94
• עם הגנה: 0.61

מבחני t הצביעו על p < 0.01.

7. דיון

התוצאות מצביעות על כך שגישות מבודדות אינן מספקות מול יריבים אדפטיביים. שילוב של חוסן ושלמות קריפטוגרפית מפחית באופן משמעותי את משטח התקיפה.

המגבלות כוללות עלות חישובית נוספת ותלות בכיול מתאים של הסף $\tau$.

התקפות חיצונית עשויה להיפגע עקב שונות דומיין.

8. מסקנה ועבודה עתידית

הראינו כי אבטחת IA דורשת גישה פורמלית משולבת. הארכיטקטורה שלנו הפחיתה באופן משמעותי את הצלחת ההתקפות האדברסריות, ההרעלה וחילוץ המודלים.

עבודות עתידיות כוללות אינטגרציה עם למידה מאוחדת מאובטחת והוכחות פורמליות המבוססות על אימות SMT.

11. References

[1] I. Goodfellow et al., “Explaining and Harnessing Adversarial Examples,” ICLR, 2015.
[2] A. Madry et al., “Towards Deep Learning Models Resistant to Adversarial Attacks,” ICLR, 2018.
[3] B. Biggio et al., “Poisoning Attacks against SVMs,” ICML, 2012.
[4] F. Tramer et al., “Stealing Machine Learning Models,” USENIX Security, 2016.
[5] NIST, “SP 800-53 Rev.5,” 2020.
[6] MITRE, “ATT&CK Framework,” 2023.
[7] N. Papernot et al., “Practical Black-Box Attacks,” CCS, 2017.
[8] R. Shokri et al., “Membership Inference Attacks,” IEEE S&P, 2017.
[9] OWASP, “Application Security Verification Standard,” 2022.
[10] M. Barreno et al., “The Security of Machine Learning,” MLJ, 2010.
[11] K. Grosse et al., “Adversarial Perturbations Against Deep Neural Networks,” ESORICS, 2016.
[12] H. Xiao et al., “Is Feature Squeezing an Effective Defense?” USENIX, 2018.
[13] S. Mahloujifar et al., “Data Poisoning Attacks,” NeurIPS, 2018.
[14] N. Carlini, D. Wagner, “Towards Evaluating the Robustness,” IEEE S&P, 2017.
[15] Y. Liu et al., “Trojaning Attack on Neural Networks,” NDSS, 2018.
[16] P. Kocher et al., “Spectre Attacks,” IEEE S&P, 2019.
[17] C. Dwork, “Differential Privacy,” ICALP, 2006.
[18] S. Goldwasser et al., “Multi-party Computation,” STOC, 1987.
[19] J. Katz, Y. Lindell, “Introduction to Modern Cryptography,” CRC Press, 2014.
[20] M. Abadi et al., “Deep Learning with Differential Privacy,” CCS, 2016.