כותרת: ארכיטקטורה תפעולית לאבטחת מערכות בינה מלאכותית: מידול איומים, Defense in Depth והערכה אמפירית בסביבות קריטיות

1. מבוא

האימוץ המאסיבי של מערכות למידת מכונה (Machine Learning – ML) ולמידה עמוקה (Deep Learning – DL) בתשתיות קריטיות שינה באופן מהותי את נוף הסיכון הקיברנטי העכשווי. מערכות בינה מלאכותית (AI) משמשות בהרחבה במנגנוני מניעת הונאה בנקאיים, בסיווג אוטומטי של נוזקות, בזיהוי חדירות, במיון אירועים במרכזי תפעול אבטחה (SOC) ובמערכות אימות ביומטרי. עם זאת, בניגוד לתוכנות דטרמיניסטיות מסורתיות, מודלי AI הם ישויות הסתברותיות שהתנהגותן נובעת מההתפלגות הסטטיסטית של הנתונים ששימשו במהלך האימון (GOODFELLOW; BENGIO; COURVILLE, 2016).

מאפיין זה מציג וקטורי תקיפה חדשים. מניפולציות קטנות בהתפלגות הנתונים עשויות לשנות באופן משמעותי את התנהגות המודל, ולאפשר תקיפות אדברסריאליות, הרעלת נתונים או חילוץ מודל. Goodfellow, Shlens ו-Szegedy (2015) הדגימו אמפירית כי הפרעות בלתי מורגשות בקלט יכולות לגרום לשגיאות סיווג שיטתיות ברשתות עצביות עמוקות. בהמשך, מחקרים הדגימו תקיפות הרעלה המסוגלות לפגוע או לתמרן את התנהגות המודל במהלך האימון (BIGGIO et al., 2012; STEINHARDT; KOH; LIANG, 2017).

בנוסף, ממשקי אינפרנס החשופים באמצעות APIs יכולים להיות מנוצלים כדי לקרב את שחזורם של מודלים קנייניים באמצעות שאילתות אדפטיביות, תופעה הידועה כחילוץ מודל (TRAMÈR et al., 2016). בסביבות ארגוניות, וקטורים אלה משתלבים לעיתים קרובות עם כשלים תפעוליים בשרשראות MLOps, כולל ניהול בלתי הולם של אישורים, אחסון לא מאובטח של ארטיפקטים של מודל והיעדר ניטור תקינות נתונים (KUMAR et al., 2022).

מבחינה תפעולית, ניתן לקשר תקיפות אלה לטכניקות המתועדות במטריצת MITRE ATT&CK, כולל ניצול יישומים חשופים (T1190), מניפולציה של נתונים (T1565) ופשרה של אישורים (T1552) (MITRE, 2023). אולם, רוב ארכיטקטורות האבטחה הארגוניות עדיין מתייחסות למודלי AI כרכיבי תוכנה קונבנציונליים, ומתעלמות ממאפייניהם הסטטיסטיים הייחודיים.

לאור תרחיש זה, ניסחנו את שאלת המחקר המרכזית הבאה: כיצד ניתן לתכנן ארכיטקטורת אבטחה תפעולית כך שתטפל במודלי AI כנכסים קריטיים, ותגן הן על מחזור החיים של האימון והן על תהליך האינפרנס בייצור?

ממנה גזרנו שלוש שאלות מחקר עיקריות:

RQ1: כיצד ניתן למסד מודל איום ייעודי למערכות AI שיכלול הן וקטורים אדברסריאליים והן תקיפות מסורתיות על התשתית?

RQ2: אילו מנגנונים מעשיים מאפשרים זיהוי והפחתה של תקיפות הרעלת נתונים וחילוץ מודל בסביבות תפעוליות?

RQ3: מהי ההשפעה של מנגנונים אלה במונחי עלות חישובית ויעילות הגנתית?

עבודה זו מציגה שלוש תרומות. ראשית, אנו מציעים מודל אבטחה פורמלי לשרשראות עיבוד של AI, המבוסס על תכונות מדידות של תקינות סטטיסטית וסודיות פרמטרית. שנית, פיתחנו אלגוריתמים תפעוליים לזיהוי הרעלת נתונים ולהפחתת שאילתות אדברסריאליות ב-APIs של אינפרנס. שלישית, הערכנו אמפירית את הארכיטקטורה המוצעת בסביבה ניסויית מייצגת של תשתית קריטית.

2. הקשר ועבודות קשורות

נניח מודל מונחה-מורה המיוצג על ידי פונקציה

$f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$

הפרמטרית על ידי $\theta \in \mathbb{R}^n$. האימון מתבצע על גבי מערך נתונים

$D = {(x_i, y_i)}_{i=1}^{m}$

באמצעות מזעור פונקציית אובדן אמפירית:

$$ \theta^ = \arg\min_{\theta} L(\theta, D) $$

במערכות אמיתיות, גם הנתונים וגם השאילתות עשויים להיות נתונים למניפולציה מצד תוקפים. תקיפות אדברסריאליות מבקשות למצוא הפרעה $\delta$ כך ש:

$$ \arg\max_{\delta} L(\theta, x+\delta, y) \quad \text{subject to } ||\delta||_p < \epsilon $$

סוג זה של תקיפה הודגם לראשונה באמצעות Fast Gradient Sign Method (FGSM) (GOODFELLOW; SHLENS; SZEGEDY, 2015).

תקיפות הרעלת נתונים מכניסות תת-קבוצות מניפולטיביות $D_p$ אל מערך האימון, ובכך מובילות למודל חדש:

$$ \theta^ = \arg\min_{\theta} L(\theta, D \cup D_p) $$

כאשר $D_p$ נבנה כדי למקסם את השגיאה על דוגמאות מטרה (BIGGIO et al., 2012).

תקיפות חילוץ מודל, לעומת זאת, מנצלות שאילתות אדפטיביות ל-API של האינפרנס כדי לקרב את המודל המקורי $f_\theta$ באמצעות מודל מחליף $\hat{f}_{\theta’}$ (TRAMÈR et al., 2016). בעיה זו נעשית רלוונטית במיוחד בשירותי ML הנגישים דרך האינטרנט.

אף שהספרות האקדמית בחנה בהרחבה איומים אלה, קיימת פער משמעותי בין הצעות תאורטיות לבין מנגנוני אבטחה שניתן ליישם בסביבות תפעוליות. עבודות כגון Papernot et al. (2016) בוחנות את יכולת ההעברה של דוגמאות אדברסריאליות, אך אינן עוסקות באינטגרציה עם מערכות ניטור ארגוניות. בדומה לכך, מחקרים על חוסן אדברסרי מתעלמים לעיתים קרובות מדרישות ההשהיה וההרחבה האופייניות למערכות בייצור (MADRY et al., 2018).

לאחרונה, מחקרים על אבטחת שרשראות עיבוד של ML הדגישו סיכונים הקשורים לשרשרת האספקה של נתונים, לשחזוריות האימון ולבקרת גרסאות של מודלים (KUMAR et al., 2022; CRENSHAW; VU, 2021). היבטים אלה מחזקים את הצורך בגישות המשלבות טכניקות סטטיסטיות עם בקרות מסורתיות של אבטחת תשתית.

3. מודל איום ומיסוד הבעיה

אנו מניחים תוקף $\mathcal{A}$ בעל יכולות ריאליסטיות בסביבות ארגוניות:

1. גישת כתיבה חלקית למערך הנתונים של האימון, ייתכן באמצעות פגיעה בשרשרת האספקה של הנתונים.
2. גישת שאילתה ל-API של האינפרנס החשוף חיצונית.
3. יכולת ליירט או לצפות בתעבורה פנימית ברשתות ארגוניות שנפגעו.

מטרות התוקף כוללות:

• למקסם את שגיאת הסיווג בתת-קבוצת יעד $T$
• לשחזר את פרמטרי המודל $\theta$
• להחדיר טריגר backdoor $t$ כך ש-$f_\theta(x+t)=y^$

אנו מגדירים שתי תכונות פורמליות רצויות.

תקינות סטטיסטית של הנתונים:

$$ \Delta D_{KL}(P_{train} || P_{baseline}) < \tau $$

כאשר $D_{KL}$ מייצג את סטיית קולבק–לייבלר בין התפלגות האימון הנצפית לבין התפלגות ייחוס.

סודיות פרמטרית:

$$ Pr(||\theta - \theta’|| < \epsilon) < \alpha $$

כאשר $\theta’$ מייצג קירוב שהושג בידי תוקף באמצעות שאילתות.

תכונות אלה מאפשרות לקבוע גבולות כמותיים לזיהוי חריגות ולהערכת יעילותם של אמצעי הגנה.

4. המתודולוגיה המוצעת

הארכיטקטורה המוצעת פועלת לפי מודל של הגנה לעומק המיושם על מחזור החיים של מערכות AI.

שכבה	מטרה	מנגנונים
ולידציית נתונים	זיהוי מניפולציה סטטיסטית	סטיית KL, ניתוח חריגים
אימון חסין	הפחתת רגישות אדברסריאלית	רגולריזציה וסינון
ניטור אינפרנס	זיהוי שאילתות חריגות	ניתוח אנטרופיה
אינטגרציה עם SOC	תגובה תפעולית	SIEM וקורלציית אירועים

אלגוריתם 1 — זיהוי הרעלת נתונים

Entrada: Dataset D, distribuição de referência P0
Saída: Amostras sinalizadas F

1: Estimar a distribuição empírica P_D
2: Calcular D_KL(P_D || P0)
3: Se D_KL > τ:
4:     Para cada amostra x_i em D:
5:         Calcular a pontuação de influência I(x_i)
6:         Se I(x_i) > λ:
7:             Adicionar x_i a F
8: Retornar F

ניתוח ההשפעה מבוסס על קירוב ההשפעה של כל דוגמה על פונקציית האובדן של המודל (KOH; LIANG, 2017). סיבוכיות האלגוריתם היא בקירוב $O(n \log n)$ כאשר הערכת הצפיפות מתבצעת באמצעות Kernel Density Estimation.

אלגוריתם 2 — הגבלת קצב אדפטיבית

Monitorar a distribuição das consultas à API
Calcular a entropia H(Q)

Se ΔH(Q) < -δ:
    aplicar limitação adaptativa
    acionar alerta de segurança

ירידה פתאומית באנטרופיית השאילתות מצביעה בדרך כלל על ניצול שיטתי של ה-API לצורך חילוץ מודל.

5. מימוש

הארכיטקטורה יושמה באמצעות מחסנית טכנולוגית מייצגת של סביבות ארגוניות בשנת 2023.

רכיב	טכנולוגיה
תזמור	Kubernetes 1.28
מסגרת ML	PyTorch 2.1
ניהול ניסויים	MLflow
ניטור רשת	Suricata 7.0
SIEM	Wazuh
ניהול סודות	HashiCorp Vault

דוגמה לכלל YARA ששימש לזיהוי תבניות חשודות בארטיפקטים של מודל:

rule Suspicious_Model_Backdoor {
    strings:
        $trigger = "pattern_xyz"
    condition:
        $trigger
}

האירועים שנוצרו על ידי חיישני הרשת ועל ידי שרשרת העיבוד של ML הומרו לכללי Sigma ולאחר מכן קורלצו במנגנון הניתוח של ה-SIEM.

6. הערכה ניסויית

ההערכה הניסויית בוצעה בתשתית שכללה שלושה צמתים פיזיים מסוג Dell PowerEdge R740, כל אחד מצויד במעבדי Intel Xeon Silver, בזיכרון RAM בנפח 128 GB וב-GPU מסוג NVIDIA A100.

מערכי הנתונים ששימשו:

מערך נתונים	סוג	שימוש
CIC‑IDS2017	תעבורת רשת	זיהוי חדירות
Adversarial MNIST	ראייה ממוחשבת	הערכה אדברסריאלית
Real SOC logs	אירועי אבטחה	הערכה תפעולית

תוצאות ניסוי:

מדד	Baseline	הארכיטקטורה המוצעת
שיעור ההצלחה של תקיפת FGSM	78.4%	35.7%
דיוק חילוץ המודל	91%	28%
זיהוי הרעלה (F1)	—	0.94

מנגנון זיהוי ההרעלה השיג דיוק של 96.3% ושיעור recall של 91.8%, עם סטיית תקן של ±1.2%.

השפעה תפעולית:

מדד	ערך
עומס ממוצע על ה-CPU	8.4%
השהיה נוספת	12 ms

תוצאות אלה מצביעות על כך שניתן לשלב בקרות סטטיסטיות בשרשראות עיבוד של AI עם השפעה תפעולית מתונה.

7. מחקר מקרה

יישמנו את הארכיטקטורה בתרחיש מייצג של SOC פיננסי המפעיל מערכת זיהוי הונאה המבוססת על למידה מונחית.

במהלך הניסוי, צוות red team הוסיף במכוון 0.8% של דוגמאות מניפולטיביות אל שרשרת האימון.

זרימה שנצפתה:

1. הסטייה $D_{KL}$ חרגה מהסף $\tau = 0.15$.
2. אלגוריתם ההשפעה זיהה תת-קבוצה של דוגמאות חשודות.
3. הדוגמאות בודדו אוטומטית.
4. נשלח התראה ל-SIEM לצורך חקירה.

התקיפה זוהתה לפני שהמודל המעודכן נפרס לייצור, דבר המדגים את יעילות האינטגרציה בין מנגנונים סטטיסטיים לבקרות תפעוליות.

8. דיון

התוצאות הניסיוניות מצביעות על כך שגישות המבוססות על ניטור סטטיסטי יכולות לצמצם באופן משמעותי את משטח התקיפה של מערכות AI. היתרון המרכזי של הארכיטקטורה המוצעת טמון באינטגרציה בין מנגנוני זיהוי ייעודיים ל-ML לבין כלים מסורתיים של אבטחת סייבר ארגונית.

עם זאת, יש להביא בחשבון מספר מגבלות. יעילות הזיהוי תלויה בזמינות של התפלגויות ייחוס אמינות להשוואה סטטיסטית. בסביבות דינמיות מאוד, שינויים לגיטימיים בהתפלגות הנתונים עלולים ליצור false positives.

איום נוסף לתקפות הניסוי נובע מהשימוש החלקי במערכי נתונים סינתטיים או ציבוריים. אף שהם נפוצים מאוד במחקר, מערכי נתונים כאלה עשויים שלא ללכוד במלואם את המורכבות של סביבות ארגוניות אמיתיות.

לבסוף, ממשל של מערכות AI דורש לא רק בקרות טכניות, אלא גם מסגרות ארגוניות ומדיניות לניהול סיכונים. בהקשר זה, מסגרות כגון NIST AI Risk Management Framework מספקות הנחיה רלוונטית לשילוב אבטחה, ממשל והנדסת AI (NIST, 2023).

9. מסקנה

עבודה זו הציגה ארכיטקטורה תפעולית לאבטחת מערכות בינה מלאכותית המבוססת על עקרונות של הגנה לעומק וניטור סטטיסטי. מיסדנו תכונות אבטחה רלוונטיות לשרשראות עיבוד של למידת מכונה והצענו מנגנונים מעשיים לזיהוי הרעלת נתונים ולהפחתת תקיפות חילוץ מודל.

ההערכה הניסויית הראתה כי הגישה המוצעת מפחיתה באופן מהותי את היעילות של תקיפות אדברסריאליות ושל חילוץ מודל, תוך שמירה על עלויות חישוביות מתונות. מחקר המקרה בסביבת SOC פיננסי מחזק את הישימות המעשית של הארכיטקטורה בתרחישי עולם אמיתי.

התוצאות מצביעות על כך שהגנה על מערכות AI מחייבת התכנסות של טכניקות חסינות של למידת מכונה, אבטחת תשתית וניטור תפעולי מתמשך.

References

BIGGIO, Battista et al. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2012. Available at: https://arxiv.org/abs/1206.6389. Accessed on: 10 Dec. 2023.

CRENSHAW, Adrian; VU, Tuan. Securing the machine learning supply chain. IEEE Security & Privacy, v. 19, n. 3, p. 76–82, 2021. Available at: https://doi.org/10.1109/MSEC.2021.3059123. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian J.; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Accessed on: 10 Dec. 2023.

KOH, Pang Wei; LIANG, Percy. Understanding black-box predictions via influence functions. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING. Proceedings… 2017. Available at: https://arxiv.org/abs/1703.04730. Accessed on: 10 Dec. 2023.

KUMAR, Ram Shankar et al. AI engineering: building applications with foundation models. Communications of the ACM, v. 65, n. 11, p. 74–83, 2022. Available at: https://doi.org/10.1145/3523717. Accessed on: 10 Dec. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Accessed on: 10 Dec. 2023.

MITRE. MITRE ATT&CK framework. 2023. Available at: https://attack.mitre.org. Accessed on: 10 Dec. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023. Available at: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf. Accessed on: 10 Dec. 2023.

PAPERNOT, Nicolas et al. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. 2016. Available at: https://arxiv.org/abs/1605.07277. Accessed on: 10 Dec. 2023.

STEINHARDT, Jacob; KOH, Pang Wei; LIANG, Percy. Certified defenses for data poisoning attacks. Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1706.03691. Accessed on: 10 Dec. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Accessed on: 10 Dec. 2023.

AMODEI, Dario et al. Concrete problems in AI safety. 2016. Available at: https://arxiv.org/abs/1606.06565. Accessed on: 10 Dec. 2023.

BARRENO, Marco et al. The security of machine learning. Machine Learning, v. 81, p. 121–148, 2010. Available at: https://doi.org/10.1007/s10994-010-5188-5. Accessed on: 10 Dec. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1608.04644. Accessed on: 10 Dec. 2023.

CHEN, Xinyun et al. Targeted backdoor attacks on deep learning systems. 2017. Available at: https://arxiv.org/abs/1712.05526. Accessed on: 10 Dec. 2023.

GOODFELLOW, Ian. Adversarial machine learning. Communications of the ACM, v. 61, n. 7, 2018. Available at: https://doi.org/10.1145/3205368. Accessed on: 10 Dec. 2023.

KENDALL, Alex; GAL, Yarin. What uncertainties do we need in Bayesian deep learning for computer vision? Advances in Neural Information Processing Systems, 2017. Available at: https://arxiv.org/abs/1703.04977. Accessed on: 10 Dec. 2023.

KURITA, Keita et al. Weight poisoning attacks on pretrained models. ACL, 2020. Available at: https://arxiv.org/abs/2004.06660. Accessed on: 10 Dec. 2023.

LIU, Yingqi et al. Trojaning attack on neural networks. NDSS Symposium, 2018. Available at: https://arxiv.org/abs/1803.00410. Accessed on: 10 Dec. 2023.

NASR, Milad; SHOKRI, Reza; HOUmansadr, Amir. Machine learning with membership privacy using adversarial regularization. ACM CCS, 2018. Available at: https://arxiv.org/abs/1807.05852. Accessed on: 10 Dec. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://arxiv.org/abs/1610.05820. Accessed on: 10 Dec. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: on using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Accessed on: 10 Dec. 2023.

SZEGEDY, Christian et al. Intriguing properties of neural networks. International Conference on Learning Representations, 2014. Available at: https://arxiv.org/abs/1312.6199. Accessed on: 10 Dec. 2023.

VARDAKIS, Georgios et al. Securing machine learning pipelines in cloud environments. IEEE Cloud Computing, v. 9, n. 5, 2022. Available at: https://doi.org/10.1109/MCC.2022.3199871. Accessed on: 10 Dec. 2023.