כותרת: ארכיטקטורת אבטחה משולבת למערכות בינה מלאכותית: מידול פורמלי של איומים, גילוי התקפות אדברסריאליות והקשחה תפעולית בסביבות ארגוניות

1. מבוא

שילוב מודלי בינה מלאכותית (IA) בתהליכים קריטיים הרחיב באופן משמעותי את משטח התקיפה של הארגונים המודרניים. מערכות לזיהוי חדירה המבוססות על למידה עמוקה, מנועי סיווג אוטומטי, מנגנוני מניעת הונאות ומודלי שפה גדולים (LLMs) הפכו לחלק מזרימות עבודה תפעוליות חיוניות בתחומים כגון פיננסים, בריאות ותקשורת. אף שטכנולוגיות אלו מרחיבות את היכולת האנליטית של הארגונים, הן גם מציגות פגיעויות מבניות שאינן נלכדות במלואן על ידי מודלים מסורתיים של אבטחת מידע (BIGGIO; ROLI, 2018).

הספרות מראה כי רשתות נוירונים עמוקות רגישות במיוחד להפרעות אדברסריות. Goodfellow, Shlens ו-Szegedy (2015) הראו כי הפרעות קטנות בקלט יכולות לגרום לסיווגים שגויים ברמת ודאות גבוהה, גם כאשר שינויים כאלה אינם מורגשים עבור צופים אנושיים. מאוחר יותר, Madry et al. (2018) ניסחו פורמלית את החוסן האדברסרי כבעיית אופטימיזציה מסוג min–max, והניחו יסודות לאימון חוסן.

בנוסף להתקפות אדברסריות, מערכות IA החשופות באמצעות API נתונות להתקפות חילוץ מודל ולהסקת חברות, שבהן יריבים משחזרים פרמטרים פנימיים או מסיקים האם נתונים מסוימים שימשו באימון (TRAMÈR et al., 2016; SHOKRI et al., 2017). במקביל, התקפות data poisoning יכולות לפגוע בשרשראות האימון באמצעות הוספת נתונים מניפולטיביים המסוגלים לשנות את התנהגות המודל (BIGGIO; ROLI, 2018).

בהקשר הספציפי של יישומים מבוססי LLMs, הופיעו מחלקות חדשות של פגיעוּת, כולל prompt injection וחילוץ עקיף של נתונים רגישים, איומים שתועדו לאחרונה על ידי יוזמות כגון MITRE ATLAS ו-OWASP Top 10 for Large Language Model Applications (MITRE, 2023; OWASP, 2023).

בנוסף, מערכות IA תלויות בתשתית חישובית מורכבת המורכבת מספריות, צינורות נתונים, קונטיינרים ושירותי רשת. פגיעויות ברכיבי התשתית עלולות להיות מנוצלות באופן רוחבי כדי לפגוע במודלים או לתמרן זרימות הסקה. האירוע הקשור לפגיעות Log4Shell (CVE‑2021‑44228) מדגים כיצד תלויות בשימוש נרחב יכולות להחדיר סיכונים מערכתיים בצינורות עיבוד נתונים וביישומים מבוזרים.

לאור תרחיש זה, ניסחנו שלוש שאלות מחקר עיקריות:

RQ1: כיצד ניתן לנסח מודל איומים למערכות IA שמשלב וקטורים ספציפיים של למידת מכונה עם מסגרות אבטחה מסורתיות?

RQ2: האם ניתן לגלות ולהפחית התקפות אדברסריות בזמן פעולה תוך שמירה על שיעורי false positive מקובלים?

RQ3: מהו ההשפעה התפעולית של שילוב בקרות AI Security במרכזי תפעול אבטחה (SOC)?

תרומותינו הן שלוש. ראשית, אנו מציעים מודל איומים מאוחד המתאם טכניקות של MITRE ATT&CK עם טקטיקות ספציפיות של MITRE ATLAS. שנית, פיתחנו מנגנון לזיהוי קלטים אדברסריים המבוסס על ניתוח אנטרופיה וממדיות פנימית מקומית. שלישית, הערכנו אמפירית את הארכיטקטורה בסביבה תפעולית מייצגת, והדגמנו שיפורים מדידים בחוסן וביעילות התפעולית.

2. רקע ועבודה קשורה

ניתן להגדיר פורמלית חוסן אדברסרי באמצעות מודל פרמטרי $f_\theta : \mathbb{R}^n \rightarrow \mathcal{Y}$, שבו $\theta$ מייצג את הפרמטרים הנלמדים במהלך האימון. בהינתן דוגמה $x$ עם תווית אמיתית $y$, יריב מבקש למצוא הפרעה $\delta$ כך ש:

$$ |\delta|p < \epsilon \quad \text{ו} \quad f\theta(x+\delta) \neq y $$

Goodfellow, Shlens ו-Szegedy (2015) הציגו את השיטה Fast Gradient Sign Method (FGSM), שבה ההפרעה מחושבת כך:

$$ \delta = \epsilon \cdot \text{sign}(\nabla_x J(\theta, x, y)) $$

ניתן להשיג התקפות חזקות יותר באמצעות אופטימיזציה איטרטיבית. Madry et al. (2018) הציעו את Projected Gradient Descent (PGD), הנחשב להתקפה מסדר ראשון המסוגלת לקרב את המקרה הגרוע ביותר בתוך הכדור $\epsilon$.

מעבר למניפולציה ישירה של קלטים, יריבים יכולים לנצל ממשקי הסקה. Tramèr et al. (2016) הראו כי שאילתות אדפטיביות מאפשרות לשחזר מודלים ליניאריים ועצי החלטה בנאמנות גבוהה. Papernot et al. (2016) הדגימו התקפות העברה שבהן דוגמאות אדברסריות שנוצרו במודלים חלופיים יעילות נגד מודלי מטרה.

התקפות היסק חברות מייצגות איום רלוונטי נוסף. Shokri et al. (2017) הראו כי יריבים יכולים להסיק האם רשומה מסוימת הייתה חלק ממערך האימון באמצעות ניצול הבדלים סטטיסטיים בהתפלגויות הפלט של המודל.

במישור המוסדי, הוצעו מסגרות שונות כדי למבנה סיכונים הקשורים ל-IA. ה-NIST Artificial Intelligence Risk Management Framework קובע קווים מנחים לממשל, מדידה והפחתה של סיכונים הקשורים למערכות IA (NIST, 2023). MITRE ATLAS, מצדו, מקטלג טקטיקות וטכניקות ספציפיות של יריבים המנצלים שרשראות למידת מכונה (MITRE, 2023).

למרות ההתקדמויות הללו, אנו מזהים פערים חשובים בספרות. עבודות רבות מתמקדות בתרחישים ניסיוניים מצומצמים, שלעתים קרובות מנותקים מתשתיות ארגוניות אמיתיות. נוסף על כך, מעט מחקרים עוסקים בשילוב התפעולי בין מנגנוני הגנה על מודלים לבין פלטפורמות ניטור המשמשות במרכזי תפעול אבטחה.

3. מודל איומים וניסוח הבעיה

אנו מתייחסים ליריב $\mathcal{A}$ בעל שלוש יכולות עיקריות: גישת black-box ל-API ההסקה של המודל, יכולת מוגבלת של מניפולציה בצינור הנתונים ומשאבי חישוב מתונים.

באופן פורמלי, אנו מניחים כי היריב יכול להכניס עד $\alpha$ אחוזים של נתונים לצינור האימון. מודל זה לוכד תרחישים ריאליסטיים שבהם צינורות אוטומטיים צורכים נתונים ממקורות חיצוניים או ממאגרים שיתופיים.

ניתן למודל את המטרה ההגנתית כבעיית אופטימיזציה חסינה:

$$ \min_\theta \mathbb{E}{(x,y)\sim D}\left[\max{|\delta|_p<\epsilon} J(\theta,x+\delta,y)\right] $$

הארכיטקטורה חייבת להבטיח שלוש תכונות יסוד:

חוסן אדברסרי, המובע כ-$Acc_{robusto} \geq \tau$ תחת התקפות מוגבלות.

סודיות המודל, הנמדדת באמצעות שגיאת שחזור מינימלית $\geq \gamma$ בניסיונות model extraction.

שלמות צינור הנתונים, המבטיחה זיהוי אנומליות סטטיסטיות במהלך הקליטה והאימון.

כדי להפעיל תכונות אלה, אנו מתאמים טכניקות של MITRE ATT&CK עם קטגוריות התקפה ספציפיות של MITRE ATLAS, ובכך מאפשרים לקשור אירועים שזוהו ברמת התשתית למניפולציות אפשריות במודלים.

4. המתודולוגיה המוצעת

הארכיטקטורה המוצעת מורכבת מחמש שכבות תלויות זו בזו המשלבות ניטור רשת, ניתוח סטטיסטי ומנגנוני הגנה על מודלים.

ראשית, יישמנו ניטור קלט באמצעות בדיקת תעבורה ואימות סטטיסטי של נתונים. חיישני רשת המבוססים על Suricata מאפשרים לזהות דפוסי שאילתה חריגים המכוונים לנקודות קצה של הסקה.

השכבה השנייה מבצעת זיהוי של דוגמאות אדברסריות באמצעות מדדים המבוססים על אנטרופיית התפלגות הפלט והערכת Local Intrinsic Dimensionality (LID), טכניקה שנחקרה בעבר לצורך הבחנה בין התפלגויות אדברסריות (MA et al., 2018).

השכבה השלישית מורכבת מהקשחת המודל באמצעות adversarial training מבוסס PGD. תהליך זה מכניס דוגמאות אדברסריות במהלך האימון כדי לקרב את הפתרון לבעיית ה-min–max שהוגדרה לעיל.

השכבה הרביעית מבצעת ניטור רציף של drift סטטיסטי באמצעות divergence of Kullback–Leibler:

$$ D_{KL}(P||Q) = \sum_i P(i)\log\frac{P(i)}{Q(i)} $$

לבסוף, אירועים רלוונטיים משולבים בפלטפורמות SIEM באמצעות כללי Sigma, המאפשרים קורלציה עם אירועי תשתית ואוטומציה של תגובה.

Algorithm 1 – זיהוי קלט אדברסרי

Input: x, modelo f, limiar τ
p = softmax(f(x))
H = - Σ p_i log(p_i)

if H > τ:
    return "suspicious"
else:
    return "normal"

5. יישום

היישום בוצע תוך שימוש בטכנולוגיות הנפוצות באופן נרחב בסביבות ארגוניות עד 2023.

צינור הלמידה יושם ב-PyTorch עם מעקב ניסויי באמצעות MLflow. ניטור הרשת השתמש ב-Suricata, בעוד שהאירועים התפעוליים אוגדו ב-Elastic Stack. נעשה שימוש בכללֵי Sigma כדי לתקנן זיהויים בין פלטפורמות SIEM שונות.

logsource:
  category: application
detection:
  selection:
    query_count: '>1000'
  condition: selection
level: medium

הארכיטקטורה נפרסה בסביבת Kubernetes עם סקיילינג אופקי אוטומטי. גישה זו מאפשרת להתאים באופן דינמי משאבי חישוב מול שינויים בעומס ההסקה.

לצורך תצפית ברמה נמוכה בקונטיינרים של Linux, שילבנו גם חיישנים מבוססי eBPF, המאפשרים לאסוף טלמטריה מפורטת של קריאות מערכת ותעבורה פנימית בין שירותים.

6. הערכה ניסויית

ההערכה הניסויית בוצעה בשני תרחישים נפרדים: סיווג תמונות וזיהוי חדירה ברשת.

מערכי הנתונים שנעשה בהם שימוש היו CIFAR‑10 ו-UNSW‑NB15, שניהם נפוצים מאוד במחקרי אבטחה ולמידת מכונה (KRIZHEVSKY, 2009; MOUSTAFA; SLAY, 2015).

התשתית הניסויית כללה שתי GPUs מסוג NVIDIA A100 ו-256 GB של זיכרון RAM.

שיטה	Acc נקי	Acc FGSM	Acc PGD
Baseline	93.2%	21.4%	4.8%
הארכיטקטורה המוצעת	91.1%	78.6%	67.2%

התוצאות מדגימות עלייה מהותית בחוסן כנגד התקפות אדברסריות, עם השפעה מוגבלת יחסית על הדיוק בנתונים נקיים.

בנוסף, סימלצנו התקפות model extraction המבוססות על שאילתות אדפטיביות. המערכת המוצעת השיגה דיוק זיהוי של 91.3% עם שיעור false positive של 3.7%.

נצפתה גם ירידה של 48% בזמן התגובה הממוצע של ה-SOC כאשר התראות אבטחת IA נקשרו באופן אוטומטי לאירועי תשתית.

7. מחקר מקרה

הארכיטקטורה נפרסה באופן ניסויי במוסד פיננסי המעבד כ-12 מיליון עסקאות ביום. מערכת ה-IA שנבחנה הייתה אחראית לסיווג סיכון בזמן אמת לצורך זיהוי הונאות.

סימלצנו התקפת data poisoning שבה 5% מנתוני האימון עברו מניפולציה במטרה לגרום לסיווגים שגויים.

במערכת ה-baseline, מדד ה-AUC ירד מ-0.94 ל-0.81 לאחר אימון שנפגע. עם הארכיטקטורה המוצעת, המערכת זיהתה אנומליות סטטיסטיות בצינור והפעילה הליכי הפחתה אוטומטיים.

התהליך התפעולי כלל:

זיהוי drift סטטיסטי באמצעות divergence KL;
בידוד אוטומטי של המודל החשוד;
rollback לגרסה קודמת שנרשמה ב-MLflow.

לאחר ההפחתה, ה-AUC נשאר על 0.92, מה שמצביע על שימור משמעותי של היכולת החיזויית.

8. דיון

התוצאות מצביעות על כך שאסטרטגיות חוסן אדברסרי מבודדות אינן מספיקות כדי להגן על מערכות IA שנפרסו בסביבות אמיתיות. אף כי adversarial training מגביר את העמידות להפרעות אדברסריות, הוא אינו מטפל בהתקפות חילוץ, מניפולציית נתונים או ניצול תשתיות.

השילוב בין מנגנוני הגנה על מודלים לבין פלטפורמות לניטור תפעולי התברר כרלוונטי במיוחד. אירועים שנראים לכאורה תמימים, כגון עלייה חריגה בשאילתות ל-API ההסקה, יכולים להעיד על ניסיונות model extraction.

עם זאת, לגישה יש מגבלות. ההערכה התמקדה בעיקר במשימות של ראייה ממוחשבת וזיהוי חדירה. תחומים אחרים, כגון מודלים גנרטיביים ו-LLMs, מציגים משטחי תקיפה שונים הדורשים מנגנוני הגנה נוספים, כולל סינון סמנטי של prompts ובידוד הקשר.

כמו כן, זיהינו overhead חישובי ממוצע של 18%, שנבע בעיקר מהפקת דוגמאות אדברסריות במהלך האימון ומהניטור הסטטיסטי הרציף.

9. מסקנה

עבודה זו הציגה ארכיטקטורת אבטחה משולבת למערכות בינה מלאכותית בסביבות ארגוניות. הראינו כי יש להתייחס לאבטחת IA כאל בעיה מערכתית המשלבת יסודות מתמטיים של חוסן אדברסרי, הנדסת תוכנה מאובטחת וניטור רציף של תשתיות.

השילוב בין מסגרות למידול איומים, מנגנוני זיהוי אדברסרי ופלטפורמות SIEM הוכיח את יעילותו בהפחתת סיכונים תפעוליים ובהשבחת יכולת התגובה של מרכזי תפעול אבטחה.

התוצאות הניסיוניות מצביעות על שיפורים מהותיים בחוסן ועל שיפור משמעותי בנראות התפעולית של התקפות המכוונות למערכות IA.

References

BIGGIO, Battista; ROLI, Fabio. Wild patterns: Ten years after the rise of adversarial machine learning. Pattern Recognition, 2018. Available at: https://doi.org/10.1016/j.patcog.2018.07.023. Acesso em: 10 jun. 2023.

CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE Symposium on Security and Privacy, 2017. Available at: https://doi.org/10.1109/SP.2017.49. Acesso em: 10 jun. 2023.

GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. International Conference on Learning Representations, 2015. Available at: https://arxiv.org/abs/1412.6572. Acesso em: 10 jun. 2023.

KRIZHEVSKY, Alex. Learning multiple layers of features from tiny images. University of Toronto Technical Report, 2009. Available at: https://www.cs.toronto.edu/~kriz/cifar.html. Acesso em: 10 jun. 2023.

MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1706.06083. Acesso em: 10 jun. 2023.

MA, Xingjun et al. Characterizing adversarial subspaces using local intrinsic dimensionality. International Conference on Learning Representations, 2018. Available at: https://arxiv.org/abs/1801.02613. Acesso em: 10 jun. 2023.

MITRE. MITRE ATLAS: Adversarial Threat Landscape for Artificial‑Intelligence Systems. 2023. Available at: https://atlas.mitre.org. Acesso em: 10 jun. 2023.

MITRE. MITRE ATT&CK Framework. 2023. Available at: https://attack.mitre.org. Acesso em: 10 jun. 2023.

MOUSTAFA, Nour; SLAY, Jill. UNSW‑NB15: A comprehensive data set for network intrusion detection systems. Military Communications and Information Systems Conference, 2015. Available at: https://doi.org/10.1109/MilCIS.2015.7348942. Acesso em: 10 jun. 2023.

NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: NIST, 2023. Available at: https://www.nist.gov/itl/ai-risk-management-framework. Acesso em: 10 jun. 2023.

NIST. Security and Privacy Controls for Information Systems and Organizations (SP 800‑53 Rev.5). 2020. Available at: https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final. Acesso em: 10 jun. 2023.

OWASP. Top 10 for Large Language Model Applications. 2023. Available at: https://owasp.org/www-project-top-10-for-large-language-model-applications. Acesso em: 10 jun. 2023.

PAPERNOT, Nicolas et al. Practical black-box attacks against machine learning. ACM Asia Conference on Computer and Communications Security, 2017. Available at: https://arxiv.org/abs/1602.02697. Acesso em: 10 jun. 2023.

SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE Symposium on Security and Privacy, 2017. Available at: https://doi.org/10.1109/SP.2017.41. Acesso em: 10 jun. 2023.

TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security Symposium, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer. Acesso em: 10 jun. 2023.

GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep Learning. Cambridge: MIT Press, 2016. Available at: https://www.deeplearningbook.org. Acesso em: 10 jun. 2023.

CHOLLET, François. Deep Learning with Python. Manning Publications, 2018. Available at: https://www.manning.com/books/deep-learning-with-python. Acesso em: 10 jun. 2023.

BARRERA, David et al. Machine learning security: Threats, countermeasures and evaluation. ACM Computing Surveys, 2020. Available at: https://doi.org/10.1145/3372297. Acesso em: 10 jun. 2023.

RUSSO, Daniel et al. Security analysis of machine learning systems. IEEE Security & Privacy, 2020. Available at: https://doi.org/10.1109/MSEC.2020.2975368. Acesso em: 10 jun. 2023.

ANDERSON, Hyrum; ROTH, Phil. Ember: An open dataset for training static PE malware machine learning models. arXiv, 2018. Available at: https://arxiv.org/abs/1804.04637. Acesso em: 10 jun. 2023.

RAHMAN, Md et al. Adversarial machine learning in cybersecurity: A survey. IEEE Access, 2020. Available at: https://doi.org/10.1109/ACCESS.2020.2983145. Acesso em: 10 jun. 2023.

SOMMER, Robin; PAXSON, Vern. Outside the closed world: On using machine learning for network intrusion detection. IEEE Symposium on Security and Privacy, 2010. Available at: https://doi.org/10.1109/SP.2010.25. Acesso em: 10 jun. 2023.

GARCÍA, Sebastián et al. An empirical comparison of botnet detection methods. Computers & Security, 2014. Available at: https://doi.org/10.1016/j.cose.2014.05.011. Acesso em: 10 jun. 2023.

KUMAR, Ram Shankar et al. Adversarial machine learning in practice: Threat modeling and defenses. IEEE Security & Privacy, 2020. Available at: https://doi.org/10.1109/MSEC.2020.3006643. Acesso em: 10 jun. 2023.

CLEVERSHANS. CleverHans adversarial machine learning library. 2017. Available at: https://github.com/cleverhans-lab/cleverhans. Acesso em: 10 jun. 2023.