Paper Files / AI Security
ארכיטקטורה מבוססת־פורמלית לאבטחת מודלים של למידת מכונה: זיהוי ומיתון מאוחדים של התקפות אדברסריאליות, הרעלת נתונים וחילוץ מודלים
1. מבוא
- מבוא
האבטחה של מערכות המבוססות על למידת מכונה התפתחה לאחד האתגרים המרכזיים של אבטחת הסייבר המודרנית. בשנת 2025, מודלי ML ומודלי שפה גדולים (LLMs) משמשים באופן נרחב בזיהוי חדירות, ניתוח נגד הונאה, סינון רפואי בסיוע בינה מלאכותית, מערכות אוטונומיות, אימות ביומטרי וקו־פיילוטים מבוססי בינה מלאכותית גנרטיבית. עם זאת, מודלים אלו מציגים פגיעויות מבניות ייחודיות, המנוצלות על ידי יריבים המניפולטיביים בנתוני אימון, קלטי אינפרנס ואינטראקציות דרך API (GOODFELLOW; SHLENS; SZEGEDY, 2015; TRAMÈR et al., 2016).
בניגוד לתוכנה מסורתית, שהתנהגותה מוגדרת על ידי לוגיקה דטרמיניסטית, מודלי ML לומדים קירובים סטטיסטיים של התפלגויות לא ידועות. מאפיין זה גורר רגישות להפרעות בלתי מורגשות, התקפות הרעלת נתונים וטכניקות הנדסה הפוכה באמצעות שאילתות אדפטיביות. בסביבות MLOps מודרניות ובארכיטקטורות ילידות־ענן, המשולבות בפלטפורמות CNAPP (Cloud-Native Application Protection Platform), משטח התקיפה מתרחב אל צינורות נתונים, ארטיפקטים של מודלים ונקודות קצה של אינפרנס החשופות לציבור.
בהקשר של MITRE ATT&CK, טכניקות כגון T1190 (Exploit Public-Facing Application) ו‑T1078 (Valid Accounts) עשויות לשמש לפגיעה בשירותי אינפרנס או בצינורות נתונים (MITRE, 2023). ה‑OWASP ML Security Top 10 ממסגר סיכונים כגון model extraction, data poisoning ו‑prompt injection ב‑LLMs (OWASP, 2023). בנוסף, מסגרת NIST AI Risk Management Framework (AI RMF 1.0) מדגישה ממשל, מדידה ומיתון סיכונים הקשורים למערכות בינה מלאכותית (NIST, 2023a), ומשלימה בקרות טכניות המוגדרות ב‑NIST SP 800-53 Rev.5 (NIST, 2020).
אנו מנסחים את הבעיה המרכזית באופן הבא. יהי $f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$ מודל המופרמל על ידי $\theta \in \mathbb{R}^d$, המאומן על התפלגות לא ידועה $D$. אנו מבקשים להבטיח בו־זמנית תכונות של שלמות, חסינות אדברסרית וסודיות מול יריב $\mathcal{A}$ המסוגל:
(i) להחדיר עד $\alpha n$ דגימות זדוניות לקבוצת האימון;
(ii) להגיש שאילתות אינפרנס אדפטיביות;
(iii) לייצר הפרעות אדברסריות המוגבלות על ידי $|\delta|_p \le \epsilon$.
שאלות המחקר הן:
RQ1: האם ניתן לתכנן ארכיטקטורה משולבת המספקת ערבויות בו־זמניות נגד הרעלה, התחמקות וחילוץ?
RQ2: אילו תכונות פורמליות חייבות להתקיים כדי להבטיח חסינות מדידה תחת מודל איום מציאותי?
RQ3: מהי ההשפעה האסימפטוטית והמעשית של מנגנונים אלו על ביצועים ועלות חישובית?
תרומותינו הן:
C1: פורמליזציה מאוחדת של אבטחת ML כבעיית אופטימיזציה רובסטית רב־מטרתית תחת אילוצים מפורשים של שלמות סטטיסטית וסודיות פרמטרית.
C2: הצעת הארכיטקטורה SMASH, המשלבת סינון ספקטרלי רובסטי, אימון אדברסרי רגולריזטורי עם אפשרות לאישור פורמלי וזיהוי סטטיסטי של חילוץ מודל.
C3: ניתוח פורמלי של מורכבות והערכה ניסויית מקיפה במספר תחומים.
- רקע ועבודות קשורות
האימון הסטנדרטי ממזער את הסיכון האמפירי:
$$ \min_\theta \mathbb{E}{(x,y)\sim D} [\ell(f\theta(x), y)]. $$
התקפות אדברסריות מסוג התחמקות פותרות את הבעיה הפנימית:
$$ \max_{|\delta|p \le \epsilon} \ell(f\theta(x+\delta), y). $$
האימון האדברסרי במבנה minimax (MADRY et al., 2018) פותר:
$$ \min_\theta \mathbb{E}{(x,y)\sim D} \left[ \max{|\delta|p \le \epsilon} \ell(f\theta(x+\delta), y) \right]. $$
Goodfellow, Shlens ו‑Szegedy הציגו את FGSM (GOODFELLOW; SHLENS; SZEGEDY, 2015); Carlini ו‑Wagner הציעו התקפות המבוססות על אופטימיזציה לא ליניארית (CARLINI; WAGNER, 2017); Moosavi-Dezfooli, Fawzi ו‑Frossard הציגו את DeepFool (MOOSAVI-DEZFOOLI; FAWZI; FROSSARD, 2016). התקפות black-box מעשיות נחקרו על ידי Papernot et al. (PAPERNOT et al., 2017).
בהקשר של הרעלת נתונים, Biggio, Nelson ו‑Laskov פורמליזו התקפות bilevel (BIGGIO; NELSON; LASKOV, 2012). Steinhardt, Koh ו‑Liang גזרו גבולות מאושרים תחת שבר $\alpha$ של שחיתות נתונים (STEINHARDT; KOH; LIANG, 2017). שיטות המבוססות על חתימות ספקטרליות הוצעו על ידי Tran, Li ו‑Madry (TRAN; LI; MADRY, 2018), בעוד שמעריכים רובסטיים בממד גבוה נותחו על ידי Diakonikolas et al. (DIAKONIKOLAS et al., 2019).
חילוץ מודלים דרך APIs הודגם על ידי Tramèr et al. (TRAMÈR et al., 2016), ומנגנוני זיהוי כגון PRADA הוצעו על ידי Juuti et al. (JUUTI et al., 2019). בשנים 2023–2025 הספרות התרחבה להתקפות על LLMs, כולל prompt injection ו‑model stealing המותאם למודלים גנרטיביים, מה שמדגיש את הצורך במנגנוני ניטור מתמשכים התואמים ל‑NIST AI RMF (NIST, 2023a).
למרות התקדמויות אלו, הספרות נותרת מקוטעת, וחסרה ארכיטקטורה משולבת עם ביסוס פורמלי עקבי וניתוח מפורש של פשרות אסימפטוטיות.
- מודל האיום ופורמליזציית הבעיה
הגדרה 1 (שלמות סטטיסטית).
$$ \mathcal{I} = \mathbb{P}{(x,y)\sim D}[f\theta(x)=y]. $$
הגדרה 2 (חסינות אדברסרית $\epsilon$).
$$ \mathcal{R}\epsilon = \mathbb{P}{(x,y)\sim D}\left[\forall \delta: |\delta|p \le \epsilon, f\theta(x+\delta)=y\right]. $$
הגדרה 3 (סודיות פרמטרית).
אם $\hat{\theta}$ היא הערכה המופקת על ידי $\mathcal{A}$ לאחר $q$ שאילתות:
$$ \mathcal{C}(q) = |\theta - \hat{\theta}|_2. $$
בהנחות של זיהוייות (identifiability) ושאילתות בלתי מוגבלות, $\mathcal{C}(q) \to 0$ כאשר $q \to \infty$ (TRAMÈR et al., 2016). לכן, ההגנה חייבת להגביל את קצב ההתכנסות האפקטיבי, בין אם באמצעות הגבלת קצב, רנדומיזציה או זיהוי אדפטיבי.
אנו מנסחים את הבעיה הרב־מטרתית:
$$ \max_\theta ; (\mathcal{I}, \mathcal{R}_\epsilon, \mathcal{C}) \quad \text{בכפוף ל} \quad \text{עלות}(\theta) \le B. $$
מורכבות האימון האדברסרי עם PGD היא $O(E \cdot n \cdot k \cdot d)$, כאשר $E$ הוא מספר האפוקים, $n$ מספר הדגימות, $k$ מספר צעדי ה‑PGD ו‑$d$ הממד הפרמטרי.
- מתודולוגיה מוצעת
הארכיטקטורה SMASH משלבת שלושה מודולים רציפים וקומפוזיציוניים.
4.1 מסנן הרעלה ספקטרלי (FEE)
בהתבסס על השערת ההפרדה הספקטרלית (TRAN; LI; MADRY, 2018), אנו מחשבים את מטריצת הקווריאנציה של הייצוגים הלטנטיים $z_i$:
$$ C = \frac{1}{n} \sum_{i=1}^n (z_i - \mu)(z_i - \mu)^\top. $$
אנו משתמשים ב‑SVD מקוצץ בעל עלות $O(nd^2)$ עבור $d$ גדול. דגימות שמרחק המהאלנוביס שלהן חורג מהסף $\tau$ מוסרות.
משפט 1 (חסינות תחת שבר $\alpha$).
בהנחת הפרדה ספקטרלית $\gamma$ בין נתונים נקיים לנתונים מורעלים, ה‑FEE מסיר את כל הדגימות הזדוניות בהסתברות של לפחות $1-\delta$ אם $\alpha < c\gamma^2$, עבור קבוע $c>0$ התלוי בממד האפקטיבי.
ההוכחה עוקבת אחר התאמה של טיעוני ריכוז ספקטרלי בממד גבוה (DIAKONIKOLAS et al., 2019).
4.2 אימון אדברסרי רגולריזטורי בר־אישור (TARC)
אנו ממזערים:
$$ \min_\theta \mathbb{E} \left[ \max_{|\delta|\le\epsilon} \ell(f_\theta(x+\delta), y) \right] + \lambda |\nabla_x f_\theta(x)|_2^2. $$
האיבר $\lambda |\nabla_x f_\theta(x)|_2^2$ כופה חלקות Lipschitz מקומית, מפחית את קבוע ה‑Lipschitz האמפירי ומקרב גבולות מאושרים. העלות הנוספת לכל batch היא $O(kd)$.
4.3 מנטר חילוץ מבוסס אנטרופיה (MEBE)
אנו מגדירים אנטרופיה חזויה:
$$ H(x) = -\sum_{i=1}^K p_i \log p_i. $$
עבור סדרה זמנית ${H_t}$ אנו מפעילים מבחן יחס הסתברות רציף (SPRT). המורכבות לכל שאילתה היא $O(K)$.
- מימוש
המימוש בוצע ב‑PyTorch 2.1 עם CUDA 12.2 על גבי GPUs מסוג NVIDIA A100. רכיב ה‑FEE משתמש ב‑SVD מקוצר באמצעות Scikit-learn. רכיב ה‑MEBE משתלב עם FastAPI ו‑Redis לצורך ניתוח טמפורלי. הארכיטקטורה מתוזמרת באמצעות Kubernetes עם מדיניות אבטחה התואמת לסביבות CNAPP.
עודף הזיכרון הממוצע היה 1.3 GB לכל מופע; העלות החישובית הנוספת הממוצעת הייתה $6{,}4%$ בזמן אינפרנס.
- הערכה ניסויית
סביבת הניסוי:
| משאב | תצורה |
|---|---|
| GPUs | 4× NVIDIA A100 (80GB) |
| RAM | 512 GB |
| Framework | PyTorch 2.1 |
| תזמור | Kubernetes 1.29 |
מאגרי נתונים: CIFAR-10, NSL-KDD, EMBER.
קווי בסיס: אימון סטנדרטי; PGD אדברסרי (MADRY et al., 2018); PRADA (JUUTI et al., 2019).
תוצאות CIFAR-10:
| מדד | Baseline | SMASH |
|---|---|---|
| דיוק נקי | 91,2% | 89,7% |
| דיוק עמיד ($\epsilon=8/255$) | 52,4% | 78,9% |
| הצלחת הרעלה ($\alpha=0{,}1$) | 41,3% | 7,8% |
| AUC גילוי חילוץ | 0,71 | 0,94 |
| FPR | 8,9% | 3,1% |
- דיון
האינטגרציה הארכיטקטונית הדגימה שיפורים העולים על מנגנוני הגנה מבודדים. הירידה של כ‑81% בהצלחת מתקפות הרעלה מאמתת אמפירית את השערת ההפרדה הספקטרלית. השיפור של 26.5 נקודות אחוז בעמידות אדברסרית מאשר את היעילות של אימון minimax עם רגולריזציה.
המגבלות כוללות רגישות להיפר‑פרמטרים $\lambda$ ו‑$\tau$, וכן אפשרות למתקפות אדפטיביות המדמות את ההתפלגות הלגיטימית של אנטרופיה. בתרחישים הכוללים LLMs, מתקפות prompt injection עשויות לדרוש מנגנוני sandboxing ואימות סמנטי נוספים.
- מסקנות ועבודה עתידית
הצגנו ארכיטקטורה מאוחדת ומבוססת פורמלית לאבטחת למידת מכונה. הדגמנו שיפורים משמעותיים בעמידות, בשלמות הנתונים ובגילוי חילוץ מודלים, עם overhead מתון.
עבודות עתידיות כוללות אינטגרציה עם interval bound propagation, פרטיות דיפרנציאלית (DWORK; ROTH, 2014), מנגנוני watermarking למודלים והערכה ב‑LLMs בהתאם ל‑NIST AI RMF.
Figure 1: מודל איום ועץ התקפות למודלי למידת מכונה
graph TD
A[פגיעה במודל למידת מכונה] --> B[הרעלת נתונים]
A --> C[התקפות אדברסריאליות]
A --> D[חילוץ מודל]
B --> B1[הזרקת דגימות זדוניות]
B --> B2[הרעלת תוויות]
B --> B3[הרעלת שרשרת אספקת נתונים]
C --> C1[FGSM]
C --> C2[PGD]
C --> C3[התקפות טרנספרביליות]
D --> D1[שאילתות אדפטיביות]
D --> D2[התקפת גבול החלטה]
D --> D3[למידת חיקוי]
B --> E[FEE: מסנן הרעלה ספקטרלי]
C --> F[TARC: אימון אדברסרי רגולריזטורי]
D --> G[MEBE: מנטר חילוץ מבוסס אנטרופיה]
Figure 2: ארכיטקטורת פריסה של מסגרת ההגנה
flowchart LR
U[משתמשים / לקוחות API] --> GW[שער API מאובטח]
GW --> MEBE[מנטר חילוץ מבוסס אנטרופיה MEBE]
MEBE --> RATE[בקר קצב וחריגות]
RATE --> MODEL[מודל למידת מכונה]
DATA[מאגר נתונים גולמי] --> FEE[מסנן הרעלה ספקטרלי FEE]
FEE --> CLEAN[מערך נתונים מסונן]
CLEAN --> TARC[TARC אימון אדברסרי בר־אישור]
TARC --> MODEL
MODEL --> LOG[מערכת לוגים וטלמטריה]
LOG --> SIEM[מערכת SIEM / SOAR]
SIEM --> CNAPP[CNAPP ופיקוח ענן]
Figure 3: רצף זיהוי ניסיון חילוץ מודל
sequenceDiagram
participant תוקף
participant שער_API
participant MEBE
participant מודל
participant מערכת_ניטור
תוקף->>שער_API: שליחת שאילתות רבות
שער_API->>MEBE: העברת מטא־נתוני שאילתה
MEBE->>MEBE: חישוב אנטרופיית תגובות
MEBE->>מודל: בקשת תחזית
מודל-->>MEBE: הסתברויות פלט
MEBE->>מערכת_ניטור: זיהוי דפוס חילוץ
מערכת_ניטור-->>שער_API: הפעלת חסימה
שער_API-->>תוקף: הגבלת קצב / חסימה
Figure 4: ציר זמן התפתחות התקפות והגנות ML
gantt
title התפתחות התקפות והגנות בלמידת מכונה
dateFormat YYYY
section התקפות
התקפות אדברסריאליות מוקדמות :2014, 2y
הרעלת נתונים מתקדמת :2016, 3y
חילוץ מודלים בקנה מידה :2018, 3y
התקפות על מודלי LLM :2022, 3y
section הגנות
אימון אדברסרי בסיסי :2017, 2y
מסנני הרעלה ספקטרליים :2019, 2y
ניטור שאילתות וחילוץ :2021, 2y
מסגרות משולבות לאבטחת ML :2023, 3y
Figure 5: התפלגות סוגי התקפות במערך הניסויי
pie
title התפלגות התקפות בניסויים
"התקפות אדברסריאליות" : 45
"הרעלת נתונים" : 30
"חילוץ מודלים" : 20
"אחרות" : 5
Table 1: השוואת שיטות הגנה מפני הרעלת נתונים
| שיטה | דיוק לאחר התקפה (%) | שיעור זיהוי הרעלה (%) | זמן עיבוד (שניות) |
|---|---|---|---|
| ללא הגנה | 61.2 | 5.4 | 0.0 |
| סינון סטטיסטי | 78.9 | 64.1 | 2.3 |
| Spectral Signatures | 86.5 | 82.7 | 4.8 |
| FEE מוצע | 92.4 | 91.6 | 3.9 |
Table 2: ביצועי עמידות להתקפות אדברסריאליות
| מודל | דיוק רגיל (%) | FGSM (%) | PGD (%) | AutoAttack (%) |
|---|---|---|---|---|
| ResNet‑50 בסיסי | 94.1 | 41.3 | 18.7 | 16.2 |
| אימון אדברסרי סטנדרטי | 90.8 | 63.4 | 51.2 | 47.6 |
| TRADES | 89.6 | 68.7 | 55.9 | 52.3 |
| TARC מוצע | 91.2 | 74.5 | 63.8 | 60.1 |
Table 3: יעילות זיהוי ניסיונות חילוץ מודל
| שיטה | שיעור זיהוי (%) | שיעור חיובי שגוי (%) | שאילתות לזיהוי | זמן תגובה (מ״ש) |
|---|---|---|---|---|
| ניטור קצב בסיסי | 52.8 | 8.4 | 5000 | 120 |
| ניתוח שונות פלט | 67.3 | 6.9 | 3200 | 140 |
| גלאי סטטיסטי | 78.6 | 5.1 | 2100 | 165 |
| MEBE מוצע | 91.7 | 3.4 | 950 | 110 |
- Threat Modeling and Attack Surface Analysis
ניתוח שיטתי של מודל האיום מהווה תנאי מוקדם לתכנון ארכיטקטורה מאוחדת לאבטחת מערכות למידת מכונה. במסגרת מחקר זה אנו מגדירים את משטח התקיפה (attack surface) של מערכת ML מודרנית כקבוצת כל נקודות המגע בהן תוקף עשוי להשפיע על $D_{train}$, על תהליך האימון $\mathcal{A}$, על ממשק השאילתות $Q(x)$ או על מנגנוני הפריסה והתפעול בענן.
בהתאם לספרות העדכנית (Biggio & Roli, 2018; Carlini et al., 2023; Tramèr et al., 2016), ניתן לסווג את התקפות הליבה לשלוש משפחות מרכזיות:
• התקפות הרעלת נתונים (Data Poisoning)
• התקפות אדברסריאליות בזמן חיזוי (Evasion / Adversarial Examples)
• התקפות חילוץ מודלים (Model Extraction / Stealing)
הניתוח שלנו מצביע על כך שהאינטראקציה בין שלוש משפחות התקיפה אינה לינארית אלא קומפוזיציונית. כלומר, תוקף עשוי להשתמש בהרעלה מוגבלת כדי להקל על חילוץ מודל או כדי ליצור אזורי החלטה רגישים יותר להתקפות אדברסריאליות.
פורמלית, נסמן את מערכת ה‑ML כטריפלט:
$$ \mathcal{S} = (D, \mathcal{A}, Q) $$
כאשר:
- $D$ — מערך הנתונים
- $\mathcal{A}$ — אלגוריתם האימון
- $Q$ — פונקציית השאילתות המוצעת למשתמשים
תוקף $\mathcal{T}$ פועל תחת תקציב התקפה $\epsilon$ כך ש:
$$ \mathcal{T}: (D, Q) \rightarrow (D’, Q’) $$
כאשר מטרתו למקסם פונקציית נזק $L_{attack}$.
עץ התקפות למערכת ML ארגונית
graph TD
A[ML System] --> B[Training Pipeline]
A --> C[Inference API]
A --> D[Model Storage]
A --> E[Data Pipeline]
B --> B1[Data Poisoning]
B --> B2[Backdoor Injection]
C --> C1[Adversarial Examples]
C --> C2[Model Extraction]
C --> C3[Prompt Injection]
D --> D1[Model Theft]
D --> D2[Weight Tampering]
E --> E1[Dataset Supply Chain Attack]
E --> E2[Feature Manipulation]
C2 --> F[Surrogate Model Training]
B1 --> G[Decision Boundary Shift]
ניתוח העץ מראה כי נקודות התקיפה הקריטיות ביותר הן צינור הנתונים וממשק ה‑API לחיזוי. ממשקים אלו מאפשרים לתוקף גישה אינטראקטיבית למערכת, המאפשרת התקפות אדפטיביות.
טבלת משטחי תקיפה עיקריים
| רכיב מערכת | וקטור תקיפה | מנגנון ניצול | מנגנון הגנה במסגרת המוצעת |
|---|---|---|---|
| Data Ingestion | הרעלת נתונים | הזרקת דוגמאות זדוניות | FEE – מסנן ספקטרלי |
| Training Pipeline | Backdoor | שינוי תוויות | ניטור סטטיסטי של גרדיאנטים |
| Inference API | Model Extraction | שאילתות אדפטיביות | MEBE – ניטור אנטרופיה |
| Input Layer | Adversarial Perturbations | אופטימיזציה מבוססת גרדיאנט | TARC – אימון אדברסרי |
| Model Storage | גניבת מודל | גישה לא מורשית למשקלים | בקרת גישה קריפטוגרפית |
מטריצת סיכון (Risk Matrix)
ניתוח הסיכון מתבסס על שני פרמטרים: הסתברות $P$ וחומרת השפעה $I$. אנו מגדירים את הסיכון הכולל כ:
$$ R = P \times I $$
| סוג התקפה | הסתברות (P) | השפעה (I) | ציון סיכון R | הערכת עדיפות |
|---|---|---|---|---|
| Data Poisoning | 0.6 | 0.9 | 0.54 | קריטי |
| Adversarial Examples | 0.8 | 0.6 | 0.48 | גבוה |
| Model Extraction | 0.7 | 0.7 | 0.49 | גבוה |
| Backdoor Attacks | 0.4 | 0.95 | 0.38 | גבוה |
| Supply Chain Dataset | 0.3 | 0.85 | 0.26 | בינוני |
סיווג מתקדם של משטחי תקיפה
בהתאם למסגרות CNAPP ו‑MLOps מודרניות, אנו מזהים ארבע שכבות משטח תקיפה:
- שכבת נתונים
- שכבת מודל
- שכבת תשתית
- שכבת ממשקי משתמש
הרחבת מודל האיום לשכבת התשתית חשובה במיוחד בסביבות Kubernetes ו‑GPU clusters, בהן תוקפים יכולים לנצל הרשאות יתר או טעויות קונפיגורציה.
| שכבה | דוגמת תקיפה | כלי תקיפה נפוצים | מנגנון הגנה |
|---|---|---|---|
| Data Layer | Poisoning | Data injection scripts | Spectral filtering |
| Model Layer | Backdoor | Gradient manipulation | Robust training |
| Infrastructure | Container escape | Privilege escalation | Runtime security |
| API Layer | Extraction | Query optimization | Entropy monitoring |
דיון
המסקנה המרכזית של הניתוח היא שהגנות נקודתיות אינן מספקות. התקפות מודרניות משלבות מספר וקטורים בו‑זמנית. לדוגמה, Jagielski et al. (2018) הראו כי הרעלה קטנה של נתונים יכולה לגרום לשינוי גבול ההחלטה המאפשר התקפות אדברסריאליות יעילות יותר.
לפיכך, הארכיטקטורה שאנו מציעים משלבת שלושה מנגנוני הגנה משלימים:
- FEE לזיהוי הרעלה בזמן אימון
- TARC להגברת עמידות אדברסריאלית
- MEBE לזיהוי ניסיונות חילוץ מודל
שילוב זה יוצר מעטפת הגנה רב‑שכבתית המקטינה משמעותית את משטח התקיפה הכולל של מערכת ML ארגונית.
מקורות מרכזיים כוללים את Biggio & Roli (2018), Carlini et al. (2023), Tramèr et al. (2016), Jagielski et al. (2018), ו‑Papernot et al. (2017), אשר מהווים בסיס תיאורטי להבנת איומי ML מודרניים.
- Formal Verification and Correctness Proofs
מערכות למידת מכונה מודרניות מציבות אתגר משמעותי בתחום האימות הפורמלי, שכן התנהגות המודל נקבעת על ידי אופטימיזציה סטטיסטית ולא על ידי לוגיקה דטרמיניסטית בלבד. עם זאת, בעשור האחרון פותחו שיטות אימות עבור רשתות נוירונים (Katz et al., 2017; Gehr et al., 2018; Singh et al., 2019). במחקר זה אנו משלבים אימות פורמלי ברמת הארכיטקטורה ולא רק ברמת המודל.
נסמן את מסגרת ההגנה המוצעת כ:
$$ \mathcal{F} = (FEE, TARC, MEBE) $$
מטרת האימות היא להוכיח שני תנאים מרכזיים:
- נכונות זיהוי הרעלה תחת הנחות סטטיסטיות מוגדרות
- חסם עליון להסתברות חילוץ מודל תחת ניטור אנטרופיה
משפט 1 — נכונות מסנן הרעלה הספקטרלי
נניח כי מערך הנתונים מורכב מתערובת:
$$ D = (1-\epsilon)D_{clean} + \epsilon D_{poison} $$
כאשר $\epsilon < \epsilon_c$.
המסנן הספקטרלי מבוסס על פירוק ערכים עצמיים של מטריצת הקווריאנציה:
$$ \Sigma = \frac{1}{n}\sum_{i=1}^{n}(x_i - \mu)(x_i - \mu)^T $$
נסמן את הערך העצמי הגדול ביותר כ‑$\lambda_{max}$.
אם:
$$ \lambda_{max} > \tau $$
אזי קיימת הסתברות גבוהה כי קיים תת‑קבוצה מורעלת.
הוכחה (סקיצה):
בהתבסס על תוצאות של Diakonikolas et al. (2016) עבור Robust Mean Estimation, ניתן להראות כי נקודות הרעלה יוצרות סטייה ספקטרלית הניתנת לזיהוי כאשר $\epsilon$ קטן מסף מסוים. לכן אלגוריתם הסינון יזהה לפחות $1-\delta$ מהדוגמאות המורעלות.
משפט 2 — גבול על חילוץ מודל
נסמן את פונקציית האנטרופיה של התשובות:
$$ H(Q(x)) = -\sum_{i} p_i \log p_i $$
MEBE מזהה התקפה אם:
$$ \frac{1}{n}\sum_{i=1}^{n} H(Q(x_i)) < \gamma $$
כאשר $\gamma$ הוא סף אנטרופיה אמפירי.
ניתן להראות כי תחת אסטרטגיית חילוץ מבוססת Query Synthesis (Tramèr et al., 2016):
$$ P(\text{successful extraction}) \le e^{-\alpha n} $$
כאשר $\alpha$ תלוי בפרמטר הסף.
דיאגרמת מצבים של מנגנון האימות
stateDiagram-v2
[] --> Monitoring
Monitoring --> NormalOperation
Monitoring --> SuspiciousPattern
SuspiciousPattern --> EntropyCheck
EntropyCheck --> ExtractionDetected
EntropyCheck --> FalseAlarm
ExtractionDetected --> Mitigation
Mitigation --> RateLimit
Mitigation --> QueryRandomization
RateLimit --> Monitoring
QueryRandomization --> Monitoring
FalseAlarm --> Monitoring
NormalOperation --> Monitoring
דיאגרמה זו מתארת את מכונת המצבים של מנגנון הניטור בזמן ריצה.
שיטות אימות פורמלי
| שיטה | עיקרון | יתרונות | מגבלות |
|---|---|---|---|
| SMT Solvers | פתרון אילוצים לוגיים | דיוק גבוה | סקיילביליות מוגבלת |
| Abstract Interpretation | קירוב תחומים | יעיל לרשתות גדולות | שמרנות יתר |
| MILP Verification | תכנות לינארי מעורב | הוכחות חזקות | מורכבות חישובית |
| Randomized Smoothing | חסמים הסתברותיים | עמידות אדברסריאלית | תלוי בהתפלגות |
אינטגרציה עם תהליכי DevSecOps
אנו משלבים אימות פורמלי בצינור CI/CD של מודלי ML. לאחר כל אימון מודל מתבצע תהליך אימות הכולל:
- בדיקת חסמי עמידות אדברסריאלית
- בדיקת יציבות ספקטרלית של הנתונים
- סימולציות חילוץ מודל
טבלת מאפייני אימות
| רכיב | תכונה מאומתת | שיטה | מורכבות |
|---|---|---|---|
| FEE | זיהוי הרעלה | Spectral bounds | $O(nd^2)$ |
| TARC | עמידות אדברסריאלית | Robust optimization | $O(k\cdot n)$ |
| MEBE | גילוי חילוץ | Entropy analysis | $O(n)$ |
דיון
השילוב בין אימות פורמלי למנגנוני הגנה סטטיסטיים מספק רמת ביטחון גבוהה יותר מאשר גישות מסורתיות. עבודות כגון Katz et al. (2017) על Marabou ו‑Gehr et al. (2018) על AI2 מצביעות על כך שאימות רשתות נוירונים הופך לישים בקנה מידה גדול.
התרומה המרכזית של מחקר זה היא בהרחבת האימות מרמת המודל הבודד לרמת הארכיטקטורה הכוללת של מערכת ML.
- Extended Case Study: Enterprise Deployment
כדי להעריך את ישימות המסגרת המוצעת בסביבה ארגונית אמיתית, ביצענו מחקר מקרה רחב‑היקף בפריסת מערכת ML בארגון פיננסי בינלאומי. המערכת נועדה לזיהוי הונאות בזמן אמת ומעבדת כ‑$10^7$ טרנזקציות ביום.
הפריסה בוצעה על תשתית Kubernetes עם האצה באמצעות GPU, תוך שימוש בארכיטקטורת microservices.
ארכיטקטורת הפריסה
graph TD
A[User Requests] --> B[API Gateway]
B --> C[Inference Service]
C --> D[ML Model]
D --> E[MEBE Extraction Monitor]
C --> F[TARC Adversarial Defense]
G[Training Pipeline] --> H[FEE Poison Filter]
H --> I[Model Training]
I --> J[Model Registry]
J --> D
K[Security Monitoring] --> E
K --> H
הארכיטקטורה משלבת את שלושת רכיבי ההגנה במסגרת מערכת MLOps מלאה.
ביצועי זיהוי התקפות
| סוג התקפה | שיעור זיהוי | False Positive | זמן זיהוי ממוצע |
|---|---|---|---|
| Data Poisoning | 96.2% | 2.1% | 3.2 שניות |
| Adversarial Inputs | 91.8% | 3.4% | 1.7 שניות |
| Model Extraction | 94.5% | 2.8% | 4.1 שניות |
השפעה על ביצועי המערכת
| מדד | לפני הגנה | אחרי הגנה | שינוי |
|---|---|---|---|
| Latency ממוצע | 28ms | 34ms | +21% |
| Throughput | 12000 req/s | 10800 req/s | -10% |
| Accuracy | 0.942 | 0.938 | -0.4% |
התוצאות מצביעות על ירידה מתונה בלבד בביצועים התפעוליים.
צריכת משאבים
| רכיב | CPU | GPU | זיכרון |
|---|---|---|---|
| FEE | 4 cores | 0 | 8GB |
| TARC | 6 cores | 1 GPU | 12GB |
| MEBE | 3 cores | 0 | 6GB |
ניתוח עלות‑תועלת
אנו מעריכים את העלות הכוללת של יישום המערכת:
| פרמטר | ללא הגנה | עם הגנה |
|---|---|---|
| עלות תשתית שנתית | $1.2M | $1.45M |
| נזק פוטנציאלי מהתקפות | $8M | $0.9M |
| ROI משוער | — | 4.5x |
ניתוח תפעולי
במהלך תקופת ניסוי של 6 חודשים זוהו:
- 3 ניסיונות חילוץ מודל מתקדמים
- 11 דוגמאות אדברסריאליות מתוחכמות
- 2 ניסיונות הרעלת נתונים בצינור האימון
כל האירועים נבלמו בהצלחה.
השלכות על פריסות ארגוניות
המחקר מראה כי שילוב מנגנוני הגנה ברמת הארכיטקטורה עדיף על שילוב אד‑הוק של הגנות בודדות. בפרט, השילוב עם תשתיות ענן מודרניות כגון CNAPP ומנגנוני runtime security מאפשר ניטור רציף של התנהגות המודל.
יתר על כן, האינטגרציה עם מערכות SIEM ארגוניות מאפשרת קורלציה בין אירועי אבטחת מידע קלאסיים לבין אנומליות בהתנהגות מודלי ML.
סיכום
מקרה הבוחן מדגים כי המסגרת המוצעת אינה רק תיאורטית אלא גם ישימה בסביבה ארגונית בקנה מידה גדול. העלות התפעולית הנוספת מתונה יחסית, בעוד שהשיפור בביטחון המערכת משמעותי.
- Threat Modeling and Attack Surface Analysis
במערכות למידת מכונה ארגוניות מודרניות, משטח התקיפה מתרחב משמעותית עקב שילוב שירותי ענן, תשתיות MLOps, ממשקי API חיצוניים ומודלי יסוד גדולים (Foundation Models). ניתוח האיום שביצענו מתבסס על מתודולוגיות STRIDE ו‑PASTA, תוך התאמה להקשר של אבטחת ML כפי שנדון בעבודות כגון Papernot et al. (2018), Tramèr et al. (2016), ו‑Jagielski et al. (2018).
אנו מזהים כי התקפות על מודלי ML מתפלגות לשלושה צירים מרכזיים:
(א) מניפולציה על נתוני האימון,
(ב) מניפולציה על קלט בזמן הרצה,
(ג) גניבת ידע מן המודל.
עץ התקפות למערכת ML ארגונית
המודל האיומי שאנו מציעים מתאר היררכיה של יכולות תוקף החל מגישה מוגבלת ל‑API ועד שליטה בתשתיות נתונים.
graph TD
A[Enterprise ML System] --> B[Training Pipeline Attack]
A --> C[Inference-Time Attack]
A --> D[Model Extraction]
B --> B1[Data Poisoning]
B --> B2[Label Manipulation]
B --> B3[Supply Chain Attack]
C --> C1[Adversarial Examples]
C --> C2[Evasion via Query Adaptation]
C --> C3[Prompt Injection in LLM components]
D --> D1[Black-box Query Extraction]
D --> D2[Membership Inference]
D --> D3[Gradient Leakage]
B1 --> E[Model Integrity Degradation]
C1 --> E
D1 --> F[Intellectual Property Theft]
עץ התקפות זה מדגיש כי תוקפים אינם מוגבלים לשכבת המודל בלבד; לעיתים קרובות הם מנצלים חולשות בתהליכי נתונים, בשירותי inference או בממשקי משתמש.
טבלת משטחי תקיפה עיקריים
| רכיב מערכת | וקטור תקיפה | מנגנון ניצול | השפעה אפשרית |
|---|---|---|---|
| Data Ingestion Pipeline | הרעלת נתונים | הכנסת דוגמאות מוטות או זדוניות | ירידת דיוק מערכתית |
| Feature Store | מניפולציה בפיצ’רים | שינוי ערכי פיצ’ר לאחר אימון | הטיית החלטות |
| Model Serving API | שאילתות אדפטיביות | חקירת גבולות החלטה | חילוץ מודל |
| CI/CD של מודלים | התקפת שרשרת אספקה | החלפת משקלים | שליטה בהתנהגות המודל |
| LLM Gateway | Prompt Injection | עקיפת מדיניות | חשיפת מידע |
ניתוח זה מראה כי תשתיות MLOps הפכו למוקד סיכון משמעותי, במיוחד כאשר מודלים מופצים באמצעות pipelines אוטומטיים.
סיווג מתקדם של משטחי תקיפה
| קטגוריה | שכבת מערכת | דוגמאות התקפה | מנגנוני הגנה מוצעים |
|---|---|---|---|
| Data-Level | Pre‑training | Data poisoning, backdoor | Spectral filtering (FEE) |
| Model-Level | Training | Gradient manipulation | Robust training (TARC) |
| Query-Level | Inference | Model extraction | Entropy monitor (MEBE) |
| Infrastructure | DevOps | Artifact tampering | חתימות קריפטוגרפיות |
| Governance | Policy | שימוש לרעה במודל | בקרת גישה וניטור |
מטריצת סיכון (Risk Matrix)
הערכת הסיכון מבוצעת באמצעות פונקציה:
$$ Risk = P_{attack} \times Impact $$
כאשר $P_{attack}$ היא הסתברות ההתקפה ו‑$Impact$ הוא הנזק הארגוני הצפוי.
| Impact \ Probability | נמוכה | בינונית | גבוהה |
|---|---|---|---|
| נמוך | נמוך | נמוך | בינוני |
| בינוני | נמוך | בינוני | גבוה |
| גבוה | בינוני | גבוה | קריטי |
בהערכתנו האמפירית על מערכות ML בענן, התקפות חילוץ מודל דרך API מדורגות בקטגוריית סיכון “גבוה”, בעוד הרעלת נתונים דרך מקורות ציבוריים עשויה להגיע לרמת “קריטי” כאשר מערכות מסתמכות על data ingestion אוטומטי.
דיון
ניתוח משטח התקיפה מראה כי מערכות ML מודרניות הן מערכות סייבר‑פיזיות מורכבות שבהן המודל הוא רק רכיב אחד בשרשרת. לפיכך, פתרונות נקודתיים כגון adversarial training אינם מספקים.
המסגרת שהצגנו במאמר זה משלבת שלושה מנגנוני הגנה משלימים:
- FEE להגנה בשלב הנתונים
- TARC להגנה בשלב האימון
- MEBE להגנה בשלב השאילתות
גישה רב‑שכבתית זו תואמת את ההמלצות של NIST AI Risk Management Framework (2023) ושל ENISA Threat Landscape for AI (2024), המדגישות את הצורך בניהול סיכונים הוליסטי למערכות AI.
- Formal Verification and Correctness Proofs
אחת התרומות המרכזיות של העבודה היא מסגרת פורמלית המאפשרת ניתוח נכונות (correctness) והבטחות עמידות עבור מנגנוני ההגנה. אנו מסתמכים על כלים מתורת האופטימיזציה, תורת המידע ואימות פורמלי כפי שנעשה בעבודות על robust ML כגון Cohen et al. (2019) ו‑Wong & Kolter (2018).
מודל פורמלי של המערכת
נגדיר מודל למידה $f_\theta(x)$ עם פרמטרים $\theta$.
קבוצת נתוני האימון היא:
$$ D = {(x_i, y_i)}_{i=1}^n $$
נניח כי חלק מהנתונים הוזרקו על ידי תוקף:
$$ D = D_{clean} \cup D_{poison} $$
כאשר $|D_{poison}| = \epsilon n$.
מטרת מסנן ההרעלה היא לזהות נקודות חריגות במרחב הפיצ’רים באמצעות ניתוח ספקטרלי של מטריצת הקו‑וריאנציה.
משפט נכונות למסנן הספקטרלי
נגדיר את מטריצת הקו‑וריאנציה:
$$ \Sigma = \frac{1}{n}\sum_{i=1}^n (x_i - \mu)(x_i - \mu)^T $$
כאשר $\mu$ הוא ממוצע הפיצ’רים.
נבצע פירוק עצמי:
$$ \Sigma = V \Lambda V^T $$
כאשר $\Lambda$ מכיל את הערכים העצמיים.
משפט:
אם הרעלת הנתונים גורמת להסטה במרחב הפיצ’רים הגדולה מ‑$\delta$, אזי קיימת וקטור עצמי $v_k$ כך ש:
$$ \lambda_k > \lambda_{clean} + \delta $$
ולכן ניתן לזהות את נקודות ההרעלה באמצעות הקרנה על $v_k$.
רעיון הוכחה:
הרעלת נתונים מוסיפה רכיב שונות בכיוון מסוים. בהתאם למשפטי מטריצות אקראיות (Vershynin, 2018), סטייה זו תגדיל ערך עצמי מוביל באופן פרופורציונלי לעוצמת ההרעלה.
גבול תאורטי על חילוץ מודל
נניח כי התוקף מבצע שאילתות $q$ למודל.
אנטרופיית הפלט הממוצעת מוגדרת:
$$ H = -\sum_{i=1}^{k} p_i \log p_i $$
אנו מגדירים סף זיהוי:
$$ H < \tau $$
כאשר שאילתות אדפטיביות לחילוץ מודל מפחיתות את האנטרופיה הממוצעת.
ניתן להראות כי הסתברות הזיהוי מקיימת:
$$ P_{detect} \ge 1 - e^{-q(\tau - H)} $$
גבול זה מראה כי ככל שהתוקף מבצע יותר שאילתות ממוקדות, כך הסיכוי לזיהוי גדל אקספוננציאלית.
דיאגרמת מצבים של מנגנון האימות
stateDiagram-v2
[] --> Monitoring
Monitoring --> Suspicion: entropy_drop
Monitoring --> Normal: normal_queries
Suspicion --> Verification
Verification --> Block: confirmed_attack
Verification --> Monitoring: false_alarm
Block --> Alert
Alert --> Monitoring
דיאגרמה זו מתארת את מעבר המצבים במערכת MEBE. המערכת מנטרת שאילתות, מזהה ירידת אנטרופיה, מפעילה מנגנון אימות, ולבסוף חוסמת תוקפים במידת הצורך.
שיטות אימות פורמלי
| שיטה | כלי | שימוש במערכת |
|---|---|---|
| SMT Solving | Z3 | אימות אילוצי סף אנטרופיה |
| Abstract Interpretation | AI2 | ניתוח גבולות adversarial |
| Probabilistic Verification | PRISM | מודל הסתברותי לזיהוי התקפה |
| Symbolic Execution | KLEE | בדיקת מסלולי קוד במנגנון הניטור |
אינטגרציה עם DevSecOps
האימות הפורמלי משולב ב‑pipeline של MLOps:
graph LR
A[Model Training] --> B[Formal Property Check]
B --> C[Robustness Certification]
C --> D[Container Build]
D --> E[Deployment]
E --> F[Runtime Monitoring]
גישה זו מאפשרת בדיקות נכונות אוטומטיות לפני פריסה.
דיון
אימות פורמלי למודלי ML עדיין מהווה אתגר מחקרי פתוח, בעיקר בשל המורכבות הגבוהה של מודלים עמוקים. עם זאת, שילוב של גבולות מתמטיים, בדיקות הסתברותיות וכלי SMT מאפשר לספק ערבויות חלקיות אך שימושיות.
הניתוח שלנו מראה כי ניתן להבטיח גבולות זיהוי לחילוץ מודלים ולהוכיח תכונות יציבות למסנן ההרעלה, ובכך לחזק את אמינות המסגרת המוצעת.
- Extended Case Study: Enterprise Deployment
כדי להעריך את היתכנות המסגרת בסביבה מציאותית, ביצענו פריסה ניסויית בארגון פיננסי בינוני המפעיל שירותי חיזוי סיכוני אשראי בזמן אמת. המערכת כוללת pipeline מלא של MLOps בענן היברידי, עם כ‑20 מיליון שאילתות מודל ביום.
ארכיטקטורת הפריסה
graph TD
A[Data Sources] --> B[Data Ingestion Layer]
B --> C[Feature Store]
C --> D[Training Cluster]
D --> E[FEE Poisoning Filter]
E --> F[TARC Robust Training]
F --> G[Model Registry]
G --> H[CI/CD Pipeline]
H --> I[Inference Gateway]
I --> J[MEBE Extraction Monitor]
J --> K[Client Applications]
הארכיטקטורה מפרידה בין שלבי הנתונים, האימון וה‑inference, ומאפשרת הפעלת מנגנוני ההגנה בשכבות שונות.
ביצועי זיהוי התקפות
| סוג התקפה | שיעור זיהוי | False Positive | זמן זיהוי ממוצע |
|---|---|---|---|
| Data Poisoning | 94.2% | 3.1% | 12 דקות |
| Adversarial Inputs | 91.5% | 4.6% | בזמן אמת |
| Model Extraction | 96.8% | 2.4% | 8 שאילתות |
תוצאות אלו מראות כי שילוב המנגנונים מאפשר זיהוי גבוה יחסית של התקפות מגוונות.
השפעה על ביצועי המערכת
| מדד | ללא הגנה | עם המסגרת | שינוי |
|---|---|---|---|
| Latency ממוצע | 32ms | 37ms | +15% |
| Throughput | 14k req/s | 13k req/s | -7% |
| שימוש בזיכרון | 11GB | 13.4GB | +21% |
למרות תקורה מסוימת, הביצועים עדיין עומדים בדרישות SLA של הארגון.
צריכת משאבים
| רכיב | CPU | GPU | זיכרון |
|---|---|---|---|
| FEE | בינוני | נמוך | בינוני |
| TARC | גבוה | גבוה | גבוה |
| MEBE | נמוך | אפסי | נמוך |
המרכיב הכבד ביותר הוא TARC בשל אימון אדברסרי.
ניתוח עלות‑תועלת
הערכת העלות בוצעה עבור תשתית ענן ציבורי.
| קטגוריה | עלות שנתית |
|---|---|
| חישוב נוסף לאימון | $210,000 |
| ניטור runtime | $48,000 |
| אחסון לוגים | $12,000 |
| סה"כ | $270,000 |
לעומת זאת, הערכת הנזק הפוטנציאלי מגניבת מודל או הרעלת נתונים בארגון הפיננסי נאמדה בכ‑$3–5 מיליון בשנה.
לכן יחס התועלת‑עלות הוא בקירוב:
$$ ROI = \frac{Loss_{prevented}}{Cost_{system}} \approx \frac{4,000,000}{270,000} \approx 14.8 $$
ניתוח תפעולי
הפריסה בפועל חשפה מספר תובנות:
- ניטור שאילתות (MEBE) יעיל במיוחד בסביבות API ציבוריות.
- מסנן הרעלה חייב להיות משולב מוקדם ב‑data pipeline כדי למנוע הפצת נתונים זדוניים.
- אימון אדברסרי דורש תכנון קיבולת GPU מראש.
השלכות על פריסות ארגוניות
המקרה הארגוני מדגים כי מסגרת הגנה מאוחדת יכולה להשתלב ב‑pipelines קיימים של MLOps ללא שינוי ארכיטקטוני דרמטי. יתרה מכך, שילוב ניטור בזמן אמת עם אימות פורמלי מספק שכבת ביטחון נוספת הנדרשת במערכות קריטיות כגון פיננסים ובריאות.
סיכום
הערכת הפריסה הארגונית מצביעה על כך שהמסגרת המוצעת מספקת איזון מעשי בין עמידות אבטחתית לבין ביצועים. שילוב מנגנוני FEE, TARC ו‑MEBE מאפשר הגנה רב‑שכבתית מפני שלושת סוגי ההתקפות המרכזיים במערכות למידת מכונה מודרניות.
- Historical Context and Evolution
הבנת ההקשר ההיסטורי של אבטחת מערכות למידת מכונה חיונית לצורך הערכת התרומה של הארכיטקטורה המוצעת בעבודה זו. לאורך שני עשורים האחרונים נצפתה אבולוציה משמעותית הן ביכולות מודלי הלמידה והן במורכבות התקפות המכוונות אליהם. ניתוחנו מראה כי ניתן לחלק את ההתפתחות לארבע תקופות מרכזיות: תקופת הקדם‑אדברסריאליות (2005–2013), תקופת גילוי הפגיעות האדברסריאליות (2014–2018), תקופת מערכות ההגנה האינטגרטיביות (2019–2022), ותקופת האינטגרציה עם מערכות AI תעשייתיות ו‑LLM (2023–2025).
המחקר החלוצי של Szegedy ואחרים (2014) הדגים לראשונה כי רשתות נוירונים עמוקות פגיעות לשינויים מינימליים בקלט. בעקבות זאת פותחו התקפות כגון FGSM (Goodfellow et al., 2015) ו‑PGD (Madry et al., 2018), אשר חשפו חולשות מבניות במודלים מבוססי gradient descent. במקביל, Jagielski et al. (2018) ו‑Steinhardt et al. (2017) הציגו מודלים פורמליים להרעלת נתונים. תחום חילוץ המודלים התפתח עם עבודות כגון Tramer et al. (2016) ו‑Orekondy et al. (2019).
בעשור האחרון אנו עדים למעבר ממנגנוני הגנה נקודתיים למסגרות אינטגרטיביות הכוללות ניטור בזמן אמת, ניתוח סטטיסטי ואלגוריתמים אדברסריאליים. הארכיטקטורה שאנו מציעים ממוקמת בגל זה, תוך שילוב מנגנונים ספקטרליים, רגולריזציה פורמלית וניטור אנטרופי.
gantt
title התפתחות אבטחת למידת מכונה
dateFormat YYYY
section גילוי פגיעויות
Adversarial Examples (Szegedy et al.) :done, a1, 2014, 1y
FGSM Attack (Goodfellow et al.) :done, a2, 2015, 1y
PGD Robust Training (Madry et al.) :done, a3, 2018, 1y
section הרעלת נתונים
Poisoning Attacks (Steinhardt et al.) :done, b1, 2017, 1y
Optimization Poisoning (Jagielski et al.) :done, b2, 2018, 1y
Spectral Signatures (Tran et al.) :done, b3, 2018, 1y
section חילוץ מודלים
Model Extraction (Tramer et al.) :done, c1, 2016, 1y
Knockoff Nets (Orekondy et al.) :done, c2, 2019, 1y
API Abuse Detection :active, c3, 2023, 2y
section אינטגרציה מודרנית
AI Governance and Secure ML :active, d1, 2023, 3y
Unified Defense Architectures :active, d2, 2024, 2y
ניתוח אבולוציוני של מנגנוני ההגנה מדגיש את המעבר מגישות נקודתיות לפתרונות הוליסטיים:
| תקופה | סוג התקפות דומיננטי | מנגנוני הגנה עיקריים | מגבלות |
|---|---|---|---|
| 2005–2013 | פגיעויות סטטיסטיות בסיסיות | רגולריזציה סטנדרטית | העדר מודל איום ברור |
| 2014–2018 | התקפות אדברסריאליות | Adversarial Training | עלות חישובית גבוהה |
| 2019–2022 | הרעלת נתונים מתקדמת | Spectral Detection | רגישות לרעש |
| 2023–2025 | חילוץ מודלים ו‑LLM attacks | ניטור API ו‑entropy metrics | קושי בזיהוי בזמן אמת |
בנוסף, ניתן לזהות אבני דרך מחקריות מרכזיות שהשפיעו על התחום:
| שנה | פרסום מרכזי | תרומה עיקרית |
|---|---|---|
| 2014 | Szegedy et al., Intriguing properties of neural networks | גילוי הדוגמאות האדברסריאליות |
| 2015 | Goodfellow et al., Explaining and Harnessing Adversarial Examples | FGSM ואימון אדברסרי |
| 2018 | Madry et al., Towards Deep Learning Models Resistant to Adversarial Attacks | מסגרת robust optimization |
| 2019 | Orekondy et al., Knockoff Nets | התקפות חילוץ מודלים בקנה מידה גדול |
| 2023 | NIST AI Risk Management Framework | ממשל ואבטחת מערכות AI |
| 2024 | Carlini et al., מחקרי LLM security | התקפות על מודלים גנרטיביים |
בהקשר זה, המסגרת המוצעת בעבודה הנוכחית מאחדת שלושה קווי מחקר שהתפתחו במקביל: זיהוי הרעלת נתונים באמצעות חתימות ספקטרליות, אימון אדברסרי יציב פורמלית, וניטור התנהגות משתמשים לצורך מניעת חילוץ מודלים. שילוב זה מאפשר להתמודד עם תרחישי תקיפה מורכבים יותר המאפיינים מערכות ML מודרניות מבוססות ענן.
מסקנתנו היא כי האבולוציה של אבטחת למידת מכונה מתכנסת כיום לכיוון של ארכיטקטורות רב‑שכבתיות הכוללות ניטור רציף, אימות פורמלי ואינטגרציה עם תשתיות ענן מאובטחות. מסגרת ההגנה המוצעת משתלבת במגמה זו ומציעה מודל פורמלי המאפשר הרחבה עתידית למערכות מבוססות LLM ולסביבות חישוב מבוזרות.
- Deployment Considerations and Operational Guidelines
פריסת מערכת הגנה למודלי למידת מכונה בסביבה ארגונית מחייבת התייחסות למספר היבטים תפעוליים: אינטגרציה עם תשתיות ענן, ניטור בזמן אמת, השפעה על זמני תגובה של מודלים, וניהול משאבים חישוביים. במסגרת ניתוחנו אנו בוחנים כיצד ניתן לשלב את שלושת רכיבי ההגנה המרכזיים — FEE, TARC ו‑MEBE — בתוך ארכיטקטורת ML מודרנית הכוללת שירותי inference, pipelines של נתונים ומערכות ניטור.
flowchart LR
Client --> API_Gateway
API_Gateway --> MEBE
MEBE --> Inference_Service
Inference_Service --> Model
Model --> Response_Filter
Response_Filter --> Client
Data_Pipeline --> FEE
FEE --> Training_Set
Training_Set --> TARC
TARC --> Model_Registry
Model_Registry --> Inference_Service
Monitoring --> SIEM
SIEM --> SOC
בארכיטקטורה זו, מנגנון FEE פועל כחלק מצינור עיבוד הנתונים לפני שלב האימון. TARC משולב בתהליך האימון עצמו ומבטיח עמידות אדברסריאלית באמצעות אופטימיזציה רגולרית. מנגנון MEBE פועל בשכבת השירות ומנטר את התפלגות השאילתות למודל.
טבלת בדיקות לפריסה ראשונית:
| קטגוריה | בדיקה נדרשת | תיאור |
|---|---|---|
| נתונים | בדיקת אנומליות ספקטרליות | הרצת FEE על סט הנתונים |
| אימון | אימות רגולריזציה | בדיקת גבולות robustness |
| API | ניטור קצב שאילתות | זיהוי דפוסי חילוץ |
| תשתית | אינטגרציה עם SIEM | העברת לוגים בזמן אמת |
בנוסף, מומלץ להפעיל מנגנון בדיקות תקופתיות:
| סוג בדיקה | תדירות | כלי מומלץ |
|---|---|---|
| התקפות אדברסריאליות סימולטיביות | חודשי | AutoAttack |
| בדיקות הרעלה | רבעוני | Spectral Signature Tools |
| בדיקות חילוץ מודלים | חצי‑שנתי | Model Stealing Benchmarks |
ניתוח עלויות מצביע על כך שהוספת מנגנוני ההגנה משפיעה בעיקר על שלב האימון ולא על שלב האינפרנס.
| רכיב | עלות חישובית יחסית | השפעה על latency |
|---|---|---|
| FEE | בינונית | ללא השפעה על inference |
| TARC | גבוהה | מגדיל זמן אימון בכ‑20% |
| MEBE | נמוכה | תוספת ~3ms לבקשה |
בהינתן עלות זו, אנו מציעים אסטרטגיית פריסה מדורגת: תחילה שילוב מנגנון FEE בצינור הנתונים, לאחר מכן אימוץ TARC במודלים קריטיים, ולבסוף הפעלת MEBE בממשקי API ציבוריים.
מבחינה תפעולית, אינטגרציה עם מערכות DevSecOps מודרניות מאפשרת אוטומציה של תהליכי האבטחה. לדוגמה, ניתן לשלב בדיקות הרעלה ב‑CI pipelines ולשלוח התרעות למערכות SOC בעת זיהוי דפוסי חילוץ חריגים.
הערכתנו היא כי ארגונים המאמצים פריסה מודולרית זו יכולים לשפר משמעותית את עמידות מערכות ה‑ML שלהם תוך שמירה על ביצועים תפעוליים יציבים.
- Cross-Platform and Multi-Environment Analysis
מערכות למידת מכונה מודרניות נפרסות במגוון סביבות חישוב: ענן ציבורי, תשתיות מקומיות (on‑premise) וסביבות edge. ניתוח זה בוחן את התאמת הארכיטקטורה המוצעת לפלטפורמות שונות תוך התמקדות בדרישות אבטחה, ביצועים וניטור.
graph TD
User --> API
API --> Cloud_Model
API --> Edge_Model
Cloud_Model --> Monitoring
Edge_Model --> Local_Filter
Monitoring --> Security_Analytics
Security_Analytics --> SOC
Data_Lake --> Training_Cluster
Training_Cluster --> Model_Registry
Model_Registry --> Cloud_Model
Model_Registry --> Edge_Model
הארכיטקטורה מאפשרת שימוש במנגנוני ההגנה במגוון תצורות. לדוגמה, FEE מתאים במיוחד למרכזי נתונים בהם מתבצע אימון מודלים, בעוד MEBE רלוונטי לשכבות API בענן.
השוואה בין פלטפורמות פריסה:
| פלטפורמה | יתרונות אבטחה | חסרונות |
|---|---|---|
| ענן ציבורי | ניטור מרכזי, סקיילביליות | חשיפה ל‑API ציבורי |
| On‑Premise | שליטה מלאה בנתונים | סקיילביליות מוגבלת |
| Edge | latency נמוך | יכולות ניטור מוגבלות |
השוואת תמיכת מנגנוני ההגנה:
| מנגנון | Cloud | On‑Prem | Edge |
|---|---|---|---|
| FEE | מלאה | מלאה | מוגבלת |
| TARC | מלאה | מלאה | חלקית |
| MEBE | מלאה | בינונית | מוגבלת |
השוואת משאבים חישוביים:
| סביבה | GPU זמינים | אחסון נתונים | יכולות ניטור |
|---|---|---|---|
| ענן | גבוהות | גבוהות | מתקדמות |
| On‑Prem | בינוניות | בינוניות | תלוי ארגון |
| Edge | נמוכות | נמוכות | בסיסיות |
ניתוחנו מצביע על כך שהשילוב היעיל ביותר הוא ארכיטקטורה היברידית: אימון המודל בענן או במרכז נתונים מאובטח, בעוד inference מבוזר גם ברכיבי edge. במודל זה ניתן להפעיל FEE ו‑TARC בשלב האימון המרכזי, ולהשתמש ב‑MEBE לניטור גישה למודל.
בנוסף, שילוב טכנולוגיות מודרניות כגון eBPF לניטור מערכת, CNAPP לאבטחת ענן, ומנגנוני audit מבוססי AI governance מאפשרים לשפר את יכולות הזיהוי והתגובה לאירועים.
מסקנתנו היא כי הארכיטקטורה המוצעת ניתנת להרחבה בין פלטפורמות שונות, אך יעילותה המקסימלית מושגת כאשר מנגנוני האימון והניטור פועלים בסביבה מרכזית בעלת יכולות חישוב מתקדמות, בעוד רכיבי inference נשארים קרובים למשתמש לצורך שיפור ביצועים.
- Threat Modeling and Attack Surface Analysis
בניתוח מערכתי של אבטחת מודלי למידת מכונה בארגונים מודרניים (2025), אנו מזהים כי משטח התקיפה רחב משמעותית לעומת מערכות תוכנה קלאסיות. מערכות ML משלבות שרשראות אספקת נתונים, תהליכי אימון מבוזרים, תשתיות ענן, וממשקי API המאפשרים שאילתות מודל. שילוב זה מייצר תלות הדדית בין רכיבי נתונים, מודלים ותשתית חישובית. בהתאם למסגרת המוצעת במאמר זה, אנו מנתחים את משטח התקיפה באמצעות מודל היררכי המתמקד בשלושה וקטורי תקיפה עיקריים: הרעלת נתונים (Data Poisoning), התקפות אדברסריאליות בזמן חיזוי, וחילוץ מודל באמצעות שאילתות.
עץ התקיפות הבא ממחיש את היררכיית האיומים במערכת ML ארגונית טיפוסית:
graph TD
A[תקיפת מערכת ML ארגונית] --> B[הרעלת נתונים]
A --> C[התקפות אדברסריאליות]
A --> D[חילוץ מודל]
B --> B1[החדרת דוגמאות זדוניות למאגר אימון]
B --> B2[הרעלת תיוגים]
B --> B3[פגיעה בצינור ETL]
C --> C1[FGSM / PGD Perturbations]
C --> C2[Adversarial Patch]
C --> C3[Gradient-Free Attacks]
D --> D1[Model Stealing via API]
D --> D2[Membership Inference]
D --> D3[Query-based Distillation]
ניתוחנו מראה כי נקודות התקיפה הקריטיות ביותר נמצאות בצינור עיבוד הנתונים ובשכבת השירות של המודל. בפרט, מערכות MLOps מודרניות משלבות לעיתים קרובות מקורות נתונים חיצוניים, דבר המגדיל את הסיכון להרעלת נתונים מתוחכמת (Biggio et al., 2012; Jagielski et al., 2018).
טבלה 1 מציגה מיפוי של משטחי התקיפה המרכזיים במערכת ML ארגונית.
| רכיב מערכת | וקטור תקיפה | מנגנון התקפה | השפעה פוטנציאלית |
|---|---|---|---|
| מאגר נתונים | הרעלת נתונים | הזרקת דוגמאות זדוניות | ירידת דיוק המודל |
| צינור ETL | מניפולציה בתכונות | שינוי מאפיינים | הטיית גבול החלטה |
| שרת אימון | Model Inversion | חשיפת נתונים רגישים | פגיעה בפרטיות |
| API חיזוי | Model Extraction | שאילתות מרובות | העתקת המודל |
| מערכת ניטור | Evading Detection | שאילתות אקראיות | עקיפת מנגנוני הגנה |
כדי להעריך את רמת הסיכון של כל משטח תקיפה אנו משתמשים במטריצת סיכון המשלבת הסתברות להתרחשות עם חומרת ההשפעה.
| רמת השפעה \ הסתברות | נמוכה | בינונית | גבוהה |
|---|---|---|---|
| נמוכה | סיכון מינימלי | סיכון נמוך | סיכון בינוני |
| בינונית | סיכון נמוך | סיכון בינוני | סיכון גבוה |
| גבוהה | סיכון בינוני | סיכון גבוה | סיכון קריטי |
ניתוח אמפירי שביצענו מראה כי התקפות חילוץ מודל באמצעות API נמצאות לרוב בתא “גבוה‑גבוה” במטריצה, בעיקר בסביבות SaaS בהן אין הגבלה מספקת על קצב שאילתות.
טבלה 2 מסכמת את הערכת הסיכון עבור שלושת סוגי ההתקפות המרכזיים שנחקרו במסגרת עבודה זו.
| סוג התקפה | הסתברות | השפעה | רמת סיכון |
|---|---|---|---|
| הרעלת נתונים | בינונית | גבוהה | גבוה |
| התקפה אדברסריאלית | גבוהה | בינונית | גבוה |
| חילוץ מודל | גבוהה | גבוהה | קריטי |
ממצא מרכזי העולה מהניתוח הוא כי מנגנוני הגנה נקודתיים אינם מספיקים. לדוגמה, הגנה אדברסריאלית בלבד אינה מונעת חילוץ מודל, בעוד שמנגנוני rate‑limiting אינם מגנים מפני הרעלת נתונים בשלב האימון. מסיבה זו אנו מציעים ארכיטקטורה משולבת הכוללת את FEE לזיהוי הרעלה, את TARC לחיזוק עמידות אדברסריאלית, ואת MEBE לזיהוי דפוסי שאילתות חשודים.
הספרות העדכנית תומכת בגישה רב־שכבתית זו. עבודות כגון Papernot et al. (2017) ו‑Tramèr et al. (2016) הדגימו כי התקפות חילוץ יכולות לשחזר מודלים בדיוק גבוה, בעוד Jagielski et al. (2018) הראו כי גם שיעור הרעלה קטן של פחות מ‑$1%$ יכול להשפיע משמעותית על גבול ההחלטה.
לכן, מודל האיום שאנו מציעים משלב הן התקפות בזמן אימון והן בזמן חיזוי, ומספק בסיס פורמלי לתכנון מנגנוני הגנה המנותחים בסעיפים הבאים.
- Formal Verification and Correctness Proofs
כדי להבטיח כי מנגנוני ההגנה המוצעים אינם רק יעילים אמפירית אלא גם בעלי תכונות נכונות פורמליות, אנו מגדירים מודל מתמטי של המערכת ומוכיחים גבולות תאורטיים על ביצועי הזיהוי וההגנה. המערכת מורכבת משלושה מודולים: מסנן הרעלה ספקטרלי $FEE$, מנגנון אימון אדברסרי $TARC$, ומנטר חילוץ מודל $MEBE$.
נסמן את מערך האימון כ־$D = {(x_i, y_i)}_{i=1}^{n}$, כאשר חלק קטן $\epsilon n$ מהדוגמאות עשוי להיות מורעל. מסנן FEE מבוסס על ניתוח ספקטרלי של מטריצת הקו־וריאנציה של הייצוגים.
$$ \Sigma = \frac{1}{n} \sum_{i=1}^{n} (h(x_i) - \mu)(h(x_i)-\mu)^T $$
כאשר $h(x)$ הוא הייצוג הפנימי של הדוגמה ברשת הנוירונים.
אנו מזהים חריגות באמצעות הערכים העצמיים של $\Sigma$.
משפט (נכונות זיהוי הרעלה)
בהינתן שיעור הרעלה $\epsilon < \frac{1}{2}$ והפרדה סטטיסטית $\delta$ בין ההתפלגויות של נתונים תקינים ומורעלים, מסנן $FEE$ מזהה דוגמאות מורעלות בהסתברות לפחות:
$$ P_{detect} \ge 1 - e^{-n\delta^2} $$
סקיצת הוכחה:
ההוכחה נשענת על גבולות ריכוז עבור מטריצות אקראיות. כאשר הדוגמאות המורעלות גורמות לשינוי בכיוון הערך העצמי הדומיננטי, הפער הספקטרלי גדל לפחות ב‑$\delta$. לפי אי־שוויון מטריציוני של Tropp (2015), ההסתברות שהסטייה מהתוחלת קטנה מהפער יורדת אקספוננציאלית עם $n$.
בנוסף, אנו מנתחים את מנגנון $MEBE$ לזיהוי חילוץ מודל. נגדיר את אנטרופיית התפלגות השאילתות של משתמש $u$ כ:
$$ H_u = -\sum_{i=1}^{k} p_i \log p_i $$
כאשר $p_i$ היא ההסתברות שהמשתמש שואל על אזור החלטה $i$.
במקרה של התקפת חילוץ, השאילתות נוטות לכסות באופן שיטתי את מרחב הקלט ולכן האנטרופיה גבוהה מהרגיל.
גבול תאורטי לזיהוי חילוץ
$$ H_u > H_{baseline} + \tau \Rightarrow u \text{ מסווג כתוקף} $$
כאשר $\tau$ הוא סף הנגזר אמפירית מהתפלגות משתמשים לגיטימיים.
דינמיקת המערכת מתוארת באמצעות דיאגרמת מצבים:
stateDiagram-v2
[] --> Monitoring
Monitoring --> NormalOperation : שאילתות תקינות
Monitoring --> Suspicious : אנטרופיה גבוהה
Suspicious --> Mitigation : הפעלת הגבלות
Mitigation --> Monitoring : התאוששות
Mitigation --> Blocked : התקפה מתמשכת
Blocked --> []
במסגרת האימות הפורמלי השתמשנו בשילוב של ניתוח מתמטי ואימות מודלי (Model Checking). הטבלה הבאה מסכמת את שיטות האימות שנבחנו.
| שיטה | כלי | מטרה | יתרונות |
|---|---|---|---|
| Model Checking | PRISM | אימות תכונות הסתברותיות | מתאים למערכות הסתברותיות |
| Theorem Proving | Coq | הוכחת נכונות מתמטית | רמת אמון גבוהה |
| SMT Solvers | Z3 | בדיקת אילוצים | יעיל למערכות מורכבות |
| Runtime Verification | eBPF Monitoring | ניטור בזמן אמת | משתלב ב‑DevSecOps |
שילוב האימות בתהליך הפיתוח מתבצע כחלק מצינור CI/CD:
graph TD
A[קוד מודל] --> B[בדיקות יחידה]
B --> C[אימות פורמלי]
C --> D[בדיקות אדברסריאליות]
D --> E[פריסה]
E --> F[ניטור בזמן אמת]
ניתוחנו מראה כי שילוב אימות פורמלי בתהליך הפיתוח מפחית כשלים לוגיים במנגנוני ההגנה ומאפשר לזהות מצבים בהם הגנות שונות מתנגשות זו בזו. גישה זו מתיישבת עם מגמות עדכניות באבטחת ML, כגון עבודות של Katz et al. (2017) על אימות רשתות נוירונים ושל Carlini et al. (2019) על הערכת עמידות אדברסריאלית.
- Extended Case Study: Enterprise Deployment
כדי להעריך את ישימות המסגרת המוצעת בסביבה תעשייתית, יישמנו אותה בארגון פיננסי גדול המפעיל מערכת חיזוי מבוססת למידת מכונה לזיהוי הונאות. המערכת מעבדת כ‑$2.4 \times 10^6$ טרנזקציות ביום ומספקת חיזוי בזמן אמת דרך API ציבורי למחלקות שונות בארגון.
ארכיטקטורת הפריסה משלבת תשתית ענן, שירותי MLOps ומנגנוני ניטור אבטחה.
graph TD
A[מקורות נתונים] --> B[Data Lake]
B --> C[Pipeline ETL]
C --> D[FEE Poison Filter]
D --> E[Training Cluster]
E --> F[TARC Adversarial Training]
F --> G[Model Registry]
G --> H[Inference Service]
H --> I[MEBE Extraction Monitor]
I --> J[Security Analytics]
J --> K[SOC]
בפריסה זו, מסנן $FEE$ משולב בצינור עיבוד הנתונים לפני האימון, בעוד $TARC$ פועל כחלק מתהליך האימון עצמו. מנטר $MEBE$ מוטמע בשכבת ה‑API ומנתח דפוסי שאילתות בזמן אמת.
טבלה 1 מציגה את ביצועי זיהוי התקפות הרעלה לפני ואחרי שילוב המערכת.
| תצורה | שיעור זיהוי הרעלה | שיעור חיובי שגוי |
|---|---|---|
| ללא FEE | 41% | 3.2% |
| עם FEE | 92% | 4.1% |
העלייה המשמעותית בשיעור הזיהוי מצביעה על כך שהניתוח הספקטרלי מצליח לזהות חריגות גם כאשר שיעור ההרעלה נמוך יחסית ($<2%$ מהדאטה).
טבלה 2 מציגה את השפעת מנגנון $TARC$ על עמידות להתקפות אדברסריאליות מסוג PGD.
| מודל | דיוק רגיל | דיוק תחת PGD |
|---|---|---|
| מודל בסיסי | 96.4% | 21.7% |
| עם TARC | 95.1% | 68.9% |
כפי שניתן לראות, קיים מחיר קטן בדיוק הרגיל אך שיפור משמעותי בעמידות.
טבלה 3 מציגה את יעילות זיהוי ניסיונות חילוץ מודל.
| שיטת התקפה | שיעור זיהוי | זמן זיהוי ממוצע |
|---|---|---|
| Query Flooding | 98% | 12 שניות |
| Boundary Exploration | 94% | 18 שניות |
| Model Distillation | 89% | 26 שניות |
מעבר למדדים הטכניים, בחנו גם את ההיבט הכלכלי של הפריסה.
טבלת עלות‑תועלת:
| רכיב | עלות שנתית | תועלת משוערת |
|---|---|---|
| תשתית חישוב נוספת | $180K | שיפור אמינות המערכת |
| פיתוח ואינטגרציה | $95K | מניעת גניבת מודל |
| ניטור ואנליטיקה | $60K | זיהוי התקפות בזמן אמת |
בהשוואה לעלות פוטנציאלית של דליפת מודל (המוערכת בארגון בכ‑$3–5M), ההשקעה נחשבת משתלמת.
מבחינה תפעולית, האתגר המרכזי היה אינטגרציה עם תשתיות MLOps קיימות. פתרון יעיל היה שימוש במנגנוני eBPF לניטור ביצועי API ללא שינוי בקוד השירות.
לבסוף, ניתוחנו מראה כי ארגונים המאמצים ארכיטקטורה רב־שכבתית הכוללת סינון נתונים, אימון עמיד וניטור שאילתות מצליחים לצמצם באופן משמעותי את הסיכון להתקפות ML מתקדמות. ממצא זה תואם מגמות עדכניות בתעשייה ובספרות, כגון עבודות של Tramèr et al. (2016) על חילוץ מודלים ושל Goodfellow et al. (2015) על התקפות אדברסריאליות.
לסיכום, מחקר המקרה מדגים כי המסגרת המוצעת אינה רק קונספט תאורטי אלא מערכת הניתנת לפריסה מעשית בארגונים גדולים, תוך שמירה על ביצועים ועמידות אבטחתית גבוהה.
References
BIGGIO, B.; NELSON, B.; LASKOV, P. Poisoning attacks against support vector machines. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING (ICML), 29., 2012, Edinburgh. Proceedings […]. Disponível em: https://arxiv.org/abs/1206.6389. DOI: 10.48550/arXiv.1206.6389.
CARLINI, N.; WAGNER, D. Towards evaluating the robustness of neural networks. In: IEEE SYMPOSIUM ON SECURITY AND PRIVACY, 2017. Proceedings […]. Available at: https://ieeexplore.ieee.org/document/7958570
DIAKONIKOLAS, I.; KAMATH, G.; KANE, D.; LI, J.; MOITRA, A.; STEWART, A. Robust estimators in high dimensions without the computational intractability. In: IEEE 57th ANNUAL SYMPOSIUM ON FOUNDATIONS OF COMPUTER SCIENCE (FOCS). Piscataway: IEEE, 2016. DOI: https://doi.org/10.1109/FOCS.2016.26
DWORK, C.; ROTH, A. The algorithmic foundations of differential privacy. Foundations and Trends in Theoretical Computer Science, 2014. Available at: https://www.cis.upenn.edu/~aaroth/Papers/privacybook.pdf
GOODFELLOW, I.; SHLENS, J.; SZEGEDY, C. Explaining and harnessing adversarial examples. ICLR, 2015. Available at: https://arxiv.org/abs/1412.6572
JUUTI, M. et al. PRADA: protecting against DNN model stealing attacks. IEEE EuroS&P, 2019. Available at: https://ieeexplore.ieee.org/document/8806747
MADRY, A. et al. Towards deep learning models resistant to adversarial attacks. ICLR, 2018. Available at: https://arxiv.org/abs/1706.06083
MITRE. ATT&CK Framework. 2023. Available at: https://attack.mitre.org
MOOSAVI-DEZFOOLI, S.; FAWZI, A.; FROSSARD, P. DeepFool. CVPR, 2016. Available at: https://arxiv.org/abs/1511.04599
NIST. Security and Privacy Controls for Information Systems and Organizations (SP 800-53 Rev.5). 2020. Available at: https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final
NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). 2023a. Available at: https://www.nist.gov/itl/ai-risk-management-framework
OWASP. Machine Learning Security Top 10. 2023. Available at: https://owasp.org/www-project-machine-learning-security-top-10/
PAPERNOT, N. et al. Practical black-box attacks against machine learning. CCS, 2017. Available at: https://arxiv.org/abs/1602.02697
STEINHARDT, J.; KOH, P.; LIANG, P. Certified defenses for data poisoning attacks. NeurIPS, 2017. Available at: https://arxiv.org/abs/1706.03691
TRAN, B.; LI, J.; MADRY, A. Spectral signatures in backdoor attacks. NeurIPS, 2018. Available at: https://arxiv.org/abs/1811.00636
TRAMÈR, F. et al. Stealing machine learning models via prediction APIs. USENIX Security, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer