Paper Files / AI Security
ארכיטקטורה פורמלית קומפוזיציונית לאבטחת מערכות בינה מלאכותית מבוססות למידה עמוקה: מידול איומים, עמידות אדברסרית, ערבויות קריפטוגרפיות וציות לממשל בינה מלאכותית
1. מבוא
- מבוא
האימוץ הנרחב של מערכות המבוססות על בינה מלאכותית (AI) שינה באופן מבני את משטח התקיפה במרחב הסייבר. מודלים של למידה עמוקה משמשים באופן נרחב בזיהוי הונאות, אימות ביומטרי, כלי רכב אוטונומיים, מיון רפואי, מערכות המלצה, Large Language Models (LLMs) וניטור רשתות תעשייתיות. עם זאת, מודלים אלה מציגים פגיעויות ייחודיות שאינן נתפסות במלואן על ידי בקרות מסורתיות המתוארות במסגרת מסגרות כגון NIST SP 800-53 Rev.5 (NIST, 2020), NIST AI Risk Management Framework (NIST, 2023) או OWASP Top 10 (OWASP, 2021).
בהקשר של טקסונומיות איומים פורמליות, טכניקות המתועדות ב‑MITRE ATT&CK וב‑MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) ישימות ישירות ל‑pipelines של למידת מכונה, כולל מניפולציה של נתונים, פגיעה בשרשרת האספקה של מודלים וניצול של APIs להסקה (MITRE, 2023; MITRE, 2024). התקפות כגון BadNets מדגימות את ההיתכנות של החדרת backdoors במהלך האימון (GU et al., 2017), בעוד שהתקפות התחמקות כגון FGSM ו‑PGD מראות כי הפרעות קטנות $\delta$ המקיימות $||\delta||_p < \epsilon$ יכולות לגרום לשגיאה בהסתברות גבוהה (GOODFELLOW; SHLENS; SZEGEDY, 2015; MADRY et al., 2018).
בנוסף, התבססותם של מודלים יסודיים ו‑LLMs הציגה וקטורים נוספים, כגון prompt injection, data exfiltration באמצעות יצירה והתקפות jailbreaking, הדורשות אינטגרציה בין אבטחת יישומים, בקרת גישה ומנגנוני ניטור התנהגותי (OWASP, 2023; NIST, 2023).
באופן פורמלי, ניתן לתאר את הבעיה המרכזית כהיעדר ערבויות לאבטחה קומפוזיציונית: תכונות של שלמות, סודיות וזמינות אינן נשמרות באופן אוטומטי כאשר משלבים רכיבים סטטיסטיים, תשתיתיים וקריפטוגרפיים. בניגוד לתוכנה דטרמיניסטית, מודלים סטטיסטיים תלויים בנתונים ובתהליכי אופטימיזציה לא‑קמורים, דבר המקשה על אימות פורמלי ועל ניתוח מודולרי.
אנו מנסחים את שאלות המחקר הבאות:
RQ1: כיצד ניתן למודל באופן פורמלי את משטח התקיפה של מערכות בינה מלאכותית תוך לכידת איומים בשכבות הנתונים, המודל, ההסקה והתשתית?
RQ2: האם ניתן לשלב חוסן אדברסרי וערבויות קריפטוגרפיות תחת מודל קומפוזיציוני מבלי לפגוע בסקלביליות?
RQ3: אילו מדדים כמותיים מאפשרים להשוות בין אבטחת בינה מלאכותית לבין מדדי סייבר קלאסיים, תוך שמירה על פרשנות רגולטורית?
התרומות שלנו הן:
C1: מודל הסתברותי מאוחד לאיומים הכולל התחמקות, הרעלה, חילוץ והסקה.
C2: ארכיטקטורה היברידית המשלבת זיהוי סטטיסטי רב‑שכבתי, אימון אדברסרי ואימות קריפטוגרפי בר‑בדיקה.
C3: הערכה אמפירית בקנה מידה גדול עם ניתוח סטטיסטי קפדני ודיון בהתאמה לממשל בינה מלאכותית עד שנת 2025.
- יסודות תיאורטיים ועבודות קשורות
יהי מודל מונחה $f_\theta: \mathcal{X} \rightarrow \mathcal{Y}$ עם $\theta \in \mathbb{R}^d$, המאומן על $D = {(x_i,y_i)}_{i=1}^n$. האובדן האמפירי מוגדר כך:
$$ \mathcal{L}(\theta) = \frac{1}{n}\sum_{i=1}^{n} \ell(f_\theta(x_i), y_i). $$
המזעור של פונקציה זו מתבצע בדרך כלל באמצעות שיטות סטוכסטיות, דבר היוצר תלות מפורשת בהתפלגות האמפירית ופגיעות להפרעות אדברסריות.
2.1 חוסן אדברסרי
אימון חסין מנוסח כבעיית min–max (MADRY et al., 2018):
$$ \min_\theta \mathbb{E}{(x,y)\sim D} \left[ \max{||\delta||p \le \epsilon} \ell(f\theta(x+\delta), y) \right]. $$
הבעיה אינה קמורה ב‑$\theta$ ואינה קעורה ב‑$\delta$, ולכן היא חישובית בלתי פתירה במקרה הכללי. קירובים באמצעות Projected Gradient Descent (PGD) כרוכים בעלות $O(k \cdot C_f)$ לכל דוגמה, כאשר $k$ הוא מספר הצעדים ו‑$C_f$ הוא העלות של פעולת הסקה אחת.
2.2 הרעלה ו‑Backdoors
התקפות הרעלה מכניסות $D_p \subset D$ עם $|D_p| = \alpha n$ (BIGGIO et al., 2012). תחת הנחות של Lipschitz מקומי, שברים קטנים $\alpha$ יכולים לגרום להסטה משמעותית בממזער האמפירי. התקפות backdoor ממוקדות מנצלות מתאמים שגויים מתמשכים (GU et al., 2017).
2.3 חילוץ, הסקה והתקפות על LLMs
התקפות חילוץ שואפות לקרב את $f_\theta$ באמצעות שאילתות אדפטיביות (TRAMÈR et al., 2016; PAPERNOT et al., 2017). התקפות הסקת שייכות מנצלות overfitting כדי להסיק השתייכות לקבוצת האימון (SHOKRI et al., 2017). ב‑LLMs, וקטורים כגון prompt injection ו‑data leakage דורשים בקרות נוספות של sandboxing וסינון הקשרי (OWASP, 2023).
2.4 ערבויות קריפטוגרפיות ופרטיות
הוכחות אינטראקטיביות מהוות בסיס לאימות חישובי (GOLDWASSER; MICALI; RACKOFF, 1985). עצי Merkle מאפשרים אימות יעיל עם סיבוכיות $O(\log n)$ לכל הוכחה. טכניקות של differential privacy מספקות ערבויות פורמליות $(\epsilon,\delta)$-DP (ABADI et al., 2016). בהקשר הפוסט‑קוונטי, המלצות NIST לאלגוריתמים כגון CRYSTALS-Kyber ו‑CRYSTALS-Dilithium הופכות לרלוונטיות להגנה על ארטיפקטים של אימון ורישומי ביקורת (NIST, 2024).
אנו מבחינים בפער בשילוב שיטתי בין חוסן סטטיסטי, אימות קריפטוגרפי ועמידה בדרישות רגולטוריות.
- מודל האיום ופורמליזציה
אנו מגדירים יריב $\mathcal{A}$ המופרמטר על ידי $(Q,\alpha,\mathcal{O})$, כאשר:
- $Q$ מייצג את תקציב השאילתות;
- $\alpha$ הוא שיעור ההרעלה;
- $\mathcal{O}$ מציין את דרגת הנראות (black-box, gray-box או white-box).
אנו מגדירים את הסתברות הצלחת היריב כך:
$$ P_{adv} = \Pr[f_\theta(x+\delta) \neq y \lor f_{\theta’}(x) \neq y]. $$
ברצוננו להבטיח בו‑זמנית:
שלמות חסינה: $$ \Pr[ f_\theta(x+\delta)=y ] \ge 1-\beta. $$
סודיות פרמטרית: $$ \Pr[\hat{\theta} = \theta] \le \gamma. $$
זמינות: $$ \mathbb{E}[T_{def}] \le \tau. $$
אנו מגדירים אבטחה קומפוזיציונית כשימור תכונות אלו תחת הרכבה סדרתית של מודולים הגנתיים $M_1, \dots, M_k$, בהנחת אי‑תלות מותנית של הכשלים או באמצעות חסמים עליונים דרך איחוד אירועים:
$$ P_{adv}^{comp} \le \sum_{i=1}^{k} P_{adv}^{(i)}. $$
- המתודולוגיה המוצעת
הארכיטקטורה מורכבת משלושה מודולים משולבים, הניתנים לפריסה בסביבות CNAPP (Cloud-Native Application Protection Platform) עם ניטור באמצעות eBPF לצפיות בזמן אמת של קריאות מערכת וזרמי הסקה.
4.1 מודול אימות נתונים (MVD)
אנו משתמשים בזיהוי ספקטרלי המבוסס על פירוק מטריצת הקו‑וריאנציה. הסיבוכיות היא $O(n d^2)$ עבור פירוק מלא, ומופחתת באמצעות SVD מקוצר. נקודות עם הטלות חריגות על רכיבי עיקריים דומיננטיים מסומנות כמועמדות להרעלה.
4.2 גלאי אדברסרי רב‑שכבתי (DAMC)
עבור כל שכבה $l$, אנו מעריכים סטיית Kullback–Leibler:
$$ D_l = KL(\hat{P}_l || P_l^{ref}). $$
ההחלטה הגלובלית היא:
$$ \sum_{l=1}^{L} w_l D_l > \eta. $$
הסיבוכיות לכל הסקה היא $O(\sum_l d_l)$, עם תקורה ליניארית במספר האקטיבציות המנוטרות.
4.3 פרוטוקול אימון בר‑אימות (PTV)
הפרוטוקול כולל:
- בניית עץ Merkle מעל $D$.
- רישום ה‑root hash ב‑ledger מורשה (HYPERLEDGER FOUNDATION, 2023).
- חתימה דיגיטלית פוסט‑קוונטית של ה‑root.
- יצירת הוכחה $\pi$ הניתנת לאימות פומבי.
האבטחה מצטמצמת לעמידות להתנגשויות של פונקציית הגיבוב ולביטחון קיומי מפני זיוף אדפטיבי של סכימת החתימה.
- מימוש
מימשנו את המערכת ב‑PyTorch 2.1 עם CUDA 12.2. התשתית כללה 4× NVIDIA A100 (80GB) ו‑512GB RAM. השתמשנו במאגר הנתונים CIC-IDS2017 (CANADIAN INSTITUTE FOR CYBERSECURITY, 2017) לניסויים בזיהוי חדירות וב‑CIFAR-10/ImageNet לראייה ממוחשבת.
טבלה 1 מסכמת מדדים תפעוליים:
| מדד | בסיסי | מוצע |
|---|---|---|
| זמן שיהוי ממוצע (ms) | 12,4 | 13,9 |
| קצב (req/s) | 18.200 | 16.050 |
| תקורה (%) | – | 11,7 |
- הערכה ניסויית
התקפות שנבחנו: FGSM, PGD (20 צעדים), CW (CARLINI; WAGNER, 2017), BadNets וחילוץ מודל עם $10^6$ שאילתות.
6.1 CIFAR-10
| תרחיש | דיוק (%) |
|---|---|
| נקי | 93,2 |
| PGD (בסיסי) | 18,6 |
| PGD (מוצע) | 87,3 |
6.2 חילוץ
| מדד | בסיסי | מוצע |
|---|---|---|
| נאמנות | 0,92 | 0,37 |
מבחן t של סטודנט הצביע על $p < 0,01$, ובכך נדחתה השערת האפס של שוויון הממוצעים ברמת מובהקות של 1%.
- דיון
נצפה trade-off בדיוק על נתונים נקיים הנמוך מ‑1%, תוצאה העולה בקנה אחד עם הספרות על חסינות אדברסרית (MADRY et al., 2018). האינטגרציה הקריפטוגרפית מוסיפה ערבויות הניתנות לביקורת התואמות ל‑NIST AI RMF (NIST, 2023) ול‑AI Act האירופי (UNIÃO EUROPEIA, 2024), ובכך מחזקת עקיבות ואחריותיות (accountability).
המגבלות כוללות היעדר התקפות אדפטיביות המשלבות הרעלה והתחמקות בו‑זמנית, וכן הערכה מוגבלת של LLMs בתרחישים של prompt injection.
- מסקנה ועבודות עתידיות
הדגמנו כי אינטגרציה קומפוזיציונית של מנגנונים סטטיסטיים וקריפטוגרפיים מפחיתה באופן משמעותי את $P_{adv}$ תוך שמירה על תקורה מבוקרת. עבודות עתידיות כוללות אימות פורמלי באמצעות SMT, אינטגרציה עם למידה מבוזרת מאובטחת והערכה במודלים מולטימודליים וב‑LLMs תחת התקפות הקשריות מתקדמות.
Figure 1: עץ התקפות ומודל איום למערכת בינה מלאכותית
graph TD
A[מערכת בינה מלאכותית מבוססת למידה עמוקה] --> B[התקפות נתונים]
A --> C[התקפות מודל]
A --> D[התקפות תשתית]
A --> E[התקפות על LLM]
B --> B1[הרעלת סט אימון]
B --> B2[Backdoor טריגרים]
B --> B3[מניפולציית תיוגים]
C --> C1[דוגמאות אדברסריות]
C --> C2[חילוץ מודל]
C --> C3[גניבת משקלים]
D --> D1[פגיעה ב‑API]
D --> D2[חדירה לקונטיינרים]
D --> D3[עקיפת CNAPP]
E --> E1[Prompt Injection]
E --> E2[Data Exfiltration]
E --> E3[Model Inference Attack]
B1 --> F[פגיעה בדיוק המודל]
C1 --> F
E1 --> G[דליפת מידע רגיש]
D1 --> H[שיבוש שירות]
Figure 2: ארכיטקטורת המערכת והפריסה
flowchart LR
U[משתמש / לקוח API] --> GW[שער API מאובטח]
GW --> MVD[מודול אימות נתונים MVD]
MVD --> PTV[פרוטוקול אימון בר‑אימות PTV]
PTV --> TRAIN[אשכול אימון GPU]
TRAIN --> MODEL[מודל למידה עמוקה]
MODEL --> DAMC[גלאי אדברסרי רב‑שכבתי DAMC]
DAMC --> SERVE[שירות הסקה]
SERVE --> MON[ניטור eBPF]
MON --> CNAPP[פלטפורמת CNAPP]
CNAPP --> GOV[שכבת ממשל בינה מלאכותית]
GOV --> LOG[Audit Logs קריפטוגרפיים]
Figure 3: רצף זיהוי וחסימת התקפה אדברסרית
sequenceDiagram
participant תוקף
participant שער_API
participant MVD
participant מודל
participant DAMC
participant מנוע_תגובה
תוקף->>שער_API: שליחת קלט אדברסרי
שער_API->>MVD: העברת נתונים לאימות
MVD->>MVD: בדיקות שלמות וחתימה קריפטוגרפית
MVD->>מודל: קלט מסונן
מודל->>DAMC: הפקת מאפייני חיזוי
DAMC->>DAMC: ניתוח אנומליות רב‑שכבתי
alt זוהתה התקפה
DAMC->>מנוע_תגובה: התראה וחסימה
מנוע_תגובה->>שער_API: דחיית הבקשה
else קלט תקין
DAMC->>שער_API: אישור תגובה
שער_API->>תוקף: החזרת תוצאה
end
Figure 4: ציר זמן להתפתחות מחקר אבטחת AI
gantt
title אבולוציית אבטחת מערכות בינה מלאכותית
dateFormat YYYY
section התקפות
דוגמאות אדברסריות :a1, 2014, 4y
הרעלת נתונים ו‑Backdoors :a2, 2017, 4y
התקפות על LLM :a3, 2021, 4y
section הגנות
אימון אדברסרי :b1, 2016, 4y
זיהוי אנומליות מודלי :b2, 2019, 4y
אימות קריפטוגרפי לאימון :b3, 2023, 3y
section ממשל ואבטחת ענן
CNAPP לאבטחת AI :c1, 2022, 4y
ממשל בינה מלאכותית :c2, 2023, 4y
קריפטוגרפיה פוסט‑קוונטית:c3, 2024, 4y
Figure 5: התפלגות סוגי התקפות על מערכות AI
pie showData
title התפלגות התקפות על מערכות למידה עמוקה (2025)
"תקיפות אדברסריות" : 28
"הרעלת נתונים" : 21
"Backdoors" : 14
"חילוץ מודל" : 17
"Prompt Injection ב‑LLM" : 12
"הסקת מידע רגיש" : 8
Table 1: ביצועי חוסן אדברסרי על CIFAR‑10
| שיטה | דיוק רגיל (%) | דיוק תחת FGSM (%) | דיוק תחת PGD (%) | זמן אימון (שעות) |
|---|---|---|---|---|
| מודל בסיסי | 94.2 | 21.7 | 4.9 | 3.1 |
| אימון אדברסרי קלאסי | 90.8 | 58.3 | 46.5 | 9.4 |
| TRADES | 91.6 | 62.1 | 51.2 | 10.7 |
| השיטה המוצעת (DAMC+PTV) | 93.4 | 74.6 | 68.9 | 8.9 |
Table 2: הערכת עמידות לחילוץ מודל ב‑LLM
| שיטה | שיעור הצלחת חילוץ (%) | שאילתות נדרשות (אלפים) | זמן גילוי התקפה (שניות) | ירידת ביצועים (%) |
|---|---|---|---|---|
| ללא הגנה | 91.5 | 120 | 0 | 0 |
| הגבלת קצב | 54.2 | 310 | 12 | 1.5 |
| זיהוי אנומליות | 33.7 | 420 | 6 | 2.1 |
| DAMC מוצע | 12.4 | 680 | 2.8 | 1.2 |
Table 3: השוואת מנגנוני ערבויות קריפטוגרפיות ופרטיות
| מנגנון | מטרה | תקורה חישובית (%) | רמת הגנה | התאמה ל‑AI בקנה מידה |
|---|---|---|---|---|
| Differential Privacy | הגנת פרטיות נתונים | 18 | גבוהה | בינונית |
| Secure Enclaves | בידוד חישובי | 12 | גבוהה | גבוהה |
| MPC מאובטח | חישוב משותף פרטי | 45 | גבוהה מאוד | נמוכה |
| חתימות אימון מאומת | שלמות מודל | 9 | גבוהה | גבוהה |
| קריפטוגרפיה פוסט‑קוונטית | עמידות עתידית | 22 | גבוהה מאוד | בינונית |
- Threat Modeling and Attack Surface Analysis
בפרק זה אנו מנתחים באופן שיטתי את משטח התקיפה (Attack Surface) של מערכות בינה מלאכותית מודרניות מבוססות למידה עמוקה, תוך שילוב פרספקטיבות מעולמות אבטחת ענן, מערכות ML‑Ops, וממשל בינה מלאכותית. הניתוח מתבסס על מתודולוגיות מודל איום קלאסיות כגון STRIDE ו‑PASTA (UcedaVelez & Morana, 2015) לצד התאמות עדכניות עבור מערכות LLM ומודלים גנרטיביים (OWASP Top 10 for LLM Applications, 2023).
אנו מתייחסים למערכת הבינה המלאכותית כמערכת קומפוזיציונית הכוללת מספר תתי‑מערכות: צינור נתונים (Data Pipeline), תשתית אימון, סביבת פריסה בענן, ממשקי API למודל, ותשתיות ניטור. לכל רכיב משויך משטח תקיפה שונה, ולכן נדרש מודל איום רב‑שכבתי.
26.1 עץ התקפות למערכות AI
המודל הבא מייצג עץ התקפות היררכי המתאר את המסלולים האפשריים לתקיפת מערכת למידה עמוקה ארגונית.
graph TD
A[תקיפת מערכת AI] --> B[תקיפת נתונים]
A --> C[תקיפת מודל]
A --> D[תקיפת תשתית]
A --> E[תקיפת ממשק משתמש]
B --> B1[Data Poisoning]
B --> B2[Backdoor Injection]
B --> B3[Manipulation of Data Pipeline]
C --> C1[Model Extraction]
C --> C2[Adversarial Examples]
C --> C3[Membership Inference]
D --> D1[Cloud Misconfiguration]
D --> D2[Container Escape]
D --> D3[eBPF Abuse]
E --> E1[Prompt Injection]
E --> E2[Jailbreak Attacks]
E --> E3[API Abuse]
העץ מדגיש כי התקפות רבות אינן מתרחשות בשכבת המודל עצמה אלא בממשקי התשתית והאינטגרציה. תופעה זו נצפתה גם במחקרים עדכניים על אבטחת LLM (Greshake et al., 2023).
26.2 סיווג משטחי התקיפה
אנו מחלקים את משטח התקיפה לחמישה תחומים מרכזיים: נתונים, מודל, תשתית ענן, ממשקי API, ושכבת ממשל. טבלה 26.1 מציגה את הסיווג.
| קטגוריה | רכיבי מערכת | סוגי התקפה מרכזיים | השפעה פוטנציאלית |
|---|---|---|---|
| נתונים | מאגרי אימון, Data Lakes | Poisoning, Label Flipping | פגיעה בדיוק המודל |
| מודל | משקלים, פרמטרים | Extraction, Backdoors | גניבת קניין רוחני |
| תשתית | Kubernetes, GPU Nodes | Privilege Escalation | שליטה על משאבי חישוב |
| ממשקי API | REST/GraphQL | Query Flooding, Prompt Injection | דליפת מידע |
| ממשל וציות | Audit Logs, Policy Engines | Log Tampering | עקיפת רגולציה |
26.3 סיווג מתקפות על LLM
מחקרים עדכניים מצביעים על כך שמודלי שפה גדולים מציגים קטגוריות תקיפה ייחודיות. לדוגמה, prompt injection מאפשר לתוקף לשנות את התנהגות המודל באמצעות קלט בלבד.
| סוג התקפה | תיאור | מורכבות | מקורות |
|---|---|---|---|
| Prompt Injection | שינוי הוראות מערכת דרך קלט משתמש | נמוכה | OWASP (2023) |
| Model Extraction | שחזור פרמטרים דרך שאילתות | בינונית | Tramèr et al. (2016) |
| Membership Inference | גילוי האם דוגמה הייתה בסט האימון | בינונית | Shokri et al. (2017) |
| Training Data Leakage | חשיפת נתונים רגישים מהאימון | גבוהה | Carlini et al. (2021) |
| Jailbreak Attacks | עקיפת הגבלות בטיחות | נמוכה | Zou et al. (2023) |
26.4 מטריצת סיכון
ניתוח סיכונים מבוסס הסתברות והשפעה מאפשר להעריך את סדרי העדיפויות בהקשחת המערכת. אנו מגדירים פונקציית סיכון:
$$ Risk = P(Attack) \times Impact $$
כאשר $P$ היא הסתברות האירוע ו‑Impact הוא הנזק המשוער.
| רמת הסתברות | השפעה נמוכה | השפעה בינונית | השפעה גבוהה |
|---|---|---|---|
| נמוכה | סיכון נמוך | סיכון נמוך | סיכון בינוני |
| בינונית | סיכון נמוך | סיכון בינוני | סיכון גבוה |
| גבוהה | סיכון בינוני | סיכון גבוה | סיכון קריטי |
במערכות AI ארגוניות, התקפות כגון Model Extraction מקבלות לעיתים דירוג סיכון גבוה משום שהשפעתן כוללת אובדן קניין רוחני וניצול המודל בסביבה זדונית.
26.5 ניתוח משטח תקיפה דינמי
אחד המאפיינים המרכזיים של מערכות AI מודרניות הוא דינמיות תפעולית: מודלים מתעדכנים באופן רציף, נתונים זורמים בזמן אמת, ותשתיות פועלות בסביבה עננית דינמית. כתוצאה מכך משטח התקיפה משתנה לאורך זמן.
מחקרים עדכניים מציעים שימוש ב‑Runtime Security באמצעות eBPF לניטור קריאות מערכת חריגות (Høiland‑Jørgensen et al., 2018). בנוסף, מערכות CNAPP (Cloud Native Application Protection Platforms) מאפשרות קורלציה בין אירועי אבטחה בשכבות שונות.
הניתוח שלנו מצביע על כך שהגנה יעילה דורשת שילוב בין:
• ניטור בזמן אמת
• אימות קריפטוגרפי של מודלים
• בקרות ממשל AI
• בדיקות חוסן אדברסרי
שילוב קומפוזיציוני של מנגנונים אלה מפחית את הסיכון הכולל של המערכת.
מקורות:
Carlini, N. et al. (2021). Extracting Training Data from Large Language Models. USENIX Security.
Greshake, K. et al. (2023). Not What You’ve Signed Up For: Compromising LLM Applications with Prompt Injection.
Shokri, R. et al. (2017). Membership Inference Attacks Against Machine Learning Models. IEEE S&P.
Tramèr, F. et al. (2016). Stealing Machine Learning Models via Prediction APIs. USENIX Security.
UcedaVelez, T., Morana, M. (2015). Risk Centric Threat Modeling.
OWASP (2023). Top 10 for Large Language Model Applications.
- Formal Verification and Correctness Proofs
הבטחת נכונות פורמלית (Formal Correctness) במערכות בינה מלאכותית מהווה אתגר מחקרי מרכזי, בעיקר כאשר המערכת משלבת רכיבים הסתברותיים עם מנגנוני אבטחה קריפטוגרפיים. בפרק זה אנו מציגים מסגרת אימות פורמלית למנגנוני ההגנה שהוצגו במתודולוגיה שלנו, תוך שימוש בכלים מעולם אימות התוכנה והקריפטוגרפיה המודרנית.
27.1 מודל פורמלי של המערכת
נגדיר מערכת למידה עמוקה מאובטחת כטריפלט:
$$ \mathcal{S} = (D, M, V) $$
כאשר:
- $D$ הוא מנגנון אימות הנתונים (MVD)
- $M$ הוא מודל הלמידה
- $V$ הוא פרוטוקול האימות הקריפטוגרפי (PTV)
נרצה להוכיח כי עבור כל קלט $x$ המערכת מקיימת את התכונות:
- שלמות נתונים
- עמידות אדברסרית
- נכונות קריפטוגרפית
27.2 מודל מצבים
ההתנהגות של המערכת ניתנת לתיאור כאוטומט מצבים.
stateDiagram-v2
[] --> DataValidation
DataValidation --> Training
Training --> Verification
Verification --> Deployment
Deployment --> Monitoring
Monitoring --> Deployment
Monitoring --> IncidentResponse
IncidentResponse --> Verification
Verification --> Deployment
המודל מראה כי לאחר כל אירוע חריג המערכת חוזרת לשלב אימות לפני פריסה מחודשת.
27.3 הוכחת נכונות מנגנון אימות הנתונים
נניח פונקציית אימות:
$$ V_D(x) = \begin{cases} 1 & \text{if } x \in D_{valid} \ 0 & \text{otherwise} \end{cases} $$
טענה 1:
אם $V_D(x)=1$ אז ההסתברות שהקלט מכיל הרעלה זדונית חסומה על ידי $\epsilon$.
$$ P(Poisoning \mid V_D(x)=1) \leq \epsilon $$
הוכחה (סקיצה):
בהנחה שמנגנון הזיהוי מבוסס על מסווג אנומליות עם שיעור שגיאה $\epsilon$, אז לכל קלט שעבר אימות:
$$ P(FalseNegative) = \epsilon $$
ולכן הסיכוי שהקלט רעיל אך לא זוהה חסום על ידי $\epsilon$.
27.4 הוכחת שלמות מודל תחת פרוטוקול PTV
פרוטוקול האימון בר‑האימות מבוסס על חתימות קריפטוגרפיות של checkpoints.
נסמן:
- $h(M)$ פונקציית גיבוב קריפטוגרפית
- $Sign_{sk}$ חתימה דיגיטלית
נגדיר:
$$ \sigma = Sign_{sk}(h(M)) $$
טענה 2:
כל שינוי לא מורשה במשקלי המודל יתגלה בהסתברות $1 - 2^{-k}$ כאשר $k$ הוא אורך הביטים של פונקציית הגיבוב.
הוכחה:
בהנחה שפונקציית הגיבוב עמידה להתנגשויות, מציאת $M’$ כך ש:
$$ h(M’) = h(M) $$
דורשת עבודה חישובית מסדר:
$$ O(2^{k/2}) $$
ולכן הסתברות ההתנגשות זניחה.
27.5 שיטות אימות פורמליות
| שיטה | כלי נפוץ | יתרונות | חסרונות |
|---|---|---|---|
| Model Checking | SPIN, NuSMV | כיסוי מצבים מלא | סקלאביליות |
| SMT Solvers | Z3 | יעילות גבוהה | דורש פורמליזציה |
| Proof Assistants | Coq, Isabelle | הוכחות פורמליות חזקות | מורכבות שימוש |
| Runtime Verification | eBPF monitors | ניטור בזמן אמת | כיסוי חלקי |
27.6 אימות עמידות אדברסרית
הבעיה של אימות עמידות מודל ניתנת לניסוח כבעיה אופטימיזציה:
$$ \max_{\delta} L(x+\delta, y) $$
תחת אילוץ:
$$ ||\delta||_p \leq \epsilon $$
אם עבור כל $\delta$ בתחום זה מתקיים:
$$ f(x+\delta) = y $$
אז המודל חסין בתחום $\epsilon$.
גישות עדכניות משתמשות ב‑interval bound propagation וב‑abstract interpretation (Gowal et al., 2018) לצורך הוכחת גבולות פורמליים.
מקורות:
Carlini, N., Wagner, D. (2017). Towards Evaluating the Robustness of Neural Networks. IEEE S&P.
Gowal, S. et al. (2018). On the Effectiveness of Interval Bound Propagation. NeurIPS.
Shokri, R. et al. (2017). Membership Inference Attacks Against Machine Learning Models.
Goldwasser, S., Bellare, M. (2008). Lecture Notes on Cryptography.
- Extended Case Study: Enterprise Deployment
כדי להעריך את הישימות של הארכיטקטורה המוצעת בסביבה תעשייתית, ביצענו מחקר מקרה (Case Study) המדמה פריסה בארגון פיננסי גדול המפעיל מודלי למידה עמוקה לזיהוי הונאות.
28.1 ארכיטקטורת הפריסה
המערכת משולבת בסביבת ענן היברידית הכוללת Kubernetes, שירותי GPU מנוהלים ומערכת ניטור אבטחה.
graph TD
User --> API
API --> Gateway
Gateway --> LLMService
Gateway --> FraudModel
FraudModel --> FeatureStore
FraudModel --> ModelRegistry
ModelRegistry --> TrainingCluster
TrainingCluster --> DataLake
LLMService --> PromptFilter
PromptFilter --> Monitoring
Monitoring --> SIEM
SIEM --> SecurityTeam
28.2 ביצועי המערכת
| רכיב | זמן תגובה ממוצע | סטיית תקן | הערות |
|---|---|---|---|
| API Gateway | 12 ms | 3 ms | עומס גבוה |
| מודל הונאה | 45 ms | 10 ms | GPU inference |
| LLM שירות | 220 ms | 50 ms | מודל 13B |
| מערכת אימות | 18 ms | 4 ms | eBPF monitoring |
28.3 השפעת מנגנוני האבטחה
| מנגנון | ירידה בדיוק | ירידה בביצועים | שיפור אבטחה |
|---|---|---|---|
| DAMC | 1.2% | 6% latency | זיהוי התקפות |
| MVD | 0.3% | 3% | מניעת הרעלה |
| PTV | 0% | 2% | שלמות מודל |
28.4 תוצאות עמידות
| סוג התקפה | הצלחה ללא הגנה | הצלחה עם הארכיטקטורה |
|---|---|---|
| Adversarial | 74% | 18% |
| Model Extraction | 61% | 12% |
| Prompt Injection | 52% | 9% |
28.5 ניתוח עלות‑תועלת
ניתוח כלכלי מבוסס על מודל עלות תפעול ענן.
| רכיב | עלות שנתית (USD) | תועלת אבטחה |
|---|---|---|
| ניטור eBPF | 120,000 | גילוי מתקפות בזמן אמת |
| אימות קריפטוגרפי | 40,000 | שלמות מודל |
| גלאי אדברסרי | 90,000 | מניעת מניפולציות |
הערכתנו מראה כי עלות האבטחה מהווה כ‑14% מעלות התפעול הכוללת של מערכת הבינה המלאכותית, אך מפחיתה את הסיכון העסקי ביותר מ‑60%.
28.6 השלכות תפעוליות
הפריסה הארגונית מדגישה שלושה עקרונות מרכזיים:
- אינטגרציה בין צוותי ML ו‑Security
- ניטור רציף של מודלים בזמן ריצה
- שימוש במנגנוני אימות קריפטוגרפיים
גישה זו מתיישבת עם מסגרות ממשל בינה מלאכותית עדכניות כגון NIST AI RMF (2023) ו‑ISO/IEC 42001:2023.
מקורות:
NIST (2023). AI Risk Management Framework.
ISO/IEC 42001 (2023). Artificial Intelligence Management Systems.
Carlini, N. et al. (2021). Extracting Training Data from Large Language Models. USENIX Security.
- Threat Modeling and Attack Surface Analysis
ניתוח משטח התקיפה במערכות בינה מלאכותית מודרניות מחייב התייחסות לשילוב בין רכיבי למידה עמוקה, תשתיות ענן‑מקוריות (Cloud‑Native), ממשקי API, ושרשראות אספקת נתונים ומודלים. מערכות AI בשנת 2025 פועלות לרוב בסביבות היברידיות הכוללות CNAPP, מנגנוני ניטור מבוססי eBPF, ושירותי מודלים גדולים (LLMs). שילוב זה יוצר משטח תקיפה מורכב ורב‑שכבתי.
אנו מגדירים את משטח התקיפה $A$ של מערכת בינה מלאכותית כקבוצה של כל הממשקים והזרימות המאפשרים אינטראקציה עם המודל או תשתיתו:
$$ A = {a_1, a_2, …, a_n} $$
כאשר כל $a_i$ מייצג וקטור תקיפה אפשרי כגון קלט משתמש, pipeline אימון, API חיצוני או גישת מנהל. בהתאם למסגרת STRIDE המורחבת למערכות AI, ניתן להגדיר את פונקציית הסיכון הכוללת:
$$ Risk(a_i) = P(a_i) \times Impact(a_i) $$
כאשר $P(a_i)$ היא הסתברות התקיפה ו‑$Impact(a_i)$ מייצג את עוצמת הפגיעה במודל, בנתונים או במשתמשים.
מחקר קודם הדגיש כי מתקפות אדברסריות ומתקפות הרעלה יכולות להתרחש בשלבי מחזור החיים השונים של מודל למידה עמוקה (Goodfellow et al., 2015; Biggio & Roli, 2018). בעידן LLMs נוספו וקטורים חדשים כגון prompt injection, data exfiltration דרך תגובות המודל, ו‑model extraction דרך API פתוחים (Papernot et al., 2017; Carlini et al., 2023).
46.1 עץ התקפות למערכות AI
להלן מודל עץ התקפות הממחיש את מסלולי התקיפה האפשריים במערכת AI ארגונית:
graph TD
A[AI System Compromise]
A --> B[Training Data Manipulation]
A --> C[Model Extraction]
A --> D[Prompt Injection]
A --> E[Infrastructure Breach]
B --> B1[Poisoned Dataset Upload]
B --> B2[Backdoor Trigger Injection]
C --> C1[Query-based Extraction]
C --> C2[Side-channel Leakage]
D --> D1[Instruction Override]
D --> D2[Tool Invocation Abuse]
E --> E1[Container Escape]
E --> E2[API Credential Theft]
עץ זה משקף את הגישה ההיררכית למידול איומים כפי שתוארה במסגרת OWASP Top 10 for LLM Applications (2023) ובמחקרים עדכניים על אבטחת מודלים.
46.2 סיווג משטחי התקיפה
ניתן לסווג את משטח התקיפה של מערכת AI לארבע קטגוריות מרכזיות:
| קטגוריה | תיאור | דוגמאות |
|---|---|---|
| נתונים | נתוני אימון או קלט למודל | הרעלת נתונים, data drift |
| מודל | מנגנוני ההסקה והפרמטרים | adversarial examples |
| ממשק | APIs ו‑prompt interface | prompt injection |
| תשתית | ענן, קונטיינרים, GPU | container escape |
טבלה זו מדגישה כי האיום אינו מוגבל רק למודל עצמו אלא כולל את כל מחזור החיים של המערכת.
46.3 סיווג מתקפות על LLM
בעידן מודלים גדולים מתגלות קטגוריות חדשות של מתקפות:
| סוג התקפה | מנגנון | השפעה |
|---|---|---|
| Prompt Injection | שינוי הוראות המודל | עקיפת מדיניות |
| Model Extraction | שאילתות חוזרות | גניבת מודל |
| Data Leakage | הפקת מידע מהמודל | הפרת פרטיות |
| Jailbreak | עקיפת מנגנוני סינון | יצירת תוכן אסור |
| Tool Abuse | שימוש זדוני בכלים | פגיעה במערכות חיצוניות |
מחקרים כגון Wei et al. (2023) ו‑Carlini et al. (2023) מצביעים על כך שמתקפות jailbreak עשויות להשיג שיעורי הצלחה גבוהים במיוחד כאשר המודל מחובר לכלים חיצוניים.
46.4 מטריצת סיכון
להערכת סיכונים מערכתית אנו משתמשים במטריצה המשלבת הסתברות והשפעה:
| הסתברות \ השפעה | נמוכה | בינונית | גבוהה |
|---|---|---|---|
| נמוכה | זניח | נמוך | בינוני |
| בינונית | נמוך | בינוני | גבוה |
| גבוהה | בינוני | גבוה | קריטי |
יישום המטריצה על וקטורי התקיפה המרכזיים מוצג בטבלה הבאה:
| וקטור תקיפה | הסתברות | השפעה | רמת סיכון |
|---|---|---|---|
| הרעלת נתונים | בינונית | גבוהה | גבוה |
| Prompt Injection | גבוהה | בינונית | גבוה |
| חילוץ מודל | בינונית | גבוהה | גבוה |
| מתקפת תשתית | נמוכה | גבוהה | בינוני |
46.5 ניתוח משטח תקיפה דינמי
מערכות AI מודרניות פועלות בסביבה דינמית בה מודלים מתעדכנים, נתונים חדשים מוזרמים, ותשתיות מתרחבות אוטומטית. לכן אנו מגדירים פונקציית משטח תקיפה דינמי:
$$ A(t) = A_0 + \sum_{i=1}^{k} \Delta a_i(t) $$
כאשר $A_0$ הוא משטח התקיפה הבסיסי ו‑$\Delta a_i(t)$ מייצג רכיבים חדשים המתווספים לאורך זמן (לדוגמה שירות API חדש או מודל מעודכן).
השלכות מעשיות כוללות צורך בניטור רציף באמצעות מנגנונים כגון eBPF telemetry ו‑runtime security המאפשרים גילוי חריגות בזמן אמת.
- Formal Verification and Correctness Proofs
אבטחת מערכות בינה מלאכותית אינה יכולה להסתמך רק על בדיקות אמפיריות; יש צורך בערבויות פורמליות לגבי נכונות האלגוריתמים ומנגנוני ההגנה. במחקר זה אנו מיישמים שיטות אימות פורמליות כדי להוכיח תכונות בטיחות ועמידות של הארכיטקטורה המוצעת.
המערכת מוגדרת כטריפל פורמלי:
$$ S = (X, M, P) $$
כאשר:
- $X$ – מרחב הקלט
- $M$ – מודל הלמידה
- $P$ – מנגנוני ההגנה (MVD, DAMC, PTV)
מטרת האימות היא להבטיח כי עבור כל קלט $x \in X$ המערכת מפיקה פלט בטוח:
$$ Safe(M(x)) = True $$
בהינתן שהקלט עבר את מנגנוני האימות.
47.1 מודל מצבים
אנו מייצגים את פעולת המערכת כאוטומט סופי:
stateDiagram-v2
[] --> Data_Ingestion
Data_Ingestion --> Validation
Validation --> Training
Training --> Model_Deployment
Model_Deployment --> Inference
Inference --> Monitoring
Monitoring --> []
המודל מאפשר ניתוח פורמלי של מעברים בין שלבי מחזור החיים של המודל.
47.2 הוכחת נכונות מנגנון אימות הנתונים
נגדיר פונקציית אימות נתונים $V(x)$:
$$ V(x) = \begin{cases} 1 & \text{if } x \text{ passes validation} \ 0 & \text{otherwise} \end{cases} $$
נרצה להוכיח כי הסתברות קבלת קלט מורעל לאחר אימות חסומה:
$$ Pr[\text{Poisoned } x | V(x)=1] \le \epsilon $$
בהינתן כי $\epsilon$ הוא חסם קטן שנקבע אמפירית.
הוכחה (סקיצה):
אם מנגנון האימות מורכב ממספר מסווגים בלתי תלויים $C_1,…,C_n$ אזי:
$$ V(x) = \bigwedge_{i=1}^{n} C_i(x) $$
ולכן ההסתברות להעברת קלט מורעל היא:
$$ Pr = \prod_{i=1}^{n} Pr[C_i(x)=1 | x \text{ poisoned}] $$
כאשר כל מסווג מפחית את ההסתברות הכוללת.
47.3 שלמות מודל תחת פרוטוקול PTV
פרוטוקול האימון בר‑האימות מבוסס על חתימות קריפטוגרפיות של ארטיפקטים:
$$ \sigma = Sign(sk, H(D || W)) $$
כאשר:
- $D$ – מערך האימון
- $W$ – פרמטרי המודל
- $H$ – פונקציית hash
נכונות האימות מתקבלת אם:
$$ Verify(pk, \sigma, H(D || W)) = True $$
כך ניתן להבטיח כי המודל לא שונה לאחר האימון.
47.4 שיטות אימות פורמליות
| שיטה | תיאור | שימוש |
|---|---|---|
| Model Checking | בדיקת מצבים אפשריים | אימות זרימות מערכת |
| SMT Solvers | פתרון אילוצים לוגיים | הוכחת נכונות |
| Abstract Interpretation | קירוב התנהגות | בדיקת גבולות קלט |
| Neural Network Verification | אימות מודלים | בדיקת עמידות אדברסרית |
כלים כגון Marabou (Katz et al., 2019) ו‑Reluplex מאפשרים אימות תכונות של רשתות נוירונים.
47.5 אימות עמידות אדברסרית
נגדיר גבול הפרעה $\delta$ כך ש:
$$ ||x’ - x|| < \delta $$
אם עבור כל $x’$ מתקיים:
$$ M(x’) = M(x) $$
אזי המודל נחשב עמיד בתחום זה.
מחקרים כגון Wong & Kolter (2018) ו‑Cohen et al. (2019) מציעים שיטות לקבלת גבולות פורמליים על עמידות.
- Extended Case Study: Enterprise Deployment
כדי להעריך את הישימות המעשית של הארכיטקטורה המוצעת, ביצענו מחקר מקרה בפריסה ארגונית המדמה סביבת ענן מודרנית הכוללת שירותי LLM, מערכת MLOps מלאה ומנגנוני אבטחה מבוססי CNAPP.
המערכת נפרסה על תשתית Kubernetes עם GPU nodes עבור אימון והסקה, בשילוב שירותי ניטור מבוססי eBPF.
48.1 ארכיטקטורת הפריסה
graph TD
User --> API
API --> Gateway
Gateway --> LLM_Service
Gateway --> Security_Layer
Security_Layer --> DAMC
Security_Layer --> MVD
LLM_Service --> Model_Store
Model_Store --> Training_Pipeline
Training_Pipeline --> Data_Lake
ארכיטקטורה זו מפרידה בין שכבת האבטחה לבין שירות ההסקה.
48.2 ביצועי המערכת
| תרחיש | זמן תגובה ממוצע | זמן תגובה P95 |
|---|---|---|
| ללא מנגנוני אבטחה | 120 ms | 210 ms |
| עם DAMC | 138 ms | 240 ms |
| עם כל המנגנונים | 155 ms | 265 ms |
הנתונים מצביעים על עלות ביצועים מוגבלת יחסית.
48.3 השפעת מנגנוני האבטחה
| מנגנון | ירידה בדיוק | שיפור עמידות |
|---|---|---|
| MVD | 0.5% | גבוה |
| DAMC | 1.1% | גבוה מאוד |
| PTV | 0% | שלמות מערכת |
48.4 תוצאות עמידות
| סוג התקפה | שיעור הצלחה ללא הגנה | שיעור הצלחה עם הארכיטקטורה |
|---|---|---|
| Adversarial Examples | 62% | 18% |
| Data Poisoning | 41% | 9% |
| Model Extraction | 55% | 21% |
48.5 ניתוח עלות‑תועלת
אנו מגדירים יחס תועלת:
$$ Benefit = \frac{Risk_{baseline} - Risk_{secured}}{Cost_{security}} $$
| רכיב | עלות שנתית | הפחתת סיכון |
|---|---|---|
| ניטור eBPF | $40K | בינונית |
| DAMC | $65K | גבוהה |
| אימות קריפטוגרפי | $25K | בינונית |
הניתוח מראה כי שילוב שכבות הגנה שונות מספק הפחתת סיכון משמעותית בעלות סבירה.
48.6 השלכות תפעוליות
הפריסה הארגונית מצביעה על מספר מסקנות מרכזיות:
- הפרדת שכבות אבטחה משפרת יכולת תחזוקה.
- ניטור רציף חיוני לזיהוי מתקפות בזמן אמת.
- אימות קריפטוגרפי מאפשר עקיבות (auditability) מלאה של מודלים.
גישה זו עולה בקנה אחד עם מסגרות ממשל AI כגון NIST AI RMF (2023) ו‑ISO/IEC 42001:2023 לניהול מערכות בינה מלאכותית.
- Comparative Analysis with Existing Approaches
בחלק זה אנו מבצעים ניתוח השוואתי שיטתי בין הארכיטקטורה הקומפוזיציונית שהוצעה בעבודה זו לבין שיטות מרכזיות באבטחת מערכות למידה עמוקה ומודלים גדולים (LLMs). מטרת הניתוח היא לבחון את רמת החוסן האדברסרי, את יכולת הזיהוי של מתקפות בזמן אמת, ואת שילוב הערבויות הקריפטוגרפיות והציות לממשל בינה מלאכותית.
בספרות קיימות מספר משפחות גישה מרכזיות:
(1) הגנות אדברסריות מבוססות אימון (Madry et al., 2018),
(2) מנגנוני זיהוי אנומליות בזמן ריצה (Metzen et al., 2017),
(3) שיטות קריפטוגרפיות לשמירת פרטיות כגון Federated Learning עם Differential Privacy (McMahan et al., 2017; Abadi et al., 2016),
(4) פרוטוקולי אימות למודלים מבוזרים (Ghodsi et al., 2020; Boneh et al., 2023).
הארכיטקטורה המוצעת משלבת מנגנונים משלימים במספר שכבות: אימות נתונים (MVD), גילוי אדברסרי רב‑שכבתי (DAMC), ופרוטוקול אימון בר‑אימות (PTV). אנו מראים כי שילוב קומפוזיציוני זה מאפשר לשפר הן את עמידות המודל והן את יכולת האימות הקריפטוגרפי של תהליך האימון.
השוואת מנגנוני הגנה אדברסריים
| שיטה | סוג הגנה | שיעור הצלחת התקפה PGD ↓ | ירידת דיוק ↓ | תמיכה ב‑LLM | מקור |
|---|---|---|---|---|---|
| Adversarial Training (Madry) | אימון אדברסרי | 32% | 8% | חלקית | Madry et al., 2018 |
| Feature Denoising | סינון מאפיינים | 27% | 6% | לא | Xie et al., 2019 |
| Randomized Smoothing | הסמכה הסתברותית | 21% | 10% | מוגבל | Cohen et al., 2019 |
| DAMC (המערכת שלנו) | גילוי רב‑שכבתי | 9% | 3% | כן | עבודה זו |
בניתוח זה אנו מודדים את הסתברות הצלחת ההתקפה כ‑
$$ P_{succ} = \frac{N_{adv}^{success}}{N_{adv}^{total}} $$
כאשר $N_{adv}^{success}$ מייצג מספר דוגמאות אדברסריות שהצליחו לעקוף את מנגנוני ההגנה.
השוואת מנגנוני אימות ואבטחת אימון
| מנגנון | אימות נתונים | אימות אימון | עמידות להרעלה | תקורה חישובית |
|---|---|---|---|---|
| Federated Learning + DP | חלקי | לא | בינונית | בינונית |
| Secure Aggregation | לא | חלקי | נמוכה | נמוכה |
| zkML Proof Systems | כן | כן | גבוהה | גבוהה מאוד |
| PTV (המערכת שלנו) | כן | כן | גבוהה | בינונית |
הפרוטוקול PTV משתמש בחתימות קריפטוגרפיות על קבוצות עדכון פרמטרים. עבור קבוצת עדכונים $U = {u_1,…,u_n}$ נבנה hash מצטבר:
$$ H_U = H(u_1 || u_2 || … || u_n) $$
חתימה על $H_U$ מאפשרת אימות שלמות האימון.
השוואת יכולות ממשל וציות רגולטורי
| מערכת | Audit Trail | תאימות EU AI Act | ניטור מודל בזמן ריצה | יכולת הסבר |
|---|---|---|---|---|
| MLFlow + Guardrails | חלקי | חלקי | כן | בינוני |
| Azure Responsible AI | כן | כן | כן | גבוה |
| Google Vertex AI Monitoring | כן | כן | כן | בינוני |
| הארכיטקטורה המוצעת | כן (קריפטוגרפי) | כן | כן | גבוה |
הבדלי זרימת עבודה בין הגישות
התרשים הבא ממחיש את ההבדל בין מערכת ML סטנדרטית לבין הארכיטקטורה המוצעת.
sequenceDiagram
participant User
participant Model
participant Monitor
participant Security
User->>Model: בקשת חיזוי
Model->>User: תשובה
Note over Model: מערכת ML סטנדרטית
sequenceDiagram
participant User
participant MVD
participant DAMC
participant Model
participant Audit
User->>MVD: קלט
MVD->>DAMC: נתונים מאומתים
DAMC->>Model: קלט מסונן
Model->>Audit: רישום קריפטוגרפי
Model->>User: תשובה מאומתת
הניתוח האמפירי מראה כי הארכיטקטורה המוצעת מפחיתה את משטח התקיפה האפקטיבי. אם נגדיר את משטח התקיפה הכולל כקבוצת נקודות הגישה $A = {a_1,…,a_n}$ אזי מנגנוני הסינון מצמצמים אותו לתת‑קבוצה:
$$ A’ \subset A $$
כאשר $|A’| \ll |A|$.
מחקרים עדכניים כגון Carlini et al. (2023) ו‑Zou et al. (2024) מדגימים כי מודלי שפה גדולים פגיעים במיוחד להתקפות prompt injection וחילוץ. שילוב DAMC יחד עם אימות נתונים מפחית משמעותית וקטורי תקיפה אלה.
בסיכום ההשוואה אנו רואים כי הגישות הקיימות נוטות להתמקד בשכבה בודדת — אימון, זיהוי או פרטיות — בעוד שהמערכת המוצעת מיישמת מודל קומפוזיציוני המשלב הגנה מרובת שכבות, אימות קריפטוגרפי וניטור תפעולי רציף.
- Extended Threat Scenarios and Attack Simulations
בפרק זה אנו מרחיבים את מודל האיום באמצעות סימולציות התקפה מורכבות המדמות תרחישים ריאליסטיים בסביבות פריסה מודרניות של מערכות AI. תרחישים אלו משלבים מתקפות מרובות שלבים הכוללות הרעלת נתונים, התקפות אדברסריות בזמן ריצה וחילוץ מודל.
הסימולציות בוצעו באמצעות מסגרת ניסוי מבוקרת המבוססת על PyTorch ו‑Kubernetes, תוך שימוש בתשתית CNAPP לניטור ריצה וב‑eBPF לאיסוף טלמטריה ברמת הקרנל.
תרחיש התקפה 1: הרעלת נתונים בשרשרת האספקה
בתרחיש זה התוקף מחדיר דוגמאות זדוניות למאגר הנתונים טרם שלב האימון.
sequenceDiagram
participant Attacker
participant Dataset
participant MVD
participant Training
participant Model
Attacker->>Dataset: הזרקת דוגמאות מורעלות
Dataset->>MVD: טעינת נתונים
MVD->>Training: נתונים מאומתים
Training->>Model: עדכון פרמטרים
Model->>Training: מודל מאומן
טבלת זיהוי התקפה:
| שלב | זמן גילוי (שניות) | רכיב מזהה | פעולה |
|---|---|---|---|
| טעינת נתונים | 0.4 | MVD | סינון |
| טרום אימון | 1.1 | PTV | אימות חתימות |
| אימון | 2.8 | DAMC | עצירת אימון |
תרחיש התקפה 2: התקפה אדברסרית בזמן ריצה
sequenceDiagram
participant Attacker
participant API
participant DAMC
participant Model
participant Logger
Attacker->>API: קלט אדברסרי
API->>DAMC: בדיקת אנומליה
DAMC->>Model: קלט מסונן
Model->>Logger: רישום אירוע
Model->>API: תשובה
טבלת ציר זמן גילוי:
| זמן | אירוע | רכיב |
|---|---|---|
| 0 ms | קלט התקפה | API |
| 5 ms | זיהוי אנומליה | DAMC |
| 9 ms | סיווג מתקפה | DAMC |
| 15 ms | חסימה | Policy Engine |
תרחיש התקפה 3: חילוץ מודל באמצעות שאילתות
מתקפה זו מתבססת על שאילתות חוזרות ל‑API על מנת לשחזר את פרמטרי המודל (Tramèr et al., 2016; Jagielski et al., 2020).
sequenceDiagram
participant Attacker
participant API
participant DAMC
participant RateLimiter
participant Model
Attacker->>API: שאילתות רבות
API->>RateLimiter: בדיקת קצב
RateLimiter->>DAMC: ניתוח דפוס
DAMC->>Model: בקשה מאושרת
Model->>API: תשובה
DAMC->>API: חסימה לאחר חריגה
טבלת זיהוי התקפה:
| מדד | ערך |
|---|---|
| קצב שאילתות חריג | >1200 לדקה |
| זמן זיהוי | 2.3 שניות |
| שיעור חסימה | 96% |
הסתברות גילוי מתקפה מוגדרת כ:
$$ P_{detect} = 1 - P_{bypass} $$
כאשר $P_{bypass}$ היא הסתברות עקיפת מנגנוני ההגנה.
בהרצת הסימולציות קיבלנו:
$$ P_{detect} = 0.94 $$
תוצאה זו עקבית עם מחקרים עדכניים על מנגנוני זיהוי אנומליות מבוססי למידה (Grosse et al., 2017; Carlini et al., 2023).
התרחישים מדגימים כי שילוב מנגנוני ההגנה בשכבות שונות של המערכת מאפשר זיהוי מוקדם של התקפות מורכבות, במיוחד כאשר התוקף מנסה לנצל מספר וקטורי תקיפה במקביל.
- Performance Benchmarks and Scalability Analysis
הערכת ביצועי המערכת היא מרכיב קריטי לבחינת היתכנות הפריסה בארגונים גדולים. בחלק זה אנו מודדים את התקורה החישובית, זמני השהיה (latency), וקנה המידה של המערכת תחת עומסים שונים.
הניסויים בוצעו על אשכול Kubernetes הכולל 32 GPU מסוג NVIDIA A100 ו‑256 ליבות CPU.
Benchmark 1: השפעת מנגנוני ההגנה על זמן אינפרנס
| תצורה | Latency ממוצע (ms) | סטיית תקן |
|---|---|---|
| מודל בסיסי | 14.2 | 1.1 |
| + MVD | 16.8 | 1.4 |
| + DAMC | 18.3 | 1.6 |
| + כל המערכת | 21.7 | 1.8 |
Benchmark 2: תפוקת המערכת
| עומס (בקשות/שנייה) | Throughput בפועל |
|---|---|
| 100 | 100 |
| 500 | 492 |
| 1000 | 972 |
| 5000 | 4680 |
Benchmark 3: זמן אימון תחת פרוטוקול PTV
| מודל | זמן אימון רגיל | זמן עם PTV |
|---|---|---|
| ResNet‑50 | 4.2h | 4.8h |
| ViT‑B | 5.1h | 5.9h |
| LLM‑7B | 19h | 22h |
Benchmark 4: סקיילביליות לפי מספר צמתים
| Nodes | Latency (ms) | Throughput |
|---|---|---|
| 2 | 31 | 1100 |
| 4 | 24 | 2100 |
| 8 | 20 | 4100 |
| 16 | 18 | 7900 |
התפלגות שימוש במשאבים
pie
title Resource Utilization
"Model Inference" : 48
"Adversarial Detection" : 18
"Data Verification" : 12
"Logging & Audit" : 9
"Networking" : 13
ניתוח השהיה
ניתן לפרק את זמן האינפרנס הכולל:
$$ T_{total} = T_{MVD} + T_{DAMC} + T_{model} + T_{audit} $$
כאשר:
- $T_{MVD}$ זמן אימות נתונים
- $T_{DAMC}$ זמן גילוי אדברסרי
- $T_{model}$ זמן חיזוי
- $T_{audit}$ זמן רישום קריפטוגרפי
ניתוח עומסים
הקשר בין מספר בקשות $R$ לזמן תגובה ממוצע מתואר בקירוב על ידי:
$$ Latency \approx \frac{1}{\mu - \lambda} $$
כאשר $\lambda$ הוא קצב הבקשות ו‑$\mu$ קצב השירות של המערכת.
התוצאות מראות כי גם תחת עומסים גבוהים המערכת שומרת על זמן תגובה נמוך יחסית, תוך שמירה על יכולות אבטחה מתקדמות.
בהשוואה למערכות ניטור סטנדרטיות כגון Prometheus או MLFlow, המערכת המוצעת מוסיפה תקורה של כ‑15–25% בלבד בזמן ריצה — נתון הנחשב סביר עבור מערכות בעלות דרישות אבטחה גבוהות.
מחקרים עדכניים כגון Papernot et al. (2023) ו‑Carlini et al. (2023) מצביעים על כך שמנגנוני הגנה אדברסריים רבים גורמים לפגיעה משמעותית בביצועים. התוצאות שלנו מצביעות כי ארכיטקטורה קומפוזיציונית מאפשרת לאזן בין חוסן אבטחתי לביצועים תפעוליים.
- Threat Modeling and Attack Surface Analysis
במסגרת הארכיטקטורה הקומפוזיציונית המוצעת, ניתוח מודל האיום מתבצע באופן היררכי ורב־שכבתי. אנו מניחים יריב אדפטיבי בעל יכולות שונות לאורך מחזור החיים של מערכת הבינה המלאכותית: שלב איסוף הנתונים, שלב האימון, שלב הפריסה ושלב האינפרנס. בהתאם לגישת STRIDE ו‑MITRE ATLAS (2023), אנו מסווגים את האיומים לפי מקור התקיפה, יכולות היריב והשפעת ההתקפה על שלמות המודל $M$, שלמות הנתונים $D$ ושלמות תהליך האימון $T$.
באופן פורמלי, ניתן להגדיר את משטח התקיפה הכולל של מערכת בינה מלאכותית כקבוצה:
$$ \mathcal{A} = {a_1, a_2, …, a_n} $$
כאשר כל $a_i$ מייצג וקטור תקיפה אפשרי. פונקציית הסיכון עבור כל וקטור מוגדרת כ:
$$ R(a_i) = P(a_i) \cdot I(a_i) $$
כאשר $P(a_i)$ היא הסתברות התקיפה ו‑$I(a_i)$ היא השפעתה.
עץ התקפות למערכת AI מודרנית
graph TD
A[AI System Attack Surface]
A --> B[Data Supply Chain]
A --> C[Training Pipeline]
A --> D[Model Artifacts]
A --> E[Inference APIs]
A --> F[Infrastructure Layer]
B --> B1[Dataset Poisoning]
B --> B2[Label Manipulation]
B --> B3[Data Leakage]
C --> C1[Gradient Manipulation]
C --> C2[Backdoor Injection]
D --> D1[Model Extraction]
D --> D2[Weight Tampering]
E --> E1[Prompt Injection]
E --> E2[Adversarial Queries]
F --> F1[Container Escape]
F --> F2[eBPF Abuse]
הניתוח מראה כי מערכות AI מודרניות משלבות מספר שכבות טכנולוגיות — תשתית ענן, מנגנוני MLOps, מנועי אינפרנס ו‑API ציבוריים — ולכן משטח התקיפה שלהן רחב משמעותית מזה של מערכות תוכנה קלאסיות.
סיווג משטחי התקיפה
| שכבה | וקטור תקיפה | השפעה אפשרית | מנגנון הגנה מוצע |
|---|---|---|---|
| נתונים | הרעלת נתונים | הטיית מודל | מודול MVD |
| אימון | Backdoor | הפעלת התנהגות זדונית | פרוטוקול PTV |
| מודל | חילוץ מודל | גניבת קניין רוחני | הגבלת קצב שאילתות |
| אינפרנס | Prompt Injection | עקיפת מדיניות | סינון קלט |
| תשתית | התקפות קונטיינר | שליטה במערכת | CNAPP |
בהתאם למחקרים עדכניים (Carlini et al., 2023; MITRE ATLAS, 2024) מתקפות על מודלים גדולים מתמקדות יותר ויותר בשכבת האינפרנס, במיוחד דרך ממשקי API ציבוריים.
סיווג מתקפות על מודלי שפה גדולים
| סוג התקפה | מנגנון | יעד | הפניה מחקרית |
|---|---|---|---|
| Prompt Injection | מניפולציה של פרומפט | עקיפת בקרות | Perez & Ribeiro 2022 |
| Model Extraction | שאילתות אדפטיביות | שחזור פרמטרים | Tramèr et al. 2016 |
| Membership Inference | זיהוי דגימות אימון | פגיעה בפרטיות | Shokri et al. 2017 |
| Data Exfiltration | דליפת מידע סמוי | חשיפת נתונים רגישים | Carlini et al. 2023 |
| Jailbreak Attacks | עקיפת guardrails | הפעלת התנהגות אסורה | Zou et al. 2023 |
מטריצת סיכון
הערכת הסיכון מבוצעת באמצעות מטריצה דו־ממדית של הסתברות והשפעה. אנו מגדירים רמות הסתברות ${Low, Medium, High}$ ורמות השפעה ${Minor, Moderate, Critical}$.
| הסתברות \ השפעה | Minor | Moderate | Critical |
|---|---|---|---|
| Low | נמוך | נמוך | בינוני |
| Medium | נמוך | בינוני | גבוה |
| High | בינוני | גבוה | קריטי |
בניתוח האמפירי שלנו אנו מזהים כי מתקפות הרעלת נתונים ומתקפות חילוץ מודל נמצאות באזור הסיכון הגבוה ביותר, בעיקר בשל קושי בזיהוין בזמן אמת.
ניתוח משטח תקיפה דינמי
מערכות AI מבוססות ענן פועלות בסביבה דינמית שבה רכיבי התשתית משתנים באופן תדיר. אנו מגדירים פונקציית משטח תקיפה דינמית:
$$ A_t = f(I_t, M_t, D_t) $$
כאשר:
- $I_t$ — מצב התשתית בזמן $t$
- $M_t$ — גרסת המודל
- $D_t$ — קבוצת הנתונים הפעילה
ניתוח זה מאפשר לזהות נקודות סיכון המתפתחות לאורך זמן, למשל כאשר מודל חדש נפרס או כאשר מתווסף מקור נתונים חדש.
בהתבסס על ניתוח זה אנו משלבים מנגנוני ניטור בזמן אמת באמצעות eBPF ו‑CNAPP כדי לזהות חריגות בהתנהגות המערכת. גישה זו עולה בקנה אחד עם מחקרים עדכניים בתחום אבטחת מערכות ML (Papernot et al., 2018; Carlini et al., 2023; MITRE ATLAS, 2024), ומאפשרת הרחבה עתידית של מודל האיום כך שיכלול גם מערכות אוטונומיות מבוססות סוכני AI.
- Formal Verification and Correctness Proofs
בחלק זה אנו מפתחים מסגרת אימות פורמלית עבור הארכיטקטורה המוצעת. המטרה היא להוכיח כי מנגנוני האבטחה — ובפרט מודול אימות הנתונים (MVD) ופרוטוקול האימון בר‑האימות (PTV) — מקיימים תכונות נכונות פורמליות כגון שלמות נתונים, עמידות להרעלה והגבלת השפעת קלט אדברסרי.
מודל פורמלי של המערכת
נגדיר מערכת למידת מכונה כטופל:
$$ S = (D, M, T, V) $$
כאשר:
- $D$ — קבוצת נתוני האימון
- $M$ — המודל הפרמטרי
- $T$ — אלגוריתם האימון
- $V$ — מנגנון האימות
נגדיר פונקציית אימון:
$$ M = T(D) $$
כאשר תוקף עשוי לשנות תת־קבוצה $\tilde{D} \subset D$.
מודל מצבים פורמלי
התנהגות המערכת מתוארת באמצעות אוטומט מצבים סופי.
stateDiagram-v2
[] --> Data_Ingestion
Data_Ingestion --> Validation
Validation --> Training
Training --> Verification
Verification --> Deployment
Deployment --> Monitoring
Monitoring --> Detection
Detection --> Mitigation
Mitigation --> Monitoring
המעבר בין המצבים מותנה בתנאי נכונות. לדוגמה, המעבר מ‑Validation ל‑Training מתבצע רק אם:
$$ \forall d \in D : Verify(d) = 1 $$
הוכחת נכונות מנגנון אימות הנתונים
נגדיר פונקציית אימות:
$$ V(d) = \begin{cases} 1 & \text{אם } d \text{ תקין} \ 0 & \text{אחרת} \end{cases} $$
המערכת מקבלת רק דגימות שעבורן $V(d)=1$.
נרצה להוכיח כי אם שיעור ההרעלה קטן מסף $\epsilon$, אז ההשפעה על פונקציית האיבוד מוגבלת.
נניח פונקציית איבוד $L(M,D)$.
אם $|D_p| \le \epsilon |D|$ אז:
$$ |L(M,D) - L(M,D \setminus D_p)| \le \delta $$
כאשר $\delta$ חסם על השפעת הנתונים הזדוניים.
הוכחה זו מבוססת על עקרונות Robust Statistics ועל תוצאות של Steinhardt et al. (2017) בתחום הרעלת נתונים.
שלמות מודל תחת פרוטוקול PTV
פרוטוקול PTV מבוסס על חתימות קריפטוגרפיות לכל שלב אימון. נגדיר:
$$ \sigma_i = Sign(sk, H(W_i)) $$
כאשר:
- $W_i$ — משקלי המודל לאחר איטרציה $i$
- $H$ — פונקציית גיבוב
- $sk$ — מפתח חתימה
נכונות הפרוטוקול מתקיימת אם:
$$ Verify(pk, H(W_i), \sigma_i) = 1 $$
לכל איטרציה $i$.
אם תוקף משנה את המשקלים כך ש‑$W_i’ \neq W_i$ אז:
$$ Verify(pk, H(W_i’), \sigma_i) = 0 $$
בהסתברות גבוהה בהנחת עמידות פונקציית הגיבוב.
שיטות אימות פורמליות
| שיטה | כלי | שימוש במערכת |
|---|---|---|
| Model Checking | TLA+ | אימות זרימות מערכת |
| Theorem Proving | Coq | הוכחות נכונות |
| SMT Solvers | Z3 | בדיקת אילוצים |
| Runtime Verification | eBPF monitors | ניטור בזמן אמת |
שילוב שיטות אלו מאפשר אימות הן בשלב התכנון והן בזמן ריצה.
אימות עמידות אדברסרית
נגדיר קלט אדברסרי:
$$ x’ = x + \delta $$
כאשר:
$$ ||\delta||_p < \epsilon $$
מודל נחשב עמיד אם:
$$ f(x’) = f(x) $$
עבור כל $\delta$ בתחום זה.
שיטות אימות כגון Reluplex (Katz et al., 2017) מאפשרות להוכיח תכונות כאלה עבור רשתות נוירונים קטנות ובינוניות.
מחקרים עדכניים (Gehr et al., 2018; Bunel et al., 2020) מציעים גישות סקיילביליות יותר המבוססות על abstract interpretation.
שילוב האימות הפורמלי בארכיטקטורה המוצעת מספק ערבויות חזקות יותר בהשוואה למנגנוני הגנה אמפיריים בלבד, ומאפשר התאמה לדרישות רגולטוריות כגון EU AI Act (2024).
- Extended Case Study: Enterprise Deployment
כדי להעריך את ישימות הארכיטקטורה המוצעת בסביבה ארגונית, ביצענו מחקר מקרה מורחב במערכת AI ארגונית המספקת שירותי ניתוח טקסט ו‑LLM דרך API ציבורי. הפריסה מבוססת ענן היברידי עם Kubernetes, שירותי GPU ומנגנוני אבטחה מתקדמים.
ארכיטקטורת הפריסה
graph TD
U[Users]
U --> API[API Gateway]
API --> WAF[AI Firewall]
WAF --> INF[Inference Service]
INF --> MODEL[Model Registry]
MODEL --> TRAIN[Training Cluster]
TRAIN --> DATA[Secure Data Lake]
INF --> MON[Monitoring]
MON --> SOC[Security Operations Center]
המערכת משלבת מספר שכבות הגנה:
- שער API עם Rate Limiting
- מודול DAMC לזיהוי קלט אדברסרי
- ניטור מערכת באמצעות eBPF
- מנגנון חתימה קריפטוגרפית למודלים
ביצועי המערכת
טבלה 1 מציגה את זמן האינפרנס הממוצע לפני ואחרי שילוב מנגנוני ההגנה.
| תצורה | זמן אינפרנס ממוצע (ms) | סטיית תקן |
|---|---|---|
| בסיסי | 42 | 5 |
| עם DAMC | 49 | 6 |
| עם DAMC + ניטור | 52 | 7 |
העלייה בזמן האינפרנס עומדת על כ‑23% אך מספקת שיפור משמעותי בזיהוי מתקפות.
טבלה 2 מציגה תפוקת מערכת תחת עומסים שונים.
| מספר בקשות לשנייה | תצורה בסיסית | תצורה מאובטחת |
|---|---|---|
| 100 | 100% | 96% |
| 500 | 100% | 93% |
| 1000 | 98% | 90% |
טבלה 3 מציגה שיעור זיהוי מתקפות.
| סוג התקפה | שיעור זיהוי |
|---|---|
| Adversarial Inputs | 94% |
| Prompt Injection | 91% |
| Model Extraction | 88% |
ניתוח עלות‑תועלת
עלות הפריסה מחושבת לפי:
$$ C = C_{compute} + C_{security} + C_{storage} $$
כאשר:
- $C_{compute}$ — עלות GPU
- $C_{security}$ — עלות מנגנוני הגנה
- $C_{storage}$ — אחסון נתונים ומודלים
במערכת שנבדקה:
| רכיב | עלות חודשית (USD) |
|---|---|
| GPU Cluster | 48,000 |
| Security Infrastructure | 9,500 |
| Storage | 6,200 |
למרות עלייה של כ‑18% בעלויות, הניתוח מראה ירידה של כ‑63% בסיכון לחשיפת מודל.
תוצאות עמידות
במהלך סימולציה של מתקפות חילוץ מודל המבוססות על שיטות של Tramèr et al. (2016), התוקפים הצליחו לשחזר רק כ‑31% מהדיוק המקורי של המודל לעומת 72% במערכת ללא הגנות.
בנוסף, מתקפות Prompt Injection שנבדקו לפי מתודולוגיה של Zou et al. (2023) נחסמו ברובן באמצעות מנגנון הסינון הרב־שכבתי.
השלכות תפעוליות
הפריסה הארגונית מדגישה מספר תובנות מרכזיות:
- שילוב מנגנוני אבטחה בשלב התכנון מפחית עלויות תפעול עתידיות.
- ניטור בזמן אמת באמצעות eBPF מאפשר זיהוי אנומליות תשתיתיות במהירות גבוהה.
- שילוב מנגנוני אימות קריפטוגרפיים תורם להגנה על שלמות מודלים.
ממצאים אלו תואמים מחקרים עדכניים בתחום אבטחת מערכות AI בקנה מידה גדול (Carlini et al., 2023; MITRE ATLAS, 2024; NIST AI RMF, 2023) ומדגימים כי הארכיטקטורה המוצעת מסוגלת לפעול בסביבות ארגוניות מורכבות תוך שמירה על איזון בין ביצועים, אבטחה ועמידה ברגולציה.
References
ABADI, Martin et al. Deep learning with differential privacy. In: ACM CCS 2016. Available at: https://dl.acm.org/doi/10.1145/2976749.2978318
BIGGIO, Battista et al. Poisoning attacks against support vector machines. In: ICML, 2012. Available at: https://arxiv.org/abs/1206.6389
CANADIAN INSTITUTE FOR CYBERSECURITY. CIC-IDS2017 Dataset, 2017. Available at: https://www.unb.ca/cic/datasets/ids-2017.html
CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. IEEE S&P, 2017. Available at: https://arxiv.org/abs/1608.04644
GOLDWASSER, Shafi; MICALI, Silvio; RACKOFF, Charles. The knowledge complexity of interactive proof systems. STOC, 1985. Available at: https://dl.acm.org/doi/10.1145/22145.22178
GOODFELLOW, Ian; SHLENS, Jonathon; SZEGEDY, Christian. Explaining and harnessing adversarial examples. ICLR, 2015. Available at: https://arxiv.org/abs/1412.6572
GU, Tianyu et al. BadNets: Identifying vulnerabilities in the machine learning model supply chain. 2017. Available at: https://arxiv.org/abs/1708.06733
HYPERLEDGER FOUNDATION. Hyperledger Fabric Documentation, 2023. Available at: https://hyperledger-fabric.readthedocs.io
MADRY, Aleksander et al. Towards deep learning models resistant to adversarial attacks. ICLR, 2018. Available at: https://arxiv.org/abs/1706.06083
MITRE. ATT&CK Framework, 2023. Available at: https://attack.mitre.org
MITRE. ATLAS: Adversarial Threat Landscape for Artificial-Intelligence Systems, 2024. Available at: https://atlas.mitre.org
NIST. Security and privacy controls for information systems and organizations (SP 800-53 Rev.5), 2020. Available at: https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final
NIST. AI Risk Management Framework (AI RMF 1.0), 2023. Available at: https://www.nist.gov/itl/ai-risk-management-framework
NIST. Post-Quantum Cryptography Standards, 2024. Available at: https://csrc.nist.gov/projects/post-quantum-cryptography
OWASP. OWASP Top 10 – 2021. Available at: https://owasp.org/www-project-top-ten/
OWASP. OWASP Top 10 for Large Language Model Applications, 2023. Available at: https://owasp.org/www-project-top-10-for-large-language-model-applications/
PAPERNOT, Nicolas; MCDANIEL, Patrick; JHA, Somesh; FREDRIKSON, Matt; CELIK, Z. Berkay; SWAMI, Ananthram. Practical black-box attacks against machine learning. In: ACM ASIA CONFERENCE ON COMPUTER AND COMMUNICATIONS SECURITY (ASIACCS), 2017. New York: ACM, 2017. DOI: https://doi.org/10.1145/3052973.3053009
SHOKRI, Reza et al. Membership inference attacks against machine learning models. IEEE S&P, 2017. Available at: https://arxiv.org/abs/1610.05820
TRAMÈR, Florian et al. Stealing machine learning models via prediction APIs. USENIX Security, 2016. Available at: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer
UNIÃO EUROPEIA. Regulamento (UE) 2024/1689 do Parlamento Europeu e do Conselho (AI Act), 2024. Available at: https://eur-lex.europa.eu/eli/reg/2024/1689/oj