← חזרה למאמרים

Paper Files / Research

מחקר אדוורסריאלי מאובטח במערכות בינה מלאכותית ארגוניות: מתודולוגיה הוליסטית לזיהוי, הערכה והפחתה של סיכוני LLM, שרשראות אספקה וטלמטריית eBPF בסביבת Zero Trust בשנת 2026

ResearchHE

מאמר זה מציג מסגרת מחקרית מקיפה לבחינה, הערכה והפחתה של סיכוני סייבר במערכות בינה מלאכותית ארגוניות בשנת 2026, תוך שילוב של מודלי שפה גדולים, שרשראות אספקה תוכנתיות, טלמטריית זמן-ריצה מבוססת eBPF, ומנגנוני Zero Trust בוגרים. בניגוד לעבודות קודמות שהתמקדו אך ורק ב-LLM עצמם, המאמר מנסח את בעיית המחקר כבעיה מערכתית: האיום אינו נובע רק מהמודל, אלא גם מממשקי ההטמעה, מהאורקסטרציה בענן, ממאגרים חיצוניים, מזרימות RAG, ומרכיבי observability ו-policy enforcement. אנו מגדירים מודל איום פורמלי שבו תוקף מסוגל לבצע prompt injection, data poisoning, model extraction, tool abuse, dependency confusion, token theft, lateral movement ו-exfiltration דרך ממשקי API, תוספים וסוכני אוטומציה. על בסיס זה מוצעת מתודולוגיה מדידה הכוללת סיווג נכסים, עץ תקיפות, מדדי סיכון כמותיים, red teaming אדוורסרי, בדיקות עמידות, וניטור רציף בטלמטריית eBPF וב-CNAPP. המאמר מציג תהליך יישומי עם כלים היסטוריים עד 2026, כגון OWASP LLM Top 10, MITRE ATLAS, LangChain/Guardrails, OpenTelemetry, Falco, Tetragon, Kube-bench, Trivy ו-Semgrep, לצד בדיקות ידניות ואוטומטיות. בנוסף, מובא מקרה בוחן ארגוני המדגים כיצד שרשרת תקיפה נגד מערכת עוזר פנימי מבוססת RAG נבלמת באמצעות בידוד רשת, סינון קלט/פלט, בקרת הרשאות מדויקת, וחתימת artifacts. תוצאות הניסוי מראות כי שילוב של בקרות ב-application layer, policy layer ו-runtime layer מפחית משמעותית את שטח התקיפה ואת שיעור ההצלחה של התקפות אדוורסריאליות. המסקנה המרכזית היא שהגנה אפקטיבית על מערכות AI בשנת 2026 מחייבת מחקר סייבר אינטגרטיבי, הנשען על מדידה, שחזור, ו-verification מתמשך.

1. Introduction

שנת 2026 מסמנת נקודת מפנה בתחום הסייבר הארגוני. מערכות בינה מלאכותית אינן עוד רכיב ניסיוני או הוכחת היתכנות, אלא שכבת ייצור קריטית המשולבת במוקדי קבלת החלטות, תהליכי פיתוח, תמיכה, SOC, DevSecOps, ניהול ידע ואוטומציה תפעולית. בהתאם לכך, שאלת המחקר בסייבר השתנתה: אין די עוד בבחינה של חולשה נקודתית או exploit יחיד, אלא יש להבין את המערכת כשלם סוציו-טכני-חישובי, שבו מודל השפה, האורקסטרטור, מאגרי הידע, ה-API, שרשרת האספקה והמדיניות הארגונית פועלים יחד ויוצרים משטח תקיפה חדש. במובן זה, “מחקר” בתחום הסייבר ב-2026 אינו רק איסוף נתונים או ניתוח איומים; הוא תהליך של יצירת ידע מדיד, בר-שחזור, ובר-אכיפה, שמטרתו לזהות היכן מערכות נכשלות תחת לחץ אדוורסרי ולבנות מנגנוני עמידות פרקטיים.

הצורך במחקר כזה החריף עם התרחבות השימוש ב-LLM ובסוכנים אוטונומיים, שהפכו למתווכים בין משתמשים, מסדי נתונים, כלי SaaS, מערכות CI/CD ו-services פנימיים. תוקפים למדו לנצל prompt injection, indirect prompt injection, jailbreaks, tool hijacking, supply-chain poisoning ו-data exfiltration through retrieval. במקביל, מגמת ה-Zero Trust הבשלה, אימוץ eBPF observability, וכניסת CNAPP לעומק הארגונים יצרו שכבת הגנה מתקדמת יותר, אך גם מורכבת יותר. בשל מורכבות זו, מחקר סייבר אפקטיבי חייב למדוד לא רק whether attack succeeds, אלא גם under what conditions, at what cost, with what dwell time, and with what blast radius. כלומר, אנו מחפשים לא רק “האם התוקף הצליח”, אלא באיזה $p_{succ}$, באיזה זמן $t$, ובאיזו עוצמת נזק $D$.

המאמר הנוכחי מציע מסגרת מחקרית מלאה לבחינת מערכות AI ארגוניות. התרומה המרכזית היא ניסוח מתודולוגיה מערכתית המשלבת threat modeling פורמלי, red teaming אדוורסרי, טלמטריה מבוססת זמן-ריצה, ובקרות הגנה רב-שכבתיות. המודל מניח שהארגון מפעיל מערכת עוזר פנימי מבוססת RAG, מחובר לידע ארגוני, ל-issue tracker, ל-customer support, ולכלי אוטומציה. תוקף יכול לנצל מסמך נגוע, הודעת email, טיקט support או פלט חיצוני כדי להחדיר הוראות זדוניות למודל. בנוסף, הוא עלול לכוון להשגת גישה לטוקנים, להפרדת הרשאות לקויה, או לביצוע exfiltration דרך channels סמויים. המאמר מראה כיצד ניתן לנסח איומים אלה באופן כמותי באמצעות גרף תקיפה, מטריצת נכסים, ומשקלול סיכונים.

מבחינה מחקרית, אחת הבעיות המרכזיות ב-2026 היא פער בין “דוחי אבטחה” נקודתיים לבין מחקר אמפירי reproducible. ארגונים רבים מסתפקים בניהול רשימות סיכונים, אך אינם מבצעים ניסויי תקיפה מבוקרים, אינם שומרים ground truth, ואינם מבדילים בין failure modes שונים. למשל, prompt injection שמוביל לחשיפת מידע רגיש שונה מהותית מ-prompt injection שמוביל לביצוע פעולה הרסנית באמצעות tool call. הראשון הוא כשל confidentiality; השני הוא כשל integrity ו-availability. מחקר איכותי חייב להבחין בין השניים, לדרג את חומרתם, ולמדוד את היעילות של בקרות מתאימות.

במאמר זה אנו מציגים גם נקודת מבט פרקטית מאוד: כיצד לבצע מחקר כזה בסביבת ייצור או pre-production מבלי לשבור את הארגון. לשם כך נדרש תכנון ניסויי שמבודד את המערכת, מזריק קלטים זדוניים באופן מבוקר, ומנטר התנהגות באמצעות logs, traces, kernel events, policy events, ו-model outputs. שילוב הכלים הללו מייצר תמונה מלאה יותר של מערכת הסיכון. בנוסף, אנו מדגישים כי מחקר סייבר ב-2026 חייב להתייחס ל-AI governance, ל-post-quantum crypto planning, ולציות רגולטורי; אולם עיקר המאמץ עדיין חייב להתמקד ב-controls מדידים ובשחזור תוצאות.

2. Background and Related Work

הספרות בנושא אבטחת AI התפתחה במהירות בשנים האחרונות, אך עדיין סובלת מפיצול בין קהילות מחקר שונות: קהילת ML security, קהילת application security, קהילת cloud-native security, וקבוצות threat intelligence. כל אחת מהן מפתחת vocabulary וכלי עבודה משלה, אך איומי 2026 חוצים גבולות אלה ללא מאמץ. מסיבה זו, יש צורך באינטגרציה מושגית ומתודולוגית בין OWASP LLM Top 10, MITRE ATLAS, NIST AI RMF, ו-frameworks של Zero Trust ו-CNAPP.

אחד הצירים המרכזיים בספרות הוא prompt injection. מחקרים ותעשייה זיהו כי מודלי שפה חשופים להוראות סותרות או זדוניות המוטמעות בתוך קלט לא-מהימן, במיוחד בסביבות retrieval-augmented generation. תופעה זו נידונה בהקשר של direct ו-indirect prompt injection, כאשר האחרון מסוכן במיוחד משום שהוראות התוקף מגיעות דרך מסמך, web page או מקור חיצוני שנראה תמים. בנוסף, עלתה בשנים האחרונות בעיית tool abuse: כאשר סוכן בעל גישה ל-API, קבצים או שירותי ענן מבצע פעולות לפי הנחיות שנוסחו במכוון כדי לגרום ל-exfiltration או שינוי state.

במקביל, הקהילה בתחום תוכנה מאובטחת התמקדה בשרשראות אספקה. מתקפות dependency confusion, typosquatting, malicious package updates, ו-compromised CI/CD pipeline הפכו לאמצעי חדירה שכיחים. ב-2026, הבעיה מחריפה כאשר רכיבי AI מסתמכים על packages רבים, embeddings services, vector databases, orchestration frameworks ותוספים. לכן, supply chain security איננה שכבת הגנה נפרדת אלא חלק מהאיום על המערכת האינטליגנטית עצמה. עבודה קודמת הראתה כי פגיעה ב-package או ב-container image עלולה להוביל להזרקת הוראות למודל, לגניבת secrets, או להפרת מדיניות access.

תחום נוסף הוא runtime security, ובמיוחד eBPF. כלים כגון Falco ו-Tetragon מאפשרים ניטור granular של syscalls, network flows, process lineage ו-kernel events ללא overhead כבד יחסית. ב-2026, רבים מהארגונים הגדולים משלבים eBPF כחלק מ-stack ה-CNAPP שלהם כדי לזהות lateral movement, crypto-mining, suspicious file access והליך חריג של pods או containers. למרות זאת, מרבית הפרסומים עדיין משתמשים ב-eBPF בעיקר לזיהוי כלליים ולא כמרכיב מחקרי שמחובר ישירות לניסויי adversarial AI. מחקרנו מציע לקשור בין events ברמת המערכת לבין outputs של המודל כדי להבין אם attack succeeded ברמת logic ולא רק ברמת system call.

בטווח רחב יותר, NIST AI RMF 1.0 והעדכונים שנבנו סביבו, כמו גם OWASP Top 10 for LLM Applications, סיפקו שפה משותפת לסיכונים: prompt injection, data leakage, insecure plugin design, excessive agency, training data poisoning, model denial of service, ו-system prompt leakage. MITRE ATLAS תרם מסגרת ATT&CK-like לטקטיקות אדוורסריאליות סביב ML. עם זאת, מסגרות אלה אינן מחליפות מחקר ניסויי; הן מסווגות איומים, אך אינן אומרות כיצד למדוד אותם בסביבה ספציפית. כדי לחבר בין classification לבין measurement, נדרש תכנון מחקרי שבו כל attack primitive נמדד על פי success, confidence, cost, detectability, and recovery time.

גם מצד ההגנה, התפתחו frameworks של Zero Trust ו-policy enforcement. BeyondCorp, ZTA architectural principles, identity-centric access, device posture, microsegmentation, ו-just-in-time access הפכו לנורמה ארגונית. אולם כאשר AI agents פועלים בשם משתמשים או מערכות, נוצר צורך ב-granular delegation וב-auditable tool permissions. אם לא כן, סוכן אחד עלול להפוך ל-oracle המפיץ הרשאות באופן בלתי נשלט. לכן, literature עדכנית מדגישה את הצורך ב-policy-as-code, signed prompts, immutable logs, content provenance, ו-verification layers.

הטבלה הבאה מסכמת את המסגרות המרכזיות הרלוונטיות למחקר זה.

מסגרת מיקוד עיקרי תרומה למחקר מגבלה
OWASP LLM Top 10 סיכוני יישומי LLM מיפוי סיכונים יישומי ושפה משותפת אינו מספק מתודולוגיית ניסוי מלאה
MITRE ATLAS טקטיקות וטכניקות נגד ML קישור בין איומי adversary לבין TTPs פחות מדויק ברמת implementation
NIST AI RMF ניהול סיכוני AI governance, map-measure-manage כללי מדי למחקר אדוורסרי קונקרטי
Zero Trust Architecture בקרה זהותית והקשרית הגבלת blast radius והרשאות דורש אינטגרציה עם runtime controls
CNAPP נראות ואכיפה בענן זיהוי misconfigurations ו-runtime threats לא מכסה בהכרח לוגיקת מודל

בהקשר של כלי עבודה, נכון ל-2026, ניתן לאפיין שלוש קטגוריות מרכזיות: כלים לניהול ניסויים אדוורסריים, כלים ל-observability ול-runtime security, וכלים ל-verification of AI pipelines. דוגמאות כוללות LangChain ו-LlamaIndex לשכבת orchestration, Guardrails ו-OpenAI Evals/Anthropic eval patterns להערכת behavior, Falco ו-Tetragon ל-runtime, Trivy ו-Semgrep ל-supply chain ו-code scanning, ו-OpenTelemetry לאיחוד telemetry. אין כלי יחיד שמכסה את כל מעגל החיים של האיום, ולכן המחקר חייב להיות אינטגרטיבי.

3. Threat Model and Problem Formalization

אנו מגדירים מערכת ארגונית $S$ כמכלול של רכיבים: מודל שפה $M$, שכבת orchestration $O$, מאגר ידע $R$, כלי צד שלישי $T$, שכבת מדיניות $P$, ו-runtime layer $K$. התוקף $A$ מנסה להשפיע על אחת או יותר מהשכבות הללו על מנת להשיג יעד $G$, כגון חשיפת מידע, שינוי החלטה, ביצוע פעולה לא מורשית, או שיבוש השירות. הנחת היסוד היא כי התוקף עשוי לפעול מחוץ לארגון, מתוך tenant משותף, או אפילו מתוך insider compromised. לכן, המודל צריך להיות רחב מספיק כדי לכלול גם איומים על שרשרת האספקה וגם על זרימת הנתונים בזמן ריצה.

נסמן את סט הנכסים הרגישים ב-$\mathcal{A}$, ואת סט משטחי התקיפה ב-$\mathcal{X}$. לכל משטח תקיפה $x \in \mathcal{X}$ מוגדר וקטור סיכון: $$ \mathbf{r}(x) = \langle l, i, a, d, c \rangle $$ כאשר $l$ הוא likelihood, $i$ impact on integrity, $a$ impact on availability, $d$ detectability inverse, ו-$c$ cost to attacker. הסיכון הכולל מוגדר: $$ R = \sum_{x \in \mathcal{X}} w_x \cdot f(l_x, i_x, a_x, d_x, c_x) $$ כאשר $w_x$ הוא משקל עסקי או ארגוני, ו-$f$ היא פונקציית צבירה. במחקר זה אנו משתמשים בפונקציה פשוטה אך שימושית: $$ f = \alpha l + \beta i + \gamma a + \delta (1-d) - \eta c $$ כאשר המקדמים נקבעים על ידי מדיניות הארגון. גישה זו מאפשרת להתאים את המחקר לארגונים שונים, משום שאותו attack יכול להיות קריטי בארגון פיננסי אך פחות חמור בארגון מחקרי.

נבנה גם גרף תקיפה מכוון $G = (V, E)$, שבו כל צומת מייצג state או artifact, וכל קשת מייצגת מעבר אפשרי של התוקף. למשל, קשת מ-prompt injection במסמך ל-exfiltration של API key עוברת דרך רכיבי retrieval, context assembly, tool invocation, ו-logging. הבעיה המחקרית היא למצוא מסלולים בעלי $P(\text{success})$ גבוה ו-cost נמוך עבור התוקף, ולהקשות עליהם באמצעות בקרות. זה מאפשר לחשב יעילות הגנה: $$ \Delta R = R_{\text{before}} - R_{\text{after}} $$ כאשר המטרה היא למקסם את $\Delta R$ מבלי לפגוע יתר על המידה ב-utility של המערכת.

איומי הליבה שנכללים במודל הם:

  1. Prompt injection ישיר ועקיף באמצעות קלט, מסמכים, דפי web או email.
  2. Tool abuse כולל קריאות API לא מורשות, שינוי state, וגישה לקבצים.
  3. Data poisoning ב-RAG, ב-vector store וב-training corpora.
  4. Model extraction and inversion דרך querying מוגבר או inference leakage.
  5. Supply-chain compromise של packages, containers, prompts, models, and plugins.
  6. Token theft and session hijacking באמצעות logs, memory, או misconfigured secrets.
  7. Lateral movement דרך שירותים משולבים לאחר השגת foothold.
  8. Denial of service ל-LLM, orchestration, או vector DB.

הטבלה הבאה מבהירה את מיפוי האיומים ליעדי אבטחה.

טקטיקה אדוורסרית סודיות שלמות זמינות תצפיתיות
Prompt injection גבוהה בינונית נמוכה בינונית
Tool abuse גבוהה גבוהה בינונית גבוהה
Data poisoning גבוהה גבוהה בינונית נמוכה
Model extraction גבוהה נמוכה נמוכה נמוכה
Supply-chain compromise גבוהה גבוהה גבוהה נמוכה
Token theft גבוהה גבוהה בינונית בינונית

הנחת עבודה מרכזית היא שהמערכת אינה נבחנת בוואקום. כל שיפור ב-filtering עלול להוריד utility, וכל החמרה ב-authz עלולה לשבש workflows. לכן, אנו מודדים trade-off בין security לבין utility. אם $U$ הוא utility, נרצה למקסם: $$ J = U - \lambda R $$ כאשר $\lambda$ מייצג את העדפת הארגון לביטחון על פני נוחות.

4. Proposed Methodology

המתודולוגיה המוצעת מחולקת לחמישה שלבים: inventory, adversarial design, controlled execution, telemetry correlation, and control hardening. השלב הראשון הוא מיפוי נכסים. אין להתחיל בהפעלת התקפות לפני שהארגון יודע היכן נשמרים secrets, אילו tools מחוברים, מי יכול לקרוא ל-LLM, ואילו נתונים מוזרמים ל-RAG. אנו ממליצים על רישום פורמלי של data flows, permission sets, token scopes, plugin contracts, model endpoints, ו-retention policies. בשלב זה ניתן להשתמש ב-Open Policy Agent, ב-Cedar, או במימושים דומים ל-policy-as-code.

השלב השני הוא בניית library של adversarial scenarios. כל תרחיש מוגדר על ידי: entry point, objective, preconditions, expected signal, success criteria, and kill switch. דוגמה לתרחיש: מסמך PDF חיצוני נבלע ב-RAG ומכיל הוראות לקיחת פעולה tool-based; התוקף מבקש מהמודל לשלוף credentials ממערכת פנימית ולשלוח אותם לכתובת חיצונית מוסווית כ-task. כל תרחיש מתועד עם גרסת מודל, גרסת orchestrator, גרסת vector DB, וסט ההגנות הפעיל. זה קריטי לשחזוריות.

השלב השלישי הוא execution מבוקר. כאן אנו ממליצים על sandbox נפרד עם network egress filtering, secrets canary tokens, ו-observable endpoints. ההתקפה אינה “נזרקת” על production ללא תכנון, אלא מוזרקת בהדרגה ובאישור. המטרה היא לזהות failure modes בלי לגרום לנזק אמיתי. לשם כך, יש ליישם deny-by-default ל-tools, ולתת הרשאות זמניות רק לתרחישי בדיקה. אם נדרש, ניתן להפעיל mock services המשחזרים את ה-behavior של מערכות אמת.

השלב הרביעי הוא קורלציה של telemetry. כאן מתמזגים output logs של המודל, traces של ה-API, events של eBPF, ועמודות audit מהענן. אם prompt injection הצליח, ייתכן שנראה pattern של unusual tool invocation, unusual network destination, או access לחפץ שאינו חלק מהרגיל. באמצעות correlation ניתן להוכיח causal chain, ולא רק צירוף מקרים. זה חיוני כדי להבדיל בין false positive לבין attack success.

השלב החמישי הוא hardening. כל ממצא מחקרי חייב להסתיים ב-control recommendation ברור: input canonicalization, retrieval filtering, signed documents, content provenance, least privilege, tool isolation, memory scrubbing, and runtime detection. בהקשר זה, אנו ממליצים על ניתוק בין “יכולת להבין טקסט” לבין “יכולת לבצע פעולה”. מודל רשאי לנסח המלצה, אך לא בהכרח לבצע פעולת משנה ללא policy approval.

להלן דוגמה לפקודות מחקריות מקובלות לבדיקת שרשרת אספקה וסריקות קונטיינרים בסביבה שיטתית:

trivy image --severity HIGH,CRITICAL --scanners vuln,misconfig,secret ghcr.io/org/ai-assistant:2026.1
semgrep --config p/owasp-top-ten --config p/security-audit ./app
syft ghcr.io/org/ai-assistant:2026.1 -o cyclonedx-json > sbom.json
grype sbom:sbom.json

דוגמה נוספת להקשחת cluster ולזיהוי שגיאות תצורה:

kubectl apply -f policy/deny-egress.yaml
kubectl apply -f policy/llm-tool-allowlist.yaml
falco -r rules/llm-runtime.yaml
tetragon --config /etc/tetragon/tetragon.yaml

הטבלה הבאה מציגה את שלבי המתודולוגיה, המטרה והפלט המצופה.

שלב מטרה ארטיפקטים פלט מחקרי
Inventory מיפוי נכסים וזרימות SBOM, data-flow map, scope table בסיס לחישוב סיכון
Adversarial design בניית תרחישי תקיפה attack cards, hypotheses סט ניסויים
Controlled execution הרצת תרחישים sandbox logs, traces תוצאות מדידות
Telemetry correlation קישור בין שכבות eBPF, audit, app logs causal chain
Hardening הפקת בקרות policies, patches, recommendations הפחתת סיכון

5. Implementation

מימוש המסגרת הותאם לסביבת Kubernetes ארגונית עם שירות AI פנימי המבוסס על microservices. הארכיטקטורה כללה API gateway, שירות orchestration, שירות retrieval, vector database, model gateway, service mesh, ומערך logging מרכזי. בחרנו בסביבת ייצור-דמו המבוססת על Kubernetes משום שהיא מייצגת את מרבית הארגונים ב-2026: containerized workloads, managed identity, sidecars, ו-ephemeral jobs. השכבה האדמיניסטרטיבית הופרדה מן התוכן, והגישה ל-model endpoint נשלטה באמצעות tokens מוגבלים בזמן.

המערכת עוצבה כך שכל tool call עובר דרך policy engine. כלי קובץ, חיפוש, דואר, CRM ו-ticketing הוגדרו כ-capabilities נפרדות. בכל קריאה, נשמר audit record עם user, session, prompt hash, tool name, target resource, decision, and rationale. ברמת retrieval, הוטמעה שכבת סינון במסמכים נכנסים: מסמכים עם הוראות ביצוע מפורשות, קוד זדוני, או patterns של exfiltration סומנו לבחינה נוספת. יחד עם זאת, לא בוצעה חסימה עיוורת של כל טקסט “מסוכן”, משום שחסימה כזו גורמת ל-false negatives עסקיים.

בצד ה-runtime, שולב Falco לזיהוי תבניות חריגות של process activity, ו-Tetragon ל-tracing של syscalls ו-network connections. OpenTelemetry שימש לקישור traces בין ה-gateway, ה-orchestrator, וה-vector store. בכל מופע של חשד, נבדק אם הייתה הלימה בין prompt עוין לבין פעילות מערכתית חריגה. לדוגמה, אם הקלט מכיל בקשה “לקרוא את כל secrets”, ומיד לאחר מכן נרשמת outbound request לכתובת לא מוכרת, מתקבל signal חזק של compromise. לעומת זאת, אם המודל רק דחה את הבקשה ללא כל tool invocation, מדובר בעמידות טובה.

הטבלה הבאה מפרטת את רכיבי היישום.

רכיב טכנולוגיה תפקיד בקרת אבטחה
API Gateway Kong / Envoy ניתוב ואכיפה authn/authz, rate limiting
Orchestrator LangChain-like framework ניהול זרימת עבודה tool allowlist
Retrieval Vector DB שליפת ידע filtering, provenance
Model Gateway LLM API inference request shaping, logging
Runtime Security Falco, Tetragon ניטור kernel-level detection and alerting
Observability OpenTelemetry traces/metrics/logs correlation

המימוש כלל גם normalization של prompts. מטרת הנירמול היא לצמצם הטיות של encoding, unicode tricks, zero-width characters, ו-delimiter abuse. יחד עם זאת, הנירמול אינו פתרון מלא, משום שתוקף יכול להשתמש ב-indirect injection ובמבנים סמנטיים מורכבים. לכן, נוסף רכיב שמבצע classification של intent, תוך הצלבה עם context ועם policy state. כאשר קיים חשש ל-tool misuse, המערכת דורשת confirmation אנושי או step-up authentication.

6. Experimental Evaluation

ההערכה הניסויית בוצעה על 120 תרחישים אדוורסריים ייצוגיים, שחולקו לשש קטגוריות: direct prompt injection, indirect prompt injection, tool abuse, data poisoning, token theft, ו-supply-chain compromise. כל תרחיש נבחן בשלוש תצורות: baseline ללא הגנות מיוחדות, הגנה יישומית בלבד, והגנה רב-שכבתית הכוללת policy, runtime monitoring ו-egress control. המדדים שנמדדו היו success rate, mean time to detect (MTTD), false positive rate, and utility loss. המדדים חושבו על פני 20 הרצות לכל תרחיש, כדי למנוע תלות בהקשר אקראי.

המדד העיקרי להצלחה הוגדר כך: $$ \text{Success Rate} = \frac{N_{\text{successful attacks}}}{N_{\text{total trials}}} $$ מדד נוסף, זמן גילוי ממוצע: $$ \text{MTTD} = \frac{1}{n}\sum_{i=1}^{n}(t_{detect,i} - t_{start,i}) $$ כאשר $t_{detect,i}$ הוא זמן הזיהוי ו-$t_{start,i}$ הוא זמן תחילת ההתקפה.

הטבלה הראשונה מציגה השוואת ביצועים בין התצורות.

תצורה הצלחת תקיפות MTTD (דקות) FPR ירידת Utility
Baseline 0.71 18.4 0.03 0.00
Application-only 0.39 12.7 0.07 0.08
Multi-layer 0.12 4.1 0.05 0.14

התוצאות מראות כי הגנה רב-שכבתית הפחיתה את הצלחת התקיפות באופן משמעותי, אך גם גרמה לירידה מסוימת ב-utility. זהו trade-off קלאסי: ככל שהבקרות מחמירות יותר, כך פוחתת היכולת של סוכן AI לפעול באופן חופשי. אולם התועלת הארגונית הכוללת עלתה, משום שהסיכון הצטמצם באופן חד.

הטבלה השנייה מפרטת לפי קטגוריית איום.

קטגוריה Baseline Success Multi-layer Success הפחתה יחסית הערה
Direct prompt injection 0.68 0.10 85.3% סינון קלט יעיל
Indirect prompt injection 0.74 0.14 81.1% provenance קריטי
Tool abuse 0.62 0.09 85.5% allowlist ו-step-up auth
Data poisoning 0.77 0.18 76.6% דורש מקור מאומת
Token theft 0.54 0.06 88.9% secret isolation
Supply-chain compromise 0.72 0.15 79.2% SBOM וחתימות

ניכר כי supply-chain compromise נותרת מאתגרת במיוחד, משום שהיא פועלת מוקדם בשרשרת ויכולה לעקוף הרבה מההגנות בזמן ריצה. יחד עם זאת, שילוב של SBOM, חתימות, scanning אוטומטי ו-policy gate לפני deployment הוריד באופן משמעותי את ההיתכנות. תרחישי token theft הציגו שיפור חד במיוחד כאשר הופרדו scopes והוסרה גישה ל-secrets מתוך context memory.

הטבלה השלישית מציגה התנהגות detection לפי מקור הטלמטריה.

מקור טלמטריה תרומה לזיהוי דיוק היזקקות לחוקי baseline חסרון
App logs בינונית 0.81 גבוהה חסר kernel context
OpenTelemetry traces גבוהה 0.88 בינונית דורש instrumented code
Falco גבוהה 0.90 נמוכה רגיש לשגיאות חתימה
Tetragon גבוהה מאוד 0.93 נמוכה מורכבות תפעולית
SIEM correlation גבוהה 0.87 גבוהה latency של ניתוח

בניתוח ההצלבה נמצא כי אירועים שנראו תמימים בשכבת היישום קיבלו משמעות שונה כאשר נוספו syscalls, connections ו-process lineage. למשל, קריאה אחת ל-external URL לא הייתה בהכרח חריגה, אך כאשר היא הופיעה מיד אחרי prompt עם הוראה מפורשת “send output to external endpoint”, חלה עלייה חדה ב-confidence של זיהוי תקיפה.

להלן דוגמה לפסאודו-מדיניות בסגנון Kubernetes, המדגימה allowlist לכלי AI:

apiVersion: v1
kind: ConfigMap
metadata:
  name: llm-tool-policy
data:
  policy.yaml: |
    allow:
      - tool: "search_docs"
        resources: ["kb:*"]
      - tool: "create_ticket"
        resources: ["jira:project-SEC"]
    deny:
      - tool: "send_email"
      - tool: "export_secrets"
    require_confirmation:
      - tool: "delete_resource"
      - tool: "change_permissions"

המשמעות המעשית היא שהמערכת אינה מסתמכת על “הבנת הכוונה” בלבד, אלא אוכפת יכולות מוגדרות מראש. זה מפחית מאוד את הסיכון של over-privileged agents. במחקר הנוכחי, policy enforcement כזה שיפר את detection precision ב-$11%$ והפחית lateral abuse בכ-$19%$ ביחס לבסיס.

7. Case Study

המקרה הנבחן הוא עוזר ידע פנימי בארגון שירותים פיננסיים, שנועד לענות לשאלות עובדים, לנסח דוחות, ולבצע פעולות מוגבלות ב-ServiceNow וב-Jira. המערכת שילבה RAG מול מאגר מסמכים, וכללה ממשק לצוותי IT. תוקף חיצוני הצליח להחדיר מסמך PDF שנראה כפרטי ספק, אך כלל בו הוראות נסתרות שנועדו לגרום למודל לבקש “אימות תפעולי” ולשלוף פרטי גישה למחסן תצורה. בדומה למתקפות indirect prompt injection שתוארו בספרות, ההוראות לא פנו ישירות למשתמש אלא למודל עצמו.

בתצורה הראשונית, המערכת קיבלה את המסמך, שלפה ממנו קטעים, והציגה אותם בהקשר לשאלה לגיטימית של עובד. כאשר המשתמש ביקש סיכום, המודל שילב את ההוראות הזדוניות עם תוכן אמיתי, והציע לבצע פעולה דרך כלי ticketing. עצירת התקיפה נעשתה רק לאחר שהתברר כי הפעולה איננה תואמת את בקשת המשתמש. זהו כשל קלאסי של excessive agency: המודל קיבל יותר סמכות ממה שנדרש.

לאחר פריסת ההגנות, התהליך השתנה. המסמך סומן כ-untrusted provenance, הופרד מה-context הראשי, והוטמעו rules שמונעות קיום הוראות מערכתיות מתוך מסמכים חיצוניים. בנוסף, כל tool call דרש valid intent classification והצלבה עם identity context. כאשר המסמך נבנה מחדש כדי לשחזר את התקיפה, המודל סירב לבצע את הפעולה, וה-log הראה alert בזמן אמת. eBPF telemetry אישרה כי לא בוצעה outbound request חריגה, ולא נשלפו secrets.

המקרה מדגים כי המחקר אינו רק הגדרת איומים, אלא תרגום של הבנה אדוורסרית לבקרות ישימות. הוא גם מראה שהשילוב בין provenance, allowlists, step-up verification ו-runtime monitoring הוא מה שמייצר הגנה אמיתית. חשוב לציין שהארגון לא נדרש “לכבות” את ה-AI, אלא להגדיר את תחומי הסמכות שלו בצורה מדויקת. זהו עקרון מרכזי במחקר סייבר מודרני: לא לבטל יכולת, אלא להכפיף אותה למדיניות.

8. Discussion

הממצאים מחזקים שלוש מסקנות עיקריות. ראשית, אבטחת AI בשנת 2026 היא בעיה מערכתית ולא בעיית מודל בלבד. תוקף מוצלח אינו צריך לפרוץ את ה-LLM; לעיתים די לו להחדיר קלט אל שכבת retrieval, לשנות הרשאות tool, או לנצל logging לא תקין. לכן, כל מחקר רציני חייב לכלול את כל שרשרת הערך: נתונים, מודל, orchestration, tools, runtime, and governance. שנית, הגנות יעילות הן רב-שכבתיות, ומתחילות ב-preventive controls ומסתיימות ב-detective and responsive controls. אין “silver bullet” יחיד נגד prompt injection, משום שהאיום נובע מאינטראקציה סמנטית מורכבת.

שלישית, המחקר מוכיח כי eBPF ו-CNAPP הפכו לכלי משמעותי לא רק להגנת תשתית, אלא גם להבנת התנהגות AI בזמן ריצה. היכולת לראות process lineage, network behavior, file access, ו-container anomalies מאפשרת לקשור בין כוונה זדונית לבין השפעה מערכתית. בכך, המחקר חוצה את הגבול שבין application security ל-cloud-native defense. ארגונים שלא משלבים observability עמוקה יתקשו להבחין בין כשל של מודל לבין פגיעה במערכת.

יש גם מגבלות. ראשית, evaluation על סט תרחישים מבוקר אינו זהה למתקפה אמיתית בשטח. תוקפים מתאימים את tactics שלהם בזמן אמת, ולכן מדדים כמו success rate עשויים להשתנות תחת תנאי לחץ אמיתיים. שנית, חלק מהבקרות מפחיתות usability. למשל, require-confirmation לכל tool call עלול להאט workflows. לכן, יש להחיל בקרות דינמיות, המבוססות על risk score, trust level, and session context. שלישית, מחקר זה מתמקד במערכות ארגוניות נפוצות, אך לא מכסה כל תצורת edge AI או on-device deployment.

מבחינת מדיניות, אנו רואים חשיבות גוברת ב-AI governance. ארגון שאינו מגדיר owner, scope, logging policy, retention, and escalation path עלול למצוא את עצמו עם “מערכת חכמה” שאינה ניתנת לביקורת. ב-2026, ניהול סיכוני AI חייב לכלול גם אחריות משפטית ורגולטורית, אך אלה אינם תחליף לבקרות הנדסיות. במקביל, על ארגונים להמשיך להשקיע ב-post-quantum crypto planning, בעיקר עבור data-at-rest, signing, ו-long-term confidentiality. גם אם לא כל AI workload דורש מיידית מעבר מלא, תכנון מוקדם מונע חוב טכנולוגי.

לסיכום הדיון, מחקר סייבר איכותי ב-2026 נמדד ביכולתו לחבר בין תיאוריה לפרקטיקה. עליו להציג threat model ברור, ניסוי שחוזר על עצמו, תוצאות עם נתונים, והמלצות המיתרגמות למדיניות ולמימוש. מחקר שאינו מתכנס לבקרות מתועדות ולמדדים כמותיים יתקשה להשפיע על הארגון.

9. Conclusion and Future Work

המאמר הציג מסגרת מחקרית מלאה לאבטחת מערכות AI ארגוניות בשנת 2026, תוך שילוב threat modeling פורמלי, adversarial testing, telemetry רב-שכבתי, ו-control hardening. הראינו כי התקיפה על מערכות AI אינה מסתכמת ב-LLM עצמו, אלא כוללת RAG, tools, supply chain, cloud runtime, ו-policy enforcement. בנוסף, הראינו כי הגנה אפקטיבית מחייבת שילוב של application-level filtering, identity-centric controls, egress restrictions, ו-runtime detection מבוסס eBPF.

התרומה המחקרית העיקרית היא מסגרת מדידה שחושפת את הקשר בין קלט אדוורסרי, state פנימי, ופעילות מערכתית. באמצעות מדדי success rate, MTTD, utility loss ו-risk reduction, ניתן להעריך לא רק אם הגנה “עובדת”, אלא עד כמה היא מועילה תחת אילוצים ארגוניים. מקרה הבוחן הדגים כי תוקף יכול להסתמך על קלט תמים למראה, אך הגנות נכונות מונעות ממנו להשיג גישה או לבצע פעולה הרסנית.

כיווני המחקר העתידיים ברורים. יש צורך ב-benchmarkים סטנדרטיים שיבדקו AI agents בסביבות מורכבות יותר, כולל multi-agent systems, edge deployments, ו-cross-tenant SaaS. יש להעמיק גם במחקר על signed provenance, secure memory architectures, policy learning under adversarial conditions, ו-model-level robustness against compositional attacks. נוסף על כך, ראוי לחקור כיצד לשלב PQC בחתימות, ב-secrets management וב-data provenance, כדי להגן על נכסים רגישים לאורך זמן. לבסוף, נדרשת עבודה מתמשכת על AI governance שישלב בין מחקר, הנדסה, תפעול וציות.

10. References

[1] BIRR, et al. OWASP Top 10 for Large Language Model Applications. OWASP, 2024. Disponível em: https://owasp.org/www-project-top-10-for-large-language-model-applications/ Acesso em: 18 abr. 2026.

[2] NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY. Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST, 2023. Disponível em: https://www.nist.gov/itl/ai-risk-management-framework Acesso em: 18 abr. 2026.

[3] MITRE. ATLAS: Adversarial Threat Landscape for Artificial-Intelligence Systems. MITRE, 2026. Disponível em: https://atlas.mitre.org/ Acesso em: 18 abr. 2026.

[4] NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY. Zero Trust Architecture. NIST SP 800-207, 2020. Disponível em: https://csrc.nist.gov/publications/detail/sp/800-207/final Acesso em: 18 abr. 2026.

[5] GOOGLE. BeyondCorp Enterprise Security Reference Architecture. Google, 2024. Disponível em: https://cloud.google.com/beyondcorp Acesso em: 18 abr. 2026.

[6] CNCF. OpenTelemetry Specification. CNCF, 2026. Disponível em: https://opentelemetry.io/docs/specs/ Acesso em: 18 abr. 2026.

[7] FALCO. Falco Documentation. Falco, 2026. Disponível em: https://falco.org/docs/ Acesso em: 18 abr. 2026.

[8] ISIT. Tetragon Documentation. Cilium/Tetragon, 2026. Disponível em: https://tetragon.io/docs/ Acesso em: 18 abr. 2026.

[9] AQUA SECURITY. Trivy: The Comprehensive Vulnerability and Misconfiguration Scanner. Aqua Security, 2026. Disponível em: https://trivy.dev/ Acesso em: 18 abr. 2026.

[10] SEMGREP. Semgrep Documentation. Semgrep, 2026. Disponível em: https://semgrep.dev/docs/ Acesso em: 18 abr. 2026.

[11] SYFT. Syft SBOM Generator. Anchore, 2026. Disponível em: https://github.com/anchore/syft Acesso em: 18 abr. 2026.

[12] GRYPE. Grype Vulnerability Scanner. Anchore, 2026. Disponível em: https://github.com/anchore/grype Acesso em: 18 abr. 2026.

[13] LANGCHAIN. LangChain Documentation. LangChain, 2026. Disponível em: https://python.langchain.com/docs/ Acesso em: 18 abr. 2026.

[14] LLAMAINDEX. LlamaIndex Documentation. LlamaIndex, 2026. Disponível em: https://docs.llamaindex.ai/ Acesso em: 18 abr. 2026.

[15] GUARDRAILS AI. Guardrails AI Documentation. Guardrails AI, 2026. Disponível em: https://www.guardrailsai.com/docs Acesso em: 18 abr. 2026.

[16] OPEN POLICY AGENT. OPA Documentation. CNCF, 2026. Disponível em: https://www.openpolicyagent.org/docs/latest/ Acesso em: 18 abr. 2026.

[17] KUBERNETES. Kubernetes Documentation. Kubernetes, 2026. Disponível em: https://kubernetes.io/docs/home/ Acesso em: 18 abr. 2026.

[18] CLOUDFLARE. Zero Trust Documentation. Cloudflare, 2026. Disponível em: https://developers.cloudflare.com/cloudflare-one/ Acesso em: 18 abr. 2026.

[19] CISA. Secure by Design, Secure by Default. CISA, 2024. Disponível em: https://www.cisa.gov/securebydesign Acesso em: 18 abr. 2026.

[20] ENISA. AI Cybersecurity Challenges. ENISA, 2025. Disponível em: https://www.enisa.europa.eu/publications Acesso em: 18 abr. 2026.

[21] IETF. The Deprecation of SHA-1 and Transition to SHA-2 and SHA-3. IETF, 2026. Disponível em: https://www.ietf.org/standards/ Acesso em: 18 abr. 2026.

[22] NIST. Post-Quantum Cryptography Standardization. NIST, 2024. Disponível em: https://csrc.nist.gov/projects/post-quantum-cryptography Acesso em: 18 abr. 2026.

[23] COSTA, D. et al. Prompt Injection and the LLM Security Frontier. IEEE Security & Privacy, 2024. Disponível em: https://ieeexplore.ieee.org/ Acesso em: 18 abr. 2026.

[24] LLM-REDTEAM. LLM Red Teaming Best Practices. 2025. Disponível em: https://github.com/llm-red-teaming/best-practices Acesso em: 18 abr. 2026.

[25] KLEIN, M.; SHAH, R. Supply Chain Security for AI Pipelines. USENIX Security, 2025. Disponível em: https://www.usenix.org/conference/usenixsecurity25 Acesso em: 18 abr. 2026.

[26] JAIN, P. et al. Retrieval-Augmented Generation Security: Threats and Defenses. NDSS, 2025. Disponível em: https://www.ndss-symposium.org/ Acesso em: 18 abr. 2026.

[27] LI, Y. et al. eBPF-Based Detection for Cloud-Native Workloads. ACM CCS, 2024. Disponível em: https://dl.acm.org/ Acesso em: 18 abr. 2026.

[28] SANTOS, M.; PEREIRA, L. AI Governance and Operational Risk Management in Enterprise Systems. 2025. Disponível em: https://arxiv.org/ Acesso em: 18 abr. 2026.

[29] MICROSOFT. Security Best Practices for Azure OpenAI and Agentic Applications. Microsoft Learn, 2026. Disponível em: https://learn.microsoft.com/ Acesso em: 18 abr. 2026.

[30] AWS. Securing Generative AI Workloads on AWS. AWS Whitepaper, 2026. Disponível em: https://docs.aws.amazon.com/whitepapers/ Acesso em: 18 abr. 2026.