Miért más az AI-rendszer?

Az AI-rendszerek, mint pl. gépi tanulás alapú modellek, LLM chatbotok, automata agentek, összetett struktúrából állnak – beleértve a modellt, adatszűrőket, API-kat és a deployment környezetet. Ezek mindegyike saját sebezhetőségi felületet jelent, amelyet hagyományos pentestek nem fednek le .

Az AI pentesting célja nem csupán hálózati vagy szoftveres gyengeségek feltárása, hanem a modell viselkedésének vizsgálata – ellenáll-e szándékos támadásoknak, manipulálható e adversarial inputokkal, vissza lehet e fejteni vagy befecskendezni. Ez magában foglalja a modell és deployment vizsgálatát is.

• Adversarial példák (pl. FGSM, PGD) - kis input módosításokkal tévedésre késztetjük a modellt.
• Prompt injekció - beágyazott parancsok módosítják az outputot (pl. “forget previous instructions”).
• Model inversion/extraction - reverse-engineering, gyakori lekérdezésekkel puskazott formában rekonstruáljuk a modellt.
• Data Poisoning - Amikor hamis vagy félrevezető adatokkal töltjük fel az adatbázist, így alá ásva a modell pontosságát és megbízhatóságát.
• API/üzleti layer sebezhetőségek - autentikáció hiányosságok, rate limit hiány, jogosultság hiány.
• Automata agent jailbreak - AI agentek kihasználása, hogy tiltott műveletet hajtsanak végre.

1. Scope & engedély - definiáljuk: mely modellek, API-k, data pipeline ok, agent környezetek.
2. Reconnaissance - black-box profil lekérdezés, rate limit tesztek, metadata harvesting.
3. Sebezhetőség azonosítás:
   • adversarial generálás (FGSM, PGD, Square Attack stb.)
   • prompt injekció tesztelése
   • model extraction kísérletek lekérdezésekkel, API fuzzing
   • data poisoning szimuláció
4. Exploitálás - konkrét ellenőrzés: helytelen output, titkos adat„kiszedése”, agent takeover, jailbreak.
5. Poszt exploit - output manipuláció, black box monitoring, persistence agent repurposing, log/impact dokumentálás.
6. Remediation teszt - patch után újbóli tesztelés.

• PTES / OSSTMM - átalakítva AI környezetre
• OWASP LLM Top 10 - automata agentek pentest szimulációja
• ART (Adversarial Robustness Toolbox) - adversarial támadások és védelem

• Adversarial defense: input sanitization, adversarial training és detekció (ART).
• Prompt guardrails: input-output szűrés, szerepalapú prompt hozzáférés.
• Data hygiene: RAG rendszereknél only vetted datasources, external input limitálása.
• API Security: rate limiting, throttle, OIDC autentikáció, audit logging.
• Agent Governance: csak engedélyezett parancsok, monitoring, sandboxed környezet.
• Lifecycle Security: patch, retraining, adversarial-testing a CI/CD pipeline részeként.

• Executive summary - közérthető összefoglaló döntéshozóknak
• jelentés részei: attack summary, technical details, risk rating, remediációs lépések, retest roadmap.
• Szabványok: NIST, CSA AI Security Guidelines, OWASP LLM Top 10, AI Bill of Rights
• Governance: incident response playbook, monitoring, AI audit módszerek.