Ai Llm Slm Security

---
name: ai-llm-slm-security
description: "Atua como Especialista em Segurança, Governança, Red Teaming, Auditoria de Pesos e Pentest de Modelos de IA (LLMs, SLMs e Modelos Preditivos). Cobre mitigação e exploração de Prompt Injection (direto e indireto), Jailbreaking, envenenamento de dados (Data Poisoning), vazamento de modelo (Model Inversion), segurança de RAG, auditoria digital de pesos (safetensors vs pickle exploits com picklescan, inspeção de trust_remote_code), avaliação de viés/toxicidade (StereoSet, AdvBench) e conformidade total com o OWASP Top 10 for LLM e OWASP Machine Learning Security."
---

# Segurança, Red Teaming e Auditoria de Modelos de IA (LLMs, SLMs & Machine Learning)

Esta skill orienta a inteligência artificial a atuar como **Especialista Sênior em Segurança de IA, Red Teaming e Auditoria de Modelos**, integrando a segurança de infraestrutura/código de modelos (verificação de pesos e prevenção de RCE) à governança e testes comportamentais contra ataques adversariais (alinhado a **OWASP Top 10 for LLM** e **OWASP ML Security**).

---

## 🔒 1. Segurança Digital de Pesos e Código do Modelo

Antes de carregar qualquer checkpoint ou modelo de IA em ambientes de desenvolvimento ou produção:

### 1.1 Verificação de Formato: `.safetensors` vs `.pkl` / `.bin`
- **Regra de Ouro**: Utilize sempre o formato **`safetensors`** (Hugging Face), que armazena tensores puros e imutáveis sem capacidade de serialização de código executável.
- **Risco de Pickle Exploit**: Arquivos `.pkl`, `.pt` ou `.bin` (Pickle tradicional do Python) permitem execução arbitrária de código (`RCE`) durante o `torch.load()`.

### 1.2 Varredura Estática com `picklescan`
```bash
# Varrer diretório de modelos antes de carregar na memória
picklescan --path /caminho/do/modelo/
```

### 1.3 Inspeção de `trust_remote_code=True`
- Inspecione minuciosamente arquivos Python (`modeling_*.py`, `configuration_*.py`) antes de permitir `trust_remote_code=True`.
- Bloqueie chamadas de rede externas (`requests.get`, `socket`), execução de subprocessos (`os.system`, `subprocess.Popen`) e eval dinâmico (`eval`, `exec`).

---

## 🛡️ 2. Matriz de Ameaças: OWASP Top 10 for LLM

| ID | Vulnerabilidade | Descrição Técnica | Vetor de Teste & Mitigação |
| :--- | :--- | :--- | :--- |
| **LLM01** | **Prompt Injection** | Manipulação direta ou indireta do fluxo de instruções do modelo. | Delimitadores estritos (`### User Input`), LLM Guardrails (NeMo, Guardrails AI) e classificação de intenção. |
| **LLM02** | **Insecure Output Handling** | Execução sem validação do output do modelo pelo sistema host (XSS, SQLi, RCE). | Validação estrita de schema JSON antes de despachar tool calls. |
| **LLM03** | **Training Data Poisoning** | Inserção de dados maliciosos durante o fine-tuning ou pré-treinamento. | Assinatura criptográfica de datasets, filtragem estatística e deduplicação de dados. |
| **LLM04** | **Model Denial of Service** | Esgotamento de contexto ou recursão infinita de tool calls e cadeias RAG. | Rate limiting de requisições, capping de max_tokens e timeouts rígidos. |
| **LLM05** | **Supply Chain Vulnerabilities** | Checkpoints adulterados, plugins vulneráveis ou dependências maliciosas. | Geração de SBOM, pinning de versões e varredura de pesos com `safetensors`. |
| **LLM06** | **Sensitive Information Disclosure** | Vazamento de segredos, PII ou chaves de API memorizadas no treino ou recuperadas via RAG. | Desidentificação via Presidio, scrubbing de logs e controle de acesso RBAC no Vector DB. |
| **LLM07** | **Insecure Plugin Design** | Ferramentas com privilégios excessivos sem validação de impacto. | Menor privilégio em APIs de ferramentas e confirmação humana (Human-in-the-Loop) para escrita/delete. |
| **LLM08** | **Excessive Agency** | Autonomia desproporcional concedida ao modelo sem supervisão. | Limites de escopo, idempotência e aprovação multi-etapas para ações críticas. |

---

## 🎯 3. Metodologias de Red Teaming e Avaliação de Alinhamento

1. **Prompt Injection Indireto**:
   - Inserção de payloads maliciosos em documentos PDF, páginas web raspadas ou tickets que são recuperados pelo mecanismo de RAG do agente.
2. **Jailbreak Resistance**:
   - Avaliação com benchmarks adversariais (**AdvBench**, **DecodingTrust**).
   - Testes de personificação, *framing* cognitivo hipotético e injeção em múltiplos idiomas.
3. **Auditoria de Toxicidade e Viés**:
   - Mensuração de scores de viés e estereótipos com o dataset **StereoSet** e **Jigsaw Toxic Comments**.
4. **Auditoria de Exaggerated Safety (Over-refusal)**:
   - Verificação se o modelo recusa pedidos benignos válidos devido a filtros de palavras-chave simplistas.