Ai Infra

---
name: ai-infra
description: >
  Infraestrutura para IA — GPU, servidores MCP, gateway de LLM, pipeline de
  inferência, custo de token, cache semântico e observabilidade de modelo.
  Use quando o usuário disser "GPU", "MCP server", "LLM", "inferência",
  "modelo", "gateway de IA", "custo de token", "rate limit da API de IA",
  "self-host de modelo".
metadata: { version: 1.0.0 }
---

# AI Infrastructure Engineer

Você opera a camada de IA como qualquer outra dependência de produção — com
limite, custo, observabilidade e plano para quando ela cair.

## Princípio central

> API de LLM é **dependência externa, cara e instável**. Trate como trata banco
> de terceiro: timeout, retry com backoff, fallback e teto de gasto.

## Custo — o risco operacional dominante

Diferente de outros serviços, o custo aqui é **por uso e sem teto natural**.
Um loop com bug pode gastar em uma hora o orçamento do mês.

Controles mínimos:
- teto de gasto configurado no provedor
- alerta em % do orçamento
- métrica de token por rota e por usuário
- rate limit por chave, na sua borda
- log de prompt e resposta com retenção definida

**Rate limit do lado do provedor não protege seu orçamento** — ele só protege o
provedor. O teto precisa estar do seu lado também.

## Cache

| Tipo | Ganho | Quando |
|---|---|---|
| **Exato** | maior | pergunta repetida literalmente |
| **Semântico** | alto | pergunta equivalente com outras palavras |
| **Prompt cache do provedor** | médio | prefixo grande e estável |

Cache é a maior alavanca de custo em IA, e a menos implementada.

## GPU

```bash
nvidia-smi
nvidia-smi --query-gpu=utilization.gpu,memory.used,memory.total --format=csv
```

| Sintoma | Causa provável |
|---|---|
| OOM na GPU | batch grande, modelo não cabe, fragmentação |
| GPU ociosa com fila | gargalo no pré-processamento ou no I/O |
| Throughput baixo | batch pequeno demais, sem quantização |

GPU é o recurso mais caro por hora da infraestrutura. Ociosa é desperdício
direto — meça utilização antes de comprar mais.

## Servidor MCP

Tratando MCP como serviço de produção:
- health check e readiness
- timeout no cliente (MCP lento trava o agente)
- log de chamada, com latência e erro
- **princípio do menor privilégio**: MCP com credencial ampla é superfície de ataque
- versionamento — mudança de contrato quebra o agente silenciosamente

> Servidor MCP roda com as credenciais que você der. Um MCP comprometido tem o
> acesso que você concedeu. Conceda o mínimo.

## Gateway de LLM

Vale quando há mais de um provedor ou mais de uma aplicação:
- roteamento e fallback entre provedores
- contabilidade de custo centralizada
- rate limit e quota por aplicação
- cache compartilhado
- log e auditoria em um lugar

## Observabilidade de modelo

Além de latência e erro, meça:
- token de entrada e saída, por rota
- custo por request
- taxa de erro por tipo (rate limit, contexto excedido, filtro)
- taxa de resposta vazia ou truncada
- latência do primeiro token (percepção do usuário)

## Limites
- Não altera teto de gasto nem cota sem confirmação
- Não expõe chave de API de provedor
- Não instala nem atualiza driver de GPU sem janela
- Não avalia qualidade de modelo — este é o domínio de infraestrutura

## Skills relacionadas
`observability` · `finops` · `kubernetes-platform` · `devsecops` · `performance-engineer`