AIOps Platform (Deep-Dive)

​

Visão Geral do Pipeline

​

Componentes Internos

​

1. WatcherBridge (watcher_bridge.go)

hash = SHA256(alertType | deployment | namespace)

• Sem componente temporal: Um problema contínuo (e.g. CrashLoopBackOff) gera apenas uma Anomaly
• TTL: 2 horas — hashes expirados são podados automaticamente
• Invalidação: Quando um Issue atinge estado terminal (Resolved/Escalated), as entradas de dedup para o recurso afetado são invalidadas, permitindo detecção imediata de recorrências
• Resultado: Evita duplicatas durante problema ativo; detecta recorrência após resolução

​

2. AnomalyReconciler (anomaly_controller.go)

​

3. CorrelationEngine (correlation.go)

Para cada nova anomalia:
  1. Gera incident_id = hash(resource_kind + resource_name + namespace + signal_type)
  2. Busca Issue existente com mesmo incident_id
  3. Se existe -> adiciona anomalia ao Issue, recalcula risk score
  4. Se não existe -> cria novo Issue

risk_score >= 80 -> Critical
risk_score >= 60 -> High
risk_score >= 40 -> Medium
risk_score <  40 -> Low

​

4. IssueReconciler (issue_controller.go)

• Cada retry dispara re-análise do AI com contexto de falhas anteriores
• O AI recebe previous_failure_context com evidência das tentativas que falharam
• O prompt instrui: “Não repita as mesmas ações. Analise por que falharam e sugira uma abordagem fundamentalmente diferente”
• Gera novo Runbook auto-gerado com estratégia diferente (nome inclui attempt)

1. Runbook manual existente (match tiered: SignalType+Severity+Kind -> Severity+Kind)
2. Runbook auto-gerado pela IA (materializado como CR reutilizável)
3. Escalonamento (último recurso)

​

5. AIInsightReconciler (aiinsight_controller.go)

• Deployment Status: replicas (desired/ready/updated/unavailable), conditions, container images + resources
• Pod Details (até 5 pods, unhealthy primeiro): phase, restart count, container states (Waiting/Terminated com reason + exit code)
• Recent Events (últimos 15): tipo, reason, message, count
• Revision History: Últimas 5 revisões (ReplicaSets) com diff de imagens entre revisões

​

6. RemediationReconciler (remediation_controller.go)

Pending -> Executing -> (executa ações sequencialmente) -> Verifying -> Completed | Failed

Pending -> Executing -> (loop agentico: AI decide -> executa -> observa -> repeat)
  -> Verifying -> Completed | Failed

Cada reconcile = 1 step do loop agentico:
  1. Refresh contexto K8s (KubernetesContextBuilder)
  2. Envia histórico + contexto -> AgenticStep RPC
  3. AI responde: {reasoning, resolved, next_action}
  4. Se resolved=true -> Verifying (+ annotations com dados do PostMortem)
  5. Se next_action -> executa -> registra observação -> requeue 5s
  6. Se observation-only -> registra -> requeue 10s
  Safety: max 10 steps, timeout 10 minutos

​

7. ServerClient (grpc_client.go)

​

Interação Server e Operator

​

GetAlerts RPC

rpc GetAlerts(GetAlertsRequest) returns (GetAlertsResponse);

message AlertInfo {
  string alert_type = 1;    // HighRestartCount, OOMKilled, PodNotReady, DeploymentFailing
  string deployment = 2;
  string namespace = 3;
  string message = 4;
  string severity = 5;
  int64 timestamp = 6;
}

​

AnalyzeIssue RPC

rpc AnalyzeIssue(AnalyzeIssueRequest) returns (AnalyzeIssueResponse);

message SuggestedAction {
  string name = 1;
  string action = 2;
  string description = 3;
  map<string, string> params = 4;
}

message AnalyzeIssueResponse {
  string analysis = 1;
  float confidence = 2;
  repeated string recommendations = 3;
  string provider = 4;
  string model = 5;
  repeated SuggestedAction suggested_actions = 6;
}

1. Contexto do Issue (nome, namespace, recurso, severidade, risk score, descrição)
2. Lista de ações disponíveis (ScaleDeployment, RestartDeployment, RollbackDeployment, PatchConfig)
3. Instruções para retornar JSON estruturado com campos analysis, confidence, recommendations e actions

1. Remove markdown codeblocks (```json ... ```)
2. Parseia JSON em analysisResult
3. Clamp confidence entre 0.0 e 1.0
4. Se parsing falhar → usa resposta raw como analysis com confidence 0.5

​

AgenticStep RPC

rpc AgenticStep(AgenticStepRequest) returns (AgenticStepResponse);

message AgenticStepRequest {
  string issue_name = 1;
  string namespace = 2;
  string resource_kind = 3;
  string resource_name = 4;
  string signal_type = 5;
  string severity = 6;
  string description = 7;
  int32 risk_score = 8;
  string provider = 9;
  string model = 10;
  string kubernetes_context = 11;   // refreshado a cada step
  repeated AgenticHistoryEntry history = 12;
  int32 max_steps = 13;
  int32 current_step = 14;
}

message AgenticStepResponse {
  string reasoning = 1;              // raciocínio da IA (registrado no histórico)
  bool resolved = 2;                 // true = problema resolvido
  SuggestedAction next_action = 3;   // null quando resolved=true
  // Campos abaixo só populados quando resolved=true:
  string postmortem_summary = 4;
  string root_cause = 5;
  string impact = 6;
  repeated string lessons_learned = 7;
  repeated string prevention_actions = 8;
}

1. Role + Issue details: contexto do incidente (tipo, severidade, recurso)
2. Kubernetes context: estado real do cluster (refreshado a cada step via KubernetesContextBuilder)
3. Tool definitions: 6 ações mutantes disponíveis + “Observe” (sem ação, espera próximo contexto)
4. Conversation history: cada step anterior formatado com reasoning → action → observation
5. Instructions: respond JSON, budget (step N of M), regras de segurança

​

PostMortem Generation

​

PostMortem CR

​

Runbook Auto-gerado (Agentic)

• Nome: agentic-{signal}-{severity}-{kind} (sanitizado)
• Steps: apenas os passos com ação bem-sucedida
• Labels: auto-generated=true, source=agentic
• Usa CreateOrUpdate (reutilizado para incidentes futuros do mesmo tipo)

​

Prometheus Metrics do Operator

​

Testes

​

Executar Testes

cd operator
go test ./... -v

​

Diagrama de Ownership (Garbage Collection)

• Instance e owner de todos os recursos Kubernetes que cria (Deployment, Service, ConfigMap, SA, PVC)
• Issue e owner de AIInsight, RemediationPlan e PostMortem (cascade delete)
• Anomalies são independentes (não tem owner) para preservar histórico

​

Checklist de Implantação AIOps

​

Próximo Passo