Pular para o conteúdo
ADR 008 · Seção 9

Como avaliar e monitorar um sistema de IA generativa

Como a Dino vai saber que a solução está funcionando?

Da última vez, descobriu pelo cliente, três semanas depois. A Paula quer um ciclo que avise antes. · Prazo: Reunião de qualidade (Segunda, 9h)

O briefing

O fornecedor atualizou o modelo e a qualidade piorou aos poucos, sem nenhum alarme. A Dino usou o cliente como sistema de alerta, e é um alerta caro.

  • •Paula: avisou desde o começo que faltava medir.
  • •Ricardo: sem métrica, nem dá para provar que piorou.
  • •Marina: não pode acontecer de novo.
Reclamações por semana sobre o assistente 38, 41, 40, 92, 131 e 158 (a troca de modelo aconteceu na semana 4)
Tempo até alguém notar 3 semanas, e pelo cliente
O que faltou Uma régua (métrica de qualidade), uma base de comparação (casos com resposta conhecida) e um alarme (limite que avisa antes do cliente)
Volume 45 mil conversas por mês: ninguém lê tudo

Desenhar um ciclo de avaliação e monitoramento para a Dino ser a primeira a saber quando a qualidade cair.

Conheça a Dino Seguros

Seguradora brasileira de médio porte, fundada em 1991, com sede em Curitiba (PR). Opera seguro auto (cerca de 70% da carteira), residencial e empresarial para pequenas e médias empresas. Vende por corretores parceiros e por canais digitais. É regulada pela SUSEP (Superintendência de Seguros Privados) e está sujeita à LGPD (Lei Geral de Proteção de Dados).

Apólices ativas: 850 mil

Colaboradores: 1.200 (260 em atendimento e sinistros)

Corretores parceiros: 3.500

Sinistros abertos por mês: 20 mil

Contatos de atendimento por mês: 45 mil (telefone, WhatsApp e app)

Prazo médio de liquidação de sinistro: 18 dias

Suspeita de fraude estimada: 6% dos sinistros

Meta do programa Dino IA: Reduzir o prazo médio para 10 dias e elevar o NPS em 15 pontos em 12 meses

Orçamento do piloto: Limitado, com revisão trimestral pelo comitê

Cenário tecnológico

  • Core de apólices: legado em mainframe, integração por filas e arquivos em lote
  • SinistroNet: sistema de sinistros em Java, monólito on-premises, com API parcial
  • CRM: SaaS contratado, com API REST
  • Dados: data lake na nuvem, qualidade irregular, documentos em PDF e imagem sem indexação
  • Canais: app mobile, call center terceirizado e WhatsApp
  • Nuvem principal: AWS (os serviços são referência, as decisões do curso são de arquitetura e não de fornecedor)

Personagens

  • Marina Tavares (Diretora de Operações): Patrocinadora do programa, quer resultado rápido
  • Ricardo Lemos (CTO): Cético com custo e risco de lock-in
  • Paula Quintino (Head de Dados): Defende qualidade de dados e avaliação antes do lançamento
  • Otávio Brandão (Encarregado de Dados (DPO)): Guardião da LGPD, pode barrar o piloto
  • Sandra Cordeiro (Gerente de Sinistros): Conhece as exceções do negócio, teme perder o controle do processo
  • Caio Menezes (Líder de Segurança da Informação): Preocupado com ataques e vazamentos
  • Você (Arquiteto(a) de soluções contratado(a)): Conduz as decisões e defende a arquitetura no comitê

A Dino Seguros é uma empresa fictícia. Todos os números de custo, avaliação e prazo são didáticos e não são tabela de nenhum fornecedor real.

As opções

Reativa

A. Acompanhar reclamações e NPS

Ver o que os clientes dizem, como sempre foi

Contínua

B. Avaliação automatizada contínua mais amostragem humana

Testes a cada mudança e uma fatia revisada por pessoas

Total

C. Revisão humana de todas as conversas

Uma pessoa lê cada atendimento

As ferramentas desta decisão

  • Onde você poria o alarme de qualidade?. A fidelidade (percentual de respostas fiéis ao documento) é medida toda semana. Escolha o limite de alerta: alto demais gera alarme falso, baixo demais avisa tarde.
  • Plano de avaliação e operação. Marque o que o seu projeto já tem.
  • O plano, em números.

Preencha e decida

← Custo de LLM por requisição: como calcular e reduzir Ver meu comitê →

Quer o raciocínio completo, as aulas e os 10 entregáveis?

Arquitetura de Soluções de IA Generativa: Pense e Decida como Arquiteto

Ver o curso