Pular para o conteúdo
ADR 003 · Seção 4

RAG, fine-tuning ou contexto longo: como decidir

Como ensinar a Dino ao modelo?

O assistente precisa responder com base nas condições gerais, sem inventar e sem citar versão velha. · Prazo: Reunião com a Paula (Quinta, 10h)

O briefing

O piloto está no ar e o assistente inventou uma cobertura. É preciso garantir que as respostas sejam fiéis ao que a Dino realmente vende.

  • •Marina: o caso chegou na Ouvidoria, é reputação.
  • •Otávio: informação errada dada a um consumidor tem consequência legal.
  • •Paula: o modelo não sabia que não sabia. Ele responde mesmo sem ter a informação.
O incidente O assistente confirmou cobertura de para-brisa. A cláusula 4.2 exclui vidros. O cliente pagou R$ 1.850 do próprio bolso e ameaçou acionar Procon e SUSEP.
Condições gerais da Dino 120 páginas, cerca de 60 mil tokens, reformuladas com frequência
Contexto longo A Dino paga o documento inteiro a cada pergunta, e a resposta demorou de 2 para 11 segundos no experimento da Paula
Busca nos documentos Uma primeira versão citou a versão 2019 das condições gerais, já substituída em 2023, porque o índice guardava as duas
Ajuste do modelo Um assistente treinado com 3 anos de atendimento falou como a Dino, inclusive os vícios, e repetiu um plano descontinuado em 2022

Decidir como ensinar a Dino ao modelo: o assistente precisa responder com base nas condições gerais, sem inventar e sem citar versão velha.

Conheça a Dino Seguros

Seguradora brasileira de médio porte, fundada em 1991, com sede em Curitiba (PR). Opera seguro auto (cerca de 70% da carteira), residencial e empresarial para pequenas e médias empresas. Vende por corretores parceiros e por canais digitais. É regulada pela SUSEP (Superintendência de Seguros Privados) e está sujeita à LGPD (Lei Geral de Proteção de Dados).

Apólices ativas: 850 mil

Colaboradores: 1.200 (260 em atendimento e sinistros)

Corretores parceiros: 3.500

Sinistros abertos por mês: 20 mil

Contatos de atendimento por mês: 45 mil (telefone, WhatsApp e app)

Prazo médio de liquidação de sinistro: 18 dias

Suspeita de fraude estimada: 6% dos sinistros

Meta do programa Dino IA: Reduzir o prazo médio para 10 dias e elevar o NPS em 15 pontos em 12 meses

Orçamento do piloto: Limitado, com revisão trimestral pelo comitê

Cenário tecnológico

  • Core de apólices: legado em mainframe, integração por filas e arquivos em lote
  • SinistroNet: sistema de sinistros em Java, monólito on-premises, com API parcial
  • CRM: SaaS contratado, com API REST
  • Dados: data lake na nuvem, qualidade irregular, documentos em PDF e imagem sem indexação
  • Canais: app mobile, call center terceirizado e WhatsApp
  • Nuvem principal: AWS (os serviços são referência, as decisões do curso são de arquitetura e não de fornecedor)

Personagens

  • Marina Tavares (Diretora de Operações): Patrocinadora do programa, quer resultado rápido
  • Ricardo Lemos (CTO): Cético com custo e risco de lock-in
  • Paula Quintino (Head de Dados): Defende qualidade de dados e avaliação antes do lançamento
  • Otávio Brandão (Encarregado de Dados (DPO)): Guardião da LGPD, pode barrar o piloto
  • Sandra Cordeiro (Gerente de Sinistros): Conhece as exceções do negócio, teme perder o controle do processo
  • Caio Menezes (Líder de Segurança da Informação): Preocupado com ataques e vazamentos
  • Você (Arquiteto(a) de soluções contratado(a)): Conduz as decisões e defende a arquitetura no comitê

A Dino Seguros é uma empresa fictícia. Todos os números de custo, avaliação e prazo são didáticos e não são tabela de nenhum fornecedor real.

As opções

Atalho

A. Prompt com contexto longo

Colar as condições gerais no prompt a cada pergunta

Busca

B. RAG sobre condições gerais, apólices e FAQ

Buscar o trecho certo antes de responder

Ajuste

C. Fine-tuning com histórico de atendimentos

Ajustar o modelo com três anos de conversas

As ferramentas desta decisão

  • Árvore de decisão: prompt, RAG, fine-tuning ou contexto longo. Responda sim ou não a cada pergunta para o caso da Dino. A ordem das perguntas é a ordem do custo, do mais barato ao mais caro. Todas as respostas 'sim' contam.

Preencha e decida

← Como escolher modelo de linguagem (LLM) e fornecedor Quanta autonomia dar a um agente de IA →

Quer o raciocínio completo, as aulas e os 10 entregáveis?

Arquitetura de Soluções de IA Generativa: Pense e Decida como Arquiteto

Ver o curso