Pular para o conteúdo
ADR 007 · Seção 8

Custo de LLM por requisição: como calcular e reduzir

Como a Dino controla a conta?

Hoje cada conversa custa R$ 4,72. Na escala total, R$ 225 mil por mês. O comitê aceita no máximo R$ 60 mil. · Prazo: Comitê financeiro (Segunda, 9h)

O briefing

Chegou a fatura do primeiro mês, bem acima do previsto, e a Dino ainda não passou perto da escala que pretende atingir.

  • •Ricardo: dobrar a escala dobra a conta, e a conta de hoje já é mais que o dobro do previsto.
  • •Marina: não dá para reduzir qualidade, a Dino já teve problema demais por isso.
  • •Paula: antes de cortar, olhar onde o dinheiro está indo.
Fatura do mês 1 R$ 14.481 com 3 mil conversas e 500 sinistros analisados (previsto: R$ 6 mil)
Custo atual R$ 4,72 por conversa e R$ 0,67 por sinistro (documentos)
Escala real 45 mil conversas e 20 mil sinistros por mês, o que daria cerca de R$ 225 mil por mês e R$ 2,7 milhões por ano
Teto aceito pelo comitê R$ 60 mil por mês
Onde está o dinheiro 92% do custo é de tokens lidos. Cada conversa faz 48 chamadas (4 por turno, 12 turnos), cada uma relendo cerca de 6 mil tokens de entrada.
Preços didáticos R$ 15 por milhão de tokens lidos e R$ 60 por milhão de tokens escritos (nenhum fornecedor real)

Reduzir o custo sem perder a qualidade que a Dino levou tanto trabalho para construir.

Conheça a Dino Seguros

Seguradora brasileira de médio porte, fundada em 1991, com sede em Curitiba (PR). Opera seguro auto (cerca de 70% da carteira), residencial e empresarial para pequenas e médias empresas. Vende por corretores parceiros e por canais digitais. É regulada pela SUSEP (Superintendência de Seguros Privados) e está sujeita à LGPD (Lei Geral de Proteção de Dados).

Apólices ativas: 850 mil

Colaboradores: 1.200 (260 em atendimento e sinistros)

Corretores parceiros: 3.500

Sinistros abertos por mês: 20 mil

Contatos de atendimento por mês: 45 mil (telefone, WhatsApp e app)

Prazo médio de liquidação de sinistro: 18 dias

Suspeita de fraude estimada: 6% dos sinistros

Meta do programa Dino IA: Reduzir o prazo médio para 10 dias e elevar o NPS em 15 pontos em 12 meses

Orçamento do piloto: Limitado, com revisão trimestral pelo comitê

Cenário tecnológico

  • Core de apólices: legado em mainframe, integração por filas e arquivos em lote
  • SinistroNet: sistema de sinistros em Java, monólito on-premises, com API parcial
  • CRM: SaaS contratado, com API REST
  • Dados: data lake na nuvem, qualidade irregular, documentos em PDF e imagem sem indexação
  • Canais: app mobile, call center terceirizado e WhatsApp
  • Nuvem principal: AWS (os serviços são referência, as decisões do curso são de arquitetura e não de fornecedor)

Personagens

  • Marina Tavares (Diretora de Operações): Patrocinadora do programa, quer resultado rápido
  • Ricardo Lemos (CTO): Cético com custo e risco de lock-in
  • Paula Quintino (Head de Dados): Defende qualidade de dados e avaliação antes do lançamento
  • Otávio Brandão (Encarregado de Dados (DPO)): Guardião da LGPD, pode barrar o piloto
  • Sandra Cordeiro (Gerente de Sinistros): Conhece as exceções do negócio, teme perder o controle do processo
  • Caio Menezes (Líder de Segurança da Informação): Preocupado com ataques e vazamentos
  • Você (Arquiteto(a) de soluções contratado(a)): Conduz as decisões e defende a arquitetura no comitê

A Dino Seguros é uma empresa fictícia. Todos os números de custo, avaliação e prazo são didáticos e não são tabela de nenhum fornecedor real.

As opções

Corte radical

A. Trocar tudo por um modelo menor

Um modelo bem mais barato em todas as etapas

Engenharia

B. Roteamento por complexidade, com cache e limites

Modelo grande só onde precisa, e freios contra desperdício

Negociação

C. Manter como está e renegociar o contrato

Pedir desconto ao fornecedor, sem mudar a arquitetura

As ferramentas desta decisão

  • Planilha de custo por requisição. Estime o custo por conversa e por sinistro de cada cenário. A conta mensal usa a escala total da Dino e é comparada com o teto do comitê.
  • Freios práticos e ordem de implantação.

Preencha e decida

← Segurança em IA generativa: onde colocar as defesas Como avaliar e monitorar um sistema de IA generativa →

Quer o raciocínio completo, as aulas e os 10 entregáveis?

Arquitetura de Soluções de IA Generativa: Pense e Decida como Arquiteto

Ver o curso