STRIKE / BENCHMARKS
Evidência
Benchmarks e calibração
Os números abaixo vêm do relatório de benchmark publicado para o strike-1. Critérios de calibração, suites, latência e limites em linguagem direta.
Nenhum relatório de benchmark publicado ainda
Publicamos um relatório só quando os critérios de calibração são atendidos (ECE ≤ 0,4, Brier ≤ 0,28, log loss ≤ 1,1) e alguém da equipa aprova. Até lá, esta página mostra números da API ao vivo quando há tráfego, e nenhuma pontuação do modelo.
O Strike está em beta. Probabilidades em produção seguem sem calibração até concluirmos o rollout.
API ao vivo (últimas 24 h)
Pedidos à API
154
Últimas 24 h, ovh-gra
Latência p95 (relatório)
1110 ms
Últimas 24 h, ovh-gra
Taxa de erro
64.29%
Últimas 24 h, ovh-gra
Comparação qualitativa
| Strike | LLM de chat genérico | Regra escrita à mão | |
|---|---|---|---|
| Saída tipada | Sim/não, opção, nota | Texto livre | Esquema fixo |
| Confiança na resposta | Probabilidades por opção | Não retornada pela API | Nenhuma |
| Calibração medida | ECE, Brier, bins de confiabilidade | Não publicada aqui | Não se aplica |
| Classe de latência | API, muitas vezes subsegundo | Varia por fornecedor | Local, instantâneo |
| Hospedagem UE | OVH Gravelines (França) | Depende do fornecedor | Sua infraestrutura |
| Modelo de custo | Por chamada API (beta grátis) | Por token | Tempo de engenharia |
Demo ao vivo
Mesmo modelo, mesma API. Faça uma pergunta e leia as probabilidades.
Testar o playground