1. Princípios
Três compromissos públicos governam tudo abaixo: independência (nenhum provedor de modelo financia, edita ou pré-aprova o ranking), reproduzibilidade (toda decisão metodológica é documentada e versionada) e clareza (explicamos o que altera a posição oficial e o que aparece apenas como apoio editorial).
- Não publicamos resultados não-reproduzíveis ou auto-relatados sem corroboração externa.
- Não removemos modelos do ranking por pressão comercial; apenas por descontinuação ou indisponibilidade pública.
- Toda mudança relevante de fórmula é publicada e indicada no changelog abaixo.
2. Fontes & benchmarks
O ranking oficial usa a Artificial Analysis como fonte canônica de inteligência. O LLM Stats oferece leitura adicional de preço, cobertura e contexto. Recortes derivados antigos deixam de ser tratados como boards públicos oficiais porque sua cobertura ficou desigual e, em alguns casos, operacionalmente frágil.
- Carregando…
3. Fórmula de agregação
Para o ranking oficial, não recalculamos um índice próprio. Publicamos o score da Artificial Analysis na mesma escala 0–100:
Score(m, inteligência) = AA_Intelligence_Index(m)
O LLM Stats não tenta “melhorar” a AA nem entra numa média com ela. Ele funciona como camada editorial para contexto, preço e capacidades complementares. Quando uma fonte derivada tem cobertura insuficiente ou operacionalmente instável, ela sai da ordenação oficial em vez de gerar uma leitura enganosa.
4. Pesos por board
O ranking Inteligência é o unico board publico oficial e espelha a Artificial Analysis. O LLM Stats aparece apenas como camada complementar. A tabela abaixo mostra exatamente a configuracao usada para a ordenacao oficial.
Nao publicamos mais boards derivados para Coding, Reasoning e Custo-beneficio como ordenacoes oficiais. Esses sinais podem aparecer apenas como contexto complementar quando a cobertura e a coleta continuam confiaveis.
5. Normalização
No ranking oficial, não renormalizamos a Artificial Analysis. Nos sinais complementares do LLM Stats, preservamos a escala 0–100 publicada pela fonte quando ela ja e interpretavel para o usuario.
Por que não z-score?
Porque o ranking é lido por humanos, e usuários esperam que “score 90” signifique algo absoluto e estável. Z-scores reescalam a cada snapshot e tornam comparações longitudinais frágeis.
6. Tratamento de preço
Preco nao entra em media com a Artificial Analysis no ranking oficial. Usamos preçoblended = 0.7 · preçoinput + 0.3 · preçooutput apenas para leitura complementar e comparativos editoriais. Os precos exibidos saem das fontes ativas do pipeline, hoje principalmente Artificial Analysis, OpenRouter e LLM Stats.
7. Fontes ativas
A interface publica destaca a quantidade de fontes e sinais ativos por modelo, sem expor um selo binario de verificacao. O objetivo e mostrar cobertura observavel do snapshot atual sem prometer um nivel de reproducao que hoje varia por fonte e por benchmark.
8. Limitações conhecidas
- Contaminação de dataset: alguns benchmarks vazaram em conjuntos de treinamento públicos. Preferimos que essa incerteza ja venha tratada pela fonte principal, em vez de recombinar sinais por conta propria.
- Multimodalidade: o ranking de Inteligência ainda reflete majoritariamente capacidade textual, porque é isso que a fonte principal mede melhor hoje.
- Cobertura desigual: sinais complementares do LLM Stats podem cobrir familias de modelos e nao todos os modos de effort separadamente.
- Preco e latencia: sao contextos importantes, mas nao entram no score oficial para evitar misturar qualidade com custo ou velocidade numa media opaca.
- Cobertura de modelos: incluimos apenas modelos com API publica estavel ou pesos abertos disponiveis para download.
9. Changelog
- 2026.05 — Ranking oficial passa a espelhar o Artificial Analysis Intelligence Index; LLM Stats fica restrito a camada complementar de apoio.
- 2026.03 — Versão anterior usava agregação própria multi-benchmark no board principal.
- 2026.01 — Inclusão de τ-bench em Tool use.
- 2025.11 — Lançamento público.