Método de avaliação

As perguntas

120 perguntas em 14 áreas do direito, escritas para não favorecer nenhum produto. Cada uma tem uma rubrica com o que a resposta certa precisa trazer. Parte delas são armadilhas: número inexistente, premissa errada ou pedido que deve ser recusado.

A coleta

Cada pergunta foi enviada uma vez, numa conversa nova, com o mesmo texto para todos. Vale a primeira resposta. Só houve nova tentativa por falha técnica.

Os juízes

Claude Opus 5.5 e Claude Fable 5.1 avaliaram as respostas sem saber de qual produto era cada uma. A nota vai de 0 a 100: correção, fontes, honestidade e utilidade. Quando os dois discordaram muito, uma pessoa revisou. Concordância entre os juízes: 93% das respostas sem divergência.

As citações

Uma amostra das citações de cada produto foi conferida nas bases oficiais, sem IA no meio. Citação que não existe zera a pergunta.

O que não oferece

Quando um produto não oferece uma área (por exemplo, contratações públicas), a área aparece hachurada e fica fora da média. Não conta como zero.

Limites

É um teste de laboratório, com data. Os produtos mudam, e o resultado vale para a rodada indicada no rodapé. Nos conectores MCP, o modelo que escreve a resposta é o mesmo para todos (Claude Sonnet 5): ali se mede a camada de dados, não o produto inteiro.