Uma IA jurídica escreveu, numa peça pronta para protocolo:

“…nos termos da Súmula 835 do STJ.”

Placar

Nota média nas áreas que cada produto oferece, de 0 a 100. A faixa clara em volta da barra é a margem de incerteza: quando as faixas se sobrepõem, a diferença não é conclusiva.

Publicado pela Fidelia, que também está no placar, marcada com Produto de quem publica o bench . Claude Opus 5.5 e Claude Fable 5.1 deram as notas sem saber de qual produto era cada resposta.

Empate técnico: as faixas de incerteza se sobrepõem.
- Produto E Quem publica
  web, Rápido
  
  67
  Cobertura
  14 de 14
  Citação inventada
  1 em cada 13
  Admite limites
  80%
- Produto A
  web, padrão
  
  67
  Cobertura
  12 de 14
  Citação inventada
  1 em cada 10
  Admite limites
  90%
- Produto B
  web, padrão
  
  60
  Cobertura
  13 de 14
  Citação inventada
  1 em cada 13
  Admite limites
  90%
- Produto C
  web, padrão
  
  59
  Cobertura
  11 de 14
  Citação inventada
  1 em cada 10
  Admite limites
  90%
- Produto D
  conector + Claude Sonnet 5
  
  57
  Cobertura
  8 de 14
  Citação inventada
  1 em cada 40
  Admite limites
  60%

- Produto E Quem publica
  web, Aprofundado
  
  80
  Cobertura
  14 de 14
  Citação inventada
  nenhuma na amostra
  Admite limites
  60%
Empate técnico: as faixas de incerteza se sobrepõem.
- Produto A
  web, padrão
  
  67
  Cobertura
  12 de 14
  Citação inventada
  1 em cada 10
  Admite limites
  90%
- Produto B
  web, padrão
  
  60
  Cobertura
  13 de 14
  Citação inventada
  1 em cada 13
  Admite limites
  90%
- Produto C
  web, padrão
  
  59
  Cobertura
  11 de 14
  Citação inventada
  1 em cada 10
  Admite limites
  90%
- Produto D
  conector + Claude Sonnet 5
  
  57
  Cobertura
  8 de 14
  Citação inventada
  1 em cada 40
  Admite limites
  60%

Cada quadradinho é uma das 14 áreas do direito, na ordem do mapa abaixo. Hachurado significa que o produto não oferece aquela área.

Onde cada um é forte

Nota por área do direito. Quanto mais forte a célula, melhor o desempenho.

Nota de cada produto por área do direito
Produto	Jurisprudência	Legislação	Processos	Doutrina	Atos do CNJ	Portais oficiais	Conferência de citação	Jurimetria	Reguladores	DJe	Índices oficiais	Empresas	PNCP	INPI
Produto E Produto de quem publica o bench	62	61	60	72	55	79	77	77	70	54	57	84	57	76
Produto A	49	80	59	56	74	67	60	75	75	68	72	71	—	—
Produto B	49	54	59	54	76	63	69	—	74	46	53	63	61	58
Produto C	58	64	73	55	65	50	61	53	52	—	54	—	—	68
Produto D	47	55	—	50	47	68	55	—	72	—	—	—	—	64

Nota de cada produto por área do direito
Produto	Jurisprudência	Legislação	Processos	Doutrina	Atos do CNJ	Portais oficiais	Conferência de citação	Jurimetria	Reguladores	DJe	Índices oficiais	Empresas	PNCP	INPI
Produto E Produto de quem publica o bench	93	93	81	89	90	66	81	64	76	78	85	91	75	65
Produto A	49	80	59	56	74	67	60	75	75	68	72	71	—	—
Produto B	49	54	59	54	76	63	69	—	74	46	53	63	61	58
Produto C	58	64	73	55	65	50	61	53	52	—	54	—	—	68
Produto D	47	55	—	50	47	68	55	—	72	—	—	—	—	64