Vale abrir a LLM para esta resposta?
Compara o grafo de coocorrência da resposta com o do gabarito. Dez features, todas operações de conjunto sobre tokens — sem rede neural, sem embedding e sem chamar LLM nenhuma. É aritmética sobre conjuntos de palavras, e é por isso que roda inteiro aqui no seu navegador, enquanto você digita.
Escreva uma resposta
Isto não é uma nota. O erro típico é de meio ponto numa escala de 1 a 5, e o piso efetivo é ~2,3 — o modelo não consegue dizer "muito ruim". O que ele faz bem é ordenar: colocar as respostas fracas no topo de uma fila de revisão.
Repare no botão "resposta que copia o enunciado". É por isso que o enunciado entra no cálculo: sem ele, repetir a pergunta conta como conceito coberto.
Ele ganha de contar palavras?
Em avaliação automática de texto, o comprimento da resposta é a linha de base que derruba a maioria dos trabalhos. E o teto não é 1,00: é o quanto o próprio LLM concorda consigo mesmo entre execuções independentes.
| critério | Spearman | do teto |
|---|---|---|
| contar palavras da resposta | +0,283 | 32% |
| contar caracteres | +0,303 | 34% |
| sobreposição crua de tokens com o gabarito | +0,409 | 46% |
| cobertura do gabarito (1 feature) | +0,463 | 52% |
| o módulo inteiro (10 features) | +0,495 | 56% |
| teto: duas execuções do próprio LLM | +0,883 | 100% |
Ganha, mas por pouco — e a distância até o teto é maior que a distância até a linha de base. O ganho sobre a melhor feature sozinha é +0,033, IC95 [+0,005; +0,061], positivo em 99% das reamostras por aluno. Estável: 0,495 ± 0,021 em 12 partições.
Onde ele realmente paga
Como triagem — ordenar a fila de quem precisa de atenção primeiro:
| recorte | nota real média | vs geral |
|---|---|---|
| as 5 de menor previsão | 1,80 | −1,70 |
| as 10 de menor previsão | 2,03 | −1,46 |
| as 20 de menor previsão | 2,13 | −1,36 |
| as 50 de menor previsão | 2,46 | −1,04 |
| geral | 3,50 | — |
Ordenar exige muito menos que pontuar. É por isso que um Spearman de 0,50 ainda serve para triagem e não serve para dar nota.
Como pré-filtro, decidindo sozinho nas pontas: cortando em 10%/90%, 20% das respostas deixam de ir para a LLM, ao custo de errar 14% na ponta baixa e 10% na alta. Isso é decisão de produto — depende de quanto custa cada tipo de erro.
E o custo dele: 167 microssegundos por resposta, sem rede e sem GPU, contra 1 a 3 segundos de uma chamada de LLM. Ele não substitui a LLM — decide quem precisa dela, e dá um retorno provisório enquanto ela trabalha.
Por que a referência é só o gabarito
Não foi assim que começamos. A primeira ideia era alimentar o modelo com mais texto do domínio, para que ele "soubesse mais". Enriquecemos a referência com as respostas bem avaliadas de outros alunos da mesma tarefa:
| o que forma a referência | Spearman |
|---|---|
| só o gabarito | 0,486 |
| + as 5 melhores respostas | 0,497 |
| + as 15 melhores | 0,490 |
| + as 40 melhores | 0,428 |
| + todas as do treino | 0,396 |
Quanto mais ele sabia, menos ele sabia. E o modo de falhar é estrutural: quanto mais texto entra na referência, mais genérica ela fica — com um corpus grande, qualquer resposta cobre alguma parte dele, inclusive a ruim, e a cobertura para de separar quem sabe de quem não sabe.
O gabarito funciona por ser preciso, não por ser rico. Comparar só com ele não é simplificação por preguiça — é a versão que sobreviveu ao teste.
O que este modelo não faz
O alvo do treino é uma nota de LLM, não humana — ele foi ajustado para concordar com o GPT-4, não para avaliar. Se o GPT-4 erra de forma sistemática, ele aprende a errar junto, e nada nesta medição consegue perceber. Os pesos foram ajustados em texto alemão, de macroeconomia: as features são agnósticas de idioma, os pesos não. Até haver ~100 respostas em português com nota humana, use só para ordenar. E 87% das notas do corpus são 3 ou 4, o que comprime qualquer correlação medida contra elas.