Dois modelos para gastar
LLM só onde vale

O que vem pela frente

Os dois modelos respondem à mesma pergunta de fundo: uma chamada de LLM custa tempo e dinheiro, e não dá para fazer uma por aluno ou uma por resposta. Quem decide onde gastar precisa ser barato.

O aluno não cancela. Ele para de aparecer

Plataforma de estudo não tem aviso de saída. A pessoa vai espaçando as sessões até sumir, e quando alguém percebe já passou o momento de agir.

A pergunta: olhando quatro semanas de comportamento, dá para saber quem não volta no mês seguinte? Se der, uma ação barata pode ir para quem precisa, em vez de ir para todo mundo.

Corrigir texto aberto com LLM custa por resposta

Mandar toda resposta discursiva para uma LLM significa pagar e esperar por cada uma. Não mandar nenhuma significa não corrigir. Queríamos saber se dá para resolver as pontas sozinhos.

• A resposta em branco não precisa de LLM para ser reprovada.
• A que cobre o gabarito inteiro não precisa de LLM para passar.
• O meio é onde a decisão é difícil, e é só ele que deveria custar.

Duas bases escolhidas por serem opostas

EdNet KT3, CC BY-NC 4.0. OULAD, CC BY 4.0. Os arquivos não estão no repositório porque o EdNet sozinho tem 4,2 GB; os scripts dizem onde baixar.

classEx: 1.167 respostas, cada uma avaliada três vezes

O alvo é nota de LLM, não de professor: é a limitação mais séria do modelo 2. Cerca de 87% das notas caem em 3 ou 4, então há pouquíssimo exemplo nas pontas.

Uma janela mede, a outra confere

• Nada da segunda janela entra no cálculo dos eixos. É a regra que impede vazamento.
• Quem teve menos de 30 eventos na primeira janela fica de fora.
• O desfecho não foi rotulado por nós: "voltou" é ter qualquer atividade nos dias 30 a 59.

A métrica é AUC, e ela não é porcentagem de acerto

Acurácia mentiria aqui: no OULAD 91,5% dos alunos voltam, então um modelo que nunca alerta ninguém acerta 91,5% sem separar ninguém. Em AUC esse modelo fica em 0,50.

Cada eixo foi testado sozinho, nas duas bases

Antes de juntar qualquer coisa, medimos a AUC de cada eixo isolado. Só entrou no modelo quem funcionou nas duas realidades.

Entram recência e frequência. A profundidade fica em 0,516 no OULAD, que é quase moeda. O volume nem é calculável lá, porque a base não registra hora.

Regressão logística de duas variáveis, padronizadas por coorte

z = (valor do aluno − media da coorte) / desvio da coorte
risco = 1 / (1 + e^−(b0 + b1·z_recencia + b2·z_frequencia))

O ganho é pequeno, e está declarado como pequeno

A frequência faz quase todo o trabalho. O modelo acrescenta combinar os dois eixos de forma estável: o peso da recência é 3,2 vezes o da frequência nas 12 partições.

A ordem transfere entre plataformas. O nível não

O modelo não entrega um rótulo de risco, entrega uma posição na fila. Para alertar os 10% de maior risco de cada coorte, o corte muda de uma base para a outra:

Levar o limiar de uma base para a outra troca completamente quem é alertado. Por isso calibrar em cada plataforma é requisito de uso, não detalhe de ajuste fino.

O modelo 2 compara dois conjuntos de palavras

Ele não chama LLM em momento nenhum: os únicos imports são re, collections, dataclasses e math. Separa o texto em palavras de três letras ou mais, tira as que aparecem em mais de 40% dos textos do tópico, transforma cada palavra restante em nó e cada par a até quatro posições em aresta.

Dez contagens, uma soma ponderada, uma nota

nota = b0 + Σ (peso · contagem)
nota = limitar(nota, 1, 5)

Como se mede um modelo que ordena respostas

A outra métrica das tabelas é QWK, que compara as notas arredondadas e penaliza mais os erros grandes que os pequenos.

A linha de base aqui é contar palavras

Em avaliação automática de texto, resposta longa costuma ganhar nota maior. Se contar palavras chega perto do modelo, o resto não está fazendo nada.

O modelo ganha da melhor contagem isolada por 0,033, com intervalo de 95% entre 0,005 e 0,061, positivo em 99% das reamostragens por aluno. Em 12 partições, 0,495 ± 0,021.

Onde um Spearman de 0,50 é suficiente

Ordenar exige menos do modelo do que pontuar. Por isso o uso defensável é escolher a ordem da fila e resolver as pontas, e não escrever uma nota na prova do aluno.

O que tentamos e não deu certo

A primeira ideia para o modelo 2 era a intuitiva: dar mais texto do assunto à referência. Testamos acrescentar ao gabarito as respostas bem avaliadas de outros alunos da mesma tarefa.

Referência grande fica genérica, qualquer resposta cobre algum pedaço dela, inclusive a ruim, e a cobertura perde o poder de separar. Também descartados: LSA, que não mudou nada; boosting, pior que a regressão; e um encoder pré-treinado, +0,057 ao custo de 900 MB. No modelo 1, percentil em vez de padronização: AUC igual e calibração pior.

Três erros nossos que quase viraram conclusão

O que estes números não dizem

A janela de 30 dias foi escolhida por conveniência e não testamos alternativas. As duas bases são estrangeiras e de adultos. Os pesos do modelo 2 foram ajustados em alemão, em uma disciplina só: as contagens não dependem do idioma, os pesos dependem.

Do clone aos números

git clone https://github.com/Geisbelly/core-trailup.git
cd core-trailup/seminario && pip install -r requirements.txt

# modelo 2: roda agora, o corpus esta no repositorio
cd scripts && python3 07_discursivo.py
python3 08_discursivo_operacao.py   # pre-filtro, triagem, custo
python3 09_conferir_port.py         # o JavaScript bate com o Python?

# modelo 1: precisa baixar as duas bases, ver dados/README.md
python3 01_preparar.py  02_eixos.py  03_vazamento.py
python3 04_treinar.py   05_calibrar.py  06_exportar.py

Cada script imprime o que mediu e o que aquilo quer dizer. Rodando do 01 ao 09 saem todos os números desta apresentação.

O 09_conferir_port.py existe porque o protótipo reimplementa o modelo 2 em JavaScript, e duas implementações da mesma coisa divergem em silêncio. Ele roda as duas sobre 200 respostas e falha se discordarem. Hoje batem até a décima quinta casa decimal.

O que fica

• Dois modelos baratos decidem onde gastar a chamada cara, e ganham da linha de base por uma margem pequena, declarada como pequena.
• A mesma atividade significa coisas diferentes em plataformas diferentes: a ordem transfere, o nível não, e calibrar é requisito de uso.
• Dar mais texto à referência do modelo 2 piorou o resultado de forma ordenada.
• Todo número tem linha de base ao lado, desvio de 12 partições, e teto medido quando existe teto.

Protótipos: modelo 1, engajamento e modelo 2, resposta discursiva. Código, dados e diário em github.com/Geisbelly/core-trailup.

Geisbelly Victória e Maria Antonia. Obrigada. Perguntas?