Opus 5 lidera todos os benchmarks mas ainda não convence
Ainda assim, o novo modelo da Anthropic é um passo na direção certa.
Desde o lançamento do Fable 5 eu vinha batendo na tecla de que a série Claude Opus havia ficado sem função. Isso pois a versão 4.8 era consideravelmente inferior ao Fable, próxima demais do Sonnet e – o que é pior – de concorrentes muito mais baratos como Grok 4.5 e GLM 5.2.
Sendo o Opus caro demais para ser consumido via API (4x mais caro que as alternativas citadas), ele basicamente passou a ser uma opção para aqueles que assinam o Claude Code, principalmente no plano de $20 onde o Fable nem disponibilizado é. Aliás, por um bom tempo ficou-se na dúvida se o Fable seria disponibilizado até nos planos mais caros. Dessa forma, ponderei que caso o Fable de fato fosse retirado, possivelmente eu cancelaria minha assinatura do Claude Code, pois não faria sentido pagar $100 para usar Opus e Sonnet.
Foi justamente nesse limbo agêntico que o Opus 5 foi introduzido, subvertendo completamente a lógica acima (o que, diga-se de passagem, não é incomum para quem acompanha o mundo da IA).
Vamos aos fatos: a versão 5 do Opus promete desempenho de Fable, porém sendo 50% mais barato. Bom demais para ser verdade? No preço por token, sim: enquanto o Fable é oferecido a $10/M input tokens e $50/M output tokens, o Opus custa o mesmo por input e $25/M output – mesmo preço da linha anterior.
Se olharmos o custo por tarefa, no entanto, essa redução é um pouco menor. A economia de 50% parece estar presente apenas com o max thinking level, que é notoriamente conhecido por overthinking, o que pesa o resultado em output tokens. Reduzindo o thinking level, essa economia parece orbitar entre 25-40%, o que ainda é extremamente significativo.
Mais surpreendente do que o preço é o fato de que, no papel, o Opus parece ser um modelo melhor que o Fable! Ele assumiu a liderança no Artificial Analysis e no DeepSWE, e ficou a apenas 0,5% do Fable no CursorBench. Em todos com o desconto substancial mencionado.
Eis então a pergunta: se o Opus é melhor e mais barato que o Fable, ainda faz sentido usar o modelo da série Mythos? Em quais circunstâncias seria racional não utilizar o Opus?
Convenientemente a Anthropic fez questão de ressaltar que o Opus é superior ao Fable em quase tudo. Alguém mais cínico do que eu poderia inclusive chamar atenção para o fato dele ser melhor que o Fable em tudo menos aquilo que fez o Fable ser banido, ou seja, tarefas de cibersegurança. De toda forma, é inegável que o Opus corrigiu um dos maiores problemas do Fable, que recusava-se exageradamente a trabalhar em tarefas que poderiam minimamente implicar em questões de segurança.
Mas e na prática? O Opus de fato é superior ao Fable e ao seu concorrente GPT 5.6 Sol?
O meu primeiro teste foi colocar o Opus 5 em uma tarefa de frontend. O objetivo era criar uma landing page numa codebase já existente e respeitando o design system vigente, além de alguns widgets relacionados em outras páginas. Para esse primeiro desafio, o Opus foi muito bem, como esperado. Não é novidade que os modelos da Anthropic são comumente escolhidos para de UI.
Gostaria de ressaltar também como é agradável a iteração com o Opus 5 – e qualquer modelo do Claude no geral. Como alguém que trabalha majoritariamente com o Codex, a diferença é perceptível na comunicação com a máquina. Enquanto o GPT parece mais econômico e robótico, o Claude muitas vezes se expressa com mais clareza, de uma forma mais compatível com o que se esperaria de um engenheiro real. Como meu amigo Vini Lana bem resumiu, trabalhar com o Claude é o mais próximo de uma experiência de pair programming.
Mas nem tudo são flores. Em uma grande reestruturação que fiz na área de pagamentos do QuantBrasil (culminando em um pull request que ultrapassou os 100 arquivos modificados) o Opus cometeu falhas que não esperaria em um modelo considerado o melhor. É costume meu que, após cada PR criado, execute um workflow completo de code review com o Codex, descartando os nitpicks e corrigindo os problemas reais de acordo com sua gravidade. Nesse PR homérico, o Codex identificou 5 P1s – problemas de alta severidade que precisam ser necessariamente corrigidos antes do release. O Claude reconheceu todos.
Não foi apenas no review automatizado que eu notei as falhas. Durante o desenvolvimento, notei uma degradação visível de entendimento à medida que o contexto de 1M de tokens ia sendo preenchido. Embora isso já seja esperado, me faz refletir sobre a utilidade de contextos tão grandes: seu consumo mais elevado precisa ser acompanhado de um aumento de performance, do contrário o trade-off não vale a pena. Essa é, inclusive, a abordagem do Codex, que aposta em contextos menores e compactações frequentes mas eficientes.
Por fim, durante o último Limite Semanal, provoquei a audiência: já que o Opus 5 assumiu o topo de todos os benchmarks, quem considerava ele o melhor? Poucos admitiram. “Benchmark não é vida real”, alguém disse. Concordo.
Essa pequena amostragem reforça a noção de que cada modelo precisa de tempo para ser incorporado ao trabalho. É preciso testá-lo na prática, naquelas situações que mais tipicamente encontraremos, para podermos selecioná-lo ou descartá-lo. É isso que venho tentando fazer no YouTube: ciente de que é impossível cobrir todos os casos e longe de ter qualquer pretensão científica, tento na medida das minhas capacidades unir o que é direcionalmente sugerido pelos benchmarks daquilo que somente a prática revela.
Assim, passarei a compartilhar também aqui nesse espaço minhas field notes, primeiras impressões, testes e repercussões, de modo a ajudá-lo a decidir o que é melhor para você, sem nunca ter a pretensão de substituir a prática necessária a cada caso concreto.