GRPO e RLVR: Como Funciona o Treinamento de Modelos de Raciocínio em IA sem Redes de Crítico

Os modelos de raciocínio profundo transformaram a inteligência artificial. Em vez de apenas prever a próxima palavra por imitação, sistemas como o DeepSeek-R1 e OpenAI o1 geram cadeias internas de pensamento. Eles testam hipóteses, identificam falhas e corrigem seus próprios passos antes de responder ao usuário.

Essa evolução exigiu a combinação de dois avanços: o algoritmo GRPO (Group Relative Policy Optimization) e o método RLVR (Reinforcement Learning with Verifiable Rewards). Juntos, eles eliminaram as redes críticas da memória das GPUs e superaram a dependência de avaliações humanas lentas.

O que mudou: do pré-treino maciço ao aprendizado por reforço no pós-treino

O pós-treinamento por aprendizado por reforço substituiu a expansão bruta de parâmetros como motor primário de raciocínio em IA. O modelo deixa de memorizar respostas humanas e passa a explorar caminhos lógicos por conta própria.

No ajuste supervisionado tradicional (SFT), o modelo apenas copia demonstrações estáticas. No aprendizado por reforço moderno, o sistema recebe problemas com gabaritos exatos e gera múltiplas tentativas. Quando acerta a resposta final, recebe um sinal numérico de recompensa.

Esse processo força a rede neural a descobrir quais métodos de dedução lógica funcionam. A dinâmica foi formalizada nos relatórios técnicos do DeepSeek-Math (Shao et al., 2024) e consolidada no DeepSeek-R1 (DeepSeek-AI, 2025).

A grande descoberta é que a rede aprende a pensar alocando mais computação no momento da inferência (test-time compute). Quanto mais tempo o modelo reflete antes de responder, maior é a sua taxa de acerto em problemas complexos.

Por que o PPO tradicional sobrecarrega a infraestrutura de GPUs

O algoritmo PPO tradicional sobrecarrega clusters de GPUs porque exige manter quatro modelos neurais de grande porte carregados simultaneamente na memória de vídeo. Essa estrutura limita o tamanho da janela de contexto durante o treino.

Na formulação original do PPO descrita pela OpenAI em 2017, o pipeline divide-se em quatro componentes:

• Ator (Actor/Policy π_θ): Modelo gerador que recebe os gradientes de treino.

• Crítico (Critic/Value Network V_ϕ): Rede que prevê o valor escalar de cada token.

• Modelo de Referência (π_ref): Cópia congelada que limita o desvio via penalidade KL.

• Modelo de Recompensa (r_ψ): Rede neural treinada para pontuar a saída final.

Para treinar um modelo de 70 bilhões de parâmetros em bfloat16, o Ator consome 140 GB só para pesos e otimizador. O Crítico exige praticamente a mesma quantidade de memória.

Quando o modelo gera 20.000 tokens de reflexão, o cache de atenção (KV-Cache) estoura a memória até em nós NVIDIA H100. Manter o Crítico torna o treino de raciocínio longo inviável.

Como o GRPO funciona na prática sem rede crítica

O GRPO elimina o Crítico calculando a vantagem de cada resposta a partir da média estatística de um grupo de saídas geradas em paralelo. Ele avalia o desempenho relativo dentro do grupo.

Em vez de usar uma rede dedicada para avaliar cada passo, o algoritmo executa três etapas simples:

1. Amostragem em Grupo: O modelo gera um grupo de G respostas distintas para a mesma pergunta q.

2. Atribuição de Recompensa: O verificador avalia cada saída e devolve uma pontuação escalar r.

3. Normalização da Vantagem: A vantagem A_i da resposta é normalizada pela média e pelo desvio padrão do grupo.

A fórmula matemática da vantagem relativa no GRPO é expressa por:

A_i = (r_i - mean(r)) ÷ (std(r) + ε)

Nessa equação, mean(r) = (1/G) × ∑_{j=1}^G r_j e ε ≈ 1e-6 é uma constante para estabilidade numérica. Se uma resposta pontua acima da média do grupo, sua vantagem é positiva e seus tokens são incentivados. Se pontua abaixo, sua vantagem é negativa e a probabilidade de gerar aqueles tokens é reduzida.

A função de perda (loss) do GRPO atualiza os pesos da política maximizando a vantagem ponderada pela razão de probabilidades, com corte de segurança (clipping):

L_GRPO(θ) = - (1/G) × ∑_{i=1}^G [ min( ratio_i × A_i, clip(ratio_i, 1-ε, 1+ε) × A_i ) - β × D_KL(π_θ || π_ref) ]

Onde ratio_i = π_θ(o_i | q) ÷ π_old(o_i | q). A penalidade de divergência KL (D_KL) impede que o modelo colapse a distribuição ou esqueça habilidades linguísticas fundamentais.

A eliminação da rede Crítica traz três ganhos técnicos imediatos:

• Economia de 50% de VRAM: A GPU aloca quase toda a memória livre para o KV-Cache do Ator. Isso viabiliza milhares de tokens de raciocínio.

• Fim da instabilidade do Crítico: Elimina o treino instável da rede de valor, que costuma errar estimativas em sequências longas.

• Simplicidade de escalonamento: O treino torna-se altamente paralelizável entre nós sem sincronização de estados intermediários de valor.

RLVR: Recompensas Verificáveis contra o Reward Hacking

O RLVR substitui modelos de recompensa neurais subjetivos por verificadores determinísticos baseados em regras exatas de código. Essa abordagem resolve a manipulação de métricas (reward hacking).

No RLHF clássico com modelos de recompensa neurais, o sistema aprende a agradar o avaliador produzindo textos longos e polidos, mas repletos de erros factuais. Esse fenômeno é descrito pela Lei de Goodhart: quando uma métrica vira meta, ela deixa de ser uma boa métrica.

O RLVR resolve essa falha utilizando ambientes com resposta objetivamente verificável:

• Compiladores e Testes Unitários: Em código, o script roda em sandbox. Passar em todos os testes dá recompensa r = 1.0; falhar resulta em r = 0.0.

• Álgebra Simbólica: Em matemática, bibliotecas como SymPy comparam o resultado com o gabarito canônico. Elas validam se 1/2 e 0.5 são idênticos.

• Validadores Formais: Em lógica, linguagens como Lean 4 e Coq conferem cada passo dedutivo sem margem para dúvidas.

• Formatos Estruturados: O verificador checa se o raciocínio está nas tags <think>...</think> e se a resposta final está isolada.

A pontuação total de uma resposta é a soma ponderada das funções de verificação:

r_total = w_correto × r_acerto + w_formato × r_formato

Como o sinal de recompensa é binário ou determinístico, não existe brecha para o modelo enganar o avaliador por meio de prolixidade ou persuasão retórica.

O momento Aha!: a emergência da reflexão e autocorreção

Quando um modelo é treinado exclusivamente com GRPO e RLVR sem ajuste supervisionado prévio (abordagem R1-Zero), ele desenvolve comportamentos cognitivos avançados de forma autônoma.

Pesquisadores da DeepSeek observaram três fenômenos centrais durante o treino do DeepSeek-R1-Zero:

• Crescimento da Cadeia de Reflexão: O comprimento médio dentro da tag <think> saltou de poucas centenas para mais de 10.000 tokens durante o reforço.

• Autocorreção Espontânea (Momento Aha!): O modelo passou a revisar seus próprios passos. Ao notar contradições, escreveu frases como "Espere, vou recalcular" e refez a dedução.

• Exploração de Múltiplas Estratégias: Diante de problemas difíceis, o modelo aprendeu a testar soluções alternativas e comparar resultados antes de finalizar a resposta.

Esse comportamento surgiu de forma natural. Gerar etapas adicionais de validação interna aumenta a chance matemática de acertar a resposta e obter a recompensa determinística.

Destilação de raciocínio: ensinando modelos compactos a pensar

Treinar modelos do zero com aprendizado por reforço puro exige alto investimento computacional. São necessárias milhões de amostras para o modelo descobrir caminhos corretos em problemas complexos.

A abordagem mais eficiente utiliza o modelo avançado para gerar centenas de milhares de trajetórias de raciocínio validadas por RLVR. Esses dados compõem um conjunto de ajuste supervisionado de altíssima densidade lógica.

Com esses dados, equipes treinam modelos menores (como Qwen e Llama de 1.5B a 32B parâmetros) diretamente via SFT. Os modelos compactos herdam a capacidade de reflexão sem passar pelo custo integral do reforço.

Os números do DeepSeek-R1 comprovam a eficácia da destilação: o modelo DeepSeek-R1-Distill-Qwen-32B atingiu 94,3% no benchmark MATH-500 e 57,2% no AIME 2024. Esse resultado supera grandes modelos proprietários e permite rodar raciocínio de ponta em uma única GPU local.

Frameworks abertos e execução prática de GRPO

O ecossistema de código aberto disponibiliza bibliotecas maduras para treinar modelos com GRPO e verificadores determinísticos em diferentes escalas de infraestrutura.

Os principais frameworks adotados pela comunidade incluem:

• Hugging Face TRL (GRPOTrainer): Integrado à biblioteca TRL, configura pipelines de GRPO em Python. Conecta funções de recompensa e suporta ZeRO-3.

• verl (Volcano Engine RL for LLMs): Desenvolvido pelo projeto verl, adota desacoplamento 3D. Usa o motor vLLM para acelerar a geração em grupo.

• TinyZero: Repositório minimalista criado por Jiayi Pan no GitHub. Reproduz o R1-Zero usando apenas uma GPU doméstica (RTX 4090).

Em clusters de GRPO, cerca de 70% a 80% do tempo de treinamento é gasto gerando grupos de respostas. Por isso, motores de inferência velozes como o vLLM são essenciais para otimizar o pipeline.

Perguntas frequentes sobre GRPO e modelos de raciocínio

Qual a principal diferença entre GRPO e PPO?

O PPO utiliza uma rede Crítica separada para estimar o valor dos estados e calcular vantagens. O GRPO descarta o Crítico e calcula a vantagem normalizando as recompensas de um grupo de respostas, cortando o uso de VRAM pela metade.

O que significa a sigla RLVR em inteligência artificial?

RLVR significa Reinforcement Learning with Verifiable Rewards. É o método de treinar modelos de IA utilizando regras de código, suítes de testes ou cálculos matemáticos como juízes objetivos de acerto ou erro.

Por que os modelos de raciocínio demoram mais para responder?

Esses modelos dedicam computação no momento da inferência (test-time compute). Eles geram milhares de tokens de raciocínio interno dentro de blocos de pensamento antes de formular a resposta final.

É possível treinar modelos com GRPO em GPUs de uso pessoal?

Sim. Modelos de 1.5B a 8B parâmetros podem ser treinados com GRPO em GPUs de 24 GB (como a RTX 4090) usando QLoRA, TRL e verl.

A destilação de modelos de raciocínio substitui o aprendizado por reforço?

A destilação transfere com rapidez e baixo custo as cadeias de raciocínio de um modelo grande para um menor. No entanto, a descoberta de novas fronteiras cognitivas ainda depende do aprendizado por reforço com RLVR.

Fontes primárias e referências técnicas

• Shao, Z. et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv preprint. arXiv:2402.03300.
• Guo, D. et al. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv preprint. arXiv:2501.12948.
• Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. OpenAI Research / arXiv preprint. arXiv:1707.06347.
• Lightman, H. et al. (2023). Let's Verify Step by Step. OpenAI Research / arXiv preprint. arXiv:2305.20050.
• Zelikman, E. et al. (2022). STaR: Bootstrapping Reasoning With Reasoning. Stanford University / arXiv preprint. arXiv:2203.14465.
• Hugging Face (2025). TRL: Transformer Reinforcement Learning — GRPOTrainer Documentation. GitHub Hugging Face TRL.
• Volcano Engine Team (2025). verl: Volcano Engine Reinforcement Learning for LLMs. GitHub verl-project/verl.
• Pan, J. et al. (2025). TinyZero: Minimal Reproduction of DeepSeek-R1-Zero. GitHub Jiayi-Pan/TinyZero.