O Que É Processamento de Linguagem Natural: Guia Técnico de PLN

Processamento de Linguagem Natural (PLN ou NLP) é a disciplina dedicada a capacitar computadores a lidar com a linguagem humana. O campo une inteligência artificial e linguística computacional para compreender, estruturar, analisar e gerar texto ou fala. A área converte sequências simbólicas em vetores matemáticos para tarefas como classificação, extração de entidades, tradução e sumarização.

A disciplina nasceu na década de 1950 a partir de gramáticas formais e dicionários léxicos. Ao longo dos anos 1990, migrou para inferência estatística sobre grandes volumes de texto. Na década de 2010, consolidou representações vetoriais densas contínuas e redes neurais profundas.

Hoje, o ecossistema corporativo opera em arquiteturas híbridas. Modelos generativos autorregressivos resolvem síntese e raciocínio complexo. Paralelamente, classificadores lineares e redes bidirecionais especializadas sustentam tarefas de altíssima escala que exigem latência inferior a 10 milissegundos e custo previsível.

Por que a linguagem humana desafia o processamento computacional?

A linguagem humana desafia computadores porque é inerentemente ambígua, dependente do contexto compartilhado e regida por convenções sociais mutáveis. Ao contrário de linguagens de programação formais com sintaxe unívoca, sentenças naturais possuem múltiplos significados válidos que exigem desambiguação morfológica, sintática, semântica e pragmática.

Na linguística computacional, a análise do texto opera em quatro camadas fundamentais:

• Morfologia: examina a estrutura interna das palavras, radicais e afixos flexivos. Em línguas com morfologia rica como o português, um único verbo gera dezenas de conjugações distintas.
• Sintaxe: investiga a hierarquia gramatical das frases por meio de árvores de dependência, conectando sujeitos, predicados e complementos verbais.
• Semântica: atribui significado literal e composicional aos termos e às sentenças completas segundo o princípio de Frege.
• Pragmática: interpreta a intenção real do emissor no contexto social, diferenciando o sentido literal de ironias, metáforas e pedidos indiretos.

O maior obstáculo para algoritmos reside nas cinco classes de ambiguidade textual:

1. Ambiguidade Lexical: ocorre quando uma palavra possui múltiplos sentidos no dicionário. O vocábulo banco pode representar uma instituição financeira ou um assento de madeira.
2. Ambiguidade Estrutural: surge quando uma frase admite duas árvores sintáticas válidas. Na sentença o policial viu o homem com o binóculo, o instrumento pode pertencer ao policial ou ao suspeito.
3. Ambiguidade de Escopo: decorre de quantificadores lógicos. Dizer todo cliente recebeu um comunicado não define se o documento era individualizado ou idêntico para a base.
4. Ambiguidade Pragmática: manifesta-se em ironias ou figuras de linguagem. A frase ótima ideia deixar a porta aberta comunica desaprovação explícita, embora contenha termos positivos.
5. Elipse e Subentendido: acontece na omissão de termos recuperáveis pelo contexto. Sentenças como eu bebi suco e ela, café suprimem o verbo na segunda oração.

Como funciona o pipeline clássico de engenharia em PLN?

O pipeline clássico de PLN processa texto bruto por transformações modulares sequenciais, convertendo caracteres isolados em tensores numéricos para algoritmos estatísticos. As etapas fundamentais compreendem segmentação frasal, tokenização, normalização morfológica seletiva e vetorização esparsa por contagem ou relevância documental.

A primeira etapa é a segmentação de sentenças (Sentence Boundary Detection). O algoritmo não pode dividir o texto apenas pelo caractere ponto, pois ele ocorre em abreviações como Art. e em valores numéricos. Ferramentas como o spaCy utilizam modelos estatísticos para isolar períodos com alta precisão.

Em seguida, o fluxo executa a tokenização. Em abordagens tradicionais, o texto é quebrado por espaços e pontuações em palavras atômicas. Esse método falha diante de erros ortográficos ou palavras compostas. Modelos modernos substituíram essa lógica por tokenizadores de subpalavras como Byte-Pair Encoding (BPE) e WordPiece.

A normalização léxica clássica aplicava também a remoção de stop words (termos funcionais frequentes como de, para e com). Essa etapa reduzia a memória em matrizes esparsas, mas é desaconselhada em redes profundas modernas porque elimina negações e destrói o encadeamento sintático.

Para unificar variações de uma mesma palavra, engenheiros escolhem entre stemming e lematização:

Após a normalização, o texto é vetorizado. O modelo Bag-of-Words (BoW) mapeia o documento para um vetor de frequências brutas. A técnica TF-IDF (Term Frequency-Inverse Document Frequency) aprimora essa contagem penalizando termos frequentes em todo o corpus:

TF\text{-}IDF(t, d, D) = TF(t, d) × log(|D| ÷ (|{d' ∈ D : t ∈ d'}| + 1))

Essa formulação destaca palavras informativas de nicho, mas preserva a ortogonalidade estrita: os termos carro e veículo continuam com similaridade matemática nula.

De vetores estáticos a Transformers: como os modelos evoluíram?

A evolução do PLN superou vetores esparsos através da hipótese distribucional, criando representações densas contínuas em baixa dimensionalidade. Esse movimento progrediu de embeddings estáticos de palavras para redes recorrentes com atenção e, finalmente, para a arquitetura Transformer com auto-atenção paralelizada em larga escala.

Em 1957, o linguista John Rupert Firth sintetizou a hipótese distribucional afirmando que o significado de uma palavra decorre da companhia que ela mantém. Essa intuição viabilizou o Word2Vec de Mikolov et al. (2013). O modelo projetou termos em vetores contínuos de 100 a 300 dimensões.

O Word2Vec introduziu as arquiteturas CBOW e Skip-gram com amostragem negativa. Essa geometria vetorial revelou regularidades semânticas lineares notáveis, viabilizando operações conceituais como:

vetor("Rei") - vetor("Homem") + vetor("Mulher") ≈ vetor("Rainha")

Posteriormente, o algoritmo FastText de Bojanowski et al. (2017) incorporou n-gramas de caracteres para decompor palavras em subpalavras. O modelo resolveu o problema de termos fora do vocabulário (Out-of-Vocabulary), fundamental para o vocabulário flexionado do português.

Contudo, embeddings estáticos atribuem um único vetor para cada termo. A palavra manga recebe as mesmas coordenadas numéricas ao tratar de frutas ou de peças de vestuário.

Para capturar contexto dinâmico, a indústria utilizou Redes Neurais Recorrentes (RNNs) e LSTMs. Essas redes mantêm um estado oculto que acumula informações passadas. No entanto, o cálculo serial passo a passo impedia a paralelização em GPUs e degradava a retenção em contextos longos.

Esse teto foi superado com a publicação seminal de Vaswani et al. (2017), Attention Is All You Need. Os autores eliminaram recorrências e introduziram a auto-atenção escalar (Scaled Dot-Product Attention):

Attention(Q, K, V) = softmax((Q × K^T) ÷ √d_k) × V

Cada token projeta tensores de Consultas (Q), Chaves (K) e Valores (V). O mecanismo pondera a relação entre todas as palavras da sentença simultaneamente. A arquitetura viabilizou treinamento massivamente paralelo em tensores de GPUs modernas.

A partir dos Transformers, o mercado bifurcou-se em duas famílias dominantes:

• Modelos Encoder (ex.: BERT e RoBERTa): processam o texto de forma bidirecional profunda. Conforme demonstrado por Devlin et al. (2018), são ideais para classificação, busca semântica e extração de entidades.
• Modelos Decoder (ex.: famílias GPT e Llama): operam com atenção causal autorregressiva, prevendo o próximo token em sequência para geração de texto e diálogos abertos.

Quando usar abordagens clássicas, encoders dedicados ou LLMs?

A escolha entre técnicas clássicas, encoders e modelos generativos exige equilíbrio técnico. Fatores como latência, custo operacional por milhão de requisições e tolerância a alucinações definem a arquitetura. Sistemas corporativos robustos combinam essas camadas hierarquicamente em vez de delegar todas as operações para uma única API generativa.

Na prática de engenharia, nenhum sistema em escala deve utilizar modelos com bilhões de parâmetros para tarefas determinísticas simples. A tabela abaixo resume as fronteiras de decisão arquitetural:

Para ilustrar essa distinção prática, apresentamos duas implementações complementares em Python. O primeiro exemplo constrói um pipeline clássico ultrarrápido para triagem de suporte:

import spacy
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline

nlp = spacy.load("pt_core_news_sm", disable=["parser", "ner"])

def preprocessar_texto(texto: str) -> str:
    doc = nlp(texto.lower())
    tokens = [t.lemma_ for t in doc if not t.is_punct and not t.is_space]
    return " ".join(tokens)

classificador = make_pipeline(
    TfidfVectorizer(ngram_range=(1, 2), min_df=1),
    LogisticRegression(class_weight="balanced", max_iter=1000)
)

treino_textos = [
    "Preciso de uma segunda via urgente do boleto deste mês",
    "Não consigo acessar minha conta corporativa pelo aplicativo",
    "Gostaria de saber o prazo de entrega da mercadoria",
    "O sistema está apresentando erro 500 ao emitir nota fiscal"
]
treino_classes = ["financeiro", "suporte_tecnico", "logistica", "suporte_tecnico"]

classificador.fit([preprocessar_texto(t) for t in treino_textos], treino_classes)

novo_chamado = "Meu boleto venceu ontem e não recebi no e-mail"
resultado = classificador.predict([preprocessar_texto(novo_chamado)])
print(f"Setor direcionado: {resultado[0]}")

Quando a tarefa exige compreender sutilezas sintáticas e orações adversativas em língua portuguesa, recorre-se a encoders neurais bidirecionais. O exemplo abaixo utiliza o modelo BERTimbau (Souza et al., 2020):

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

ID_MODELO = "neuralmind/bert-base-portuguese-cased"

tokenizador = AutoTokenizer.from_pretrained(ID_MODELO)
modelo = AutoModelForSequenceClassification.from_pretrained(ID_MODELO, num_labels=3)

sentenca = "O atendimento da equipe foi rápido, mas a mercadoria veio avariada."
tensores = tokenizador(sentenca, return_tensors="pt", padding=True, truncation=True)

modelo.eval()
with torch.no_grad():
    saidas = modelo(**tensores)
    probabilidades = torch.nn.functional.softmax(saidas.logits, dim=-1)

classes = ["negativo", "neutro", "positivo"]
indice = torch.argmax(probabilidades, dim=-1).item()
print(f"Sentimento detectado: {classes[indice]} ({probabilidades[0][indice]:.1%})")

Quais são as principais aplicações e modelos de PLN no Brasil?

As principais aplicações de PLN no Brasil concentram-se na automação judiciária e no varejo digital. A anonimização para conformidade com a LGPD também lidera a demanda nacional. O ecossistema nacional desenvolveu modelos abertos de referência como o BERTimbau, a família Albertina e os modelos da série Sabiá.

O Poder Judiciário brasileiro administra mais de 80 milhões de processos em tramitação, segundo dados consolidados do CNJ. O processamento de texto automatizado tornou-se o principal instrumento de viabilidade operacional das cortes superiores.

No Supremo Tribunal Federal, opera o Projeto Victor (Luz de Araujo et al., 2020). A ferramenta executa leitura óptica de autos, segmentação de peças e classificação de Repercussão Geral. A triagem inicial caiu de 40 minutos para menos de 5 segundos por processo.

Em âmbito nacional, o CNJ mantém a Plataforma Sinapses no Programa Justiça 4.0. A iniciativa padroniza APIs para que modelos de PLN desenvolvidos por um tribunal sejam compartilhados por outros órgãos judiciários do país.

A LGPD (Lei nº 13.709/2018) impulsiona o mercado nacional. Bancos e hospitais utilizam Reconhecimento de Entidades Nomeadas (NER) com esquemas IOB. A técnica mascara CPFs, nomes e prontuários médicos antes de qualquer tráfego externo.

No comércio eletrônico, a mineração de opinião apoia-se em recursos como o dataset aberto B2W-Reviews. Com mais de 130 mil avaliações de consumidores, o corpus permite treinar modelos sensíveis a gírias e expressões regionais brasileiras.

O avanço desse mercado apoia-se em três iniciativas científicas de destaque nacional:

1. BERTimbau (NeuralMind / Unicamp): treinado sobre o corpus BrWaC de 2,68 bilhões de tokens, continua sendo o padrão nacional para classificação contextual e tarefas discriminativas.
2. Albertina PT (Rodrigues et al., 2023): disponibilizou modelos baseados na arquitetura DeBERTa-v3 ajustados especificamente para as variantes linguísticas de Portugal e do Brasil.
3. Modelos Sabiá (Maritaca AI / Pires et al., 2023): modelos autorregressivos pré-treinados com corpora em português que superam soluções globais em exames nacionais e particularidades culturais brasileiras.

Perguntas Frequentes sobre Processamento de Linguagem Natural

O que significa a sigla PLN e qual a diferença para NLP?

PLN é a sigla em português para Processamento de Linguagem Natural, enquanto NLP corresponde à denominação em inglês (Natural Language Processing). Ambas as siglas referem-se rigorosamente ao mesmo campo científico da inteligência artificial. No mercado brasileiro de tecnologia, as duas formas são utilizadas como sinônimos intercambiáveis por pesquisadores e desenvolvedores.

Qual a diferença entre PLN clássico e Grandes Modelos de Linguagem?

O PLN clássico baseia-se em pipelines lineares com regras explícitas, análise morfológica e modelos estatísticos focados em tarefas discriminativas específicas. Já os Grandes Modelos de Linguagem (LLMs) utilizam bilhões de parâmetros sobre arquiteturas Transformer autorregressivas para resolver tarefas generativas amplas. Em sistemas corporativos modernos, ambas as abordagens coexistem de forma complementar.

É necessário utilizar placas de vídeo caras para rodar PLN em produção?

Não, a imensa maioria das tarefas transacionais de PLN roda com excelente desempenho em processadores convencionais de servidor. Algoritmos clássicos baseados em spaCy, Scikit-Learn e FastText exigem apenas frações de memória RAM e núcleos de CPU comuns. GPUs tornam-se mandatórias apenas para treinamento de redes profundas e inferência em modelos generativos de larga escala.

Por que a remoção de stop words não é recomendada em Transformers?

Modelos baseados em Transformers utilizam o mecanismo de auto-atenção para calcular como cada palavra se relaciona com todas as outras na sentença. Ao remover preposições, conjunções e pronomes, perde-se a estrutura sintática necessária para interpretar relações gramaticais complexas. Além disso, descartar palavras funcionais pode eliminar negações cruciais, invertendo o sentido original da frase.

Qual é o melhor modelo aberto para tarefas de classificação em português?

O modelo BERTimbau, disponibilizado pela NeuralMind e pesquisadores da Unicamp, continua sendo o padrão de referência aberto para classificação e extração em português brasileiro. Ele foi pré-treinado no corpus BrWaC com mais de 2,68 bilhões de tokens de texto nacional. Para aplicações baseadas em DeBERTa-v3, a família Albertina também oferece resultados de ponta em benchmarks acadêmicos.