RAG Híbrido em Produção: BM25, pgvector e Reciprocal Rank Fusion

A busca vetorial pura falha em consultas corporativas exatas que exigem identificadores específicos, códigos e termos técnicos. Sistemas de inteligência artificial em produção resolvem esse ponto cego combinando recuperação densa e esparsa. A integração do BM25 lexical com índices vetoriais HNSW no PostgreSQL forma a base do RAG híbrido moderno.

A fusão de resultados de diferentes naturezas exige métodos determinísticos sem pesos arbitrários. O algoritmo Reciprocal Rank Fusion (RRF) unifica ranqueamentos com estabilidade matemática comprovada (estudo de Cormack, Clarke & Büttcher na ACM SIGIR).

Por que a recuperação vetorial isolada falha no ambiente corporativo

A busca densa converte blocos de texto em vetores numéricos contínuos por meio de modelos de embedding. Esse modelo mede a proximidade contextual entre a pergunta do usuário e os documentos armazenados.

Apesar da eficácia para conceitos amplos, a busca por similaridade de cosseno ignora restrições literais exatas. Três gargalos operacionais afetam bases corporativas reais:

• Ponto cego para identificadores: Consultas por códigos de peças, identificadores de erro de software, números de processos e siglas corporativas sofrem degradação de precisão.
• Distorção de negações e nuances sintáticas: Textos semanticamente próximos com significados opostos recebem pontuações de similaridade quase idênticas no espaço latente.
• Custo e pressão sobre a memória: Índices HNSW exigem manutenção contínua de grafos em memória RAM. Isso encarece a infraestrutura sem garantir precisão pontual (documentação oficial do pgvector).

Esses fatores explicam por que arquiteturas de produção não utilizam vetores de forma isolada. A camada lexical continua sendo essencial para a precisão dos dados.

Recuperação esparsa com BM25 e busca textual nativa

O algoritmo BM25 calcula a relevância documental baseando-se na frequência ponderada de termos e no comprimento relativo dos textos (estudo de Robertson & Zaragoza).

Diferente da contagem simples de palavras, o BM25 aplica uma curva de saturação não-linear na frequência do termo (TF). Ele também penaliza palavras que aparecem indistintamente em toda a base (IDF):

Score_BM25(D, Q) = ∑ IDF(q_i) × Sat(q_i, D)

Os parâmetros padrão do algoritmo equilibram a sensibilidade:

• k_1 (valor típico 1.2 a 1.5): controla a velocidade de saturação da repetição de uma mesma palavra no documento.
• b (valor típico 0.75): calibra o impacto da normalização pelo tamanho do texto em relação à média da base (avgdl).

-- Tabela unificada no PostgreSQL com busca vetorial e textual
CREATE TABLE corporate_knowledge (
    id BIGSERIAL PRIMARY KEY,
    content TEXT NOT NULL,
    metadata JSONB DEFAULT '{}'::jsonb,
    tsv TSVECTOR GENERATED ALWAYS AS (to_tsvector('portuguese', content)) STORED,
    embedding VECTOR(1536)
);

-- Índices de alta performance para execução paralela
CREATE INDEX idx_knowledge_gin ON corporate_knowledge USING GIN(tsv);
CREATE INDEX idx_knowledge_hnsw ON corporate_knowledge USING hnsw (embedding vector_cosine_ops) 
WITH (m = 16, ef_construction = 64);

A criação conjunta desses índices permite que o PostgreSQL execute buscas lexicais e semânticas em milissegundos sem serviços adicionais.

Como o Reciprocal Rank Fusion unifica ranqueamentos heterogêneos

O Reciprocal Rank Fusion resolve o desafio de mesclar pontuações de grandezas incompatíveis combinando a posição ordinal de cada documento.

A similaridade de cosseno atua no intervalo [0.0, 1.0], enquanto pontuações de BM25 operam no intervalo [0, ∞). A normalização linear ingênua (Min-Max) varia conforme o conjunto recuperado e distorce a ordenação.

O RRF elimina essa fragilidade operando exclusivamente sobre a posição no ranking:

Score_RRF(d) = ∑ 1 ÷ (k + rank_m(d))

Onde:

• rank_m(d): posição ordinal do documento d na lista do método m (1 para o primeiro colocado).
• k: constante de suavização empírica calibrada em 60, conforme demonstrado no estudo de Cormack, Clarke e Büttcher na ACM SIGIR.

-- Função de busca híbrida com fusão RRF nativa no banco de dados
WITH dense_search AS (
    SELECT id, ROW_NUMBER() OVER (ORDER BY embedding <=> $1) AS rank_dense
    FROM corporate_knowledge
    ORDER BY embedding <=> $1
    LIMIT 60
),
sparse_search AS (
    SELECT id, ROW_NUMBER() OVER (ORDER BY ts_rank_cd(tsv, plainto_tsquery('portuguese', $2)) DESC) AS rank_sparse
    FROM corporate_knowledge
    WHERE tsv @@ plainto_tsquery('portuguese', $2)
    ORDER BY rank_sparse ASC
    LIMIT 60
)
SELECT 
    COALESCE(d.id, s.id) AS document_id,
    COALESCE(1.0 / (60 + d.rank_dense), 0.0) + 
    COALESCE(1.0 / (60 + s.rank_sparse), 0.0) AS rrf_score
FROM dense_search d
FULL OUTER JOIN sparse_search s ON d.id = s.id
ORDER BY rrf_score DESC
LIMIT 20;

A constante k = 60 reduz o peso de oscilações nas primeiras posições. Ela garante que documentos recuperados por ambas as vias alcancem o topo da lista.

Reranking com Cross-Encoder no pipeline de dois estágios

O pipeline de dois estágios combina velocidade de recuperação em larga escala com precisão profunda de atenção textual.

O modelo Bi-Encoder gera representações estáticas para consultas e documentos de forma independente. O modelo Cross-Encoder processa os dois textos conjuntamente através de todas as camadas de atenção do Transformer (guia de reranking da Cohere):

import { CohereClient } from "cohere-ai";

interface SearchCandidate {
  id: number;
  content: string;
  rrfScore: number;
}

export async function rerankCandidates(
  query: string,
  candidates: SearchCandidate[],
  apiKey: string
): Promise<SearchCandidate[]> {
  const cohere = new CohereClient({ token: apiKey });
  
  const response = await cohere.v2.rerank({
    model: "rerank-v3.5",
    query: query,
    documents: candidates.map((c) => c.content),
    topN: 5,
  });

  return response.results.map((item) => ({
    ...candidates[item.index],
    relevanceScore: item.relevanceScore,
  }));
}

O filtro prévio via RRF descarta ruído antes do envio dos trechos ao modelo final. A seleção envia apenas contexto de alta qualidade para o LLM (diretrizes de precisão da OpenAI).

Implementação da arquitetura em 15 dias no Programa MaxVision

O Programa MaxVision estrutura a implementação do RAG híbrido diretamente no ambiente em nuvem do cliente.

Em vez de depender de soluções externas opacas ou contratos de consultoria demorados, o método opera em sprints práticos de engenharia de software:

• Infraestrutura no ambiente do cliente (BYOK): Banco PostgreSQL configurado na VPC corporativa, garantindo soberania técnica e conformidade com a LGPD.
• Sessões 1:1 ao vivo com o founder técnico: 2 chamadas técnicas semanais ao vivo e gravadas em 15 dias para estruturar base e fluxos.
• Entregável em produção: Código versionado, índices otimizados, queries de RRF testadas e pipeline de reranking em funcionamento real.
• Acesso por aplicação: Formato intensivo com limite de 2 vagas mensais pelo valor de R$ 1.997 (conforme detalhado na página comercial /maxvision).

Essa metodologia assegura que a empresa mantenha o controle total da arquitetura sem taxas recorrentes de plataformas proprietárias.

Perguntas Frequentes sobre Arquitetura de RAG Híbrido

Por que não usar apenas busca vetorial com modelos de embedding modernos?

Modelos de embedding comprimem o significado de frases em vetores densos, mas perdem precisão com códigos específicos, números de processos e termos técnicos raros. O BM25 garante correspondência literal exata onde a proximidade semântica é insuficiente.

Qual é a diferença entre RRF e a média ponderada de scores?

A média ponderada requer normalização prévia e calibração constante de pesos entre diferentes escalas. O RRF opera com as posições ordinais dos resultados, assegurando estabilidade sem calibração manual contínua.

É viável rodar o RAG híbrido inteiramente no PostgreSQL?

Sim. A combinação do tipo tsvector com a extensão pgvector viabiliza buscas lexicais e semânticas simultâneas com índices GIN e HNSW em uma única infraestrutura.

O que o Cross-Encoder faz de diferente do Bi-Encoder?

O Bi-Encoder gera vetores isolados para a pergunta e para o documento, permitindo buscas rápidas. O Cross-Encoder processa os dois textos simultaneamente através de atenção cruzada, avaliando a relevância com maior profundidade sintática.

Fontes e referências técnicas

• Cormack, G. V., Clarke, C. L., & Büttcher, S. (2009). Reciprocal rank fusion outperforms Condorcet and individual rank learning methods. Proceedings of the 32nd international ACM SIGIR conference on Research and development in information retrieval (SIGIR '09), pp. 758–759. DOI: 10.1145/1571941.1572114.
• Robertson, S., & Zaragoza, H. (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval, 3(4), pp. 333–389. DOI: 10.1561/1500000019.
• pgvector Contributors (2024-2026). Open-source vector similarity search for Postgres: HNSW and IVFFlat indexing. Documentação técnica oficial: github.com/pgvector/pgvector.
• Cohere AI (2024-2026). Reranking and Hybrid Search Best Practices in Enterprise Information Retrieval. Documentação técnica: docs.cohere.com/docs/reranking-best-practices.
• OpenAI Platform Documentation (2024-2026). Production Best Practices, Grounding & Context Engineering. Guia técnico: platform.openai.com/docs/guides/optimizing-llm-accuracy.
• Anthropic Engineering (2024-2026). Contextual Retrieval and Retrieval-Augmented Generation at Scale. Artigo técnico: anthropic.com/news/contextual-retrieval.