Viés de seleção em backtest: por que o melhor resultado engana

Por Equipe Codexium · Publicado em 2026-11-11 · 9 min de leitura · Backtest e dados

Você testa 50 variações de uma regra em dados históricos, ordena pelo lucro e fica com a primeira da lista. O resultado é lindo: curva subindo, poucas perdas, taxa de acerto acima da média. Duas semanas depois, rodando de verdade, a mesma regra se comporta como qualquer outra. O que aconteceu? Na maioria das vezes, nada de misterioso: foi viés de seleção em backtest.

Este artigo explica o que é o viés de seleção, por que ele aparece sempre que escolhemos "a melhor" entre muitas estratégias, como ele se diferencia do overfitting e quais técnicas reduzem o problema. O foco é prático, voltado a quem testa robôs e regras de entrada na Deriv. Nenhum método descrito aqui transforma uma estratégia em lucrativa; ele só ajuda a não se enganar com os próprios números.

O que é viés de seleção em backtest

Viés de seleção é a distorção que surge quando o resultado que você reporta não é uma amostra neutra, mas o máximo de várias tentativas. Se você testa muitas configurações e escolhe a que teve o melhor desempenho no passado, esse desempenho tende a ser maior do que o desempenho esperado daquela configuração no futuro.

O motivo é estatístico: todo resultado de backtest tem uma parte "real" (se existir alguma vantagem) e uma parte de ruído, ou sorte da amostra. Quando você escolhe o maior número de uma lista, você está, ao mesmo tempo, escolhendo a estratégia com a maior dose de sorte. A sorte não se repete sob encomenda. No futuro, a parte de ruído volta para perto de zero, e o resultado "cai".

O fenômeno também é conhecido como data snooping, multiple testing ou "maldição do vencedor". Em finanças, ele explica boa parte dos sistemas que brilham no papel e decepcionam na prática.

Um exemplo simples com moedas

Imagine 100 pessoas jogando uma moeda honesta 50 vezes cada uma, tentando acertar cara ou coroa. Ninguém tem vantagem: a taxa de acerto esperada de todos é 50%. Mesmo assim, ao final, alguém vai ter acertado 32 ou 33 vezes, algo como 64% a 66%. Se você escolher essa pessoa e anunciar "estratégia com 65% de acerto", estará mostrando um número verdadeiro sobre o passado e totalmente enganoso sobre o futuro.

Troque "pessoas" por "combinações de parâmetros" e "moeda" por "contratos em índices sintéticos" e você tem o cenário de muitos backtests de robô. Nos índices sintéticos da Deriv, os preços são gerados por um processo aleatório. Isso torna o exemplo da moeda ainda mais próximo da realidade: muitas regras não têm vantagem nenhuma, e a melhor delas no histórico é, quase sempre, a que teve mais sorte.

Viés de seleção x overfitting

Os dois problemas andam juntos, mas não são a mesma coisa:

• Overfitting é ajustar demais uma regra aos detalhes de uma amostra, com muitos parâmetros, filtros e exceções, até ela "decorar" o passado. Explicamos isso no artigo sobre overfitting em trading.
• Viés de seleção pode acontecer mesmo com regras simples, sem nenhum ajuste fino. Basta testar muitas regras simples e reportar só a melhor.

Na prática, um alimenta o outro. Cada parâmetro novo multiplica o número de combinações testadas, e mais combinações significam um máximo mais alto por pura sorte.

Onde o viés de seleção aparece no dia a dia

Ele raramente vem com aviso. Alguns lugares comuns:

1. Otimização de parâmetros. Testar período de média, número de ticks, multiplicador e saída em grade e escolher a célula com maior lucro.
2. Escolha de ativos. Rodar a mesma regra em vários índices e ficar só com o que "funcionou".
3. Escolha de período. Mostrar o mês em que a estratégia foi bem e omitir os outros.
4. Ranking de combinações. Painéis que ordenam dezenas de combinações por resultado e destacam "as melhores".
5. Sinais e grupos. Canais que mostram apenas os prints das sequências vencedoras.
6. Rankings de robôs. Listas de "top robôs" baseadas em resultado passado de muitos participantes.

Note que em nenhum desses casos alguém precisa mentir. Os números podem ser exatos. O problema é a forma como foram escolhidos.

Como medir o tamanho do problema

Não existe correção perfeita, mas algumas perguntas e técnicas ajudam a estimar quanto do resultado é sorte de seleção.

Conte quantas variações você testou

O primeiro passo é honesto e simples: registre quantas configurações foram avaliadas antes de chegar à escolhida. Um resultado excelente entre 3 tentativas significa algo; o mesmo resultado entre 300 significa muito menos. Sem esse número, nenhum backtest pode ser interpretado.

Compare com o máximo esperado por acaso

Uma forma prática é rodar o mesmo processo de seleção em dados embaralhados ou em regras aleatórias e ver qual seria o "melhor resultado" só por sorte. Se a sua estratégia escolhida não supera com folga esse máximo aleatório, ela provavelmente não tem vantagem. Simulações desse tipo são parentes próximas do método descrito em Monte Carlo no trading.

Ajuste a significância para múltiplos testes

Quando muitas hipóteses são testadas ao mesmo tempo, a chance de pelo menos uma parecer significativa por acaso cresce rapidamente. Correções como Bonferroni (mais conservadora) ou o controle de taxa de falsas descobertas de Benjamini-Hochberg reduzem esse efeito. Se, depois do ajuste, nenhuma configuração continua significativa, o "vencedor" provavelmente é ruído.

Separe dados de escolha e dados de validação

Escolha a estratégia em um período e avalie em outro período que não foi usado na escolha (out-of-sample). Melhor ainda: use validação walk-forward, repetindo escolha e teste em janelas sucessivas. A queda de desempenho entre a fase de escolha e a de validação é uma estimativa direta do viés de seleção.

Exija amostra suficiente

Quanto menor a amostra de cada combinação, maior o ruído e maior o viés do vencedor. Uma combinação com "100% de acerto" em três entradas é quase pura sorte. O artigo sobre amostra mínima para avaliar um robô mostra como pensar no tamanho necessário.

Sinais de alerta em resultados de backtest

Desconfie quando:

• O relatório mostra só a melhor configuração, sem dizer quantas foram testadas.
• A taxa de acerto é muito superior ao que o payout exigiria para empatar, e a amostra é pequena. A relação entre esses números está em taxa de acerto vs payout.
• O desempenho cai muito logo depois que a estratégia começa a rodar ao vivo.
• Pequenas mudanças nos parâmetros destroem o resultado (sinal de que o pico era isolado).
• A estratégia só "funciona" em um ativo e um período específicos.

Nenhum desses sinais prova que a regra é inútil, mas cada um aumenta a probabilidade de que o número bonito seja efeito da seleção.

Boas práticas para o seu processo de teste

Para reduzir o viés de seleção nos seus próprios testes:

• Defina a hipótese antes de olhar os dados. Escreva o que vai testar e por quê.
• Limite o espaço de busca. Menos parâmetros e faixas mais estreitas significam menos chances de achar um vencedor por sorte.
• Registre tudo, inclusive as variações que falharam.
• Reserve dados intocados para a validação final e use-os uma única vez.
• Prefira regiões estáveis de parâmetros, em vez de picos isolados.
• Valide em demo com operações reais antes de qualquer capital. O resultado em demo também é uma amostra, mas é uma amostra que não participou da escolha.
• Olhe para métricas além do lucro, como drawdown e expectativa por operação. O guia de métricas de robô lista as principais.

Se você ainda está montando o fluxo de testes, comece pelo guia de backtest de robô na Deriv.

Viés de seleção nos painéis de robô

Muitos aplicativos de automação mostram rankings de combinações por resultado. Isso é útil para transparência, mas exige leitura crítica. No Bolli, o robô de Bandas de Bollinger do Codexium, a tela exibe estatísticas de shadow em papel por combinação, com marcações como "já ficou negativo" ou "nunca ficou negativo", e botões para ativar as positivas ou as melhores do momento. A própria interface avisa que execução real pode diferir do papel por comissão, latência e slippage e que resultado passado não garante resultado futuro.

Escolher "as melhores do momento" é, por definição, uma seleção sobre o passado, e o viés de seleção se aplica. A forma responsável de usar esse tipo de painel é tratar o ranking como hipótese, testar a escolha na conta demo com stops gerais definidos e comparar o resultado das operações reais em demo com o que o papel indicava. Explicamos como o Bolli funciona, passo a passo, no guia robô Bollinger na Deriv: como funciona o Bolli do Codexium.

Resumo

O viés de seleção em backtest acontece quando você escolhe a melhor estratégia entre muitas testadas: o resultado escolhido carrega a maior dose de sorte da amostra e tende a cair no futuro. Ele é diferente do overfitting, mas os dois se reforçam. Para medir e reduzir o problema, conte quantas variações testou, compare com o máximo esperado por acaso, ajuste a significância para múltiplos testes, valide fora da amostra, exija amostra suficiente e teste em demo. Nenhuma dessas técnicas cria vantagem onde ela não existe; elas apenas impedem que você confunda sorte com estratégia.

Perguntas frequentes

O que é viés de seleção em backtest?

É a distorção que surge quando você testa muitas estratégias ou parâmetros e reporta só o melhor resultado. O vencedor carrega a maior dose de sorte da amostra, então o desempenho futuro tende a ser pior.

Qual a diferença entre viés de seleção e overfitting?

Overfitting é ajustar demais uma regra aos detalhes do passado. Viés de seleção pode ocorrer mesmo com regras simples, apenas por escolher a melhor entre muitas. Os dois costumam aparecer juntos.

Como reduzir o viés de seleção nos meus testes?

Registre quantas variações testou, limite o espaço de busca, reserve dados fora da amostra para validação, use correções para múltiplos testes e confirme a escolha em conta demo antes de qualquer capital.

Uma combinação com 100% de acerto em poucas entradas é confiável?

Não. Com poucas entradas, um resultado perfeito é muito provável por acaso, principalmente se ela foi escolhida entre várias. É preciso uma amostra bem maior e validação fora do período de escolha.

Rankings de robôs e combinações têm viés de seleção?

Sim, sempre que destacam os melhores resultados passados entre muitos candidatos. Use o ranking como ponto de partida para testar, não como previsão de resultado.