Amostra mínima para avaliar um robô de trading
"O robô acertou 18 de 20 operações hoje." Frases assim aparecem todos os dias em grupos sobre a Deriv, e quase sempre vêm acompanhadas de uma conclusão apressada. O problema não é o número em si, e sim o tamanho da amostra. Com poucas operações, a sorte produz resultados que parecem habilidade. Este artigo mostra, com contas simples, qual é a amostra mínima para avaliar um robô de trading e como planejar um teste que diga alguma coisa útil.
A ideia central: toda métrica medida tem uma margem de erro, e essa margem só diminui com volume. Antes de olhar métricas de desempenho de robô, é preciso saber se há operações suficientes para que elas signifiquem algo.
Por que poucas operações enganam
Imagine uma regra sem nenhuma vantagem, em um contrato com 50% de chance. Em 20 operações, ela pode facilmente acertar 13 ou 14 vezes por acaso. Se mil pessoas testarem regras aleatórias por 20 operações, algumas delas vão terminar com resultados excelentes, e são justamente essas que aparecem em prints e vídeos.
Esse efeito tem dois componentes:
- Variância. Resultados de curto prazo oscilam muito em torno do valor verdadeiro.
- Seleção. Entre muitos testes, os que deram certo por acaso são os que chamam atenção. Esse é o mesmo mecanismo do overfitting no trading, só que aplicado à escolha de robôs em vez de parâmetros.
Por isso a pergunta certa não é "quanto o robô acertou?", e sim "com quantas operações, e qual é a incerteza desse número?".
Margem de erro da taxa de acerto
Para uma taxa de acerto, a margem de erro aproximada com 95% de confiança é:
margem ≈ 1,96 × √( p × (1 − p) ÷ n )
em que p é a taxa de acerto medida e n é o número de operações. Para um contrato perto de 50%, os valores ficam assim:
| Operações | Margem de erro aproximada (95%) |
|---|---|
| 20 | ± 21,9 pontos percentuais |
| 100 | ± 9,8 pontos |
| 400 | ± 4,9 pontos |
| 1.000 | ± 3,1 pontos |
| 2.500 | ± 2,0 pontos |
| 10.000 | ± 1,0 ponto |
Traduzindo: um robô que acertou 55% em 100 operações tem taxa verdadeira em algum lugar entre cerca de 45% e 65%. Isso inclui regras perdedoras. Com 20 operações, o intervalo é tão largo que praticamente não informa nada.
O que precisa ser provado: o ponto de equilíbrio
Medir a taxa de acerto só é útil quando comparada com o acerto mínimo que o payout exige. Em contratos de ganho fixo, o ponto de equilíbrio é:
acerto mínimo = 1 ÷ (1 + payout)
Com payout líquido de 95%, o acerto mínimo é 1 ÷ 1,95 ≈ 51,3%. A relação completa está explicada em taxa de acerto vs payout.
Agora junte as duas ideias. Suponha que a taxa verdadeira do robô seja 53%, ou seja, 1,7 ponto acima do equilíbrio. Para que a margem de erro fique menor do que essa diferença, é preciso algo em torno de 3.200 operações. Com menos do que isso, mesmo um robô realmente vantajoso não se distingue estatisticamente de um robô no zero a zero. E quanto menor a vantagem, maior a amostra: a quantidade necessária cresce com o inverso do quadrado da diferença.
Vale lembrar que, nos índices sintéticos, os ticks são gerados por algoritmo aleatório. Uma vantagem real e persistente é, no mínimo, rara. O mais comum é que a amostra grande apenas confirme a expectativa matemática negativa do contrato.
E quando o resultado não é só ganha ou perde
Em contratos com resultado variável, como multiplicadores com stop e take profit, a taxa de acerto diz pouco. O que importa é o resultado médio por operação e a sua variabilidade. A incerteza da média segue a mesma lógica:
margem da média ≈ 1,96 × s ÷ √n
em que s é o desvio padrão dos resultados por operação. Exemplo: se cada operação varia, em média, US$ 15 para cima ou para baixo (desvio padrão de 15) e o resultado médio medido é −US$ 0,50, com 100 operações a margem é de cerca de ± US$ 2,94. O verdadeiro resultado médio pode estar entre −US$ 3,44 e +US$ 2,44. Para que a margem caia para ± US$ 0,50, seriam necessárias cerca de 3.500 operações.
Dois cuidados extras nesse caso:
- Poucos resultados grandes dominam a média. Um único ganho ou perda fora do padrão pode mudar o sinal do resultado em amostras pequenas. Olhe também a mediana e o maior ganho e a maior perda.
- Custos entram na conta. Comissões e spreads reduzem cada operação e precisam estar no registro, não estimados depois.
A regra de três para "nunca perdeu"
Às vezes o argumento é o contrário: "o robô nunca teve um dia negativo" ou "nunca bateu o stop". Quando um evento não aconteceu em n tentativas, uma aproximação útil é que a taxa verdadeira pode ser de até cerca de 3 ÷ n com 95% de confiança.
Assim, zero stops em 30 operações é compatível com uma taxa real de stop de até 10%. Zero dias negativos em 15 dias é compatível com até 20% de dias negativos. "Nunca aconteceu" em amostra pequena quer dizer muito pouco.
Sequências de perdas também dependem da amostra
O pior momento que você vai enfrentar cresce com o número de operações. Em 100 operações com 50% de chance, uma sequência de 5 perdas seguidas aparece em cerca de 81% dos casos, e uma de 7 em cerca de 32%. Um teste curto quase sempre subestima o drawdown que virá depois. Uma simulação Monte Carlo ajuda a ver a distribuição de drawdowns e sequências esperadas para a mesma regra.
Como planejar o teste de um robô
Com esses números em mente, um teste honesto segue alguns princípios:
- Defina a amostra antes de começar. Escolha o número de operações, por exemplo 1.000, e não pare antes só porque o resultado ficou bonito ou feio. Parar no melhor momento é outra forma de viés de seleção.
- Não mude as regras no meio. Cada ajuste de parâmetro reinicia a contagem. Juntar operações de versões diferentes mistura robôs diferentes.
- Separe dados de ajuste e de validação. Se a regra foi calibrada em um período, avalie em outro. O passo a passo está em backtest de robô na Deriv.
- Registre tudo. Cada operação com horário, contrato, entrada, resultado e custos. Sem log completo não há amostra confiável.
- Use a conta demo para o volume. Ela permite acumular centenas de operações reais de execução sem arriscar saldo, com latência e erros de verdade.
- Avalie por combinação. Se o robô tem várias configurações, cada uma precisa da sua própria amostra. Dez combinações com 30 operações cada não equivalem a uma com 300.
- Compare com o equilíbrio, não com zero. O que importa é se a taxa ou o resultado médio supera o necessário para cobrir payout e custos, com a margem de erro já considerada.
Uma tabela de referência rápida
| Situação | O que dá para concluir |
|---|---|
| Menos de 100 operações | Quase nada sobre vantagem; serve para testar se o robô funciona tecnicamente |
| 100 a 500 operações | Detecta problemas grandes, como expectativa muito negativa ou erros de execução |
| 1.000 a 3.000 operações | Começa a separar regras claramente ruins de regras próximas do equilíbrio |
| Mais de 3.000 operações, em dados novos | Permite discutir vantagens pequenas, ainda sem garantia de futuro |
Esses números são referências para contratos perto de 50%, não regras fixas. Contratos com probabilidade muito diferente, payouts maiores ou resultados variáveis exigem a conta específica.
Resumo
A amostra mínima para avaliar um robô de trading depende do tamanho da vantagem que se quer provar, e vantagens pequenas exigem milhares de operações. Com 100 operações, a margem de erro da taxa de acerto é de cerca de 10 pontos percentuais, larga demais para qualquer conclusão sobre lucro. Defina a amostra antes, não mude regras no meio, avalie cada configuração separadamente e compare com o ponto de equilíbrio. Mesmo uma amostra grande descreve o passado e não garante resultado futuro. Operar contratos de curto prazo envolve alto risco de perda.
Um exemplo prático de leitura de amostra e porcentagem está em assertividade do robô na Deriv.
Perguntas frequentes
Quantas operações são necessárias para avaliar um robô de trading?
Depende da vantagem que se quer comprovar. Com 100 operações, a margem de erro da taxa de acerto é de cerca de 10 pontos percentuais. Para distinguir uma vantagem de 1 a 2 pontos acima do equilíbrio, são necessárias algumas milhares de operações, de preferência em dados que não foram usados para ajustar o robô.
20 ou 30 operações positivas mostram que o robô é bom?
Não. Com tão poucas operações, regras sem nenhuma vantagem produzem resultados muito bons por acaso com frequência. Esse volume serve para testar se o robô funciona tecnicamente, não para avaliar lucro.
Backtest com muitas operações substitui o teste na demo?
Não totalmente. O backtest dá volume, mas pode ignorar latência, falhas de conexão e ordens não executadas. O ideal é usar os dois: backtest com dados fora da amostra e um período na conta demo com o mesmo código.
Como calcular a margem de erro da taxa de acerto?
Uma aproximação é 1,96 multiplicado pela raiz de p vezes (1 − p) dividido por n, em que p é a taxa medida e n o número de operações. Para p perto de 50% e 1.000 operações, a margem fica em torno de 3 pontos percentuais.
Uma amostra grande garante que o robô vai continuar lucrando?
Não. Ela só reduz a chance de o resultado medido ser fruto do acaso. O comportamento do robô pode mudar com o tempo, e nos índices sintéticos os ticks são gerados aleatoriamente, então vantagens persistentes são raras.
