Métricas de desempenho de robô: o que medir
Um print com o saldo subindo não diz quase nada sobre um robô de trading. Para saber se uma regra tem chance de se sustentar, é preciso olhar um conjunto de métricas de desempenho, calculadas sobre muitas operações e, de preferência, em dados que não foram usados para criar a regra. Neste artigo listamos as métricas que mais importam, como calcular cada uma e o que elas revelam que o lucro acumulado esconde.
Taxa de acerto
É a fração de operações vencedoras: acertos divididos pelo total. É a métrica mais citada e, sozinha, a mais enganosa. Uma taxa de 60% pode ser excelente ou péssima, dependendo de quanto o robô ganha em cada acerto e perde em cada erro. Por isso ela sempre deve ser lida junto com o payout. O artigo taxa de acerto vs payout mostra essa relação em detalhe.
Payoff médio
É o ganho médio de uma operação vencedora dividido pela perda média de uma perdedora. Em contratos de pagamento fixo, como os de dígitos, ele é praticamente o próprio payout líquido. Em estratégias com alvos e stops variáveis, ele muda bastante e precisa ser medido.
Expectativa por operação
A expectativa junta as duas métricas anteriores em um único número: quanto o robô ganha ou perde, em média, por unidade arriscada. A fórmula é:
expectativa = taxa de acerto × payoff − (1 − taxa de acerto)
Com 50% de acerto e payoff de 0,83, por exemplo, a expectativa é 0,5 × 0,83 − 0,5 = −0,085, ou seja, perda média de 8,5% do valor de cada entrada. Se a expectativa for negativa, nenhuma gestão de entrada transforma a regra em positiva no longo prazo. Aprofundamos o conceito em expectativa matemática no trading.
Fator de lucro
É a soma de todos os ganhos dividida pela soma de todas as perdas. Valores acima de 1 indicam lucro no período, abaixo de 1 indicam prejuízo. No exemplo acima, com entradas iguais, o fator de lucro seria 0,415 / 0,5 = 0,83. É uma métrica fácil de ler, mas sensível a poucas operações grandes, por isso deve vir acompanhada do número de operações.
Drawdown máximo
Drawdown é a queda do saldo a partir de um pico anterior. O drawdown máximo é a maior dessas quedas no período testado, em valor ou em percentual. Ele responde à pergunta mais prática de todas: quanto da banca eu teria visto desaparecer no pior momento? Um robô com bom lucro final e drawdown de 70% dificilmente seria suportado na vida real, seja pela banca, seja pelo emocional.
Maior sequência de perdas
Em regras com progressão, como martingale ou gale, a sequência de perdas é o que determina a quebra. Mesmo em regras de entrada fixa, ela mostra quanto tempo o robô pode ficar no negativo. Lembre que a maior sequência observada em um teste não é a maior possível: com mais operações, sequências maiores aparecem. O artigo risco de ruína traz as probabilidades.
Tamanho da amostra e intervalo de confiança
Toda métrica calculada em poucas operações tem uma margem de erro grande. Para uma taxa de acerto perto de 50%, a margem aproximada de 95% de confiança é:
| Operações | Margem aproximada |
|---|---|
| 100 | ± 9,8 pontos percentuais |
| 500 | ± 4,4 pontos |
| 1.000 | ± 3,1 pontos |
| 10.000 | ± 1,0 ponto |
Ou seja, um robô que acertou 56% em 100 operações pode, na verdade, ter taxa real de 47% ou de 65%. Antes de comemorar, aumente a amostra.
Desempenho fora da amostra
Se as regras do robô foram ajustadas olhando para um período de dados, as métricas desse período estarão infladas. O teste honesto é rodar a regra, sem mudar nada, em dias novos que não participaram do ajuste. Quando a taxa cai bastante fora da amostra, é sinal de overfitting. Um bom backtest de robô já separa esses períodos desde o início.
Resumo
Para avaliar um robô, não basta olhar o saldo final. Meça taxa de acerto e payoff, combine as duas na expectativa por operação, acompanhe fator de lucro, drawdown máximo e maior sequência de perdas, e sempre considere o tamanho da amostra e o desempenho em dados novos. Nenhuma métrica garante resultado futuro, mas o conjunto delas mostra se uma regra tem fundamento ou se é só uma fase de sorte. Veja mais em backtest e dados.
Essas métricas só são confiáveis se o registro for completo; veja como ler logs de um robô de trading.
Antes de confiar em qualquer métrica, confira se há operações suficientes; veja a amostra mínima para avaliar robô.
Perguntas frequentes
Quais métricas usar para avaliar um robô de trading?
Taxa de acerto, payoff, expectativa por operação, fator de lucro, drawdown máximo e maior sequência de perdas, sempre considerando o tamanho da amostra.
Taxa de acerto alta significa robô bom?
Não necessariamente. Se as perdas forem maiores do que os ganhos, um robô com taxa de acerto alta ainda pode ter expectativa negativa. A taxa precisa ser lida junto com o payout.
O que é drawdown máximo?
É a maior queda do saldo a partir de um pico até o ponto mais baixo seguinte. Ele mostra quanto de perda acumulada você teria de suportar.
Quantas operações são necessárias para confiar nas métricas?
Quanto mais, melhor; poucas dezenas de operações variam muito por acaso. Também é importante testar a regra em dados novos que não foram usados para ajustá-la.
Métricas boas no passado garantem resultado futuro?
Não. Elas ajudam a descartar regras sem fundamento, mas o desempenho futuro pode ser diferente, principalmente se houve overfitting.
