PASS/FAIL zamiast profit factor: jak oceniam bota pod challenge

W skrócie: challenge nie nagradza wysokiego profit factora. Nagradza zaliczenie celu przed przekroczeniem limitów. Dlatego bota na prop oceniam przede wszystkim po liczbie zaliczonych i utraconych cykli w teście z włączonymi regułami firmy, a profit factor i drawdown traktuję jako kontekst. Samą liczbę zaliczeń czytam razem z liczbą cykli.

Dlaczego PF nie wystarcza

Profit factor mówi, ile bot zarabia na jednego straconego dolara, ale nie mówi, czy po drodze naruszył dzienny limit straty albo maksymalny drawdown, czyli warunki, przy których konto znika. Dwa boty z tym samym PF mogą mieć zupełnie inne szanse na PASS: jeden z równym przebiegiem, drugi z jednym głębokim dołkiem, który w teście bez reguł firmy jest niewidoczny. Test z wyłączonymi regułami prop odpowiada na pytanie o strategię, ale nie o challenge. Do filtrów i porównań ustawień wejścia przydaje się (artykuł o ocenie filtra), lecz końcowy werdykt robię z włączonymi regułami.

Jak liczę cykle

W teście z regułami firmy symuluję kolejne challenge’e w jednym przebiegu: zaczynam cykl, gdy poprzedni się kończy zaliczeniem albo porażką. Każdy cykl ma trzy końce: PASS (cel osiągnięty), FAIL przez limit straty i FAIL przez czas. Z jednego rocznego testu dostaję więc n cykli. Dodatkowo powtarzam test z różnym dniem startu, o czym piszę w artykule o optymalizacji dat startu.

10/10 to nie 100/100

Goły odsetek zaliczeń nie odróżnia małej próbki od dużej. Liczę dolną granicę przedziału ufności Wilsona (95%), czyli pesymistyczną ocenę, którą próbka jeszcze uzasadnia.

Liczby policzone wzorem Wilsona, nie wynikami konkretnych botów. Dwa boty z “10 zaliczonych na 10” i “100 na 100” mają ten sam odsetek i zupełnie inną wiarygodność. Przedział Wilsona zachowuje się rozsądnie nawet przy skrajnych wartościach (0% i 100%), gdzie prosty przedział normalny dawałby zerową szerokość i fałszywą pewność.

Pułapka porównywania interwałów

Bot na krótkim interwale mieści więcej cykli w tym samym roku, bo jego cykl trwa krócej. Większe n daje wyższą dolną granicę, ale nie znaczy, że strategia jest lepsza. Dlatego nie porównuję dolnych granic między botami z różnych interwałów. Pokazuję n obok wyniku, a bota z małą próbką traktuję jako “za mało danych”, zamiast zaliczać go lub odrzucać.

Co jeszcze sprawdzam

• Margines wobec limitów. Czy najgorszy dzień zbliża się do dziennego limitu. Bot, który zalicza cele, ale co jakiś czas schodzi blisko limitu, jest kruchy.
• Różne serwery. To samo ustawienie na kilku brokerach. Zaliczenie tylko u jednego to znak przeuczenia do jego danych.
• Jakość próbki. Pojedynczy zaliczony cykl z dwóch transakcji to szczęście, nie przewaga.
• PF i drawdown na końcu jako kontekst, nie kryterium.

[DO UZUPEŁNIENIA: wynik konkretnego bota w tym systemie (zaliczone / utracone i dolna granica), jeśli chcesz pokazać przykład]

Checklista

• Test robię z włączonymi regułami firmy.
• Znam liczbę cykli n i podaję ją obok wyniku.
• Liczę dolną granicę Wilsona, a nie goły odsetek.
• Nie porównuję dolnych granic między różnymi interwałami.
• Sprawdziłem margines wobec dziennego limitu i wynik na drugim serwerze.
• Profit factor traktuję jako kontekst.

Powiązane

• Reguła konsekwencji: jak ją liczyć
• Optymalizacja dat startu
• Risk of ruin
• Monte Carlo transakcji
• Pojęcia z artykułu: słowniczek, skorowidz

Ostrzeżenie: handel CFD i forex wiąże się z wysokim ryzykiem utraty kapitału. Artykuł ma charakter edukacyjny i nie jest rekomendacją inwestycyjną.