01
Wyniki w rozbiciu na instrumenty
Jak czytać wykres: jakość prognoz z podziałem na spółki. Accuracy to odsetek poprawnych ocen sytuacji, Recall to zdolność ostrzegania, czyli jaki procent rzeczywistych skoków ryzyka model wychwycił.
Poniżej gotowe wyniki dla 20 spółek z różnych sektorów i rynków, odświeżane co tydzień. Niżej możesz przetestować własne spółki.
Czym jest backtest?
Backtest sprawdza, jak model sprawdziłby się w przeszłości, kiedy nie znał jeszcze przyszłości. Dla każdego roku historii model uczy się tylko na danych sprzed tego roku i przewiduje, czy w kolejnych 20 sesjach zmienność spółki będzie w górnym kwartylu jej historii. Potem porównujemy prognozy z tym, co naprawdę się stało. Ta metoda to walk-forward: bez „podglądania” przyszłości, więc wyniki są uczciwe.
Jaki procent dni model ocenił poprawnie. Uwaga: ryzykowne okresy to tylko ok. 25% dni, więc model, który zawsze mówi „spokojnie”, miałby ok. 75%. Samo accuracy nie wystarcza.
Jaki procent faktycznie niespokojnych okresów model zdołał wykryć. Im wyższy, tym mniej „przeoczeń”, ale zwykle kosztem większej liczby fałszywych alarmów.
Jak dobrze model odróżnia okresy spokojne od niespokojnych. 0,5 to rzut monetą, 1,0 to model idealny. W praktyce wartości 0,65-0,80 są dobrym wynikiem dla tego typu prognoz.
Gotowe wyniki
Wczytywanie...
Własny test
| Spółka | Rynek | Sektor | Accuracy | Recall | AUC |
|---|
01
Jak czytać wykres: jakość prognoz z podziałem na spółki. Accuracy to odsetek poprawnych ocen sytuacji, Recall to zdolność ostrzegania, czyli jaki procent rzeczywistych skoków ryzyka model wychwycił.
02
Jak czytać wykres: faktyczne stany rynku (oś Y) kontra przewidywania modelu (oś X). Przekątna to trafne diagnozy. Lewy dolny róg to „przeoczenia”, a prawy górny to „fałszywe alarmy”.
03
Jak czytać wykres: stosunek udanych wykryć ryzyka (TPR) do fałszywych alarmów (FPR). Im wyżej i bardziej w lewo wygina się krzywa względem przekątnej, tym lepszy model. AUC 0,5 to rzut monetą, 1,0 to model idealny.
04
Jak czytać wykres: cechy uszeregowane według wpływu na decyzje modelu. Im wyższa wartość, tym większą rolę dana zmienna odegrała w ostrzeganiu przed wzrostem ryzyka.