Explain! Explain! Explain!


Predictive modeling is fun. With random forest, xgboost, lightgbm and other elastic models…
Problems start when someone is asking how predictions are calculated.
Well, some black boxes are hard to explain.
And this is why we need good explainers.

In the June Aleksandra Paluszynska defended her master thesis Structure mining and knowledge extraction from random forest. Find the corresponding package randomForestExplainer and its vignette here.

In the September David Foster published a very interesting package xgboostExplainer. Try it to extract useful information from a xgboost model and create waterfall plots that explain variable contributions in predictions. Read more about this package here.

In the October Albert Cheng published lightgbmExplainer. Package with waterfall plots implemented for lightGBM models. Its usage is very similar to the xgboostExplainer package.

Waterfall plots that explain single predictions are great. They are useful also for linear models. So if you are working with lm() or glm() try the brand new breakDown package (hmm, maybe it should be named glmExplainer). It creates graphical explanations for predictions and has such a nice cheatsheet:

breakDownCheatsheet

Install the package from https://pbiecek.github.io/breakDown/.

Thanks to RStudio for the cheatsheet’s template.

4 myśli na temat “Explain! Explain! Explain!”

  1. Jak takie wykresy wyglądaj gdy model ma >100 zmiennych? Pomnijeszana jest czcionka? Warto zwiększyć rozmiar wykresu? Może pokazać magiczne ‘top N’ zmiennych wtedy względem jakiejś miary (dopasowana p-wartość brzmi Ok)?

    1. Magiczne top N to dobry pomysł, wrzuć issue na githuba. Co do p-wartości to testowanie hipotez jest passé ;-)

  2. A można prosić o jakiś dobry link na ten temat? Może temat po prostu nie jest prosty, ale czytam o tym już któryś raz i wciąż nie rozumiem dlaczego p-values są złe.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Możesz użyć następujących tagów oraz atrybutów HTML-a: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">