1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Machine Learning for Marketing Analytics in R
Connected

cvičení

Hodnocení přesnosti modelu na nových datech

Teď už víš, že má větší smysl sledovat přesnost modelu na nových (out-of-sample) datech než na těch, na kterých byl natrénován. V tomto cvičení proto sestavíš míru přesnosti na out-of-sample datech.

Nejdřív ale budeš muset provést několik přípravných kroků. Pracuj opět s defaultData. V prostředí máš již načtený model logitModelNew.

Měj na paměti, že při kompletní analýze bys vždy musel/a porovnávat různé kandidátní modely také – a zejména – na out-of-sample datech.

In-sample přesnost při optimálním prahu 0,3 je 0.7922901. Ujisti se, že rozumíš tomu, zda dochází k overfittingu.

Pokyny

100 XP

  • Nejprve náhodně rozděl datovou sadu na trénovací a testovací část. Trénovací sada má obsahovat 2/3 celkových dat.

  • Poté rychle spusť model a pojmenuj ho logitTrainNew. Použij zadaný vzorec.

  • Proveď predikce na testovací sadě a vypočítej out-of-sample přesnost pomocí konfuzní matice. Poznámka: SDMTools již nelze stáhnout z CRANu. Na svém počítači ho nainstaluj přes remotes::install_version("SDMTools", "1.1-221.2").

  • Porovnej out-of-sample přesnost s in-sample hodnotou uvedenou výše.