Porovnání výkonu kvantizovaného modelu
Vyhodnocení výkonu modelu nestojí jen na přesnosti. Kvantizované modely často nabízejí rychlejší inference – to je klíčová výhoda při nasazení do produkce. Změříš, jak dlouho trvá oběma modelům – původnímu i kvantizovanému – zpracovat testovací sadu.
Funkce measure_time() je předem připravena. Přepne model do režimu vyhodnocování, spustí dopředný průchod přes všechny dávky v dataloaderu a vrátí uplynulý čas.
Oba modely – model (původní) a model_quantized (kvantizovaná verze) – jsou přednahrány spolu s test_loader.
Toto cvičení je součástí kurzu
Škálovatelné modely AI s PyTorch Lightning
Pokyny k cvičení
- Vypočítej dobu inference pro původní i kvantizovaný model.
- Vypiš obě hodnoty zaokrouhlené na dvě desetinná místa.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Measure inference time of the original model
original_time = measure_time(____)
# Measure inference time of the quantized model
quant_time = measure_time(____)
# Print results
print(f"Original Model Time: {____}s")
print(f"Quantized Model Time: {____}s")