1. Nauka
    2. /
  2. Kursy
    3. /
  3. Skalowalne modele AI z PyTorch Lightning
Connected

ćwiczenie

Porównanie wydajności modelu po kwantyzacji

Ocena ulepszeń wydajności to nie tylko kwestia dokładności. Modele po kwantyzacji często działają szybciej podczas wnioskowania – to kluczowa zaleta w scenariuszach wdrożeniowych. Zmierzysz, ile czasu zajmuje obu modelom – oryginalnemu i skwantyzowanemu – przetworzenie zbioru testowego.

Funkcja measure_time() jest już zdefiniowana. Przełącza model w tryb ewaluacji, wykonuje przejście w przód na wszystkich partiach w dataloaderie i zwraca czas wykonania.

Zarówno model (oryginalny model), jak i model_quantized (wersja po kwantyzacji) są wstępnie załadowane wraz z test_loader.

Instrukcje

100 XP
  • Oblicz czas wnioskowania dla oryginalnego modelu i modelu po kwantyzacji.
  • Wyświetl oba czasy zaokrąglone do dwóch miejsc po przecinku.