Tworzenie tabeli SQL z ramki danych
Ramka danych może posłużyć do utworzenia tabeli tymczasowej. Tabela tymczasowa przestaje istnieć po zakończeniu sesji. W dokumentacji Sparka ten typ tabeli jest określany również jako tymczasowy widok SQL. Można też spotkać sformułowanie: rejestrowanie ramki danych jako tymczasowego widoku SQL. Polecenie wywołuje się bezpośrednio na ramce danych – tworzy tabelę, jeśli jeszcze nie istnieje, albo zastępuje ją aktualnymi danymi z ramki danych, jeśli już istnieje.
To ćwiczenie jest częścią kursu
Wprowadzenie do Spark SQL w Pythonie
Instrukcje do ćwiczenia
- Wczytaj dane CSV z pliku
trainsched.txtdo ramki danych i zapisz ją w zmiennej o nazwiedf. - Utwórz tabelę tymczasową z
df. Nadaj tabeli nazwę „table1".
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Load trainsched.txt
df = spark.____.____("trainsched.txt", header=True)
# Create temporary table called table1
df.____(____)