Membuka file privat
Dewan Kota ingin melihat tren yang lebih luas dan meminta Sam untuk menotal semua permintaan sejak awal 2019. Untuk melakukan ini, Sam harus membaca CSV harian dari bucket 'gid-requests' dan menggabungkannya. Namun, file gid-requests bersifat privat. Ia memiliki akses melalui key miliknya, tetapi publik tidak dapat mengaksesnya.
Dalam latihan ini, Anda akan membantu Sam melihat gambaran besarnya dengan membaca file privat ini ke dalam pandas dan menggabungkannya menjadi satu DataFrame!
Ia sudah menginisialisasi klien S3 boto3 dan menyimpannya ke variabel s3. Ia juga sudah membuat daftar semua objek di gid-requests dalam variabel response.
Latihan ini merupakan bagian dari kursus
Pengantar AWS Boto di Python
Instruksi latihan
- Untuk setiap file di
response, muat objeknya dari S3. - Muat
StreamingBodyobjek ke dalampandas, lalu tambahkan kedf_list. - Gabungkan semua DataFrame dengan
pandas. - Pratinjau DataFrame hasilnya.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
df_list = [ ]
for file in response['Contents']:
# For each file in response load the object from S3
obj = s3.____(____='gid-requests', ____=file['Key'])
# Load the object's StreamingBody with pandas
obj_df = pd.read_csv(obj['____'])
# Append the resulting DataFrame to list
df_list.append(obj_df)
# Concat all the DataFrames with pandas
df = pd.concat(df_list)
# Preview the resulting DataFrame
df.head()