Yinelenenleri bulma

ride_sharing veri hattına gelen yeni bir güncelleme, her yolculuk için benzersiz bir tanımlayıcıyı temsil eden ride_id sütununu ekledi.

Ancak bu güncelleme, ortalama yolculuk sürelerinin ciddi biçimde kısalmasıyla ve gelecekteki tarihlere ayarlanmış düzensiz kullanıcı doğum yıllarıyla aynı zamana denk geldi. En önemlisi, yapılan yolculuk sayısı bir gecede %20 arttı; bu da ride_sharing DataFrame'inde hem tam hem de eksik yinelenen kayıtlar olabileceğini düşündürüyor.

Bu egzersizde, bu şüpheyi yinelenenleri bularak doğrulayacaksın. ride_sharing örnek veri kümesi ve şimdiye kadar kullandığın tüm paketler çalışma ortamında hazır.

Bu egzersiz

Python ile Veri Temizleme

kursunun bir parçasıdır

Kursu Görüntüle

Egzersiz talimatları

ride_sharing DataFrame'inde ride_id'e göre yinelenen satırları bul ve keep argümanını False olarak ayarla.
ride_sharing'i duplicates ile alt kümele, ride_id'e göre sırala ve sonucu duplicated_rides değişkenine ata.
duplicated_rides içinde ride_id, duration ve user_birth_year sütunlarını bu sırayla yazdır.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Find duplicates
duplicates = ____.____(____, ____)

# Sort your duplicated rides
duplicated_rides = ride_sharing[____].____('____')

# Print relevant columns of duplicated_rides
print(duplicated_rides[['____','____','____']])

Kodu Düzenle ve Çalıştır

Bu egzersiz

Python ile Veri Temizleme

kursunun bir parçasıdır

IntermediárioNível de habilidade

4.8+

Kursa Ücretsiz Başlayın

In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Exercise 1: Veri türü kısıtları Exercise 2: Yaygın veri türleri Exercise 3: Sayısal veri mi yoksa ... ?Exercise 4: String toplamak ve sayıları birleştirmek Exercise 5: Veri aralığı kısıtları Exercise 6: Lastik boyutu kısıtları Exercise 7: Geleceğe dönüş Exercise 8: Benzersizlik kısıtları Exercise 9: Alt kümen ne kadar büyük?Exercise 10: Yinelenenleri bulma

Geçerli Egzersiz

Exercise 11: Yinelenenleri temizleme

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Exercise 1: Membership constraints Exercise 2: Members only Exercise 3: Finding consistency Exercise 4: Categorical variables Exercise 5: Categories of errors Exercise 6: Inconsistent categories Exercise 7: Remapping categories Exercise 8: Cleaning text data Exercise 9: Removing titles and taking names Exercise 10: Keeping it descriptive

In this chapter, you'll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You'll also gain invaluable skills that will help you verify that values have been added correctly, and that missing values don't negatively impact your analyses.

Exercise 1: Uniformity Exercise 2: Ambiguous dates Exercise 3: Uniform currencies Exercise 4: Uniform dates Exercise 5: Cross field validation Exercise 6: Cross field or no cross field?Exercise 7: How's our data integrity?Exercise 8: Completeness Exercise 9: Is this missing at random?Exercise 10: Missing investors Exercise 11: Follow the money

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you'll then use your new skills to join two restaurant review datasets into one clean master dataset.

Exercise 1: Comparing strings Exercise 2: Minimum edit distance Exercise 3: The cutoff point Exercise 4: Remapping categories II Exercise 5: Generating pairs Exercise 6: To link or not to link?Exercise 7: Pairs of restaurants Exercise 8: Similar restaurants Exercise 9: Linking DataFrames Exercise 10: Getting the right index Exercise 11: Linking them together!Exercise 12: Congratulations!