Mierzenie podobieństwa wektorów słów
W tej lekcji przekonasz się, jak potężne są wektory słów – na przykładzie wektorów wytrenowanych na rzeczywistych danych. Są to wektory słów zaczerpnięte z listy opublikowanej przez grupę Stanford NLP. Wektor słowa to ciąg wartości liczbowych, na przykład:
dog = (0.31, 0.92, 0.13)
Odległość między wektorami słów można mierzyć za pomocą miary podobieństwa parami. Tutaj skorzystamy z sklearn.metrics.pairwise.cosine_similarity. Podobieństwo cosinusowe przyjmuje wyższe wartości, gdy dwa wektory są do siebie zbliżone pod względem poszczególnych elementów, i odwrotnie.
To ćwiczenie jest częścią kursu
Tłumaczenie maszynowe z Keras
Instrukcje do ćwiczenia
- Wyświetl długość wektora
cat_vectorprzy użyciu atrybutundarray.size. - Oblicz i wyświetl podobieństwo między wektorem
cat_vectora wektoremwindow_vector, korzystając zcosine_similarity. - Oblicz i wyświetl podobieństwo między wektorem
cat_vectora wektoremdog_vector, korzystając zcosine_similarity.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
from sklearn.metrics.pairwise import cosine_similarity
# Print the length of the cat_vector
print('Length of the cat_vector: ', ____.____)
# Compute and print the similarity between cat and window vectors
dist_cat_window = ____(____, window_vector)
print('Similarity(cat, window): ', ____)
# Compute and print the similarity between cat and dog vectors
print('Similarity(cat,dog): ', ____(____, ____))