Kurs Python · Moduł 8: Data Science

EDA - zwiad przed polowaniem

4 min czytania ·
W tej lekcji7

Dostałeś nowy zbiór obserwacji z rezerwatu. Zanim wytresujesz na nim jakikolwiek model, musisz zrobić to, co każdy dobry tropiciel przed polowaniem: zwiedzić teren. EDA (Exploratory Data Analysis) to ten zwiad - odpowiadasz kolejno na proste pytania o dane, aż poczujesz, z czym masz do czynienia. Przejdziemy je po kolei.

Pytanie 1: jak duży jest teren?

Pierwszy rzut oka to zawsze rozmiar i kształt danych - ile obserwacji, ile kolumn, jak wyglądają pierwsze wiersze.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

df = pd.read_csv('safari_observations.csv')

print("Shape:", df.shape)   # (liczba wierszy, liczba kolumn)
print(df.head())            # kilka pierwszych obserwacji
print(df.describe())        # statystyki kolumn liczbowych

Te trzy linie to Twój pierwszy meldunek z terenu: shape mówi, jak wielki jest zbiór, head pokazuje, co konkretnie zapisano w każdej kolumnie, a describe daje od razu średnie, minima i maksima. Zanim pójdziesz dalej - już wiesz, czy danych jest 100, czy milion.

Pytanie 2: co tu żyje? (typy kolumn)

Model inaczej traktuje liczby, a inaczej kategorie, więc musisz rozdzielić kolumny liczbowe (populacja, waga) od kategorycznych (gatunek, siedlisko).

categorical = df.select_dtypes(include=['object', 'category']).columns
numerical = df.select_dtypes(include=[np.number]).columns

for col in categorical:
    print(f"{col}: {df[col].nunique()} unikalnych")
    print(df[col].value_counts().head())

select_dtypes rozdziela kolumny po typie, a value_counts pokazuje, ile jest każdej kategorii. To ważny zwiad: jeśli kolumna "gatunek" ma 3 wartości, to kategoria; jeśli 10 000 - to raczej identyfikator, którego model nie powinien traktować jak cechy.

Pytanie 3: gdzie są dziury? (braki danych)

Prawdziwe dane z terenu są dziurawe - część obserwacji jest niekompletna. Musisz wiedzieć gdzie i ile, zanim braki zepsują model.

missing = df.isnull().sum()
missing_pct = (missing / len(df)) * 100
missing_df = pd.DataFrame({'braki': missing, 'procent': missing_pct})
print(missing_df[missing_df['braki'] > 0].sort_values('braki', ascending=False))

sns.heatmap(df.isnull(), cbar=True, yticklabels=False)
plt.title('Mapa brakujących wartości')
plt.show()

Tabela mówi, które kolumny są dziurawe i jak bardzo (procent jest ważniejszy niż liczba). Mapa cieplna dokłada obraz: jeśli braki układają się w pasy, może brakować całych partii obserwacji - a to już trop, że coś poszło nie tak przy zbieraniu danych, nie przypadek.

Pytanie 4: co jest normalne, a co odstaje? (rozkłady)

Teraz przyglądasz się pojedynczym kolumnom liczbowym: jak rozłożone są wartości i czy są wartości odstające (outliery) - obserwacje, które nie pasują do reszty.

df[numerical].hist(figsize=(15, 10), bins=30, edgecolor='black')
plt.tight_layout()
plt.show()

def find_outliers_iqr(df, column):
    Q1 = df[column].quantile(0.25)
    Q3 = df[column].quantile(0.75)
    IQR = Q3 - Q1
    lower, upper = Q1 - 1.5 * IQR, Q3 + 1.5 * IQR
    return df[(df[column] < lower) | (df[column] > upper)]

outliers = find_outliers_iqr(df, 'population')
print(f"Wartości odstające w populacji: {len(outliers)}")

Histogramy pokazują kształt rozkładu jednym spojrzeniem. Funkcja find_outliers_iqr używa reguły "1,5 × rozstęp kwartylny" - klasycznej metody na wskazanie obserwacji zbyt dużych lub zbyt małych. Uwaga: outlier nie zawsze znaczy błąd. Słoń w danych o wadze to naturalny "odstający" - Twoim zadaniem jest zdecydować, czy to pomyłka do usunięcia, czy prawdziwe, ważne zwierzę.

Pytanie 5: co chodzi razem? (korelacje)

Na koniec sprawdzasz, które cechy poruszają się razem - gdy jedna rośnie, druga też. To podpowiada, co pomoże w przewidywaniu, a które kolumny mówią właściwie to samo.

correlation = df[numerical].corr()

sns.heatmap(correlation, annot=True, cmap='coolwarm', center=0, fmt='.2f')
plt.title('Macierz korelacji')
plt.show()

Mapa korelacji koloruje pary cech: wartości blisko 1 (albo -1) to silny związek, blisko 0 - żaden. Po co to wiedzieć? Dwie cechy niemal identyczne (korelacja 0,98) niosą tę samą informację - zwykle wystarczy zostawić jedną. A cecha silnie związana z tym, co przewidujesz, to Twój najlepszy kandydat do modelu.

Pytanie 6: czym różnią się grupy?

Korelacja łączy liczby z liczbami. Ale często najciekawsze pytanie brzmi: czy kategoria wpływa na liczbę - np. czy populacja różni się między siedliskami? Do tego służy wykres pudełkowy z podziałem na kategorię.

for cat in categorical:
    for num in numerical:
        sns.boxplot(data=df, x=cat, y=num)
        plt.title(f'{num} według {cat}')
        plt.xticks(rotation=45)
        plt.show()

Każdy boxplot porównuje rozkład zmiennej liczbowej w podziale na grupy. Jeśli pudełka dla różnych siedlisk leżą na zupełnie innych wysokościach, to znak, że siedlisko naprawdę tłumaczy populację - i że warto dać tę kategorię modelowi. Jeśli pudełka się pokrywają, kategoria niewiele wnosi.

Zwiad spisany w jednej funkcji

Skoro te same pytania zadajesz każdemu nowemu zbiorowi, warto spakować pierwszy meldunek w jedną funkcję, którą odpalisz od razu po wczytaniu danych.

def eda_summary(df):
    print("=" * 50)
    print("RAPORT EDA")
    print("=" * 50)
    print(f"Wierszy: {df.shape[0]}")
    print(f"Kolumn: {df.shape[1]}")
    print(f"Brakujące dane: {df.isnull().sum().sum()}")
    print(f"Duplikaty: {df.duplicated().sum()}")
    print(df.dtypes.value_counts())
    print(df.describe())

eda_summary(df)

Ta funkcja zbiera odpowiedzi na pytania 1-3 w jeden szybki raport - rozmiar, typy, braki, duplikaty - żebyś każdy nowy zbiór zaczynał od tego samego, sprawdzonego zwiadu.

Pamiętaj z tej lekcji kolejność, nie komendy: rozmiar → typy → braki → rozkłady → korelacje. Model trenujesz dopiero, gdy przejdziesz ten zwiad - inaczej polujesz na ślepo w nieznanym terenie.

Hasła z dokumentacji w tej lekcji

Widzisz błąd w tej lekcji?

Sprawdź się

Odpowiedz na pytania z tej lekcji. Wybierz odpowiedź, a od razu zobaczysz, czy jest poprawna.

  1. 1. Jaki jest główny cel Exploratory Data Analysis (EDA)?

  2. 2. Jak sprawdzić liczbę brakujących wartości w każdej kolumnie DataFrame?

To 2 z 3 pytań do tej lekcji. Pozostałe rozwiążesz w grze.

Zadania praktyczne w grze

  • Układanie w pionie

    Ułóż kroki typowego workflow EDA w prawidłowej kolejności:

  • Edytor kodu

    Użyj df.head(), df.info() i df.describe() do zbadania danych Safari.

  • Klikanie w kolejności

    Kliknij w przyciski, aby sprawdzić liczbę zduplikowanych wierszy:

  1. PytanieCel EDA
  2. PytanieSprawdzanie braków danych
  3. Ułóż w kolejnościWorkflow EDA
  4. Zadanie z kodemPodstawowe EDA
  5. PytanieWykrywanie outlierów
  6. Kliknij w kolejnościSprawdzanie duplikatów

Przydatne artykuły