데이터 과학의 7가지 기둥: 현업에서 배운 진짜 이야기

# 이상적인 상황
clean_data = pd.read_csv('perfect_dataset.csv')

# 현실
try:
    data1 = pd.read_excel('최종_진짜최종_v3.xlsx', sheet_name='Sheet1')
    data2 = scrape_from_unreliable_api()  # 자주 503 에러 뜸
    data3 = connect_to_legacy_database()  # 접근 권한 문제
    # 어떻게든 합치기
except Exception as e:
    print(f"또 실패: {e}")
    # 결국 수동으로...

# 현실의 데이터 전처리
def my_data_cleaning_hell(df):
    # 결측치 처리
    df = df.fillna({'numeric_col': df['numeric_col'].median(), 
                    'categorical_col': '알 수 없음'})
    
    # 이상치 제거 (갑자기 매출이 1000배 뛴 날 등)
    q1, q3 = df['value'].quantile(0.25), df['value'].quantile(0.75)
    iqr = q3 - q1
    df = df[(df['value'] > q1 - 1.5*iqr) & (df['value'] < q3 + 1.5*iqr)]
    
    # 날짜 형식 통일
    df['date'] = pd.to_datetime(df['date'], errors='coerce')
    
    # 컬럼명 정리 (공백, 특수문자 등)
    df.columns = [col.strip().lower().replace(' ', '_') for col in df.columns]
    
    return df  # 실제로는 이 함수가 훨씬 길다

# 기본적인 EDA 코드
import seaborn as sns
import matplotlib.pyplot as plt

# 상관관계 확인
plt.figure(figsize=(10, 8))
sns.heatmap(df.corr(), annot=True, cmap='coolwarm')
plt.title('변수 간 상관관계')
plt.show()

# 분포 확인
plt.figure(figsize=(15, 10))
for i, col in enumerate(df.select_dtypes(include=['number']).columns[:9]):
    plt.subplot(3, 3, i+1)
    sns.histplot(df[col], kde=True)
    plt.title(f'{col} 분포')
plt.tight_layout()
plt.show()

# 학교에서 쓰던 모델
from super_complex_package import TransformerQuantumNeuralNetwork
model = TransformerQuantumNeuralNetwork(
    layers=42,
    attention_heads=16,
    dropout=0.1,
    activation='quantum_swish'
)

# 회사에서 실제로 쓰는 모델
from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier()  # 심플 이즈 베스트

# 임원용 시각화는 단순하고 명확해야 한다
plt.figure(figsize=(10, 6))
top_segments = df.groupby('segment')['value'].sum().nlargest(3).index
sns.barplot(x='segment', y='value', data=df[df['segment'].isin(top_segments)])
plt.title('가장 가치 있는 상위 3개 세그먼트')
plt.axhline(df['value'].mean(), color='red', linestyle='--', 
            label='평균 가치')
plt.legend()
plt.show()

# 알고리즘 편향성 체크 예시
from aif360.datasets import BinaryLabelDataset
from aif360.metrics import BinaryLabelDatasetMetric

# 보호 속성(예: 성별, 연령대)에 따른 편향성 체크
protected_attribute = 'gender'
privileged_groups = [{'gender': 1}]
unprivileged_groups = [{'gender': 0}]

dataset = BinaryLabelDataset(df=df, 
                            label_names=['target'], 
                            protected_attribute_names=[protected_attribute])
metric = BinaryLabelDatasetMetric(dataset, 
                                 unprivileged_groups=unprivileged_groups,
                                 privileged_groups=privileged_groups)

# 통계적 편향 지표 계산
print(f"격차 비율: {metric.disparate_impact()}")
print(f"통계적 평등 차이: {metric.statistical_parity_difference()}")