02_pandas_basics.py

  1"""
  2Pandas 기초 (Pandas Basics)
  3Fundamental Pandas Operations
  4
  5Pandas는 데이터 분석을 위한 핵심 라이브러리입니다.
  6"""
  7
  8import pandas as pd
  9import numpy as np
 10
 11
 12# =============================================================================
 13# 1. DataFrame과 Series 생성
 14# =============================================================================
 15def create_dataframe():
 16    """DataFrame과 Series 생성"""
 17    print("\n[1] DataFrame과 Series 생성")
 18    print("=" * 50)
 19
 20    # Series 생성
 21    s = pd.Series([1, 2, 3, 4, 5], index=['a', 'b', 'c', 'd', 'e'])
 22    print(f"Series:\n{s}\n")
 23
 24    # 딕셔너리로 DataFrame 생성
 25    data = {
 26        '이름': ['김철수', '이영희', '박민수', '정수진', '최동욱'],
 27        '나이': [25, 30, 35, 28, 32],
 28        '도시': ['서울', '부산', '대구', '서울', '인천'],
 29        '점수': [85, 92, 78, 95, 88]
 30    }
 31    df = pd.DataFrame(data)
 32    print(f"DataFrame:\n{df}\n")
 33
 34    # 리스트로 생성
 35    df2 = pd.DataFrame(
 36        [[1, 2, 3], [4, 5, 6], [7, 8, 9]],
 37        columns=['A', 'B', 'C'],
 38        index=['row1', 'row2', 'row3']
 39    )
 40    print(f"리스트로 생성:\n{df2}")
 41
 42    return df
 43
 44
 45# =============================================================================
 46# 2. 데이터 확인
 47# =============================================================================
 48def inspect_data(df):
 49    """데이터 확인 메서드"""
 50    print("\n[2] 데이터 확인")
 51    print("=" * 50)
 52
 53    print(f"처음 2행:\n{df.head(2)}\n")
 54    print(f"마지막 2행:\n{df.tail(2)}\n")
 55    print(f"형태: {df.shape}")
 56    print(f"컬럼: {df.columns.tolist()}")
 57    print(f"인덱스: {df.index.tolist()}")
 58    print(f"\n데이터 타입:\n{df.dtypes}\n")
 59    print(f"기본 통계:\n{df.describe()}\n")
 60    print(f"정보:")
 61    df.info()
 62
 63
 64# =============================================================================
 65# 3. 인덱싱과 선택
 66# =============================================================================
 67def indexing_selection(df):
 68    """인덱싱과 선택"""
 69    print("\n[3] 인덱싱과 선택")
 70    print("=" * 50)
 71
 72    print(f"원본 DataFrame:\n{df}\n")
 73
 74    # 컬럼 선택
 75    print(f"df['이름']:\n{df['이름']}\n")
 76    print(f"df[['이름', '나이']]:\n{df[['이름', '나이']]}\n")
 77
 78    # 행 선택 (loc: 라벨 기반, iloc: 위치 기반)
 79    print(f"df.loc[0]:\n{df.loc[0]}\n")  # 첫 번째 행
 80    print(f"df.iloc[0:2]:\n{df.iloc[0:2]}\n")  # 처음 2행
 81    print(f"df.loc[0, '이름'] = {df.loc[0, '이름']}")  # 특정 값
 82    print(f"df.iloc[0, 1] = {df.iloc[0, 1]}")  # 위치로 접근
 83
 84    # 조건부 선택
 85    print(f"\ndf[df['나이'] > 28]:\n{df[df['나이'] > 28]}")
 86    print(f"\ndf[(df['나이'] > 25) & (df['도시'] == '서울')]:\n{df[(df['나이'] > 25) & (df['도시'] == '서울')]}")
 87
 88    # 쿼리 메서드
 89    result = df.query("나이 > 28 and 점수 >= 90")
 90    print(f"\ndf.query(\"나이 > 28 and 점수 >= 90\"):\n{result}")
 91
 92
 93# =============================================================================
 94# 4. 데이터 수정
 95# =============================================================================
 96def modify_data():
 97    """데이터 수정"""
 98    print("\n[4] 데이터 수정")
 99    print("=" * 50)
100
101    df = pd.DataFrame({
102        'A': [1, 2, 3],
103        'B': [4, 5, 6],
104        'C': [7, 8, 9]
105    })
106    print(f"원본:\n{df}\n")
107
108    # 컬럼 추가
109    df['D'] = df['A'] + df['B']
110    print(f"컬럼 추가 (D = A + B):\n{df}\n")
111
112    # 컬럼 삭제
113    df_dropped = df.drop('D', axis=1)
114    print(f"컬럼 삭제:\n{df_dropped}\n")
115
116    # 값 변경
117    df.loc[0, 'A'] = 100
118    print(f"값 변경 (df.loc[0, 'A'] = 100):\n{df}\n")
119
120    # 조건부 변경
121    df.loc[df['B'] > 4, 'C'] = 0
122    print(f"조건부 변경:\n{df}\n")
123
124    # 컬럼 이름 변경
125    df_renamed = df.rename(columns={'A': 'Alpha', 'B': 'Beta'})
126    print(f"컬럼 이름 변경:\n{df_renamed}")
127
128
129# =============================================================================
130# 5. 결측치 처리
131# =============================================================================
132def handle_missing():
133    """결측치 처리"""
134    print("\n[5] 결측치 처리")
135    print("=" * 50)
136
137    df = pd.DataFrame({
138        'A': [1, 2, np.nan, 4],
139        'B': [5, np.nan, np.nan, 8],
140        'C': [9, 10, 11, 12]
141    })
142    print(f"원본 (NaN 포함):\n{df}\n")
143
144    # 결측치 확인
145    print(f"결측치 확인:\n{df.isnull()}\n")
146    print(f"컬럼별 결측치 수:\n{df.isnull().sum()}\n")
147
148    # 결측치 제거
149    df_dropna = df.dropna()
150    print(f"dropna() - 행 제거:\n{df_dropna}\n")
151
152    # 결측치 채우기
153    df_filled = df.fillna(0)
154    print(f"fillna(0):\n{df_filled}\n")
155
156    df_ffill = df.fillna(method='ffill')
157    print(f"fillna(method='ffill') - 앞의 값으로:\n{df_ffill}\n")
158
159    df_mean = df.fillna(df.mean())
160    print(f"fillna(df.mean()) - 평균으로:\n{df_mean}")
161
162
163# =============================================================================
164# 6. 그룹화와 집계
165# =============================================================================
166def groupby_aggregation():
167    """그룹화와 집계"""
168    print("\n[6] 그룹화와 집계")
169    print("=" * 50)
170
171    df = pd.DataFrame({
172        '부서': ['영업', '개발', '영업', '개발', '영업', '개발'],
173        '이름': ['김철수', '이영희', '박민수', '정수진', '최동욱', '강미영'],
174        '매출': [100, 80, 120, 90, 110, 85],
175        '경력': [3, 5, 7, 4, 6, 2]
176    })
177    print(f"원본:\n{df}\n")
178
179    # 기본 그룹화
180    grouped = df.groupby('부서')
181    print(f"부서별 매출 합계:\n{grouped['매출'].sum()}\n")
182    print(f"부서별 매출 평균:\n{grouped['매출'].mean()}\n")
183
184    # 여러 집계 함수
185    agg_result = grouped.agg({
186        '매출': ['sum', 'mean', 'max'],
187        '경력': ['mean', 'min', 'max']
188    })
189    print(f"다중 집계:\n{agg_result}\n")
190
191    # 여러 컬럼으로 그룹화
192    df['연도'] = [2023, 2023, 2024, 2024, 2023, 2024]
193    multi_group = df.groupby(['부서', '연도'])['매출'].sum()
194    print(f"부서, 연도별 매출:\n{multi_group}")
195
196
197# =============================================================================
198# 7. 정렬과 순위
199# =============================================================================
200def sorting_ranking():
201    """정렬과 순위"""
202    print("\n[7] 정렬과 순위")
203    print("=" * 50)
204
205    df = pd.DataFrame({
206        '이름': ['A', 'B', 'C', 'D', 'E'],
207        '점수': [85, 92, 78, 95, 88],
208        '나이': [25, 30, 25, 35, 28]
209    })
210    print(f"원본:\n{df}\n")
211
212    # 단일 컬럼 정렬
213    sorted_df = df.sort_values('점수', ascending=False)
214    print(f"점수 내림차순:\n{sorted_df}\n")
215
216    # 여러 컬럼 정렬
217    sorted_df2 = df.sort_values(['나이', '점수'], ascending=[True, False])
218    print(f"나이 오름차순, 점수 내림차순:\n{sorted_df2}\n")
219
220    # 인덱스 정렬
221    df_shuffled = df.sample(frac=1)
222    print(f"셔플된 데이터:\n{df_shuffled}")
223    print(f"인덱스 정렬:\n{df_shuffled.sort_index()}\n")
224
225    # 순위
226    df['순위'] = df['점수'].rank(ascending=False)
227    print(f"순위 추가:\n{df}")
228
229
230# =============================================================================
231# 8. 데이터 병합
232# =============================================================================
233def merge_data():
234    """데이터 병합"""
235    print("\n[8] 데이터 병합")
236    print("=" * 50)
237
238    # 두 DataFrame 준비
239    df1 = pd.DataFrame({
240        '사원ID': [1, 2, 3, 4],
241        '이름': ['김철수', '이영희', '박민수', '정수진']
242    })
243
244    df2 = pd.DataFrame({
245        '사원ID': [2, 3, 4, 5],
246        '부서': ['개발', '영업', '마케팅', 'HR']
247    })
248
249    print(f"df1:\n{df1}\n")
250    print(f"df2:\n{df2}\n")
251
252    # Inner Join
253    inner = pd.merge(df1, df2, on='사원ID', how='inner')
254    print(f"Inner Join:\n{inner}\n")
255
256    # Left Join
257    left = pd.merge(df1, df2, on='사원ID', how='left')
258    print(f"Left Join:\n{left}\n")
259
260    # Outer Join
261    outer = pd.merge(df1, df2, on='사원ID', how='outer')
262    print(f"Outer Join:\n{outer}\n")
263
264    # Concat
265    df_a = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
266    df_b = pd.DataFrame({'A': [5, 6], 'B': [7, 8]})
267
268    concat_rows = pd.concat([df_a, df_b], ignore_index=True)
269    print(f"세로 연결 (concat):\n{concat_rows}\n")
270
271    concat_cols = pd.concat([df_a, df_b], axis=1)
272    print(f"가로 연결 (concat, axis=1):\n{concat_cols}")
273
274
275# =============================================================================
276# 9. 피벗 테이블
277# =============================================================================
278def pivot_tables():
279    """피벗 테이블"""
280    print("\n[9] 피벗 테이블")
281    print("=" * 50)
282
283    df = pd.DataFrame({
284        '날짜': ['2024-01', '2024-01', '2024-02', '2024-02'] * 2,
285        '지역': ['서울', '부산'] * 4,
286        '제품': ['A', 'A', 'A', 'A', 'B', 'B', 'B', 'B'],
287        '매출': [100, 80, 120, 90, 60, 70, 80, 50]
288    })
289    print(f"원본:\n{df}\n")
290
291    # 피벗 테이블
292    pivot = df.pivot_table(
293        values='매출',
294        index='지역',
295        columns='제품',
296        aggfunc='sum'
297    )
298    print(f"피벗 테이블 (지역 x 제품):\n{pivot}\n")
299
300    # 복합 피벗
301    pivot2 = df.pivot_table(
302        values='매출',
303        index=['날짜', '지역'],
304        columns='제품',
305        aggfunc=['sum', 'mean']
306    )
307    print(f"복합 피벗 테이블:\n{pivot2}")
308
309
310# =============================================================================
311# 10. 시계열 데이터
312# =============================================================================
313def time_series():
314    """시계열 데이터"""
315    print("\n[10] 시계열 데이터")
316    print("=" * 50)
317
318    # 날짜 범위 생성
319    dates = pd.date_range('2024-01-01', periods=10, freq='D')
320    print(f"날짜 범위:\n{dates}\n")
321
322    # 시계열 DataFrame
323    df = pd.DataFrame({
324        '날짜': dates,
325        '값': np.random.randn(10).cumsum()
326    })
327    df['날짜'] = pd.to_datetime(df['날짜'])
328    df.set_index('날짜', inplace=True)
329    print(f"시계열 데이터:\n{df}\n")
330
331    # 리샘플링
332    df_monthly = pd.DataFrame({
333        '값': np.random.randn(100)
334    }, index=pd.date_range('2024-01-01', periods=100, freq='D'))
335
336    monthly_mean = df_monthly.resample('M').mean()
337    print(f"월별 평균:\n{monthly_mean}\n")
338
339    # 이동 평균
340    df['이동평균'] = df['값'].rolling(window=3).mean()
341    print(f"이동 평균 (window=3):\n{df}")
342
343
344# =============================================================================
345# 메인
346# =============================================================================
347def main():
348    print("=" * 60)
349    print("Pandas 기초 예제")
350    print("=" * 60)
351
352    df = create_dataframe()
353    inspect_data(df)
354    indexing_selection(df)
355    modify_data()
356    handle_missing()
357    groupby_aggregation()
358    sorting_ranking()
359    merge_data()
360    pivot_tables()
361    time_series()
362
363    print("\n" + "=" * 60)
364    print("Pandas 핵심 정리")
365    print("=" * 60)
366    print("""
367    핵심 자료구조:
368    - Series: 1차원 (라벨이 붙은 배열)
369    - DataFrame: 2차원 (표 형식)
370
371    자주 사용하는 메서드:
372    - 확인: head, tail, info, describe, shape
373    - 선택: loc (라벨), iloc (위치), query
374    - 수정: drop, rename, fillna
375    - 집계: groupby, agg, pivot_table
376    - 병합: merge, concat, join
377
378    팁:
379    - 체이닝: df.dropna().groupby('col').mean()
380    - 복사: df.copy() vs 뷰 (슬라이싱)
381    - 메모리: category 타입으로 문자열 절약
382    - 성능: apply 대신 벡터화 연산 사용
383    """)
384
385
386if __name__ == "__main__":
387    main()