01_tensor_basics.py

  1"""
  201. 텐서 기초 - NumPy 버전
  3
  4NumPy로 텐서 연산과 수동 미분을 구현합니다.
  5PyTorch 버전(examples/pytorch/01_tensor_autograd.py)과 비교해 보세요.
  6
  7핵심 차이점:
  8- NumPy: 자동 미분 없음, 직접 미분 계산
  9- PyTorch: autograd로 자동 미분
 10"""
 11
 12import numpy as np
 13
 14print("=" * 60)
 15print("NumPy 텐서 기초와 수동 미분")
 16print("=" * 60)
 17
 18
 19# ============================================
 20# 1. 배열 생성 (텐서)
 21# ============================================
 22print("\n[1] 배열 생성")
 23print("-" * 40)
 24
 25# 리스트에서 생성
 26arr1 = np.array([1, 2, 3, 4])
 27print(f"리스트 → 배열: {arr1}")
 28print(f"  shape: {arr1.shape}, dtype: {arr1.dtype}")
 29
 30# 특수 배열
 31zeros = np.zeros((3, 4))
 32ones = np.ones((2, 3))
 33rand = np.random.randn(2, 3)  # 표준 정규 분포
 34arange = np.arange(0, 10, 2)
 35
 36print(f"zeros(3,4): shape {zeros.shape}")
 37print(f"randn(2,3):\n{rand}")
 38
 39# dtype 지정
 40float_arr = np.array([1, 2, 3], dtype=np.float32)
 41print(f"float32 배열: {float_arr}")
 42
 43
 44# ============================================
 45# 2. 배열 연산
 46# ============================================
 47print("\n[2] 배열 연산")
 48print("-" * 40)
 49
 50a = np.array([[1, 2], [3, 4]], dtype=np.float32)
 51b = np.array([[5, 6], [7, 8]], dtype=np.float32)
 52
 53# 요소별 연산
 54print(f"a + b:\n{a + b}")
 55print(f"a * b (요소별):\n{a * b}")
 56
 57# 행렬 곱셈
 58print(f"a @ b (행렬 곱):\n{a @ b}")
 59print(f"np.dot(a, b):\n{np.dot(a, b)}")
 60
 61# 통계
 62print(f"a.sum(): {a.sum()}")
 63print(f"a.mean(): {a.mean()}")
 64print(f"a.max(): {a.max()}")
 65
 66
 67# ============================================
 68# 3. 브로드캐스팅
 69# ============================================
 70print("\n[3] 브로드캐스팅")
 71print("-" * 40)
 72
 73x = np.array([[1], [2], [3]])  # (3, 1)
 74y = np.array([10, 20, 30])     # (3,)
 75
 76result = x + y  # (3, 3)으로 자동 확장
 77print(f"x shape: {x.shape}")
 78print(f"y shape: {y.shape}")
 79print(f"x + y shape: {result.shape}")
 80print(f"x + y:\n{result}")
 81
 82
 83# ============================================
 84# 4. 수동 미분 - 기본
 85# ============================================
 86print("\n[4] 수동 미분 - 기본")
 87print("-" * 40)
 88
 89# y = x² + 3x + 1
 90# dy/dx = 2x + 3
 91
 92def f1(x):
 93    """순전파: y = x² + 3x + 1"""
 94    return x**2 + 3*x + 1
 95
 96def df1(x):
 97    """수동 미분: dy/dx = 2x + 3"""
 98    return 2*x + 3
 99
100x = 2.0
101print(f"f(x) = x² + 3x + 1")
102print(f"f({x}) = {f1(x)}")
103print(f"f'({x}) = {df1(x)}")  # 2*2 + 3 = 7
104print("검증: dy/dx = 2x + 3 = 2*2 + 3 = 7 ✓")
105
106
107# ============================================
108# 5. 수동 미분 - 복잡한 함수
109# ============================================
110print("\n[5] 수동 미분 - 복잡한 함수")
111print("-" * 40)
112
113# f(x) = x³ + 2x² - 5x + 3
114# f'(x) = 3x² + 4x - 5
115
116def f2(x):
117    """순전파"""
118    return x**3 + 2*x**2 - 5*x + 3
119
120def df2(x):
121    """수동 미분"""
122    return 3*x**2 + 4*x - 5
123
124x = 2.0
125print(f"f(x) = x³ + 2x² - 5x + 3")
126print(f"f({x}) = {f2(x)}")
127print(f"f'({x}) = {df2(x)}")  # 3*4 + 4*2 - 5 = 15
128print("검증: f'(x) = 3x² + 4x - 5 = 12 + 8 - 5 = 15 ✓")
129
130
131# ============================================
132# 6. 수동 미분 - 다변수 함수
133# ============================================
134print("\n[6] 수동 미분 - 다변수 함수")
135print("-" * 40)
136
137# f(x, y) = x² + y² + xy
138# ∂f/∂x = 2x + y
139# ∂f/∂y = 2y + x
140
141def f3(x, y):
142    """순전파"""
143    return x**2 + y**2 + x*y
144
145def df3_dx(x, y):
146    """편미분 ∂f/∂x"""
147    return 2*x + y
148
149def df3_dy(x, y):
150    """편미분 ∂f/∂y"""
151    return 2*y + x
152
153x, y = 3.0, 4.0
154print(f"f(x, y) = x² + y² + xy")
155print(f"f({x}, {y}) = {f3(x, y)}")
156print(f"∂f/∂x at ({x},{y}) = {df3_dx(x, y)}")  # 2*3 + 4 = 10
157print(f"∂f/∂y at ({x},{y}) = {df3_dy(x, y)}")  # 2*4 + 3 = 11
158
159
160# ============================================
161# 7. 수치 미분 (Numerical Differentiation)
162# ============================================
163print("\n[7] 수치 미분")
164print("-" * 40)
165
166def numerical_gradient(f, x, h=1e-5):
167    """
168    중앙 차분법으로 수치 미분 계산
169    f'(x) ≈ (f(x+h) - f(x-h)) / (2h)
170    """
171    return (f(x + h) - f(x - h)) / (2 * h)
172
173# f(x) = x³ + 2x² - 5x + 3 테스트
174x = 2.0
175numerical_grad = numerical_gradient(f2, x)
176analytical_grad = df2(x)
177
178print(f"해석적 미분: {analytical_grad}")
179print(f"수치 미분:   {numerical_grad:.10f}")
180print(f"오차:        {abs(numerical_grad - analytical_grad):.2e}")
181
182
183# ============================================
184# 8. 벡터 입력에 대한 미분
185# ============================================
186print("\n[8] 벡터 입력 미분")
187print("-" * 40)
188
189def f_vec(x):
190    """f(x) = sum(x²) = x₁² + x₂² + x₃²"""
191    return np.sum(x**2)
192
193def df_vec(x):
194    """∇f = [2x₁, 2x₂, 2x₃]"""
195    return 2 * x
196
197x = np.array([1.0, 2.0, 3.0])
198print(f"f(x) = sum(x²)")
199print(f"x = {x}")
200print(f"f(x) = {f_vec(x)}")
201print(f"∇f(x) = {df_vec(x)}")
202
203
204# ============================================
205# 9. 체인 룰 (Chain Rule) 예시
206# ============================================
207print("\n[9] 체인 룰 (Chain Rule)")
208print("-" * 40)
209
210# h(x) = f(g(x))
211# g(x) = x²
212# f(u) = sin(u)
213# h(x) = sin(x²)
214# dh/dx = df/du * dg/dx = cos(x²) * 2x
215
216def g(x):
217    return x**2
218
219def f(u):
220    return np.sin(u)
221
222def h(x):
223    return f(g(x))  # h(x) = sin(x²)
224
225def dh_dx(x):
226    """체인 룰: dh/dx = cos(x²) * 2x"""
227    return np.cos(x**2) * (2*x)
228
229x = 1.0
230print(f"g(x) = x², f(u) = sin(u)")
231print(f"h(x) = f(g(x)) = sin(x²)")
232print(f"h({x}) = {h(x):.6f}")
233print(f"dh/dx at x={x}: {dh_dx(x):.6f}")
234print("체인 룰: dh/dx = cos(x²) * 2x")
235
236
237# ============================================
238# 10. 손실 함수와 미분 예시
239# ============================================
240print("\n[10] 손실 함수와 미분")
241print("-" * 40)
242
243def mse_loss(y_pred, y_true):
244    """MSE: L = (1/n) * Σ(y_pred - y_true)²"""
245    return np.mean((y_pred - y_true)**2)
246
247def mse_gradient(y_pred, y_true):
248    """∂L/∂y_pred = (2/n) * (y_pred - y_true)"""
249    n = len(y_pred)
250    return (2/n) * (y_pred - y_true)
251
252y_true = np.array([1.0, 2.0, 3.0])
253y_pred = np.array([1.1, 2.2, 2.8])
254
255loss = mse_loss(y_pred, y_true)
256grad = mse_gradient(y_pred, y_true)
257
258print(f"y_true: {y_true}")
259print(f"y_pred: {y_pred}")
260print(f"MSE Loss: {loss:.4f}")
261print(f"Gradient: {grad}")
262
263
264# ============================================
265# NumPy vs PyTorch 정리
266# ============================================
267print("\n" + "=" * 60)
268print("NumPy vs PyTorch 비교")
269print("=" * 60)
270
271comparison = """
272| 기능        | NumPy                | PyTorch                    |
273|-------------|----------------------|----------------------------|
274| 배열 생성    | np.array()          | torch.tensor()             |
275| 미분        | 직접 구현 필요        | .backward() 자동 계산       |
276| GPU         | 지원 안 함           | .to('cuda') 지원           |
277| 장점        | 알고리즘 원리 이해    | 빠른 개발, 자동 미분        |
278"""
279print(comparison)
280
281print("NumPy 텐서 기초와 수동 미분 완료!")
282print("PyTorch 버전과 비교: examples/pytorch/01_tensor_autograd.py")
283print("=" * 60)