01_tensor_autograd.py

  1"""
  201. 텐서와 오토그래드 - PyTorch 버전
  3
  4PyTorch의 핵심 기능인 텐서 연산과 자동 미분을 학습합니다.
  5NumPy 버전(examples/numpy/01_tensor_basics.py)과 비교해 보세요.
  6"""
  7
  8import torch
  9import numpy as np
 10
 11print("=" * 60)
 12print("PyTorch 텐서와 오토그래드")
 13print("=" * 60)
 14
 15
 16# ============================================
 17# 1. 텐서 생성
 18# ============================================
 19print("\n[1] 텐서 생성")
 20print("-" * 40)
 21
 22# 리스트에서 생성
 23tensor1 = torch.tensor([1, 2, 3, 4])
 24print(f"리스트 → 텐서: {tensor1}")
 25print(f"  shape: {tensor1.shape}, dtype: {tensor1.dtype}")
 26
 27# 특수 텐서
 28zeros = torch.zeros(3, 4)
 29ones = torch.ones(2, 3)
 30rand = torch.randn(2, 3)  # 표준 정규 분포
 31arange = torch.arange(0, 10, 2)
 32
 33print(f"zeros(3,4): shape {zeros.shape}")
 34print(f"randn(2,3):\n{rand}")
 35
 36# dtype 지정
 37float_tensor = torch.tensor([1, 2, 3], dtype=torch.float32)
 38print(f"float32 텐서: {float_tensor}")
 39
 40
 41# ============================================
 42# 2. NumPy와 변환
 43# ============================================
 44print("\n[2] NumPy 변환")
 45print("-" * 40)
 46
 47# NumPy → PyTorch
 48np_arr = np.array([1.0, 2.0, 3.0])
 49torch_from_np = torch.from_numpy(np_arr)
 50print(f"NumPy → PyTorch: {torch_from_np}")
 51
 52# 주의: 메모리 공유됨
 53np_arr[0] = 100
 54print(f"NumPy 수정 후 PyTorch: {torch_from_np}")  # 같이 변경됨
 55
 56# PyTorch → NumPy
 57pt_tensor = torch.tensor([4.0, 5.0, 6.0])
 58np_from_torch = pt_tensor.numpy()
 59print(f"PyTorch → NumPy: {np_from_torch}")
 60
 61
 62# ============================================
 63# 3. 텐서 연산
 64# ============================================
 65print("\n[3] 텐서 연산")
 66print("-" * 40)
 67
 68a = torch.tensor([[1, 2], [3, 4]], dtype=torch.float32)
 69b = torch.tensor([[5, 6], [7, 8]], dtype=torch.float32)
 70
 71# 요소별 연산
 72print(f"a + b:\n{a + b}")
 73print(f"a * b (요소별):\n{a * b}")
 74
 75# 행렬 곱셈
 76print(f"a @ b (행렬 곱):\n{a @ b}")
 77print(f"torch.matmul(a, b):\n{torch.matmul(a, b)}")
 78
 79# 통계
 80print(f"a.sum(): {a.sum()}")
 81print(f"a.mean(): {a.mean()}")
 82print(f"a.max(): {a.max()}")
 83
 84
 85# ============================================
 86# 4. 브로드캐스팅
 87# ============================================
 88print("\n[4] 브로드캐스팅")
 89print("-" * 40)
 90
 91x = torch.tensor([[1], [2], [3]])  # (3, 1)
 92y = torch.tensor([10, 20, 30])     # (3,)
 93
 94result = x + y  # (3, 3)으로 자동 확장
 95print(f"x shape: {x.shape}")
 96print(f"y shape: {y.shape}")
 97print(f"x + y shape: {result.shape}")
 98print(f"x + y:\n{result}")
 99
100
101# ============================================
102# 5. 자동 미분 (Autograd) 기초
103# ============================================
104print("\n[5] 자동 미분 (Autograd)")
105print("-" * 40)
106
107# requires_grad=True로 미분 추적 활성화
108x = torch.tensor([2.0], requires_grad=True)
109print(f"x: {x}, requires_grad: {x.requires_grad}")
110
111# 순전파
112y = x ** 2 + 3 * x + 1  # y = x² + 3x + 1
113print(f"y = x² + 3x + 1 = {y.item()}")
114
115# 역전파
116y.backward()
117
118# 기울기 확인 (dy/dx = 2x + 3 = 2*2 + 3 = 7)
119print(f"dy/dx at x=2: {x.grad.item()}")
120print("검증: dy/dx = 2x + 3 = 2*2 + 3 = 7 ✓")
121
122
123# ============================================
124# 6. 복잡한 함수의 자동 미분
125# ============================================
126print("\n[6] 복잡한 함수 미분")
127print("-" * 40)
128
129# f(x) = x³ + 2x² - 5x + 3
130# f'(x) = 3x² + 4x - 5
131# f'(2) = 12 + 8 - 5 = 15
132
133x = torch.tensor([2.0], requires_grad=True)
134f = x**3 + 2*x**2 - 5*x + 3
135
136f.backward()
137print(f"f(x) = x³ + 2x² - 5x + 3")
138print(f"f(2) = {f.item()}")
139print(f"f'(2) = {x.grad.item()}")
140print("검증: f'(x) = 3x² + 4x - 5 = 12 + 8 - 5 = 15 ✓")
141
142
143# ============================================
144# 7. 다변수 함수의 미분 (Gradient)
145# ============================================
146print("\n[7] 다변수 함수 미분")
147print("-" * 40)
148
149# f(x, y) = x² + y² + xy
150# ∂f/∂x = 2x + y
151# ∂f/∂y = 2y + x
152
153x = torch.tensor([3.0], requires_grad=True)
154y = torch.tensor([4.0], requires_grad=True)
155
156f = x**2 + y**2 + x*y
157f.backward()
158
159print(f"f(x, y) = x² + y² + xy")
160print(f"f(3, 4) = {f.item()}")
161print(f"∂f/∂x at (3,4) = {x.grad.item()}")  # 2*3 + 4 = 10
162print(f"∂f/∂y at (3,4) = {y.grad.item()}")  # 2*4 + 3 = 11
163
164
165# ============================================
166# 8. 기울기 초기화
167# ============================================
168print("\n[8] 기울기 초기화")
169print("-" * 40)
170
171x = torch.tensor([1.0], requires_grad=True)
172
173# 첫 번째 역전파
174y1 = x * 2
175y1.backward()
176print(f"첫 번째 grad: {x.grad}")
177
178# 기울기가 누적됨!
179y2 = x * 3
180y2.backward()
181print(f"누적된 grad: {x.grad}")  # 2 + 3 = 5
182
183# 초기화 후 다시
184x.grad.zero_()  # 중요!
185y3 = x * 4
186y3.backward()
187print(f"초기화 후 grad: {x.grad}")
188
189
190# ============================================
191# 9. GPU 연산
192# ============================================
193print("\n[9] GPU 연산")
194print("-" * 40)
195
196device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
197print(f"사용 디바이스: {device}")
198
199if torch.cuda.is_available():
200    print(f"GPU 이름: {torch.cuda.get_device_name(0)}")
201    print(f"GPU 메모리: {torch.cuda.get_device_properties(0).total_memory / 1e9:.2f} GB")
202
203    # GPU로 텐서 이동
204    x_cpu = torch.randn(1000, 1000)
205    x_gpu = x_cpu.to(device)
206
207    # GPU에서 연산
208    y_gpu = x_gpu @ x_gpu
209
210    # 결과를 CPU로
211    y_cpu = y_gpu.cpu()
212    print(f"GPU 행렬 곱셈 완료: {y_cpu.shape}")
213else:
214    print("GPU 사용 불가, CPU 모드로 실행")
215
216
217# ============================================
218# 10. no_grad 컨텍스트
219# ============================================
220print("\n[10] no_grad 컨텍스트")
221print("-" * 40)
222
223x = torch.tensor([1.0], requires_grad=True)
224
225# 일반 연산 (기울기 추적)
226y = x * 2
227print(f"일반 연산: requires_grad = {y.requires_grad}")
228
229# no_grad 내부 (기울기 추적 안 함)
230with torch.no_grad():
231    z = x * 2
232    print(f"no_grad 내부: requires_grad = {z.requires_grad}")
233
234# detach로 분리
235w = x.detach() * 2
236print(f"detach 후: requires_grad = {w.requires_grad}")
237
238
239print("\n" + "=" * 60)
240print("PyTorch 텐서와 오토그래드 완료!")
241print("NumPy 버전과 비교: examples/numpy/01_tensor_basics.py")
242print("=" * 60)