19_dnn_module.py - Examples

  1"""
  219. OpenCV DNN 모듈
  3- 딥러닝 모델 로드
  4- 이미지 분류
  5- 객체 검출 (YOLO, SSD)
  6- 시맨틱 세그멘테이션
  7"""
  8
  9import cv2
 10import numpy as np
 11
 12
 13def dnn_module_overview():
 14    """DNN 모듈 개요"""
 15    print("=" * 50)
 16    print("OpenCV DNN 모듈 개요")
 17    print("=" * 50)
 18
 19    print("\n1. 지원 프레임워크:")
 20    frameworks = [
 21        ('Caffe', '.caffemodel, .prototxt'),
 22        ('TensorFlow', '.pb, .pbtxt'),
 23        ('Darknet', '.weights, .cfg'),
 24        ('ONNX', '.onnx'),
 25        ('Torch', '.t7, .net'),
 26    ]
 27
 28    for name, files in frameworks:
 29        print(f"   {name}: {files}")
 30
 31    print("\n2. 모델 로드 함수:")
 32    print("   cv2.dnn.readNet(model, config)")
 33    print("   cv2.dnn.readNetFromCaffe(prototxt, caffemodel)")
 34    print("   cv2.dnn.readNetFromTensorflow(model, config)")
 35    print("   cv2.dnn.readNetFromDarknet(cfg, weights)")
 36    print("   cv2.dnn.readNetFromONNX(onnx)")
 37
 38    print("\n3. 백엔드 및 타겟:")
 39    print("   백엔드: DNN_BACKEND_OPENCV, DNN_BACKEND_CUDA")
 40    print("   타겟: DNN_TARGET_CPU, DNN_TARGET_CUDA")
 41
 42
 43def blob_creation_demo():
 44    """Blob 생성 데모"""
 45    print("\n" + "=" * 50)
 46    print("Blob 생성")
 47    print("=" * 50)
 48
 49    # 테스트 이미지
 50    img = np.zeros((480, 640, 3), dtype=np.uint8)
 51    img[:] = [150, 150, 150]
 52    cv2.circle(img, (320, 240), 100, (0, 200, 0), -1)
 53
 54    # Blob 생성
 55    # scalefactor: 픽셀 값 스케일링 (보통 1/255)
 56    # size: 네트워크 입력 크기
 57    # mean: 평균 값 빼기 (BGR 순서)
 58    # swapRB: BGR -> RGB 변환
 59    # crop: 크기 조정 시 크롭 여부
 60
 61    blob = cv2.dnn.blobFromImage(
 62        img,
 63        scalefactor=1/255.0,
 64        size=(224, 224),
 65        mean=(0, 0, 0),
 66        swapRB=True,
 67        crop=False
 68    )
 69
 70    print(f"원본 이미지: {img.shape}")
 71    print(f"Blob shape: {blob.shape}")
 72    print(f"Blob dtype: {blob.dtype}")
 73
 74    print("\nblobFromImage 파라미터:")
 75    print("  scalefactor: 보통 1/255.0 (0-1 정규화)")
 76    print("  size: 네트워크 입력 크기 (224x224, 416x416 등)")
 77    print("  mean: ImageNet 평균 (104.0, 117.0, 123.0)")
 78    print("  swapRB: OpenCV BGR -> 모델 RGB")
 79    print("  crop: True면 크롭, False면 리사이즈만")
 80
 81    # 여러 이미지 처리
 82    images = [img, img.copy()]
 83    blob_batch = cv2.dnn.blobFromImages(
 84        images,
 85        scalefactor=1/255.0,
 86        size=(224, 224),
 87        mean=(0, 0, 0),
 88        swapRB=True
 89    )
 90    print(f"\nBatch blob shape: {blob_batch.shape}")
 91
 92    cv2.imwrite('dnn_input.jpg', img)
 93
 94
 95def image_classification_demo():
 96    """이미지 분류 데모 (개념)"""
 97    print("\n" + "=" * 50)
 98    print("이미지 분류 (Image Classification)")
 99    print("=" * 50)
100
101    print("\n모델 예시:")
102    models = [
103        ('ResNet', 'Residual Networks, 깊은 네트워크'),
104        ('VGG', 'Visual Geometry Group, 단순 구조'),
105        ('MobileNet', '경량화, 모바일용'),
106        ('EfficientNet', '효율적 스케일링'),
107        ('GoogLeNet', 'Inception 모듈'),
108    ]
109
110    for name, desc in models:
111        print(f"   {name}: {desc}")
112
113    code = '''
114# 이미지 분류 코드 템플릿
115import cv2
116
117# 모델 로드 (예: MobileNet)
118net = cv2.dnn.readNetFromCaffe(
119    'deploy.prototxt',
120    'mobilenet.caffemodel'
121)
122
123# 이미지 전처리
124img = cv2.imread('image.jpg')
125blob = cv2.dnn.blobFromImage(
126    img, 1/255.0, (224, 224), (104, 117, 123), swapRB=True
127)
128
129# 추론
130net.setInput(blob)
131output = net.forward()
132
133# 결과 해석
134class_id = np.argmax(output)
135confidence = output[0][class_id]
136print(f"Class: {class_id}, Confidence: {confidence:.2f}")
137'''
138    print(code)
139
140    print("\n참고: 실제 실행에는 모델 파일이 필요합니다.")
141    print("  MobileNet: https://github.com/shicai/MobileNet-Caffe")
142    print("  ONNX Models: https://github.com/onnx/models")
143
144
145def object_detection_yolo_demo():
146    """YOLO 객체 검출 데모 (개념)"""
147    print("\n" + "=" * 50)
148    print("객체 검출 - YOLO")
149    print("=" * 50)
150
151    print("\nYOLO (You Only Look Once):")
152    print("  - 실시간 객체 검출")
153    print("  - 단일 네트워크로 검출 + 분류")
154    print("  - 버전: YOLOv3, YOLOv4, YOLOv5, YOLOv8")
155
156    code = '''
157# YOLO 객체 검출 코드
158import cv2
159import numpy as np
160
161# 모델 로드 (Darknet)
162net = cv2.dnn.readNetFromDarknet('yolov3.cfg', 'yolov3.weights')
163
164# 출력 레이어 이름
165layer_names = net.getLayerNames()
166output_layers = [layer_names[i - 1] for i in net.getUnconnectedOutLayers()]
167
168# 이미지 전처리
169img = cv2.imread('image.jpg')
170blob = cv2.dnn.blobFromImage(
171    img, 1/255.0, (416, 416), (0, 0, 0), swapRB=True, crop=False
172)
173
174# 추론
175net.setInput(blob)
176outputs = net.forward(output_layers)
177
178# 결과 처리
179boxes = []
180confidences = []
181class_ids = []
182
183for output in outputs:
184    for detection in output:
185        scores = detection[5:]
186        class_id = np.argmax(scores)
187        confidence = scores[class_id]
188
189        if confidence > 0.5:
190            # 바운딩 박스 좌표
191            center_x = int(detection[0] * img.shape[1])
192            center_y = int(detection[1] * img.shape[0])
193            w = int(detection[2] * img.shape[1])
194            h = int(detection[3] * img.shape[0])
195
196            x = int(center_x - w / 2)
197            y = int(center_y - h / 2)
198
199            boxes.append([x, y, w, h])
200            confidences.append(float(confidence))
201            class_ids.append(class_id)
202
203# NMS (Non-Maximum Suppression)
204indices = cv2.dnn.NMSBoxes(boxes, confidences, 0.5, 0.4)
205
206# 결과 시각화
207for i in indices.flatten():
208    x, y, w, h = boxes[i]
209    cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 2)
210    label = f"{classes[class_ids[i]]}: {confidences[i]:.2f}"
211    cv2.putText(img, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)
212'''
213    print(code)
214
215    print("\n모델 다운로드:")
216    print("  YOLOv3: https://pjreddie.com/darknet/yolo/")
217    print("  YOLOv4: https://github.com/AlexeyAB/darknet")
218
219
220def object_detection_ssd_demo():
221    """SSD 객체 검출 데모 (개념)"""
222    print("\n" + "=" * 50)
223    print("객체 검출 - SSD")
224    print("=" * 50)
225
226    print("\nSSD (Single Shot Detector):")
227    print("  - 다중 스케일 특징 맵 사용")
228    print("  - 빠른 속도")
229    print("  - MobileNet + SSD 조합 인기")
230
231    code = '''
232# SSD 객체 검출 코드
233import cv2
234
235# 모델 로드 (TensorFlow)
236net = cv2.dnn.readNetFromTensorflow(
237    'frozen_inference_graph.pb',
238    'ssd_mobilenet_v2_coco.pbtxt'
239)
240
241# 이미지 전처리
242img = cv2.imread('image.jpg')
243blob = cv2.dnn.blobFromImage(
244    img, size=(300, 300), mean=(127.5, 127.5, 127.5),
245    scalefactor=1/127.5, swapRB=True
246)
247
248# 추론
249net.setInput(blob)
250detections = net.forward()
251
252# 결과 처리
253for i in range(detections.shape[2]):
254    confidence = detections[0, 0, i, 2]
255
256    if confidence > 0.5:
257        class_id = int(detections[0, 0, i, 1])
258        x1 = int(detections[0, 0, i, 3] * img.shape[1])
259        y1 = int(detections[0, 0, i, 4] * img.shape[0])
260        x2 = int(detections[0, 0, i, 5] * img.shape[1])
261        y2 = int(detections[0, 0, i, 6] * img.shape[0])
262
263        cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2)
264'''
265    print(code)
266
267    print("\n모델 다운로드:")
268    print("  TensorFlow Model Zoo:")
269    print("  https://github.com/tensorflow/models/blob/master/research/object_detection/")
270
271
272def face_detection_dnn_demo():
273    """DNN 얼굴 검출 데모"""
274    print("\n" + "=" * 50)
275    print("DNN 얼굴 검출")
276    print("=" * 50)
277
278    print("\nOpenCV DNN 얼굴 검출기:")
279    print("  - Caffe 기반 SSD")
280    print("  - 300x300 입력")
281    print("  - Haar Cascade보다 정확")
282
283    code = '''
284# DNN 얼굴 검출
285import cv2
286
287# 모델 로드
288model_file = "res10_300x300_ssd_iter_140000.caffemodel"
289config_file = "deploy.prototxt"
290net = cv2.dnn.readNetFromCaffe(config_file, model_file)
291
292# 이미지 전처리
293img = cv2.imread('image.jpg')
294h, w = img.shape[:2]
295blob = cv2.dnn.blobFromImage(
296    img, 1.0, (300, 300), (104.0, 177.0, 123.0)
297)
298
299# 추론
300net.setInput(blob)
301detections = net.forward()
302
303# 결과 처리
304for i in range(detections.shape[2]):
305    confidence = detections[0, 0, i, 2]
306
307    if confidence > 0.5:
308        box = detections[0, 0, i, 3:7] * np.array([w, h, w, h])
309        x1, y1, x2, y2 = box.astype(int)
310        cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2)
311        label = f"{confidence:.2f}"
312        cv2.putText(img, label, (x1, y1-10),
313                   cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)
314'''
315    print(code)
316
317    print("\n모델 다운로드:")
318    print("  https://github.com/opencv/opencv/tree/master/samples/dnn/face_detector")
319
320
321def semantic_segmentation_demo():
322    """시맨틱 세그멘테이션 데모 (개념)"""
323    print("\n" + "=" * 50)
324    print("시맨틱 세그멘테이션")
325    print("=" * 50)
326
327    print("\n세그멘테이션 유형:")
328    print("  - Semantic: 픽셀 단위 클래스 분류")
329    print("  - Instance: 개별 객체 구분")
330    print("  - Panoptic: Semantic + Instance")
331
332    print("\n주요 모델:")
333    models = [
334        ('FCN', 'Fully Convolutional Network'),
335        ('U-Net', '의료 이미지용'),
336        ('DeepLab', 'Atrous convolution'),
337        ('SegNet', '인코더-디코더 구조'),
338        ('PSPNet', 'Pyramid Pooling'),
339    ]
340
341    for name, desc in models:
342        print(f"   {name}: {desc}")
343
344    code = '''
345# 시맨틱 세그멘테이션 코드
346import cv2
347import numpy as np
348
349# 모델 로드 (예: ENet)
350net = cv2.dnn.readNet('enet-model.net')
351
352# 이미지 전처리
353img = cv2.imread('image.jpg')
354blob = cv2.dnn.blobFromImage(
355    img, 1/255.0, (1024, 512), (0, 0, 0), swapRB=True
356)
357
358# 추론
359net.setInput(blob)
360output = net.forward()
361
362# 결과 처리 (클래스 맵)
363class_map = np.argmax(output[0], axis=0)
364
365# 컬러 맵 적용
366colors = np.random.randint(0, 255, (num_classes, 3))
367segmentation = colors[class_map]
368'''
369    print(code)
370
371
372def pose_estimation_dnn_demo():
373    """포즈 추정 DNN 데모 (개념)"""
374    print("\n" + "=" * 50)
375    print("포즈 추정 (Pose Estimation)")
376    print("=" * 50)
377
378    print("\n포즈 추정 유형:")
379    print("  - 2D: 이미지상의 관절 위치")
380    print("  - 3D: 3차원 공간의 관절 위치")
381
382    print("\n주요 모델:")
383    models = [
384        ('OpenPose', 'Bottom-up 방식, 다중 인원'),
385        ('PoseNet', '경량화, 실시간'),
386        ('HRNet', '고해상도, 정확'),
387        ('MediaPipe', 'Google, 모바일 최적화'),
388    ]
389
390    for name, desc in models:
391        print(f"   {name}: {desc}")
392
393    print("\n관절 포인트 (COCO 데이터셋):")
394    keypoints = [
395        "0: nose", "1: neck",
396        "2: right_shoulder", "3: right_elbow", "4: right_wrist",
397        "5: left_shoulder", "6: left_elbow", "7: left_wrist",
398        "8: right_hip", "9: right_knee", "10: right_ankle",
399        "11: left_hip", "12: left_knee", "13: left_ankle",
400        "14: right_eye", "15: left_eye",
401        "16: right_ear", "17: left_ear"
402    ]
403    for kp in keypoints:
404        print(f"   {kp}")
405
406
407def dnn_performance_tips():
408    """DNN 성능 최적화"""
409    print("\n" + "=" * 50)
410    print("DNN 성능 최적화")
411    print("=" * 50)
412
413    print("""
4141. GPU 가속 사용
415   net.setPreferableBackend(cv2.dnn.DNN_BACKEND_CUDA)
416   net.setPreferableTarget(cv2.dnn.DNN_TARGET_CUDA)
417
4182. 입력 크기 조정
419   - 작은 입력 = 빠른 추론
420   - 정확도와 속도 트레이드오프
421
4223. 모델 최적화
423   - INT8 양자화
424   - 모델 프루닝
425   - 지식 증류
426
4274. 배치 처리
428   - 여러 이미지 동시 처리
429   - blobFromImages() 사용
430
4315. 비동기 추론
432   - net.forwardAsync()
433   - 추론 중 다른 작업 수행
434
4356. 모델 선택
436   - 속도 중시: MobileNet, EfficientNet-Lite
437   - 정확도 중시: ResNet, EfficientNet
438
4397. 추론 시간 측정
440""")
441
442    # 시간 측정 예시
443    print("추론 시간 측정:")
444    code = '''
445import time
446
447# 워밍업
448for _ in range(10):
449    net.forward()
450
451# 측정
452times = []
453for _ in range(100):
454    start = time.time()
455    net.forward()
456    times.append(time.time() - start)
457
458print(f"평균: {np.mean(times)*1000:.2f}ms")
459print(f"FPS: {1/np.mean(times):.2f}")
460'''
461    print(code)
462
463
464def model_download_guide():
465    """모델 다운로드 가이드"""
466    print("\n" + "=" * 50)
467    print("모델 다운로드 가이드")
468    print("=" * 50)
469
470    print("""
4711. YOLO
472   - 공식: https://pjreddie.com/darknet/yolo/
473   - v4: https://github.com/AlexeyAB/darknet
474   - v5+: https://github.com/ultralytics/yolov5
475
4762. SSD MobileNet
477   - TensorFlow Model Zoo
478   - https://github.com/tensorflow/models/
479
4803. 얼굴 검출
481   - OpenCV DNN Face Detector
482   - https://github.com/opencv/opencv/tree/master/samples/dnn/face_detector
483
4844. 포즈 추정
485   - OpenPose: https://github.com/CMU-Perceptual-Computing-Lab/openpose
486   - 경량 버전: https://github.com/Daniil-Osokin/lightweight-human-pose-estimation.pytorch
487
4885. 세그멘테이션
489   - ENet: https://github.com/e-lab/ENet-training
490   - DeepLab: https://github.com/tensorflow/models/tree/master/research/deeplab
491
4926. ONNX Model Zoo
493   - https://github.com/onnx/models
494   - 다양한 사전 학습 모델
495
4967. OpenVINO Model Zoo
497   - https://github.com/openvinotoolkit/open_model_zoo
498   - Intel 최적화 모델
499""")
500
501
502def main():
503    """메인 함수"""
504    # DNN 모듈 개요
505    dnn_module_overview()
506
507    # Blob 생성
508    blob_creation_demo()
509
510    # 이미지 분류
511    image_classification_demo()
512
513    # YOLO 객체 검출
514    object_detection_yolo_demo()
515
516    # SSD 객체 검출
517    object_detection_ssd_demo()
518
519    # DNN 얼굴 검출
520    face_detection_dnn_demo()
521
522    # 시맨틱 세그멘테이션
523    semantic_segmentation_demo()
524
525    # 포즈 추정
526    pose_estimation_dnn_demo()
527
528    # 성능 최적화
529    dnn_performance_tips()
530
531    # 모델 다운로드 가이드
532    model_download_guide()
533
534    print("\nDNN 모듈 데모 완료!")
535
536
537if __name__ == '__main__':
538    main()