[이미지] 이미지 데이터 - 딥러닝을 활용한 이미지 처리 사례

앞서 CNN에 대해 이해하기 전 이미지에 대한 개념을 공부하였습니다.

그렇다면 본격적으로 CNN에 대해 공부하기 전에 현재 딥러닝이 어떤 분야에서 이미지를 처리하는지 알아보겠습니다.

 

 

 

- 사물인식(Object Detection)

 

Object Dection 사례

 

위 사진은 사물인식에 대한 대표적인 사례들을 나열한 사진입니다. 

첫 번째로 우리가 흔히 뉴스에서도 접할 수 있는 자율 주행입니다.

자율 주행에서 딥러닝은 차, 장애물, 사람 등을 구별하여 차량이 스스로 정상적으로 주행할 수 있게 도와줍니다.

 

두 번째로 안면 인식입니다.

안면인식은 스마트폰의 잠금해제에도 적용되어 있을 정도로 폭 넓게 사용되고 있는 분야입니다. 스마트폰의 경우 사용자의 얼굴을 인식하여 해당 스마트폰의 주인이 맞는지 판별하고 맞으면 잠금을 해제하는 기능으로 사용되며, 건물 출입 시 해당 건물의 직원이 맞는지 판별하는 등에 사용되고 있습니다.

 

마지막으로 의료 분야에서의 사용입니다.

위 사진처럼 의료 이미지에서 정상적인 부분과 비 정상적인 부분을 판별하여 환자가 어떤 병을 가지고 있는지 의사의 소견에 도움을 줄 수 있는 형태로 발전하고 있습니다. 

 

 

 

- 이미지 캡셔닝(Image Captioning)

 

이미지 캡셔닝 예시

 

이미지 캡셔닝이란?

이미지 분류 결과를 기반으로 이미지를 설명하는 문장을 생성하는 것입니다. 

즉, 위 사진을 보면 이미지의 하단에 해당 이미지에 대한 설명이 적혀있는데, 인공지능 모델이 이미지를 전달받으면 학습된 데이터를 바탕으로 이미지를 분석하여 해당 이미지가 어떤 것을 나타내는지 텍스트로 나타내어줍니다.

 

 

 

-  이미지 합성 - 딥페이크 (DeepFake)

 

딥페이크 예시 이미지

 

딥페이크란?

한 사람의 얼굴에 다른 사람의 얼굴을 합성하는 기술을 말합니다.

딥페이크 기술은 명과 암을 가진 기술이며, 범죄에 사용될 우려가 크다는 단점을 가지고 있지만 아래의 예시처럼 좋은 기술로 사용될 수 있는 장점을 가지고 있습니다.

 

분노의 질주7 폴 워커 딥페이크&nbsp; <이미지 출처>https://autonetmagz.com/fast-and-furious-berniat-kembalikan-sosok-brian-oconnor/101128/

 

위 이미지는 분노의 질주 7의 엔딩 장면이며, 브라이언 오코너 역할을 맡은 폴 워커가 교통사고로 안타깝게 죽어 해당 장면을 폴 워커의 동생이 대신 촬영한 후 딥페이크 기술로 폴 워커의 얼굴을 합성한 예시입니다.

 

 

 

- 화질 개선

 

화질 개선의 예

 

먼저 왼쪽 예시의 경우 Super Resolution이라는 기술로 저해상도 영상을 고해상도 영상으로 변환하는 작업을 의미합니다.

Image Super Resolution(이하 SR)은 저해상도(Low Resolution) 이미지를 고해상도 이미지(High Resolution) 이미지로 변환 시키는 문제를 의미합니다.

과거의 촬영된 비디오 및 사진에 해당 기술을 적용하여 더욱 선명하게 최근에 촬영한 사진처럼 이미지를 변환시킬 수 있습니다.

 

오른쪽 예시의 경우 NVIDIA DLSS(Deep Learning Super Sampling)이라는 기술로써, 그래픽카드에 탑재된 텐서 코어로 GPU(그래픽카드) 가 초고해상도인 게임의 그래픽 이미지와 저해상도 이미지를 비교하며 반복 학습하며 이미지 퀄리티를 저해상도에서 최대한 부분적으로 상승시킬 수 있도록 딥 러닝 기술로 반복 학습을 합니다.

이 기술을 통해 게임의 해상도를 높힐 수 있으며, 초당 프레임을 개선하여 더 쾌적한 환경에서 게임을 플레이 할 수 있습니다.

 

 

 

- 알파고(AlphaGo)

 

알파고 예시 이미지

 

알파고(AlphaGo)는  구글의 딥마인드가 개발한 인공지능 바둑 프로그램입니다. 이걸 보고 알파고가 왜 이미지 처리에 한 분야에 해당되어있는지 궁금할 수도 있다고 생각합니다.

알파고와 같은 바둑 인공지능은 수많은 바둑 경기의 대국 과정을 학습합니다. 그리고 학습된 데이터를 바탕으로 오른쪽 이미지처럼 상대가 바둑알을 놓았을 때의 위치를 판별하고 해당 위치를 바탕으로 계산하여 가장 최적의 위치를 도출 해내기 때문입니다.

 

 

 

 

 

 

 

# 출처 및 참고자료

 

엘리스 AI 트랙 7기 - [이론] 이미지 데이터

https://velog.io/@cha-suyeon/Super-ResolutionSR-%EC%9D%98%EB%AF%B8-%EC%98%88%EC%8B%9C-%EB%AC%B8%EC%A0%9C%EC%A0%90

Super Resolution(SR) - 의미, 예시, 문제점

https://stg1994.tistory.com/717

DLSS? DLSS는 무엇이고 어떠한 개념으로 작동되는 기술인가? 최신 게임에서 사용되고 있는 엔비디