엔비디아 연구진들이 한 개의 인풋 이미지를 사용해 다른 동물의 표정이나 포즈를 반려동물의 사진에 적용하는 AI 기술을 개발했다./엔비디아
엔비디아 연구진들이 한 개의 인풋 이미지를 사용해 다른 동물의 표정이나 포즈를 반려동물의 사진에 적용하는 AI 기술을 개발했다./엔비디아

엔비디아가 서울 코엑스에서 열린 국제컴퓨터비전 학회(ICCV)에서 동물의 사진을 보고 표정이나 포즈를 다른 동물에 똑같이 구현하는 ‘GANimal’ 애플리케이션 관련 논문을 발표했다고 30일 밝혔다.

‘GANimal’은 생성적 적대 신경망(GAN)이라는 새로운 인공지능(AI) 기술을 기반으로 개발됐다. GAN은 두개의 네트워크로 구성된 심층 뉴럴 네트워크 구조로 한 네트워크가 다른 네트워크와 서로 대립해 경쟁하는 방식으로 학습을 진행하는 기술이다.

대부분의 GAN 기반 이미지 변환 네트워크는 오로지 한 개의 작업을 처리하도록 한다. 우리는 단일 네트워크가 다양한 변환작업을 처리할 수 있게 학습시켰다. 

사람들은 자신의 반려동물이 짓는 다양한 표정들을 기억하고 있기 때문에 이를 쉽게 따라할 수 있지만, 컴퓨터에서 그 모습을 재연하는 건 어려운 일이었다. 새롭게 개발된 GANimal 애플리케이션은 개나 고양이의 사진을 업로드하면, 사진 속 동물의 표정과 포즈를 아프리카 사냥개나 이집트 고양이에서 시추, 눈표범, 느림보곰까지 수십 종의 동물에 적용할 수 있다.

잠재력은 무궁무진하다. 영화를 촬영할 때 묘기를 부리는 개의 모습을 찍고 그 움직임을 AI로 매핑해 다루기 위험한 호랑이에 적용할 수 있게 된다.

GANimal에는 ‘푸닛(FUNIT, Few-shot, UNsupervised Image-to-image Translation)’이라고 부르는 알고리즘이 사용됐다. 이는 테스트 진행 시 몇 개의 예제 이미지만으로 전에는 볼 수 없었던 타겟층에서도 결과값을 낼 수 있는 기술이다.

이미지 변환을 하기 위해서는 여러 장의 타겟 동물 이미지를 네트워크 모델에 학습시켜야 했다. 푸닛은 연구진이 GAN 프로세스에 추가하는 다양한 이미지 변환 작업 등으로 구성된 훈련 기능을 통해 사진 한 장으로 이미지 변환을 할 수 있게 도와준다. 

각각의 작업에서는 무작위로 선정된 소스 동물을 임의로 선정된 타겟 동물 이미지들을 사용해 그 타겟 동물로 변환시킨다. 네트워크는 다양한 이미지 변환 작업을 처리하면서, 기존의 동물 모습을 일반화해 전에 볼 수 없었던 새로운 동물의 이미지로 변환할 수 있게 된다.

엔비디아 푸닛 팀은 200여명의 연구진 중 7명으로 구성됐다. 앞서 올 초 사람들이 그린 낙서를 마치 사진과 같은 예술작품으로 변환하는 ‘고갱(GauGAN)’이라는 AI 기술을 개발, 주목받았던 팀이다. 고갱으로 벌써 백만 개 이상의 이미지가 만들어 졌으며, 고갱 데모는 엔비디아 AI 플레이그라운드에서 직접 체험해볼 수 있다.

푸닛 팀은 최신 푸닛 툴에 더 많은 이미지를 더 높은 해상도로 포함할 예정이다. 이미 고해상도 꽃, 음식 이미지로 테스트가 진행되고 있다. 인간의 상상력을 뉴럴 네트워크에 코딩한다는 목표다.

엔비디아 푸닛 기술 개발팀의 수석 컴퓨터 비전 연구원 리우 밍유(Ming-Yu Liu) 수석 연구원은 "새로운 문제들을 해결해 나가는 것이 기술과 사회를 발전시키는 길이다”라고 말했다.

한편, 리우 수석연구원은 ICCV에서 열리는 3개의 강연과 한 개의 포스터 세션에서 총 4개의 논문을 발표했다. 

저작권자 © 파이브에코(FIVE ECOs) 무단전재 및 재배포 금지