엔비디아 손쉽게 가상세계 렌더링하는 인공지능 개발
지난달 캐나다 몬트리올에서 열린 NeurIPS 2018 컨퍼런스에서 Nvidia는 가상세계를 쉽게 구현할 수 있는 인공지능 기술을 선보였습니다.
컨퍼런스에서 Nvidia는 신경망으로 렌더링한 가상세계를 자동차로 주행할 수 있는 데모를 선보였습니다. 이 데모는 기존의 모델링 기술을 사용하지 않고 신경망을 이용해서 영상을 3D 환경으로 재구성하는 기술을 사용한 것인데 촬영한 영상에서 오브젝트를 분리하여 인식하고 실시간으로 렌더링을 합니다.
데모에서는 해질 무렵의 보스톤과 독일, 그리고 GTA 게임 속을 자유롭게 운전할 수 있었습니다.
아직 초기 단계로 보이지만, 이 AI기술은 AR 게임이나 자율주행 자동차 기술 개발에 큰 도움을 줄 수 있을 것으로 기대되고 있습니다.
이 기술을 개발한 팅 춘 왕, 밍 유 리오 연구원은 "vid2vid는 완전히 합성된 새로운 세계를 렌더링하는 최초의 뉴럴 네트워크라며, 개발자들은 이 기능을 활용해 기존 가상 모델링보다 훨씬 저렴한 비용으로 신속히 대화형 그래픽을 만들 수 있다."고 설명했습니다.
vid2vid.pdf학습을 위해 팀은 Nvidia Tesla V100 GPU로 cuDNN 가속 PyTorch 심층 학습 프레임 워크를 사용했으며 Cityscapes 및 Apolloscapes 데이터 세트에서 수천 개의 비디오를 사용했다고 합니다.
vid2vid는 언리얼 엔진4를 사용해 장면의 시맨틱 레이아웃을 생성합니다. 실제 촬영영상으로 훈련된 GAN은 건물과 자동차, 거리 등 여러 물체로 가득 찬 도시를 렌더링할수 있습니다.
이렇게 생성된 가상세계는 오브젝트들을 쉽게 추가, 수정, 제거 할 수 있기 때문에 결과물 편집이 쉽습니다. 또한 학습을 거듭할 수록 프레임간 깜빡임을 최소화 해 더욱 현실감 있는 비디오를 만들어 낼 수 있다고 합니다.
Nvidia는 이 기술을 오픈소스를 연구하고 있기 때문에 앞으로 빠른 발전을 기대해 볼 수 있겠습니다.
