Deep Video Portraits 영상합성기술
작년말 유명 헐리웃 스타의 19금 영상들이 레딧에 올라와 논란이 된적이 있습니다. 영상을 올린 개발자는 특별한 장비나 도구 없이 이미 공개된 인공지능 알고리즘만으로 합성영상을 만들 었다고 밝혔는데요.
구글 이미지 검색으로 원더우먼(갤 가돗)의 사진을 AI에 학습 시키고, 이를 19금 영상에 합성을 한 것입니다.
관련글 : 원더우먼 갤 가돗 19금 영상 등장?
영상을 본 사람들은 안 그래도 가짜뉴스가 판치고 있는데, 앞으로는 영상까지 포함된 더욱 그럴듯한 가짜뉴스가 나올 것이다 라고 걱정을 하기도 했습니다.
실제로 워싱턴대학교에서 오바마 대통령이나 푸틴 대통령의 얼굴을 합성한 영상이 공개되기도 했는데요. 해당 영상들은 눈썰미가 좋은 사람에게는 어색해 보이긴 하지만 얼핏보면 실제 대통령이 연설하는 모습으로 보여졌습니다.
하지만 불과 일년도 지나지 않아 이 영상 합성기술은 더욱 놀랍게 발전했는데요. 오는 8월 12~16일 동안 벤쿠버에서 진행될 'The SIGGRAPH 2018 컴퓨터 그래픽 & 디자인 컨퍼런스'에서 선보일 예정인 Deep Video Portraits기술을 사용해 합성한 영상은, 실제영상과 합성영상의 차이를 구분하기 불가능할 정도로 많은 기술적 진보가 이뤄졌습니다.
이 기술은 스탠포드 대학의 Michael Zollhöfer 교수와 뮌헨 공과대학, Bath 대박, Technicolor 대학의 공동 연구로 개발됐습니다. Zollhöfer 교수는 AI가 원본 영상을 학습하는 방식을 고안 했는데, 이 방식으로 원본영상의 주인공의 표정과 행동 등을 마음대로 수정할 수 있게 되었습니다.
이 기술은 머리의 움직임을 물론 시선, 눈 깜박임과 같은 얼굴의 모든 변화를 자연스럽게 합성할 수 있는데, 신호 생성 모델에서 데이터를 가져 와서 주어진 타겟 액터의 실사 프레임을 계산하거나 예측하는 생성적인 신경 네트워크의 형태로 AI를 사용한다고 합니다.
그리고 합성영상이 보다 매끄럽고 사실적으로 보여질 수 있도록 보조 알고리즘을 통해 글리치 및 기타 아티팩트를 수정합니다. 샘플 영상을 보니 정말 가짜뉴스가 판치는 날이 오겠구나! 하는 생각이 드는데요.
도널드 트럼프 대통령이나 김정은 위원장같은 영향력 있는 사람들의 합성영상을 만들어 배포한다면 큰 문제가 발생할 수도 있을 것 같습니다.
하지만 이 기술이 나쁜용도로만 사용될 수 있는 것은 아닙니다. 이 기술을 외국영화 더빙작업에 적용한다면 배우의 입모양까지 한국어 발음에 맞춰서 합성할 수 있습니다. 이렇게 되면 영화에 더욱 몰입할 수 있게 됩니다. 또한 이제 고인이 된 배우를 부활시켜 새 영화를 찍을 수도 있을 것입니다.
Deep Video Portraits 기술에 관련 자세한 사항은 이들이 공개한 논문 및 아래 유튜브 영상에서 확인할 수 있습니다.
Deep Video Portraits.pdf아무쪼록 이런 놀라운 기술들이 우리의 삶을 개선 시키는 방향으로 많이 활용될 수 있었으면 좋겠습니다.
