유튜브 영상을 웹툰으로 만들어 주는 Comixify
요즘 인기를 끌고 있는 어벤져스나 블랙팬서 같은 영화는 모두 만화책을 원작으로 제작된 영화입니다. 우리나라에서도 웹툰을 원작으로한 영화가 제작되기도 했는데요.
하지만 거꾸로 영화가 만화책으로 나온적은 없었던 것 같습니다. 배우들의 실감나는 연기와 효과음이 있는 영화를 굳이 돈을들여 만화책으로 바꿀 필요가 없었기 때문인데요.
폴란드 바르샤바 공과대학의 학생들의 굳이 둔을 들여서 영화를 만화로 바꿀 필요는 없지만, 인공지능을 활용하면 재미있는 결과를 만들 수 있을 거라 생각 했습니다.
이 학생들은 Comixify 라는 인공지능기술을 개발했는데, 이 기술은 AI와 머신러닝을 활용해 비디오의 각 프레임을 분석하고 그 영상의 내용을 가장 잘 표현할 수 있는 프레임을 고르고 이미지 평가 엔진을 이용해 분석합니다. 이렇게 해서 최종적으로 대표 프레임들 선정이 완료되면 이후에는 각 이미지를 웹툰 스타일로 변환시키는 작업을 합니다.
comixify - transform video to comics.pdf
이후 웹툰 레이아웃을 생성하고 선택된 프레임을 끼워넣는 작업을 합니다. 아래는 제가 유튜브에서 트와이스의 M/V yes or yes를 Comixify로 웹툰화 시킨 결과 입니다. 아직 완벽하다곤 할 수 없지만, 이 프로젝트의 발전가능성을 엿볼 수 있는 결과가 아닐까 생각하는데요.
학생들은 이 기술을 계속해서 발전시켜나갈 계획이라고 합니다. 이들은 웹툰 레이아웃 구성을 더욱 풍성하게 할 계획이며, 음성인식기능을 추가하여 자동으로 자막까지 생성할 수 있게 만들 예정입니다.
코믹스파이 웹사이트에서는 동영상 파일을 업로드 하거나 유튜브 URL을 활용해 웹툰이미지를 직접 생성해 볼 수 있습니다.
https://comixify.ii.pw.edu.pl/
