"우수한 그래픽"이라고하면 고해상도 텍스처와 가벼운 체이스를 지원하는 최신 3A 수준 게임을 의미한다고 생각할 것입니다. "포토 리얼리즘"이라고하면 대답은 비슷할 수 있지만 그래픽 디테일과 실제 세계의 유사점에 특히주의를 기울일 것입니다. 그러나 Intel Labs의 최신 연구는 포토 리얼리즘이 무엇인지, 게임 개발, 특히 가상 현실에 적용되는 응용 프로그램을 보여줍니다.
이 새로운 기술을 Free View Synthesis라고하며, 환경에서 소스 이미지 (예 : 숲을 걸 으면서 녹화 된 비디오)를 얻고 이미지가 설명하는 환경을 재구성하고 렌더링하는 데 사용할 수 있습니다. 완전히 "사실적인"3D 형식. 플레이어와 같은 "타겟 뷰"를 가질 수 있으며이 환경에서 자유롭게 걸을 수 있으며 새로운 사실적인 뷰를 생성 할 수 있습니다. 연구원들이 ECCV2020에서 관련 연구를 발표 할 것이며 관심있는 독자들은 컨퍼런스를 따를 수 있다는 점을 언급 할 가치가 있습니다.
이 기술을 게임 개발에 적용하는 것은 분명합니다. 이론적으로 실제 그림이있을 때 시스템은 레이아웃과 콘텐츠가 동일 할뿐만 아니라 모양도 유사한 게임 환경을 자동으로 생성 할 수 있습니다. 이 기술을 사용하여 게임 개발자는 빠르고 쉽게 레벨 디자인을 수행하고 현실에 필적하는 시각적 충실도를 얻을 수 있습니다.
Free View Synthesis는 많은 응용 프로그램을 가지고 있지만 게임과 관련하여 Intel Labs Intelligent Systems의 수석 과학자 인 Vladen Koltun은 "현실과 구별 할 수없는 게임을 만들 수있다"고 지적했습니다.
구체적인 기술적 세부 사항은 다음 논문을 참조하되 요약하면 소스 이미지로 생성 된 환경은 SfM (Structure from Motion)과 MVS (Multi-View Stereo)를 사용하여 프록시 깊이 맵을 생성 한 다음 타겟을 생성 할 수 있습니다. 뷰는 새로운 뷰를 합성하기 위해 "컨볼 루션 네트워크"를 통해 재 투영되고 처리됩니다. 간단히 말해서 소스 이미지를 가져 와서 이미지를 기반으로 "깊이 매핑"환경을 만든 다음 컨볼 루션 네트워크를 사용하여 새보기를 합성합니다.
"이것은 기존 그래픽 파이프 라인에서 발생하는 특정 기하학적 계산을 포함하고 표준 딥 네트워크 추론에서 볼 수 있듯이 컨볼 루션 네트워크를 통과합니다."팀은 제한된 수의 소스 이미지에만 딥 러닝을 사용합니다. 실제 장면을 참조하고 사실적인 뷰 작업을 만듭니다.
Colton은 Free View Synthesis에서 SfM 및 MVS의 사용이 매우 중요하다고 지적했습니다. "다른 많은 기술은 우리처럼 SfM / MVS를 사용하지 않습니다." 연구원들은 SfM / MVS가 이룩한 (그리고 앞으로도 계속 될) 모든 놀라운 진전에주의를 기울이지 않는 것이 매우 낭비라고 생각합니다. "반대로 우리는 그것을 기반으로 사용하고 지속적으로 노력해야합니다. 우리의 방법이 이러한 높은 보안을 달성 할 수있는 이유 진실의 정도는 지난 30 년 동안 SfM / MVS 기술의 발전에 크게 기인합니다. "
이론적으로는 Free View Synthesis (Free View Synthesis)를 사용하여 게임 개발자는 지역 공원을 걷는 영상을 녹화 한 다음 관련 파이프 라인에 이미지를 넣어 공원의 사실적인 사진을 생성하고 선택할 수 있습니다. 원하는 모든 이동 경로. 우리는 또한이 기술이 현실적인 가상 현실 환경을 신속하게 생성하고 플레이어가 자유롭게 이동할 수 있도록해야한다고 추론 할 수 있습니다. 또한 "현재 구현은 실시간 성능에 최적화되어 있지 않지만 ... 실시간 실행에 근본적인 장애물은 없습니다."
Free View Synthesis에는 딥 러닝 그래픽 기능이 필요하지만 문제가되지 않습니다. 정말로 해결해야 할 과제는 (적어도 게임의 경우) : 장면에 새로운 합성 요소를 만드는 것입니다. 사실적인 공원을 걸어 다니는 것은 확실히 좋지만 게임을 만들려면 환경과 상호 작용하고 다른 요소 (예 : FPS 게임의 총)를 도입 할 수 있어야합니다.
Colton은이 기술이 상황에 어떻게 반응하는지 "연구해야 할 문제"라고 말했습니다. 즉,이 질문은 아직 답변되지 않았습니다. "현재 형태로는 정적 인 장면 처리에만 적합하다. 포토 리얼리즘의 모습을 유지하면서 정적 인 장면에서 자유롭게 시점을 이동할 수있다. 결국 이와 같은 기술은 다이나믹 한 장면으로 확장 될 수있을 것이다. 활발한 연구 주제입니다. "
이것이이 기술이 게임에서 "바로 나타나지 않는"이유 일 수 있습니다. 그는“앞으로 몇 년 안에 일어나지 않더라도 결국 현실이 될 것”이라고 덧붙였다.
Free View Synthesis와 같은 렌더링 기술의 경우 헤드 마운트 디스플레이 하드웨어의 발전과 결합되어 가상 현실에 대한 엄청난 기술 도약을 가져올 것입니다.
© 2020 www.ourvrworld.com