컴맹의 컴퓨터공학과에서 살아남기

요즘 depth estimation, 특히 monocular depth estimation 관련해서 좀 더 자세히 알아보기 위해 이번 논문을 고르게 되었다. 그렇다면 우선 논문 설명을 시작하기에 앞서서 Depth estimation에서 크게 Monocular Depth estimation과 Stereo Depth estimation 두 종류가 존재하는데, 이 둘의 특징부터 간략하게 적고 논문을 정리하도록 하자! Stereo Depth Estimation 특정 시간에 두 시점에서의 이미지를 이용하여 Depth 측정. Left image와 Right image에서 매칭되는 점들에 대한 disparity를 통해 depth 계산. Monocular Depth Estimation 특정 시간에 한 시점에서의 이미지..

Deep3D Main Concept 과거 3D를 나타내기 위해서는 stereo 이미지를 이용하였다. 하지만, 하나의 view에서 다른 view의 이미지를 얻어내기 위해서는 사람이 알고리즘을 통해 일일히 계산해야한다는 문제점이 있다. 따라서 Deep3D는 stereo 이미지를 나누어서 하나의 이미지를 통해 나머지 이미지를 알아내는 것을 목표로 하였다. 즉, 왼쪽 눈으로 보는 이미지를 통해 오른쪽 눈으로 보는 이미지를 도출해내는 모델을 만들었다. Deep3D Method Deep3D는 network 각 단계에서 convolution 계산을 통해 나온 map들을 다시 Deconvolution을 진행한다. 이를 통해 각 단계별로 계산되는 특징에 대해 구할 수 있도록 한다. 또한 Upsampling한 featur..

Depth estimation 논문을 읽을 때, 나오는 여러 method들에 대한 정리가 필요한 것 같아서, 간단한 개념들을 정리해보았다. Structure from motion 여러 2D 이미지를 통하여 3D 구조를 추정하는 것이다. 과거에 matrix 계산을 통해 구하는 방법은 low texture, complex geometry/photometry, thin structures, occlusion에서 제대로 된 성능을 내기 어렵다. 따라서 현대에는 딥러닝을 이용한 방법들이 많아졌는데, 이러한 방법으로 우리가 흔히 아는 stereo뿐 아니라, pose estimation, feature matching도 이에 포함된다. (stereo: depth 계산, feature matching: 두 사진의 여러..