컴맹의 컴퓨터공학과에서 살아남기

요즘 depth estimation, 특히 monocular depth estimation 관련해서 좀 더 자세히 알아보기 위해 이번 논문을 고르게 되었다. 그렇다면 우선 논문 설명을 시작하기에 앞서서 Depth estimation에서 크게 Monocular Depth estimation과 Stereo Depth estimation 두 종류가 존재하는데, 이 둘의 특징부터 간략하게 적고 논문을 정리하도록 하자! Stereo Depth Estimation 특정 시간에 두 시점에서의 이미지를 이용하여 Depth 측정. Left image와 Right image에서 매칭되는 점들에 대한 disparity를 통해 depth 계산. Monocular Depth Estimation 특정 시간에 한 시점에서의 이미지..

Deep3D Main Concept 과거 3D를 나타내기 위해서는 stereo 이미지를 이용하였다. 하지만, 하나의 view에서 다른 view의 이미지를 얻어내기 위해서는 사람이 알고리즘을 통해 일일히 계산해야한다는 문제점이 있다. 따라서 Deep3D는 stereo 이미지를 나누어서 하나의 이미지를 통해 나머지 이미지를 알아내는 것을 목표로 하였다. 즉, 왼쪽 눈으로 보는 이미지를 통해 오른쪽 눈으로 보는 이미지를 도출해내는 모델을 만들었다. Deep3D Method Deep3D는 network 각 단계에서 convolution 계산을 통해 나온 map들을 다시 Deconvolution을 진행한다. 이를 통해 각 단계별로 계산되는 특징에 대해 구할 수 있도록 한다. 또한 Upsampling한 featur..

PointNet Concept 3D data를 사용할 때, convolutional 구조에서는 weight sharing과 kernel optimization으로 인해 정규화된 input이 필요하다. 따라서 아래의 point cloud는 순서가 정해져있지 않은 irregular format인 데이터이기 때문에 voxel이나 polygon으로 바꿔서 사용해야 한다. 하지만 이는 데이터의 모호성과 불필요한 volum이 있기 때문에, unorder된 point cloud 를 직접 사용하고자 한다. 이 논문에서 point cloud를 사용하기 위해 꼭 필요한 특징이 크게 2가지가 있다. invariant to permutations of its members - input 순서가 바뀌어도 동일한 output 도..