컴맹의 컴퓨터공학과에서 살아남기

def get_rays(H, W, K, c2w): i, j = torch.meshgrid(torch.linspace(0, W-1, W), torch.linspace(0, H-1, H)) # pytorch's meshgrid has indexing='ij' i = i.t() j = j.t() dirs = torch.stack([(i-K[0][2])/K[0][0], -(j-K[1][2])/K[1][1], -torch.ones_like(i)], -1) # normalized coordinate # Rotate ray directions from camera frame to the world frame rays_d = torch.sum(dirs[..., np.newaxis, :] * c2w[:3,:3], -1)..

요즘 depth estimation, 특히 monocular depth estimation 관련해서 좀 더 자세히 알아보기 위해 이번 논문을 고르게 되었다. 그렇다면 우선 논문 설명을 시작하기에 앞서서 Depth estimation에서 크게 Monocular Depth estimation과 Stereo Depth estimation 두 종류가 존재하는데, 이 둘의 특징부터 간략하게 적고 논문을 정리하도록 하자! Stereo Depth Estimation 특정 시간에 두 시점에서의 이미지를 이용하여 Depth 측정. Left image와 Right image에서 매칭되는 점들에 대한 disparity를 통해 depth 계산. Monocular Depth Estimation 특정 시간에 한 시점에서의 이미지..

Deep3D Main Concept 과거 3D를 나타내기 위해서는 stereo 이미지를 이용하였다. 하지만, 하나의 view에서 다른 view의 이미지를 얻어내기 위해서는 사람이 알고리즘을 통해 일일히 계산해야한다는 문제점이 있다. 따라서 Deep3D는 stereo 이미지를 나누어서 하나의 이미지를 통해 나머지 이미지를 알아내는 것을 목표로 하였다. 즉, 왼쪽 눈으로 보는 이미지를 통해 오른쪽 눈으로 보는 이미지를 도출해내는 모델을 만들었다. Deep3D Method Deep3D는 network 각 단계에서 convolution 계산을 통해 나온 map들을 다시 Deconvolution을 진행한다. 이를 통해 각 단계별로 계산되는 특징에 대해 구할 수 있도록 한다. 또한 Upsampling한 featur..

21-1학기 기계학습 프로젝트의 주제가 "data augmentation"였다. 프로젝트를 진행하기 위해 data augmentation에 대한 여러 논-문들을 읽다가 찾은 "RICAP". 처음 이 논문을 읽을때 기존에 생각하지 못했던 '중요하지 않은 정보에 대한 필요성' 에 대해 알게 되었다. RICAP Method 랜덤한 사진 4개를 각각 랜덤하게 잘라서 하나의 사진으로 만드는 것. 그리고 soft labeling을 통해서 학습을 진행하게 된다. 이때 soft labeling은 모델이 overconfidence하게 되는걸 막아주는데, 이는 모델의 overfitting을 규제할 수 있다. 기존의 hard Labeling은 0 또는 1로 labeling을 한다면, soft labeling은 0.1이나 0..

Depth estimation 논문을 읽을 때, 나오는 여러 method들에 대한 정리가 필요한 것 같아서, 간단한 개념들을 정리해보았다. Structure from motion 여러 2D 이미지를 통하여 3D 구조를 추정하는 것이다. 과거에 matrix 계산을 통해 구하는 방법은 low texture, complex geometry/photometry, thin structures, occlusion에서 제대로 된 성능을 내기 어렵다. 따라서 현대에는 딥러닝을 이용한 방법들이 많아졌는데, 이러한 방법으로 우리가 흔히 아는 stereo뿐 아니라, pose estimation, feature matching도 이에 포함된다. (stereo: depth 계산, feature matching: 두 사진의 여러..

PointNet Concept 3D data를 사용할 때, convolutional 구조에서는 weight sharing과 kernel optimization으로 인해 정규화된 input이 필요하다. 따라서 아래의 point cloud는 순서가 정해져있지 않은 irregular format인 데이터이기 때문에 voxel이나 polygon으로 바꿔서 사용해야 한다. 하지만 이는 데이터의 모호성과 불필요한 volum이 있기 때문에, unorder된 point cloud 를 직접 사용하고자 한다. 이 논문에서 point cloud를 사용하기 위해 꼭 필요한 특징이 크게 2가지가 있다. invariant to permutations of its members - input 순서가 바뀌어도 동일한 output 도..

이번에 소개할 논문은 Semi-supervised segmentation에 대한 논문이다. 논문에 나온 Feature를 설명하기에 앞서, 이해를 돕기 위한 중요한 사전 지식부터 정리하자. 우선 논문 제목에 쓰여있는 Semi-supervised란, unlabel data와 label data를 함께 이용하여 모델을 학습시키는 것이다. 보통 우리가 모델을 훈련시킬 때, label이 있는 data를 이용하여 학습을 한다. 하지만, label이 있는 data를 구하는 것은 cost가 들고, 우리는 unlabel data 또한 학습에 활용할 수 있는 방안을 생각해야 한다. 따라서 이번 논문의 기본 목적은 segmentation에서 unlabel data를 학습에서 활용할 수 있는 방안 제시한다. 그렇다면, unl..