dohyeon's log

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2020년 IJCV에 개제된 Tracking Persons-of-Interest via Unsupervised Representation Adaptation 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 진행중인 사이드 프로젝트에서 Unconstrained(제약이 없는) 상황에서 Multi Face Tracking을 해야했기 때문입니다.논문 리뷰에 앞서 이 논문을 한마디로 정리하면 다음과 같습니다.카메라 앵글이나 장면 전환이 빈번하게 일어나는 Unconstrained Video에 특화된 Face Tracking model 1. BackgroundConstrained VideoConstrained Video를 한글로 직역하면 "제약이 없는 비디오"라는..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2015년 CVPR에 개제된 FaceNet: A Unified Embedding for Face Recognition and Clustering 일명 FaceNet 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 진행중인 사이드프로젝트를 개발하는 도중  한가지 문제가 발생했기 때문입니다. 개발한 모델은 Video 내 앵글이나 시점이 달라지는 경우 얼굴을 잘 추적하였지만, Video의 맥락(장소, 출연진이 옷을 갈아입는 경우 등)이 전환될 때 동일한 인물의 ID가 달라지는 문제가 발생했습니다. 그래서 저는 이러한 문제를 해결하기 위해 매 프레임마다 얼굴의 임베딩을 추출하고 임베딩끼리의 유사도를 분석하여 동일 인물끼리 클러스터링하여 Re-Identific..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2024년 ICCV에 개제된 UniDepth: Universal Monocular Metric Depth Estimation 일명 UniDepth 이라는 논문입니다.논문 소개에 앞서 초창기 Monocular Depth Estimation 방법들은 단안 카메라에서 획득된 RGB 이미지만으로 Depth Map을 얻을 수 있었습니다. 하지만 이렇게 얻어진 Depth Map의 각 픽셀에 저장되는 Depth Value는 하나의 이미지 안에서 각 물체끼리의 상대적인 거리를 나타내는 Relative Value(상대적인 값)만을 얻을 수 있는 한계가 존재하였습니다. 그래서 최근 Monocular Metric Depth Estimation 일명 MMDE라는 방법이 제안되었습니..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2023년 ICCV에 개제된 DETRs with Collaborative Hybrid Assignments Training 일명 Co-DETR 이라는 논문입니다.먼저 제가 지금까지 다양한 Object Detection 모델이나 Instance Segmentation 모델을 테스트해보고 느낀점은 모델 re-train에 쓰인 데이터셋과 내 데이터셋이 유사(Class가 겹치거나 Annotation 형태가 비슷하거나)할 때 실제로도 좋은 성능이 나온다는 것이었습니다.그래서 제가 새로운 모델을 서칭하는 방법중 하나는 단순히 Papers with Code에서 성능지표가 가장 높은걸 찾기보다, 먼저 내 데이터셋과 유사(class or annotation 형태)한 Datas..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2023년 ICCV에 개제된 RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 제가 진행중인 3D Depth Camera 개발 프로젝트에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이런 문제는 HDR(High Dynamic Range) 복원을 통해 해결할 수 있는데요. 이에 대한 기본적인 배경지식은 아래 글을 참고해주시면 감사하겠습니다.https://dohyeon.tistory.com/96 [논문리뷰..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2020년 CVPR에 개제된 Replacing Mobile Camera ISP with a Single Deep Learning Model 이라는 논문입니다.  제가 이 논문을 리뷰한 이유는 최근 진행중인 "3D Depth Camera 개발 프로젝트"에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이 문제를 해결하고자 연구하던 중 ISP(Image Signal Processor)에 대해서 알게되었고, ISP의 펌웨어를 직접 수정하지 않고도 DSLR의 최고급형 이미지 센서의 ISP 처리수준으로 이미지를 개선할 수 있는 방법을 소개하는 신..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 NVIDIA에서 2020년 4월에 발표한 INTEGER QUANTIZATION FOR DEEP LEARNING INFERENCE: PRINCIPLES AND EMPIRICAL EVALUATION 이라는 논문입니다.  제가 이 논문을 리뷰하는 이유는 최근 진행중인 "농장주를 위한 가축 성장관리 서비스"에 사용되는 Instance Segmentation 모델을 경량화하여 Inference time과 AWS Inference 요금을 절감해보고자 리뷰하게 되었습니다. 0. 모델 경량화모델 경량화에는 크게 세 가지 방법이 존재합니다. 각각 Pruning, Quantization, Distillation인데요. 세 가지 방식 모두 큰 모델을 작게 변환하는 것은 동일하나 ..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 HDRUNet: Single Image HDR Reconstruction with Denoising and Dequantization 일명 HDRUNet입니다. HDRUNet은 2021년 CVPR NTIRE High Dynamic Range Challenge - Single Frame Track에서 무려 2위를 한 논문입니다...!  제가 이 논문을 리뷰하는 이유는 최근 제가 진행중인 3D Depth Camera 개발 프로젝트에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이런 문제를 어떻게 해결할수 있을까 고민하던 중 얼마전에 HDR..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries 일명 DETR3D입니다. DETR3D는 2020년 facebook research팀에서 발표한 DETR에서 인사이트를 얻어 발표한 논문입니다. DETR에서는 transformer 구조를 활용하여 2D OD(object detection)을 진행하지만, 본 논문에서는 transformer 구조를 활용하여 3D OD를 진행합니다.  제가 이 논문을 리뷰하게된 가장 큰 이유는 Depth Estimation을 통해 3D 입력값을 얻고 3D OD를 진행하는 기존 방식과 달리 Multi-view image와 카메라의 Projection matr..

안녕하세요 윤도현입니다. 오늘 소개해드릴 논문은 PointNet이라는 논문입니다. 바로 리뷰 진행해보겠습니다. 1. Background + IntroductionPoint Cloud란 3차원 공간상(3차원 월드좌표계)에 존재하는 점들의 집합입니다. 각 점은 (x,y,z) 값으로 표현할 수 있습니다.Point Cloud는 점들의 밀집도가 균일하지 않은 불규칙한 특성을 갖고 있습니다. 아래 그림은 각각 Point Cloud, Voxel, Mesh로 표현한 토끼입니다. Point Cloud의 불규칙한 특성 때문에, 기존 연구들은 Point Cloud를 Voxel이나 2D image와 같이 규칙적인 형태로 변환한 뒤 딥러닝 모델에 입력해왔습니다. 그러나 이러한 데이터 변환은 데이터를 불필요하게 크게 만들거나 데..