dohyeon's log

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2019년 CVPR에 개제된 CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark 이라는 논문입니다. 이 논문을 리뷰하게된 이유는 다음과 같습니다. 최근 물체끼리 서로 간섭하는 상황(ex, 군중데이터)에서 Top-down 방식의 PE 모델을 사용하였고 PE 성능이 떨어지는 문제가 발생하였습니다. 그 원인은 bbox 내에 여러 인물이 포함되었기 때문이었고, 이 논문은 이러한 문제를 해결한 최초의 논문이었기 때문에 리뷰하게 되었습니다. 리뷰에 앞서 이 논문을 한마디로 정리하면 다음과 같습니다.Detector를 건드리지 않고 Pose Estimator만으로 군중 데이터 상황에서 PE 성능을 ..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2022년 Multimedia System이라는 저널에 개제된 2D Human Pose Estimation: A Survey 이라는 논문입니다. 이 논문을 리뷰하게된 이유는 최근 회사에서 Fish Pose Estimation을 통해 어류의 체중을 예측하는 task를 맡게 되었는데, Pose Estimation에 대한 전반적인 도메인 지식을 쌓기위해 이 논문을 리뷰하게 되었습니다. 논문 리뷰에 앞서 제가 이 논문을 읽고 내린 결론을 표로 정리해보면 다음과 같습니다.논문을 읽고 내린 결론2D Pose Estimation을 진행하는 방법에는 크게 Top-down 방식과 Bottom-up 방식이 있었고 각각의 장단점은 다음과 같습니다.구분Top-down 방식Botto..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2019년 CVPR에 개제된 Deep High-Resolution Representation Learning for Human Pose Estimation 이라는 논문입니다. 이 논문을 리뷰하게된 이유는 최근 Fish Pose Estimation을 통해 어류의 체중을 예측하는 서비스를 접하게 되었는데, 내부적으로 어떻게 구현된건지 궁금증이 생겨서 이 논문을 리뷰하게 되었습니다. 논문 리뷰에 앞서 이 논문을 한마디로 정리하면 다음과 같습니다. 해상도를 낮추는 과정없이, 처음부터 끝까지 고해상도를 유지함으로써 Pose Estimation 성능을 끌어올린 논문 0. Background일반적으로 heatmap 기반으로 keypoint를 detection하는 neura..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2020년 IJCV에 개제된 Tracking Persons-of-Interest via Unsupervised Representation Adaptation 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 진행중인 사이드 프로젝트에서 Unconstrained(제약이 없는) 상황에서 Multi Face Tracking을 해야했기 때문입니다.논문 리뷰에 앞서 이 논문을 한마디로 정리하면 다음과 같습니다.카메라 앵글이나 장면 전환이 빈번하게 일어나는 Unconstrained Video에 특화된 Face Tracking model 1. BackgroundConstrained VideoConstrained Video를 한글로 직역하면 "제약이 없는 비디오"라는..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2015년 CVPR에 개제된 FaceNet: A Unified Embedding for Face Recognition and Clustering 일명 FaceNet 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 진행중인 사이드프로젝트를 개발하는 도중  한가지 문제가 발생했기 때문입니다. 개발한 모델은 Video 내 앵글이나 시점이 달라지는 경우 얼굴을 잘 추적하였지만, Video의 맥락(장소, 출연진이 옷을 갈아입는 경우 등)이 전환될 때 동일한 인물의 ID가 달라지는 문제가 발생했습니다. 그래서 저는 이러한 문제를 해결하기 위해 매 프레임마다 얼굴의 임베딩을 추출하고 임베딩끼리의 유사도를 분석하여 동일 인물끼리 클러스터링하여 Re-Identific..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2024년 CVPR에 개제된 UniDepth: Universal Monocular Metric Depth Estimation 일명 UniDepth 이라는 논문입니다.논문 소개에 앞서 초창기 Monocular Depth Estimation 방법들은 단안 카메라에서 획득된 RGB 이미지만으로 Depth Map을 얻을 수 있었습니다. 하지만 이렇게 얻어진 Depth Map의 각 픽셀에 저장되는 Depth Value는 하나의 이미지 안에서 각 물체끼리의 상대적인 거리를 나타내는 Relative Value(상대적인 값)만을 얻을 수 있는 한계가 존재하였습니다. 그래서 최근 Monocular Metric Depth Estimation 일명 MMDE라는 방법이 제안되었습니..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2023년 ICCV에 개제된 DETRs with Collaborative Hybrid Assignments Training 일명 Co-DETR 이라는 논문입니다.먼저 제가 지금까지 다양한 Object Detection 모델이나 Instance Segmentation 모델을 테스트해보고 느낀점은 모델 pre-train에 쓰인 데이터셋과 내 데이터셋이 유사(Class가 겹치거나 Annotation 형태가 비슷하거나)할 때 실제로도 좋은 성능이 나온다는 것이었습니다.그래서 제가 새로운 모델을 서칭하는 방법중 하나는 단순히 Papers with Code에서 성능지표가 가장 높은걸 찾기보다, 먼저 내 데이터셋과 유사(class or annotation 형태)한 Data..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2023년 ICCV에 개제된 RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 제가 진행중인 3D Depth Camera 개발 프로젝트에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이런 문제는 HDR(High Dynamic Range) 복원을 통해 해결할 수 있는데요. 이에 대한 기본적인 배경지식은 아래 글을 참고해주시면 감사하겠습니다.https://dohyeon.tistory.com/96 [논문리뷰..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2020년 CVPR에 개제된 Replacing Mobile Camera ISP with a Single Deep Learning Model 이라는 논문입니다.  제가 이 논문을 리뷰한 이유는 최근 진행중인 "3D Depth Camera 개발 프로젝트"에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이 문제를 해결하고자 연구하던 중 ISP(Image Signal Processor)에 대해서 알게되었고, ISP의 펌웨어를 직접 수정하지 않고도 DSLR의 최고급형 이미지 센서의 ISP 처리수준으로 이미지를 개선할 수 있는 방법을 소개하는 신..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 NVIDIA에서 2020년 4월에 발표한 INTEGER QUANTIZATION FOR DEEP LEARNING INFERENCE: PRINCIPLES AND EMPIRICAL EVALUATION 이라는 논문입니다.  제가 이 논문을 리뷰하는 이유는 최근 진행중인 "농장주를 위한 가축 성장관리 서비스"에 사용되는 Instance Segmentation 모델을 경량화하여 Inference time과 AWS Inference 요금을 절감해보고자 리뷰하게 되었습니다. 0. 모델 경량화모델 경량화에는 크게 세 가지 방법이 존재합니다. 각각 Pruning, Quantization, Distillation인데요. 세 가지 방식 모두 큰 모델을 작게 변환하는 것은 동일하나 ..