dohyeon's log

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2020년 IJCV에 개제된 Tracking Persons-of-Interest via Unsupervised Representation Adaptation 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 진행중인 사이드 프로젝트에서 Unconstrained(제약이 없는) 상황에서 Multi Face Tracking을 해야했기 때문입니다.논문 리뷰에 앞서 이 논문을 한마디로 정리하면 다음과 같습니다.카메라 앵글이나 장면 전환이 빈번하게 일어나는 Unconstrained Video에 특화된 Face Tracking model 1. BackgroundConstrained VideoConstrained Video를 한글로 직역하면 "제약이 없는 비디오"라는..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2015년 CVPR에 개제된 FaceNet: A Unified Embedding for Face Recognition and Clustering 일명 FaceNet 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 진행중인 사이드프로젝트를 개발하는 도중  한가지 문제가 발생했기 때문입니다. 개발한 모델은 Video 내 앵글이나 시점이 달라지는 경우 얼굴을 잘 추적하였지만, Video의 맥락(장소, 출연진이 옷을 갈아입는 경우 등)이 전환될 때 동일한 인물의 ID가 달라지는 문제가 발생했습니다. 그래서 저는 이러한 문제를 해결하기 위해 매 프레임마다 얼굴의 임베딩을 추출하고 임베딩끼리의 유사도를 분석하여 동일 인물끼리 클러스터링하여 Re-Identific..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2024년 ICCV에 개제된 UniDepth: Universal Monocular Metric Depth Estimation 일명 UniDepth 이라는 논문입니다.논문 소개에 앞서 초창기 Monocular Depth Estimation 방법들은 단안 카메라에서 획득된 RGB 이미지만으로 Depth Map을 얻을 수 있었습니다. 하지만 이렇게 얻어진 Depth Map의 각 픽셀에 저장되는 Depth Value는 하나의 이미지 안에서 각 물체끼리의 상대적인 거리를 나타내는 Relative Value(상대적인 값)만을 얻을 수 있는 한계가 존재하였습니다. 그래서 최근 Monocular Metric Depth Estimation 일명 MMDE라는 방법이 제안되었습니..

이번 글에서는 "Nova Vision - 농장주를 위한 가축 성장관리 서비스"의 고도화 과정에서 마주했던 문제들과 해결방법에 대해 정리하였습니다. Nova Vision 서비스의 MVP를 완성하고 처음 테스트 했을 때 다음과 같은 문제점들을 마주하였습니다.이미지 한장 당 Inference time이 10초 이상 소요AWS 온디맨드 요금이 요청 한번에 0.035$ 발생이러한 문제들을 해결하고자 코드 최적화 -> 연산 최적화 -> 모델 경량화 순서로 최적화를 진행하였습니다. 개발과정[1] Nova-Vision은 어떻게 개발했을까?: 3D Depth Camera 개발[2] Nova-Vision은 어떻게 개발했을까?: AI 가축 체중측정 알고리즘[3] Nova-Vision은 어떻게 개발했을까?: 모델 경량화 및..

오늘은 모델 연산 최적화에 쓰이는 TensorRT 엔진 설치방법에 대해 정리해보려 합니다.TensorRT에 대해 간략하게 설명하자면, TensorRT는 NVIDIA에서 개발한 딥러닝 추론(optimal inference)을 위한 고성능 딥러닝 모델 최적화 라이브러리입니다. TensorRT는 주로 NVIDIA GPU에서 실행되는 딥러닝 모델을 위한 최적화, 가속화 및 추론 엔진을 제공합니다. TensorRT의 주요 기능은 다음과 같습니다:네트워크 최적화: 다양한 최적화 기법을 사용해 모델의 크기와 실행 시간을 줄여줍니다. 레이어 융합, 정밀도 감소(FP32를 FP16 또는 INT8로 변환) 등을 통해 모델을 더 작고 빠르게 실행할 수 있습니다.정밀도 최적화: FP16(반정밀도) 및 INT8(8비트 정수)로..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2023년 ICCV에 개제된 DETRs with Collaborative Hybrid Assignments Training 일명 Co-DETR 이라는 논문입니다.먼저 제가 지금까지 다양한 Object Detection 모델이나 Instance Segmentation 모델을 테스트해보고 느낀점은 모델 re-train에 쓰인 데이터셋과 내 데이터셋이 유사(Class가 겹치거나 Annotation 형태가 비슷하거나)할 때 실제로도 좋은 성능이 나온다는 것이었습니다.그래서 제가 새로운 모델을 서칭하는 방법중 하나는 단순히 Papers with Code에서 성능지표가 가장 높은걸 찾기보다, 먼저 내 데이터셋과 유사(class or annotation 형태)한 Datas..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2023년 ICCV에 개제된 RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 제가 진행중인 3D Depth Camera 개발 프로젝트에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이런 문제는 HDR(High Dynamic Range) 복원을 통해 해결할 수 있는데요. 이에 대한 기본적인 배경지식은 아래 글을 참고해주시면 감사하겠습니다.https://dohyeon.tistory.com/96 [논문리뷰..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2020년 CVPR에 개제된 Replacing Mobile Camera ISP with a Single Deep Learning Model 이라는 논문입니다.  제가 이 논문을 리뷰한 이유는 최근 진행중인 "3D Depth Camera 개발 프로젝트"에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이 문제를 해결하고자 연구하던 중 ISP(Image Signal Processor)에 대해서 알게되었고, ISP의 펌웨어를 직접 수정하지 않고도 DSLR의 최고급형 이미지 센서의 ISP 처리수준으로 이미지를 개선할 수 있는 방법을 소개하는 신..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 NVIDIA에서 2020년 4월에 발표한 INTEGER QUANTIZATION FOR DEEP LEARNING INFERENCE: PRINCIPLES AND EMPIRICAL EVALUATION 이라는 논문입니다.  제가 이 논문을 리뷰하는 이유는 최근 진행중인 "농장주를 위한 가축 성장관리 서비스"에 사용되는 Instance Segmentation 모델을 경량화하여 Inference time과 AWS Inference 요금을 절감해보고자 리뷰하게 되었습니다. 0. 모델 경량화모델 경량화에는 크게 세 가지 방법이 존재합니다. 각각 Pruning, Quantization, Distillation인데요. 세 가지 방식 모두 큰 모델을 작게 변환하는 것은 동일하나 ..

visual studio code에 AWS EC2를 SSH로 연동해서 열심히 작업하던 중 갑자기 SSH 연결이 안되는 문제가 발생했습니다.제 데스크탑 문제일 수가 있어서 AWS 콘솔에서 직접 로그인 해보았는데 다음과 같은 에러가 발생했습니다.Failed to connect to your instance EC2 Instance Connect is unable to connect to your instance. Ensure your instance network settings are configured correctly for EC2 Instance Connect. For more information, see EC2 Instance Connect Prerequisites at https://docs.aw..