dohyeon's log

UniDepth: 일반화된 Monocular Metric Depth Estimation!

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2024년 ICCV에 개제된 UniDepth: Universal Monocular Metric Depth Estimation 일명 UniDepth 이라는 논문입니다.논문 소개에 앞서 초창기 Monocular Depth Estimation 방법들은 단안 카메라에서 획득된 RGB 이미지만으로 Depth Map을 얻을 수 있었습니다. 하지만 이렇게 얻어진 Depth Map의 각 픽셀에 저장되는 Depth Value는 하나의 이미지 안에서 각 물체끼리의 상대적인 거리를 나타내는 Relative Value(상대적인 값)만을 얻을 수 있는 한계가 존재하였습니다. 그래서 최근 Monocular Metric Depth Estimation 일명 MMDE라는 방법이 제안되었습니..

이번 글에서는 "Nova Vision - 농장주를 위한 가축 성장관리 서비스"의 고도화 과정에서 마주했던 문제들과 해결방법에 대해 정리하였습니다. Nova Vision 서비스의 MVP를 완성하고 처음 테스트 했을 때 다음과 같은 문제점들을 마주하였습니다.이미지 한장 당 Inference time이 10초 이상 소요AWS 온디맨드 요금이 요청 한번에 0.035$ 발생이러한 문제들을 해결하고자 코드 최적화 -> 연산 최적화 -> 모델 경량화 순서로 최적화를 진행하였습니다. 개발과정[1] Nova-Vision은 어떻게 개발했을까?: 3D Depth Camera 개발[2] Nova-Vision은 어떻게 개발했을까?: AI 가축 체중측정 알고리즘[3] Nova-Vision은 어떻게 개발했을까?: 모델 경량화 및..

오늘은 모델 연산 최적화에 쓰이는 TensorRT 엔진 설치방법에 대해 정리해보려 합니다.TensorRT에 대해 간략하게 설명하자면, TensorRT는 NVIDIA에서 개발한 딥러닝 추론(optimal inference)을 위한 고성능 딥러닝 모델 최적화 라이브러리입니다. TensorRT는 주로 NVIDIA GPU에서 실행되는 딥러닝 모델을 위한 최적화, 가속화 및 추론 엔진을 제공합니다. TensorRT의 주요 기능은 다음과 같습니다:네트워크 최적화: 다양한 최적화 기법을 사용해 모델의 크기와 실행 시간을 줄여줍니다. 레이어 융합, 정밀도 감소(FP32를 FP16 또는 INT8로 변환) 등을 통해 모델을 더 작고 빠르게 실행할 수 있습니다.정밀도 최적화: FP16(반정밀도) 및 INT8(8비트 정수)로..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2023년 ICCV에 개제된 DETRs with Collaborative Hybrid Assignments Training 일명 Co-DETR 이라는 논문입니다.먼저 제가 지금까지 다양한 Object Detection 모델이나 Instance Segmentation 모델을 테스트해보고 느낀점은 모델 re-train에 쓰인 데이터셋과 내 데이터셋이 유사(Class가 겹치거나 Annotation 형태가 비슷하거나)할 때 실제로도 좋은 성능이 나온다는 것이었습니다.그래서 제가 새로운 모델을 서칭하는 방법중 하나는 단순히 Papers with Code에서 성능지표가 가장 높은걸 찾기보다, 먼저 내 데이터셋과 유사(class or annotation 형태)한 Datas..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2023년 ICCV에 개제된 RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 제가 진행중인 3D Depth Camera 개발 프로젝트에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이런 문제는 HDR(High Dynamic Range) 복원을 통해 해결할 수 있는데요. 이에 대한 기본적인 배경지식은 아래 글을 참고해주시면 감사하겠습니다.https://dohyeon.tistory.com/96 [논문리뷰..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2020년 CVPR에 개제된 Replacing Mobile Camera ISP with a Single Deep Learning Model 이라는 논문입니다.  제가 이 논문을 리뷰한 이유는 최근 진행중인 "3D Depth Camera 개발 프로젝트"에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이 문제를 해결하고자 연구하던 중 ISP(Image Signal Processor)에 대해서 알게되었고, ISP의 펌웨어를 직접 수정하지 않고도 DSLR의 최고급형 이미지 센서의 ISP 처리수준으로 이미지를 개선할 수 있는 방법을 소개하는 신..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 NVIDIA에서 2020년 4월에 발표한 INTEGER QUANTIZATION FOR DEEP LEARNING INFERENCE: PRINCIPLES AND EMPIRICAL EVALUATION 이라는 논문입니다.  제가 이 논문을 리뷰하는 이유는 최근 진행중인 "농장주를 위한 가축 성장관리 서비스"에 사용되는 Instance Segmentation 모델을 경량화하여 Inference time과 AWS Inference 요금을 절감해보고자 리뷰하게 되었습니다. 0. 모델 경량화모델 경량화에는 크게 세 가지 방법이 존재합니다. 각각 Pruning, Quantization, Distillation인데요. 세 가지 방식 모두 큰 모델을 작게 변환하는 것은 동일하나 ..

visual studio code에 AWS EC2를 SSH로 연동해서 열심히 작업하던 중 갑자기 SSH 연결이 안되는 문제가 발생했습니다.제 데스크탑 문제일 수가 있어서 AWS 콘솔에서 직접 로그인 해보았는데 다음과 같은 에러가 발생했습니다.Failed to connect to your instance EC2 Instance Connect is unable to connect to your instance. Ensure your instance network settings are configured correctly for EC2 Instance Connect. For more information, see EC2 Instance Connect Prerequisites at https://docs.aw..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 HDRUNet: Single Image HDR Reconstruction with Denoising and Dequantization 일명 HDRUNet입니다. HDRUNet은 2021년 CVPR NTIRE High Dynamic Range Challenge - Single Frame Track에서 무려 2위를 한 논문입니다...!  제가 이 논문을 리뷰하는 이유는 최근 제가 진행중인 3D Depth Camera 개발 프로젝트에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이런 문제를 어떻게 해결할수 있을까 고민하던 중 얼마전에 HDR..

이번 글에서는 "영상데이터(RGB,3D 깊이)만으로 닭의 체중을 예측하는 알고리즘"의 개발과정과 마주했던 문제 해결방법들에 대해 정리하였습니다.(농진청 스마트팜다부처패키지 기술개발사업 과제, 2022.04~2023.05) 개발과정[1] Nova-Vision은 어떻게 개발했을까?: 3D Depth Camera 개발[2] Nova-Vision은 어떻게 개발했을까?: AI 가축 체중측정 알고리즘[3] Nova-Vision은 어떻게 개발했을까?: 모델 경량화 및 코드 최적화 Github[1] https://github.com/dohyeonYoon/Nova-Vision[2] https://github.com/dohyeonYoon/BRODY  연구 개요2020년 축산업의 총 생산액은 20조 7,000억 원으로 20..