dohyeon's log

[논문리뷰]Co-DETR: LVIS 데이터셋 SOTA

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2023년 ICCV에 개제된 DETRs with Collaborative Hybrid Assignments Training 일명 Co-DETR 이라는 논문입니다.먼저 제가 지금까지 다양한 Object Detection 모델이나 Instance Segmentation 모델을 테스트해보고 느낀점은 모델 re-train에 쓰인 데이터셋과 내 데이터셋이 유사(Class가 겹치거나 Annotation 형태가 비슷하거나)할 때 실제로도 좋은 성능이 나온다는 것이었습니다.그래서 제가 새로운 모델을 서칭하는 방법중 하나는 단순히 Papers with Code에서 성능지표가 가장 높은걸 찾기보다, 먼저 내 데이터셋과 유사(class or annotation 형태)한 Datas..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2023년 ICCV에 개제된 RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image 이라는 논문입니다. 제가 이 논문을 리뷰하는 이유는 최근 제가 진행중인 3D Depth Camera 개발 프로젝트에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이런 문제는 HDR(High Dynamic Range) 복원을 통해 해결할 수 있는데요. 이에 대한 기본적인 배경지식은 아래 글을 참고해주시면 감사하겠습니다.https://dohyeon.tistory.com/96 [논문리뷰..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 2020년 CVPR에 개제된 Replacing Mobile Camera ISP with a Single Deep Learning Model 이라는 논문입니다.  제가 이 논문을 리뷰한 이유는 최근 진행중인 "3D Depth Camera 개발 프로젝트"에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이 문제를 해결하고자 연구하던 중 ISP(Image Signal Processor)에 대해서 알게되었고, ISP의 펌웨어를 직접 수정하지 않고도 DSLR의 최고급형 이미지 센서의 ISP 처리수준으로 이미지를 개선할 수 있는 방법을 소개하는 신..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 NVIDIA에서 2020년 4월에 발표한 INTEGER QUANTIZATION FOR DEEP LEARNING INFERENCE: PRINCIPLES AND EMPIRICAL EVALUATION 이라는 논문입니다.  제가 이 논문을 리뷰하는 이유는 최근 진행중인 "농장주를 위한 가축 성장관리 서비스"에 사용되는 Instance Segmentation 모델을 경량화하여 Inference time과 AWS Inference 요금을 절감해보고자 리뷰하게 되었습니다. 0. 모델 경량화모델 경량화에는 크게 세 가지 방법이 존재합니다. 각각 Pruning, Quantization, Distillation인데요. 세 가지 방식 모두 큰 모델을 작게 변환하는 것은 동일하나 ..

visual studio code에 AWS EC2를 SSH로 연동해서 열심히 작업하던 중 갑자기 SSH 연결이 안되는 문제가 발생했습니다.제 데스크탑 문제일 수가 있어서 AWS 콘솔에서 직접 로그인 해보았는데 다음과 같은 에러가 발생했습니다.Failed to connect to your instance EC2 Instance Connect is unable to connect to your instance. Ensure your instance network settings are configured correctly for EC2 Instance Connect. For more information, see EC2 Instance Connect Prerequisites at https://docs.aw..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 HDRUNet: Single Image HDR Reconstruction with Denoising and Dequantization 일명 HDRUNet입니다. HDRUNet은 2021년 CVPR NTIRE High Dynamic Range Challenge - Single Frame Track에서 무려 2위를 한 논문입니다...!  제가 이 논문을 리뷰하는 이유는 최근 제가 진행중인 3D Depth Camera 개발 프로젝트에서 조명 바로 밑 영역은 하얗게 표현되고 조명과 멀리 떨어져 있거나 구조물에 의해 그림자가 생긴 영역은 검정색으로 표현되어 물체 식별이 불가능한 문제가 발생했기 때문입니다. 이런 문제를 어떻게 해결할수 있을까 고민하던 중 얼마전에 HDR..

이번 글에서는 "영상데이터(RGB,3D 깊이)만으로 닭의 체중을 예측하는 알고리즘"의 개발과정과 마주했던 문제 해결방법들에 대해 정리하였습니다.(농진청 스마트팜다부처패키지 기술개발사업 과제, 2022.04~2023.05) 이전글: Nova-Vision은 어떻게 개발했을까?: 3D Depth camera 개발Github: https://github.com/dohyeonYoon/BRODY 연구 개요2020년 축산업의 총 생산액은 20조 7,000억 원으로 2008년에 비해 약 2배 증가하였고, 농업 생산액에서 차지하는 비중도 39.6%로 매우 빠르게 증가하고 있음(그림 1)2021년 12월 기준, 전국 육계 사육수수는 7,190만 수이며, 이는 전년 대비 2.0%, 평년 대비 1.8% 증가한 수치임최근 농가..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries 일명 DETR3D입니다. DETR3D는 2020년 facebook research팀에서 발표한 DETR에서 인사이트를 얻어 발표한 논문입니다. DETR에서는 transformer 구조를 활용하여 2D OD(object detection)을 진행하지만, 본 논문에서는 transformer 구조를 활용하여 3D OD를 진행합니다.  제가 이 논문을 리뷰하게된 가장 큰 이유는 Depth Estimation을 통해 3D 입력값을 얻고 3D OD를 진행하는 기존 방식과 달리 Multi-view image와 카메라의 Projection matr..

안녕하세요 윤도현입니다. 오늘 소개해드릴 논문은 PointNet이라는 논문입니다. 바로 리뷰 진행해보겠습니다. 1. Background + IntroductionPoint Cloud란 3차원 공간상(3차원 월드좌표계)에 존재하는 점들의 집합입니다. 각 점은 (x,y,z) 값으로 표현할 수 있습니다.Point Cloud는 점들의 밀집도가 균일하지 않은 불규칙한 특성을 갖고 있습니다. 아래 그림은 각각 Point Cloud, Voxel, Mesh로 표현한 토끼입니다. Point Cloud의 불규칙한 특성 때문에, 기존 연구들은 Point Cloud를 Voxel이나 2D image와 같이 규칙적인 형태로 변환한 뒤 딥러닝 모델에 입력해왔습니다. 그러나 이러한 데이터 변환은 데이터를 불필요하게 크게 만들거나 데..

안녕하세요 윤도현입니다. 오늘 소개할 논문은 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 일명 NeRF입니다. NeRF는 단순히 이미지만으로 객체의 3D model을 생성하는 기술이 아닌, 특정 3D 장면을 여러 각도에서 바라본 이미지가 제공되면 이미지가 제공되지 않았던 시점에서 바라본 scene을 생성하는 Novel View Synthesis 기술입니다. 논문 소개에 앞서 본 논문을 이해하는데 필요한 최소한의 배경지식부터 소개해보도록 하겠습니다. 1. Background지금까지 특정 몇개의 시점과 방향에서 촬영한 이미지와 카메라 파라미터 정보로 주어지지 않은 새로운 시점과 방향에서 바라본 scene의 모습을 contini..