본문 바로가기

ML-개발환경

(14)
[ubuntu18.04] pyinstaller 사용법 및 문제해결 오늘은 pyinstaller를 사용해 여러개의 모듈이 묶인 python code를 deploy하는 방법을 정리하려 한다. 리눅스는 윈도우10과 달리 file_name.spec 라는 파일이 생성되지 않는다. 따라서 하나하나 라이브러리 경로를 입력해줄 필요가 없어서 윈도우에 비해 간편하다. 0. python code가 동작하는 가상환경 활성화 conda activate 가상환경이름 1. pyinstaller 설치 pip install pyinstaller 2. pyinstaller로 실행파일로 변환 pyinstaller --distpath /scratch/dohyeon main.py --distpath : 실행파일이 저장될 디렉토리 주소 3. 문제해결 에러 1 - Assertionerror: /scratch..
[window10] 부팅 시 프로그램 자동실행 컴퓨터가 부팅되면 자동으로 원하는 프로그램이 실행되도록 하고자 한다. 1. 검색 > 실행 2. shell:startup 실행 3. 원하는 프로그램을 해당 디렉토리에 넣기 이렇게하면 부팅 시 자동으로 프로그램이 실행된다.
[window10] 작업 스케줄러와 배치파일 이용해 일정시간마다 프로그램 자동 실행시키기 이번에 데이터수집 과정에서 일정시간마다 카메라를 동작하고 캡쳐해서 서버에 보내주는 프로그램을 task를 짜야했다. 지난번 배치파일을 이용해 파이썬 파일을 실행하는 동작을 진행하였었는데 이를 이용하면 간단하게 일정시간마다 프로그램을 자동으로 실행시킬 수 있다(with window 작업스케줄러). 순서는 다음과 같다. 1. 파이썬 코드를 실행시켜주는 배치파일 만들기(아래 링크 참조) https://dohyeon.tistory.com/22?category=1016127 [windows10] 배치파일을 이용하여 파이썬 파일 실행하기 1. 메모장을 연다. 2. 아나콘다 가상환경 상에서 python file을 실행하기 위해 아래와 같이 작성한다. call /Scripts/activate.bat call conda ..
[ubuntu] apt install로 설치한 패키지 anaconda 가상환경에 집어넣기 최근 3D Reconstruction 공부를 하면서 point cloud 관련 라이브러리를 설치할 일이 생겼다. 하지만 특정 패키지가 파이썬 패키지 인덱스인 PyPI에서 제공하지 않아 pip install로 가상환경에 곧바로 설치할 수 없는 이슈가 발생했다. apt install로 설치되는 패키지는 root 권한으로 설치되기 때문에 이미 구성된 가상환경에 이를 자동으로 설치할 방법은 없다. 구글링 해본 결과 해결방법은 다음과 같다. apt install로 설치된 파일 경로를 찾아가서 수동으로 가상환경에 복사해주는 것! 내가 가상환경에 설치하고자 하는 apt 패키지는 다음과 같다. sudo apt install libpcl-dev 해결방법 1. 전역 저장소 찾기 $find /usr -name 'site-p..
[windows10] 배치파일을 이용하여 파이썬 파일 실행하기 1. 메모장을 연다. 2. 아나콘다 가상환경 상에서 python file을 실행하기 위해 아래와 같이 작성한다. call /Scripts/activate.bat call conda activate python pause 부분은 자신의 컴퓨터에 맞춰 바꿔서 넣어주면 된다. anaconda path는 컴퓨터마다 다르기 때문에 검색하여 경로를 찾으면 된다. 3. 완성파일 4. 실행결과 성공적으로 원하는 가상환경 내에서 python file이 실행되었다
[ubuntu] 일정시간마다 리눅스 서버로 파일전송 (crontab+scp) 2022-02-04 리눅스에서 다른 리눅스 서버로 일정시간마다 파일을 전송해줘야 하는 task가 생겼다. 기본적으로 쉘 스크립트에 scp 코드를 작성하여 보내려고 했으나 매번 비밀번호를 수동으로 입력해줘야 하는 문제가 발생하였다. 찾아보니 공개키를 이용하면 추가적인 비밀번호 입력없이 scp로 파일을 전송할 수 있다고 해서 공부하면서 작성해보려 한다. PC 1 (호스트) 1. 공개키 생성 ssh-keygen -t rsa 위 명령어를 입력하면 "Generating public/private rsa key pair" "Enter file in which to save the key ... " 와 같이 나오는데 default로 그냥 enter를 누른다 "Enter passphrase (empty for no p..
[ubuntu] 일정시간마다 파이썬 코드 실행 (Crontab) 2022-02-03 작성 ubuntu 환경에서 일정시간마다 python code를 실행해야 하는 task가 생겼다. 찾아보니 windows 관리도구에서 제공하는 작업 스케줄러 역할을 해주는 Crontab 이라는 편리한 기능이 있어서 공부하면서 정리하려 한다. 1. Crontab 설치 sudo apt-get update sudo apt-get install cron 2. Crontab 명령어 현재 사용자의 Crontab 설정 보기 sudo crontab -l​ 현재 사용자의 Crontab 설정편집 sudo crontab -e​ 현재 사용자의 Crontab 설정 삭제 sudo crontab -r​ 3. Crontab 규칙 ex) * * * * * /home/msdl/Downloads/test.py → 매분,..
COCO Data format과 Pycocotools 사용법 이 글은 2021년 8월 25일 기준 작성된 글입니다. COCO Dataset 은 머신러닝을 하시는 분들이라면 다들 알고 계신 데이터셋일 겁니다. Object Detection, Segmentation, Keypoint Detection 등 여러가지 Annotation 정보를 제공하는 데이터셋인데 최신 논문의 성능비교 지표로서 사용되고 있습니다. 이 글에서는 최근 MMdetection이라는 config기반 toolbox를 공부하면서 해당 toolbox에서 주로 사용되는 데이터 저장형식인 COCO Data format과 데이터를 불러올 때 유용한 Pycocotools에 대해 설명하려고 합니다. COCO data format COCO Dataset은 아시다싶이 이미지와 annotation 파일 두가지로 분류..