MLops
[AWS]. EC2 생성 시 기본 셋팅하기(메모용)
기본적으로 OS는 아마존 리눅스를 사용했습니다(Centos랑 비슷) 1. htop 설치 htop은 운영체제의 CPU, Memory 등의 정보를 실시간으로 모니터링하기 위해서 사용됩니다 sudo yum update -y && yum install -y htop 2. 아나콘다 설치 설치경로 : /home/ec2-user/ wget https://repo.anaconda.com/archive/Anaconda3-2023.03-Linux-x86_64.sh bash Anaconda3-2023.03-Linux-x86_64.sh 환경 변수 설정 vi ~/.bashrc 맨 윗줄에 추가 export PATH="/home/ec2-user/anaconda3/bin:$PATH" 적용 source ~/.bashrc
[MLops]. ONNX Runtime 문장 임베딩(sentence embedding) 속도 및 연산량 개선하기
BackGround 우리 회사는 SentenceTransformer를 기반으로 파인튜닝한 문장 임베딩 모델을 사용하고 있다. 하지만 모델의 크기가 커질 수록 임베딩 시간은 늘어나고 많은 연산량을 요구하게된다. 그렇다고 모델의 크기를 줄이면 정확도가 떨어진다. 하지만 ONNX는 Inferance 속도를 최대한으로 높히면서 정확도 손실을 최소화하는 여러 가지 기능을 가지고있다. Sentence-Transfomer 모델을 ONNX Runtime으로 변환하면서 얻었던 장점들을 정리해보고자 한다. What is ONNX ? ONNX는 Open Neural Network Exchange의 줄인 말로서 이름과 같이 다른 DNN 프레임워크 환경(ex Tensorflow, PyTorch, etc..)에서 만들어진 모델들..
[리뷰]. 도커(Docker) 컨테이너 휴지 케이스 (feat.인카토스)
도커(Docker)는 컨테이너 관리 시스템이다. 개발자라면 도커를 모를 수 없을 것이다. 도커를 자주 접하다보니까 언제부터 입에 달라붙기 시작했다.. 명령어를 너무 많이 쳐서 그런가 ㅋㅋ 캐릭터 및 로고도 너무 친근해졌고 애정이가기 시작했다.(사랑의 시작..) 심지어 닉네임을 도커(Docker)로 한적도 있다. 이렇게 도커의 빠져들고있을때 사무실에도 사용할 수 있는 도커 굿즈를 발견했다. 이거 있으면 도커 잘 쓸수 있을까? 우리는 공유 오피스를 사용해서 다른 사무실 직원들이 지나다니면서 볼 수도 있는데 개발 고수처럼 보여질 것 같아서 뭔가 뿌듯하네요. 사실은 주니어랍니다.. 도커 컨터이너를 휴지케이스로 녹일 생각을하다니 정말 아이디어가 좋은 것 같습니다. 성덕이 되어버렸네요 ㅋㅋ 색상은 화이트 추천드립니..
[Docker]. Amzon Linux Docker and docker-compose 설치
Docker 설치 yum 으로 Docker 설치 sudo yum install docker -y Docker 실행 sudo service docker start Docker 그룹에 sudo 추가 (인스턴스 접속 후 도커 바로 제어할 수 있도록) sudo usermod -aG docker ec2-user auto-start에 docker 등록 sudo chkconfig docker on 도커 권한 변경 sudo chmod 666 /var/run/docker.sock 작동 테스트 (선택사항) docker run hello-world 도커 컴포즈(docker-compose) 설치 🐙 sudo curl -L https://github.com/docker/compose/releases/latest/download..
[GCP]. Google Cloud Plattform Server 초기셋팅(feat. CentOS)
1. htop 설치 # yum update $ sudo yum -y update # yum 패키지 매니저는 htop이 기본으로 포함되어있지 않기 때문에 # EPEL repository를 추가한다. $ sudo yum -y install epel-release # htop 설치 $ sudo yum -y install htop 2. unzip 설치 $ rpm -qa | grep unzip $ yum list unzip $ sudo yum install -y unzip 3. docker 설치 Linux curl -s https://get.docker.com/ | sudo sh 명령어를 입력하고 패스워드를 입력하면 리눅스 배포판에 따라 자동으로 최신번전의 도커를 설치 유저 권한 추가 sudo usermod -a..
[Docker] . 설치 부터 배포까지 초간단 (feat.Flask)
도커 설치하기 Linux curl -s https://get.docker.com/ | sudo sh 명령어를 입력하고 패스워드를 입력하면 리눅스 배포판에 따라 자동으로 최신번전의 도커를 설치 ubuntu 유저 권한 추가 sudo usermod -aG docker ubuntu 도커 권한 변경 sudo chmod 666 /var/run/docker.sock error : Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock Mac OS or Windows - Docker for mac / Docker for windows - 가장 쉽고 빠르게 사용할 수 있는 방법 GUI 의 ..
[Docker] . 도커 기본 명령어 정리
도커 기본 명령어 이미지 다운로드 docker pull ubuntu:20.04 *docker run 할때 이미지가 없으면 자동으로 찾아서 다운로드함.(도커 허브에 있는 이미지의 경우) 이미지 목록 출력 docker images 이미지 삭제 docker rmi ubuntu:20.04 # 컨테이너도 같이 삭제(-f) docker rmi -f ubuntu:20.04 컨테이너 생성 docker run [OPTIONS] IMAGE[:TAG|@DIGEST] [COMMAND] [ARG...] docker run --name "컨테이너이름" "이미지" docker run -it --name test-ubuntu ubuntu:20.04 /bin/bash 컨테이너 내부에 들어가기 위해 sh를 실행하고 키보드 입력을 위해 ..