홀로 떠나는 여행

lm-sensors는 CPU 온도 체크를 하는 가장 간단한 애플리케이션 중 하나이다.

xsensors와 같은 GUI를 지원하는 도구도 존재하지만 경우에 따라 X windows와 궁합이 맞지 않을 때가 있다.

사실 CPU 온도 체크란 게 필수라고 하긴 좀 약하지만 뜨거워져도 팔자려니 하며 쓰는 타입이라 ...,

딥러닝을 연구하거나 개발 중이라면 GPU 온도 만큼이나 CPU 온도도 체크가 필요할 때가 종종 생긴다.

학습 도중에 시스템이 죽는 것을 보고 싶지 않다면 온도라도 알아야 뚜껑이라도 열어 놓고 부채질이라도 해야하지 않는가 ...

GPU는 nvidia-smi에서 쉽게 확인이 가능하고 CPU는 여러 가지 도구가 있는데 가장 쉽게 쓰기엔 역시 lm-sensor만한 게 없다.

□ lm-sensors 소개

우분투 커뮤니티에서는 다음과 같이 소개되어 있다.
소개와 같이 제공 기능은 CPU와 기타 몇몇 시스템의 온도, 팬 스피드, 전압 측정으로 간단 명료하다.

Ubuntu can monitor CPU and other system temperatures, fan speeds, and voltages via command line, using the package lm-sensors, or via GUI applets in your desktop.

□ lm-sensors 설치 

$ sudo apt-get lm-sensors

□ lm-sensors 초기 설정

초기 설정은 설치된 장비의 센서들을 인식하고 모니터링 여부를 설정하는 단계이다.

$ sudo sensors-detect

실행하면 많은 질문이 나오는 데 너무 고민하지 말자. 모두 yes 처리~

다만 너무 찜찜하다면 I2C/SMBus adapters 는 no 처리를 한다. 이유인 즉 대부분 질문에  totally safe, usually safe, normally safe라고 안전한 정도를 기재해 놓는데 해당 질문의 경우, 수년 째 종종 몇몇 시스템에서 문제의 원인으로 보고되었다(reported to cause trouble)라고 표기되고 있기 때문이다.

모두 yes 처리를 했어도 언제든 다시 설정이 가능하므로 괜한 걱정은 하지 않아도 된다.

□ lm-sensors 실행 : CPU 온도 측정

$ sensors

간단한 입력으로 사용이 가능하며 아래처럼 출력된다. 특이사항으로 아래 시스템은 cpu_fan 속도 확인은 잘 안되는 것으로 보인다.

$ sensors

asus-isa-0000
Adapter: ISA adapter
cpu_fan:        0 RPM

coretemp-isa-0000
Adapter: ISA adapter
Package id 0:  +38.0°C  (high = +100.0°C, crit = +110.0°C)
Core 0:        +38.0°C  (high = +100.0°C, crit = +110.0°C)
Core 1:        +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 2:        +35.0°C  (high = +100.0°C, crit = +110.0°C)
Core 3:        +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 4:        +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 5:        +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 6:        +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 7:        +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 8:        +38.0°C  (high = +100.0°C, crit = +110.0°C)
Core 9:        +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 10:       +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 11:       +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 12:       +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 13:       +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 14:       +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 15:       +37.0°C  (high = +100.0°C, crit = +110.0°C)

lm-sensors도 당연히 소스가 공개되어 있다. 궁금하다면 아래를 참고하면 된다.

https://github.com/lm-sensors/lm-sensors

Nvidia-docker를 설치하기 전에 당연히 docker는 먼저 설치가 되어 있어야 한다.

설치된 docker 환경에서 GPU를 사용할 수 있도록 nvidia-docker을 설치하는 가장 좋은 방법은 역시 nvidia에서 공식적으로 제공하는 github 사이트를 이용하는 것이다.

왜냐하면 Nvidia가 제공하는 공식 사이트이니까 당연한 것도 있지만 nvidia-docker 버전도 변경 주기가 짧은 편이라 조금씩 설치나 운용 방법이 달라지기 때문에 가장 최신 내용을 확인하려면, 당연히... 제작사가 제공하는 사이트가 가장 빠르기 때문이다.

사실 이 페이지도 이전 설치 방법은 벌써 낡아서 해당 페이지를 삭제하고 새로 업로드 한 것이다. 원치 않은 삽질 때문에 빡침이.. 쿨럭..

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/user-guide.html

그래도 귀찮은 당신을 위해서는 아래와 같이 수행하면 된다. 

1) 혹시 이전 버전이 있다면 아래 스크립트로 이전 버전을 제거한다.

$ docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f
$ sudo apt-get purge -y nvidia-docker

2) 아래 스크립트를 실행해서 nvidia-docker 배포판을 설치하기 위한 환경을 구성한다.

$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

3) 해당 스크립트는 반드시 위 작업 이후 실행해야 한다.

$ sudo apt-get update 

4) 이제 nvidia-docker를 설치한다.

$ sudo apt-get install -y nvidia-container-toolkit
$ sudo systemctl restart docker

6) 설치 여부 검증하기, 하기와 같이 nvidia-smi 정보가 잘 나오면 성공.

# 2023.05.29 기준, ubuntu 20.04

$ sudo docker run --rm --runtime=nvidia --gpus all nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi

# 2023.05.29 기준, ubuntu 18.04

$ sudo docker run --rm --runtime=nvidia --gpus all nvidia/cuda:11.6.2-base-ubuntu18.04 nvidia-smi

# docker version 19.03 이상
$ docker run --gpus all nvidia/cuda:10.0-base nvidia-smi

# docker version 19.03 미만
$ docker run --runtime=nvidia nvidia/cuda:10.0-base nvidia-smi

※ 주의사항

ㆍ2020년 3월 기준, nvidia-docker 실행 스크립트가 변했음을 알 수 있다.

    docker version 19.03 부터 nvidia-docker를 설치하면 --gpus 명령을 사용해야 한다. 

    19.03 이하 버전에서는 nvidia-docker 버전에 따라 아래처럼 사용한다.

    nvidia-docker v2에서는 --gpus all 대신 --runtime=nvidia를 사용한다.

ㆍ2023년 5월 기준, 

    --runtime=nvidia --gpus all 모두 사용한다. (nvidia 사용자 가이드)

Linux 뿐만 아니라 Window에서도 거의 "반드시"라고 해도 좋을 정도로 필요한 FTP용 애플리케이션이다.

Ununtu에서는 세 가지 방법으로 설치가 가능하다.

1) apt-get으로 설치

2) Ubuntu Software에서 내려받아 설치(권장)

3) FileZilla 사이트에서 내려받아 설치

□ apt-get으로 설치 

가장 쉽다. 그러나 이것이 항상 최선인 것은 아니다.

sudo apt-get install filezilla

□ Ubuntu Software에서 설치

가장 권장한다. 사실 apt-get과 다를 바 없지만, 그래도 Ubuntu가 엄선해서 골라준다고 믿자.

설치 역시 apt-get 만큼이나 쉽다.

1) Ubuntu Software 실행

해당 아이콘으로 Ubuntu Software를 실행한다.

2) 검색창에서 FileZilla를 검색하고 설치(install)한다.

□ FileZilla 사이트에서 설치

FileZilla 사이트에 접속해서 FileZilla Client 최신버전을 받아서 설치하면 끝~

https://filezilla-project.org/

Jupyter Notebook에서 Proxy 세팅 방법

□ 소스에서 직접 Setting

import os

os.environ['HTTP_PROXY']   =  'http://ip:port'
os.environ['HTTPS_PROXY'] =  'https://ip.port'

이때 https의 경우 http를 사용하는지 확인이 필요하다.

본인이 있는 곳의 환경 구성에 따라서 https 연결에서도 proxy는 http를 동일하게 사용하는 곳도 있기 때문이다. 

당연한 이야기겠지만, https의 s 한자만 빠지거나 붙어도 연결이 안되는 경우가 발생한다.

또한, Proxy 서버 연결을 위해서 사용자 인증이 필요하다면 아래와 같이 설정한다.

import os

os.environ['HTTP_PROXY']    = "http://user:passwd@ip:port"

os.environ['HTTPS_PROXY']  = "https://user:passwd@ip:port"

□ 소스에서 직접 Setting 사용 예(pytorch)

소스를 수행하면 아래와 같이 다운로드 되는 것을 볼 수 있다. 

윈도우 환경에서도 conda에서 proxy 설정은 리눅스 환경과 똑같다.

다만 .condarc 파일의 생성 위치만 다르다.

1. conda configuration file 생성

아나콘다 설치 후 conda 환경에서 패키지들을 설치할 경우 proxy 설정이 필요할 때 다음과 같이 처리하면 

윈도우 사용자 디렉토리 아래에 .condarc 파일이 새로 생성된다.

윈도우 사용자 디렉토리 예 → C:\Users\Username

$ conda config --set ssl_verify false

2. configuration 설정

.condarc 파일을 열고 다음과 같이 기록한 후 저장한다.

ssl_verify: false

proxy_servers:

 http: http://proxy.server:port 

 https: http://proxy.server:port 

3. 주의사항

이때 proxy_servers: 아래의 http: 앞 부분 공백은 space를 이용해서 공백을 처리해야 한다.

tab 키를 이용해서 처리하면 안된다.

사용예)

ssl_verify: false

proxy_servers:

[space][space] http: http://20.30.40.10:8080

[space][space] https: http://20.30.40.10:8080

pip의 경우 파라메터를 주는 방식으로 proxy를 설정한다.

$ pip install --proxy http://proxy.server:port 패키지명 

e.g.)

# proxy 서버를 이용해서 jupyter notebook을 설치한다.

$ pip install --proxy http://10.10.10.5:8080 jupyter 

pip --proxy 경로를 주어도 sslVerify (Retrying ... connection.VerifiedHTTPSConnection ...)  오류가 발생하면 하기와 같이 trust-host 옵션을 추가한다.

$ pip install  --trusted-host pypi.python.org --trusted-host files.pythonhosted.org --trusted-host pypi.org  --proxy 프록시서버IP:포트 [ 패키지명]

e.g.)

$ pip install  --trusted-host pypi.python.org --trusted-host files.pythonhosted.org --trusted-host pypi.org  --proxy 10.10.10.10:8080 numpy

1. conda configuration file 생성

아나콘다 설치 후 conda 환경에서 패키지들을 설치할 경우 proxy 설정이 필요할 때 다음과 같이 처리하면 사용자 home directory 밑에 .condarc 파일이 새로 생성된다.

$ conda config --set ssl_verify false

2. configuration 설정

.condarc 파일을 열고 다음과 같이 기록한 후 저장한다.

ssl_verify: false

proxy_servers:

 http: http://proxy.server:port 

 https: http://proxy.server:port 

3. 주의사항

이때 proxy_servers: 아래의 http: 앞 부분 공백은 space를 이용해서 공백을 처리해야 한다.

tab 키를 이용해서 처리하면 안된다.

사용예)

ssl_verify: false

proxy_servers:

[space][space] http: http://20.30.40.10:8080

[space][space] https: http://20.30.40.10:8080

1. configuration directory 생성

$ sudo mkdir -p /etc/systemd/system/docker.service.d

2. configuration file 생성 및 환경 구성

$ sudo vi /etc/systemd/system/docker.service.d/proxy.conf

생성된 file에 아래와 같이 환경 구성을 기록하고 저장한다.

[Service]
Environment="HTTP_PROXY=http://proxy.server:port/"
Environment="HTTPS_PROXY=http://proxy.server:port/"
Environment="NO_PROXY="localhost,127.0.0.1,::1"

사용예)

[Service]
Environment="HTTP_PROXY=http://10.10.10.5:8080/"
Environment="HTTPS_PROXY=http://10.10.10.5:8080/"
Environment="NO_PROXY="localhost,127.0.0.1,::1"

3. daemon 재수행

$ sudo systemctl daemon-reload

4. docker service 재수행

$ sudo systemctl restart docker.service

Ubuntu 포함 linux 기본 환경에서 apt 또는 apt-get 에 대한 proxy 설정방법이다.

Docker 환경에서 container 안에서 proxy를 설정해야할 경우에도 똑같이 적용하면 된다.

다만, docker container 안에서는 proxy가 안될 경우 vi 설치부터 애먹는 경우가 있는데 아래 간단한 팁을 적어 놓았다.

□ APT, APT-GET을 위한 Proxy 설정

1. configuration file 생성

파일이름은 상관없다. proxy.conf, 90proxy, 09proxy 등 다른 용도를 위해서 기존에 존재하는 파일명과 충돌하지 않으면 된다. 아래에서는 90proxy를 사용한다. 단지 앞에 숫자를 붙이면 정렬이 되어서 보기 좋기 때문이다.

$ sudo vi /etc/apt/apt.conf.d/90proxy

2. file에 proxy 정보 저장

Acquire::http::proxy "http://proxy.server:port/";

Acquire::https::proxy "http://proxy.server:port/";

사용예)

Acquire::http::proxy "http://127.0.0.1:8080/";

Acquire::https::proxy "http://127.0.0.1:8080/";

proxy server에 비밀번호가 있는 경우는 아래처럼 설정한다.

Acquire::http::proxy "http://user:password@proxy.server:port/";

Acquire::https::proxy "http://user:password@proxy.server:port/";

3. 호완되는 다른 형식

Acquire {

    HTTP::proxy "http://proxy.server:port/";

    HTTPS::proxy "http://proxy.server:port/";

}

또는

Acquire {
    HTTP {
        Proxy "http://proxy.server:port/";
    };
    HTTPS {
        Proxy "http://proxy.server:port/";
    };
}

□ VI가 안될 때 팁

누구나 아는 방법일 뿐이지만, 쉽게 copy & paste 하시길... 리다이렉트 옵션인 > 와 >> 가 중요하다.

$ export http_proxy="http://proxy.server:port"
$ export https_proxy="http://proxy.server:port"

$ touch /etc/apt/apt.conf.d/proxy.conf
$ echo "Acquire::http::Proxy \"http://proxy.server:port/\";" > /etc/apt/apt.conf.d/proxy.conf
$ echo "Acquire::https::Proxy \"https://proxy.server:port/\";" >> /etc/apt/apt.conf.d/proxy.conf

// 큰따옴표(") 대신 작은따옴표(')를 써도 됨. 이 경우 \ 를 안써도 되서 좀 더 편함

$ echo 'Acquire::http::Proxy "http://proxy.server:port/";' > /etc/apt/apt.conf.d/proxy.conf
$ echo 'Acquire::https::Proxy "https://proxy.server:port/;' >> /etc/apt/apt.conf.d/proxy.conf

확인은 cat 명령어 수행 시 Acquire... 가 나오면 성공

$ cat /etc/apt/apt.conf.d/proxy.conf
Acquire::http::Proxy "http://proxy.server:port/";
Acquire::https::Proxy "https://proxy.server:port/";

끝으로 apt-get update 등으로 proxy setting이 잘되었는지 확인해 보면 된다.

pytorch를 docker 환경에서 설치하는 것은 매우 간단하다. 다만 nvidia-docker 환경이 먼저 설치되어 있어야 한다.

□ nvidia-docker 설치

nvidia-docker 설치를 하고 싶다면 아래를 참고하기 바란다.

https://driz2le.tistory.com/297

□ docker pytorch 설치

nvidia-docker 환경 구성을 완료했거나 이미 설치가 되어 있을 경우 이제 콘솔 화면에서 아래와 같이 입력하여 설치를 시작한다.

$ docker pull pytorch/pytorch

참고로 해당 명령은 아래 사이트에서 pytorch 설치에 대한 정보를 확인할 수 있다.

https://hub.docker.com/r/pytorch/pytorch/

해당 사이트를 캡처한 아래 그림에서 오른 쪽 하단에 Docker Pull Command를 통해서 설치 명령어를 알 수 있다.

끝으로 docker 사이트에 로그인이 되어 있지 않다면 로그인하라는 메세지가 뜨기도 한다.

당황하지말고 침착하게 docker login ~

□ docker pytorch 이미지 확인

pytorch 다운로드가 완료되면 아래와 같이 이미지를 잘 받았는지 확인이 가능하다.

$ docker images
REPOSITORY              TAG                      IMAGE ID            CREATED             SIZE
pytorch/pytorch             latest                    ba2da111b833      3 weeks ago         4.32GB

□ docker pytorch 컨테이너 실행

runtime 환경에 nvidia를 설정해 주어야 한다.

# docker version 19.03 이상

$ docker run --gpus all --name pytorch --restart=always pytorch/pytorch

# docker version 19.03 이하 nvidia-docker v2 상태

$ docker run --runtime=nvidia --name pytorch --restart=always pytorch/pytorch

※ 주의

    docker version 19.03 부터 nvidia-docker를 설치하면 --gpus 명령을 사용해야 한다.

    19.03 이하 버전에서는 nvidia-docker 버전에 따라 아래처럼 사용한다.

    nvidia-docker v2에서는 --gpus all 대신 --runtime=nvidia를 사용한다.

    nvidia-docker v1은 --runtime=nvidia 또는 --gpus all 명령줄 플래그 대신 nvidia-docker 별칭을 사용한다.

□ 설치된 pytorch에서 GPU 사용여부 확인

pytorch 컨테이너가 구동되면 pytorch가 정상적으로 GPU를 사용할 수 있는지 확인할 필요가 있다.

이 경우 아래 페이지를 참고하여 확인할 수 있다.

https://driz2le.tistory.com/270

이제 사용하는 일만 남았다~ 건승하시길~

□ 추신

새로 설치한 pytorch에는 VI와 jupyter notebook이 설치되어 있지 않다. 설치해 주려면 아래를 수행한다.

1) VI 설치

$ apt-get update
$ apt-get install vim

2) jupyter notebook 설치

$ pip install jupyter