홀로 떠나는 여행

ClamAV는 다양한  운영체제에서 설치 가능한 무료 백신이다.

리눅스용 버전은 터미널에서 수행이 가능하며 별도 UI 화면을 제공하지는 않는다.

다만, ClamAV에서 UI를 사용가능하도록 지원하는 ClamTK라는 프로그램도 존재한다.

□ ClamAV 장단점

□ ClamAV Install

sudo apt-get install clamav

□ ClamAV 설치 후 바이러스 정의 업데이트

sudo freshclam

□ ClamAV 검사 방법

sudo clamscan -r [디렉토리명]

예)
sudo clamscan -r /          # 루트 디렉토리 이하 전체를 검사
sudo clamscan -r /home      # home 디렉토리 이하 검사

수행이 잘 완료되면 아래와 같이 결과가 출력된다.

□ ClamAV 관련 오류

1) freshclam 사용 중 업데이트 오류

​​​sudo freshclam 명령어 실행 시 아래와 같은 메시지가 출력되며 오류 발생하면 

아래와 같이 수행한다.

$ sudo lsof /var/log/clamav/freshclam.log
$ sudo pkill -15 -x freshclam
$ sudo /etc/init.d/clamav-freshclam stop
$ sudo freshclam
$ sudo /etc/init.d/clamav-freshclam start

그냥 freshclam.log를 삭제하는 방법도 존재한다. 권장할 만한 방법은 아니다.

sudo rm -rf /var/log/clamav/freshclam.log

□ node.js install 방법

$ sudo apt-get update 
$ sudo apt-get install nodejs

□ npm install 방법

$ apt-get install npm

npm에서 Proxy 세팅 방법

□ npm config에서 설정

아래와 같이 npm config를 통해서 설정이 가능하다.

$ npm config set proxy http://10.10.10.10:8080
$ npm config set https-proxy https://10.10.10.10:8080
$ npm config set strict-ssl false
$ npm config set registry http://registry.npmjs.org/

□ npm config 정보 확인

$ npm config list

□ npm config 정보 저장 위치

~/.npmrc 파일에 저장된다.

$ vi ~/.npmrc

SQLAlchemy는 python에서 데이터베이스와 연결을 위해 사용하는 라이브러리 중 하나이다.

관계형 데이터베이스의 테이블과 컬럼들을 ORM(Object Relational Mapper)로 엮어서 python의 class로 표현할 수 있게 해주므로 데이터베이스의 테이블에 데이터 조회, 입력, 수정,삭제 등의 처리를 편리하게 도와준다.

SQLAlchemy는 pip를 이용해서 설치할 수 있는데 간단히 아래처럼 쓰면 된다.

$ pip install sqlalchemy

그러나 SQLAlchemy 최신 버전은 경우에 따라 의존성(dependency) 문제로 설치가 안될 때가 있다.

최근에 있어서 SQLAlchemy-1.3.15 버전이 그랬다. 아래는 설치 중에 오류(error)가 발생한 경우이다.

$ pip install sqlalchemy

Collecting sqlalchemy
  Downloading SQLAlchemy-1.3.15.tar.gz (6.1 MB)
     |████████████████████████████████| 6.1 MB 708 kB/s 
  Installing build dependencies ... error
  ERROR: Command errored out with exit status 1:
   command: /venv/bin/python3 /venv/lib/python3.6/site-packages/pip install --ignore-installed --no-user --prefix /tmp/pip-build-env-apw7ga27/overlay --no-warn-script-location --no-binary :none: --only-binary :none: -i https://pypi.org/simple --trusted-host pypi.python.org --trusted-host pypi.org --trusted-host files.pythonhosted.org -- 'setuptools>=40.8.0' wheel
       cwd: None
  Complete output (7 lines):
  WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ConnectTimeoutError(<pip._vendor.urllib3.connection.VerifiedHTTPSConnection object at 0x7f95be8f95f8>, 'Connection to pypi.org timed out. (connect timeout=15)')': /simple/setuptools/

이런 경우 설치를 위해 사용할 수 있는 방법 중 하나는... 역시 버전 다운이다.

1.3.15라면 1.3.14나 1.3.13 버전으로 낮추어 본다. 안정적이라고 글들이 여기저기 많은 버전일수록 당연히 좋다.

$ pip install sqlalchemy==1.3.13

lm-sensors는 CPU 온도 체크를 하는 가장 간단한 애플리케이션 중 하나이다.

xsensors와 같은 GUI를 지원하는 도구도 존재하지만 경우에 따라 X windows와 궁합이 맞지 않을 때가 있다.

사실 CPU 온도 체크란 게 필수라고 하긴 좀 약하지만 뜨거워져도 팔자려니 하며 쓰는 타입이라 ...,

딥러닝을 연구하거나 개발 중이라면 GPU 온도 만큼이나 CPU 온도도 체크가 필요할 때가 종종 생긴다.

학습 도중에 시스템이 죽는 것을 보고 싶지 않다면 온도라도 알아야 뚜껑이라도 열어 놓고 부채질이라도 해야하지 않는가 ...

GPU는 nvidia-smi에서 쉽게 확인이 가능하고 CPU는 여러 가지 도구가 있는데 가장 쉽게 쓰기엔 역시 lm-sensor만한 게 없다.

□ lm-sensors 소개

우분투 커뮤니티에서는 다음과 같이 소개되어 있다.
소개와 같이 제공 기능은 CPU와 기타 몇몇 시스템의 온도, 팬 스피드, 전압 측정으로 간단 명료하다.

Ubuntu can monitor CPU and other system temperatures, fan speeds, and voltages via command line, using the package lm-sensors, or via GUI applets in your desktop.

□ lm-sensors 설치 

$ sudo apt-get lm-sensors

□ lm-sensors 초기 설정

초기 설정은 설치된 장비의 센서들을 인식하고 모니터링 여부를 설정하는 단계이다.

$ sudo sensors-detect

실행하면 많은 질문이 나오는 데 너무 고민하지 말자. 모두 yes 처리~

다만 너무 찜찜하다면 I2C/SMBus adapters 는 no 처리를 한다. 이유인 즉 대부분 질문에  totally safe, usually safe, normally safe라고 안전한 정도를 기재해 놓는데 해당 질문의 경우, 수년 째 종종 몇몇 시스템에서 문제의 원인으로 보고되었다(reported to cause trouble)라고 표기되고 있기 때문이다.

모두 yes 처리를 했어도 언제든 다시 설정이 가능하므로 괜한 걱정은 하지 않아도 된다.

□ lm-sensors 실행 : CPU 온도 측정

$ sensors

간단한 입력으로 사용이 가능하며 아래처럼 출력된다. 특이사항으로 아래 시스템은 cpu_fan 속도 확인은 잘 안되는 것으로 보인다.

$ sensors

asus-isa-0000
Adapter: ISA adapter
cpu_fan:        0 RPM

coretemp-isa-0000
Adapter: ISA adapter
Package id 0:  +38.0°C  (high = +100.0°C, crit = +110.0°C)
Core 0:        +38.0°C  (high = +100.0°C, crit = +110.0°C)
Core 1:        +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 2:        +35.0°C  (high = +100.0°C, crit = +110.0°C)
Core 3:        +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 4:        +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 5:        +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 6:        +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 7:        +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 8:        +38.0°C  (high = +100.0°C, crit = +110.0°C)
Core 9:        +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 10:       +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 11:       +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 12:       +36.0°C  (high = +100.0°C, crit = +110.0°C)
Core 13:       +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 14:       +37.0°C  (high = +100.0°C, crit = +110.0°C)
Core 15:       +37.0°C  (high = +100.0°C, crit = +110.0°C)

lm-sensors도 당연히 소스가 공개되어 있다. 궁금하다면 아래를 참고하면 된다.

https://github.com/lm-sensors/lm-sensors

Nvidia-docker를 설치하기 전에 당연히 docker는 먼저 설치가 되어 있어야 한다.

설치된 docker 환경에서 GPU를 사용할 수 있도록 nvidia-docker을 설치하는 가장 좋은 방법은 역시 nvidia에서 공식적으로 제공하는 github 사이트를 이용하는 것이다.

왜냐하면 Nvidia가 제공하는 공식 사이트이니까 당연한 것도 있지만 nvidia-docker 버전도 변경 주기가 짧은 편이라 조금씩 설치나 운용 방법이 달라지기 때문에 가장 최신 내용을 확인하려면, 당연히... 제작사가 제공하는 사이트가 가장 빠르기 때문이다.

사실 이 페이지도 이전 설치 방법은 벌써 낡아서 해당 페이지를 삭제하고 새로 업로드 한 것이다. 원치 않은 삽질 때문에 빡침이.. 쿨럭..

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/user-guide.html

그래도 귀찮은 당신을 위해서는 아래와 같이 수행하면 된다. 

1) 혹시 이전 버전이 있다면 아래 스크립트로 이전 버전을 제거한다.

$ docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f
$ sudo apt-get purge -y nvidia-docker

2) 아래 스크립트를 실행해서 nvidia-docker 배포판을 설치하기 위한 환경을 구성한다.

$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

3) 해당 스크립트는 반드시 위 작업 이후 실행해야 한다.

$ sudo apt-get update 

4) 이제 nvidia-docker를 설치한다.

$ sudo apt-get install -y nvidia-container-toolkit
$ sudo systemctl restart docker

6) 설치 여부 검증하기, 하기와 같이 nvidia-smi 정보가 잘 나오면 성공.

# 2023.05.29 기준, ubuntu 20.04

$ sudo docker run --rm --runtime=nvidia --gpus all nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi

# 2023.05.29 기준, ubuntu 18.04

$ sudo docker run --rm --runtime=nvidia --gpus all nvidia/cuda:11.6.2-base-ubuntu18.04 nvidia-smi

# docker version 19.03 이상
$ docker run --gpus all nvidia/cuda:10.0-base nvidia-smi

# docker version 19.03 미만
$ docker run --runtime=nvidia nvidia/cuda:10.0-base nvidia-smi

※ 주의사항

ㆍ2020년 3월 기준, nvidia-docker 실행 스크립트가 변했음을 알 수 있다.

    docker version 19.03 부터 nvidia-docker를 설치하면 --gpus 명령을 사용해야 한다. 

    19.03 이하 버전에서는 nvidia-docker 버전에 따라 아래처럼 사용한다.

    nvidia-docker v2에서는 --gpus all 대신 --runtime=nvidia를 사용한다.

ㆍ2023년 5월 기준, 

    --runtime=nvidia --gpus all 모두 사용한다. (nvidia 사용자 가이드)

Linux 뿐만 아니라 Window에서도 거의 "반드시"라고 해도 좋을 정도로 필요한 FTP용 애플리케이션이다.

Ununtu에서는 세 가지 방법으로 설치가 가능하다.

1) apt-get으로 설치

2) Ubuntu Software에서 내려받아 설치(권장)

3) FileZilla 사이트에서 내려받아 설치

□ apt-get으로 설치 

가장 쉽다. 그러나 이것이 항상 최선인 것은 아니다.

sudo apt-get install filezilla

□ Ubuntu Software에서 설치

가장 권장한다. 사실 apt-get과 다를 바 없지만, 그래도 Ubuntu가 엄선해서 골라준다고 믿자.

설치 역시 apt-get 만큼이나 쉽다.

1) Ubuntu Software 실행

해당 아이콘으로 Ubuntu Software를 실행한다.

2) 검색창에서 FileZilla를 검색하고 설치(install)한다.

□ FileZilla 사이트에서 설치

FileZilla 사이트에 접속해서 FileZilla Client 최신버전을 받아서 설치하면 끝~

https://filezilla-project.org/

Jupyter Notebook에서 Proxy 세팅 방법

□ 소스에서 직접 Setting

import os

os.environ['HTTP_PROXY']   =  'http://ip:port'
os.environ['HTTPS_PROXY'] =  'https://ip.port'

이때 https의 경우 http를 사용하는지 확인이 필요하다.

본인이 있는 곳의 환경 구성에 따라서 https 연결에서도 proxy는 http를 동일하게 사용하는 곳도 있기 때문이다. 

당연한 이야기겠지만, https의 s 한자만 빠지거나 붙어도 연결이 안되는 경우가 발생한다.

또한, Proxy 서버 연결을 위해서 사용자 인증이 필요하다면 아래와 같이 설정한다.

import os

os.environ['HTTP_PROXY']    = "http://user:passwd@ip:port"

os.environ['HTTPS_PROXY']  = "https://user:passwd@ip:port"

□ 소스에서 직접 Setting 사용 예(pytorch)

소스를 수행하면 아래와 같이 다운로드 되는 것을 볼 수 있다. 

윈도우 환경에서도 conda에서 proxy 설정은 리눅스 환경과 똑같다.

다만 .condarc 파일의 생성 위치만 다르다.

1. conda configuration file 생성

아나콘다 설치 후 conda 환경에서 패키지들을 설치할 경우 proxy 설정이 필요할 때 다음과 같이 처리하면 

윈도우 사용자 디렉토리 아래에 .condarc 파일이 새로 생성된다.

윈도우 사용자 디렉토리 예 → C:\Users\Username

$ conda config --set ssl_verify false

2. configuration 설정

.condarc 파일을 열고 다음과 같이 기록한 후 저장한다.

ssl_verify: false

proxy_servers:

 http: http://proxy.server:port 

 https: http://proxy.server:port 

3. 주의사항

이때 proxy_servers: 아래의 http: 앞 부분 공백은 space를 이용해서 공백을 처리해야 한다.

tab 키를 이용해서 처리하면 안된다.

사용예)

ssl_verify: false

proxy_servers:

[space][space] http: http://20.30.40.10:8080

[space][space] https: http://20.30.40.10:8080

1. 직접 명령어 입력

pip의 경우 파라메터를 주는 방식으로 proxy를 설정한다.

$ pip install --proxy http://proxy.server:port 패키지명 

e.g.)

# proxy 서버를 이용해서 jupyter notebook을 설치한다.

$ pip install --proxy http://10.10.10.5:8080 jupyter 

pip --proxy 경로를 주어도 sslVerify (Retrying ... connection.VerifiedHTTPSConnection ...)  오류가 발생하면 하기와 같이 trust-host 옵션을 추가한다.

$ pip install  --trusted-host pypi.python.org --trusted-host files.pythonhosted.org --trusted-host pypi.org  --proxy 프록시서버IP:포트 [ 패키지명]

e.g.)

$ pip install  --trusted-host pypi.python.org --trusted-host files.pythonhosted.org --trusted-host pypi.org  --proxy 10.10.10.10:8080 numpy

2. 설정파일 등록

하기 파일에 내용을 추가함

위치 : C:\Users\<로그인 유저ID>\AppData\Roaming\pip\pip.ini 

[global]
proxy=[proxy ip : proxy port]

사용례)

[global]
proxy=http://100.0.10.30:8080