홀로 떠나는 여행

Jupyter Notebook에서 Proxy 세팅 방법

□ 소스에서 직접 Setting

import os

os.environ['HTTP_PROXY']   =  'http://ip:port'
os.environ['HTTPS_PROXY'] =  'https://ip.port'

이때 https의 경우 http를 사용하는지 확인이 필요하다.

본인이 있는 곳의 환경 구성에 따라서 https 연결에서도 proxy는 http를 동일하게 사용하는 곳도 있기 때문이다. 

당연한 이야기겠지만, https의 s 한자만 빠지거나 붙어도 연결이 안되는 경우가 발생한다.

또한, Proxy 서버 연결을 위해서 사용자 인증이 필요하다면 아래와 같이 설정한다.

import os

os.environ['HTTP_PROXY']    = "http://user:passwd@ip:port"

os.environ['HTTPS_PROXY']  = "https://user:passwd@ip:port"

□ 소스에서 직접 Setting 사용 예(pytorch)

소스를 수행하면 아래와 같이 다운로드 되는 것을 볼 수 있다. 

말이 대화지 '네가 바꿔라'였다. 법륜 스님의 훌륭한 가르침이다. 기사에는 세 가지 백미가 나온다.

"제가 볼때는 쥐가 계속 쓰레기장만 뒤지면서 음식을 찾다가 어느날 접시에 자기가 제일 좋아하는 고구마가 얹어있다면 '나한테도 이럴 때가 있구나'(라고 생각할 거다)"라며 "그런데 거기에 뭐가 들어 있을까? 쥐약인 거다"

 "20년간 노력했다는 건 자꾸 남편을 바꾸려고 했던 거다. 말이 대화지 '네가 바꿔라'였다"라며 "진정한 대화는 들어주는 거다. 내가 말을 하는 것이 대화하는 것이 아니라 이야기를 들어주고 수긍해주는 게 대화다"

"상대편에게 공감을 요구하는 건 너무 어려운 일이다. 이혼을 할 것이 아니라면 관점을 바꿔보는 것이 방법이다"라며 "밖에서 다른 남자를 찾으면 지금 남편보다 좋은 남자 찾기 힘들지도 모른다. 가능하면 남편을 다듬어서 쓰는 게 좋다"

검색 일자 →  2020.01.26

원문 URL → http://news1.kr/articles/?3825359

법륜스님이 남편에 대한 고민을 가진 질문자에게 "가능하면 있는 것을 다듬어 쓰는 게 좋다"고 조언했다.
지난 25일 오후 6시 방송된 tvN 설 특집 '법륜스님의 즉문즉설'에서 한 질문자는 법륜스님에게 "요즘 TV에 백종원씨가 여기저기 많이 나온다. 저 사람이 내 남편이었으면 (하는 바람이 있다)"라며 "전생에 어떤 덕을 쌓아야 저런 사람과 결혼할 수 있을까요"라고 질문했다.
이에 법륜스님은 "제가 볼때는 쥐가 계속 쓰레기장만 뒤지면서 음식을 찾다가 어느날 접시에 자기가 제일 좋아하는 고구마가 얹어있다면 '나한테도 이럴 때가 있구나'(라고 생각할 거다)"라며 "그런데 거기에 뭐가 들어 있을까? 쥐약인 거다"라고 답했다.
이어 "다 돌보시는 분들이 돌봐서 쥐약이 안나타나는 거고 나타나면 쥐약인 줄 알아라"라고 얘기했다.
질문자는 그런 법륜스님에게 "결혼한지 25년 됐는데 5년 전부터 남편이 너무 밉다. 2년 정도 말을 안 하고 있다"라며 "제가 5년 전부터 직장을 그만두고 집에만 있는데 맞벌이를 하다가 남편이 외벌이를 하게 되니깐 남편이 경제적으로 멘탈이 힘들어지니깐 날 힘들게 하더라"라고 설명했다.
그러면서 질문자는 "대화를 많이 하고 살아왔는데 소용이 없다는 생각이 들고 노력을 해봤는데 되지 않으니깐 어느 순간 놔버리게 됐다"고 말했다.
법륜스님은 이 질문자에게 "20년간 노력했다는 건 자꾸 남편을 바꾸려고 했던 거다. 말이 대화지 '네가 바꿔라'였다"라며 "진정한 대화는 들어주는 거다. 내가 말을 하는 것이 대화하는 것이 아니라 이야기를 들어주고 수긍해주는 게 대화다"라고 조언했다.

이어 "상대편에게 공감을 요구하는 건 너무 어려운 일이다. 이혼을 할 것이 아니라면 관점을 바꿔보는 것이 방법이다"라며 "밖에서 다른 남자를 찾으면 지금 남편보다 좋은 남자 찾기 힘들지도 모른다. 가능하면 남편을 다듬어서 쓰는 게 좋다"라고 덧붙였다.

집중이 필요하거나 마음에 울화를 내리고 싶을 때 이만한 것이 없다.

□ 원문URL→https://youtu.be/VB6SIKl8Md0

언젠가 기획을 할때 그림을 그려 넣고 싶다는 상상을 해본다.

□ 원문URL →https://youtu.be/f0H6H8JS5kQ

윈도우 환경에서도 conda에서 proxy 설정은 리눅스 환경과 똑같다.

다만 .condarc 파일의 생성 위치만 다르다.

1. conda configuration file 생성

아나콘다 설치 후 conda 환경에서 패키지들을 설치할 경우 proxy 설정이 필요할 때 다음과 같이 처리하면 

윈도우 사용자 디렉토리 아래에 .condarc 파일이 새로 생성된다.

윈도우 사용자 디렉토리 예 → C:\Users\Username

$ conda config --set ssl_verify false

2. configuration 설정

.condarc 파일을 열고 다음과 같이 기록한 후 저장한다.

ssl_verify: false

proxy_servers:

 http: http://proxy.server:port 

 https: http://proxy.server:port 

3. 주의사항

이때 proxy_servers: 아래의 http: 앞 부분 공백은 space를 이용해서 공백을 처리해야 한다.

tab 키를 이용해서 처리하면 안된다.

사용예)

ssl_verify: false

proxy_servers:

[space][space] http: http://20.30.40.10:8080

[space][space] https: http://20.30.40.10:8080

1. 직접 명령어 입력

pip의 경우 파라메터를 주는 방식으로 proxy를 설정한다.

$ pip install --proxy http://proxy.server:port 패키지명 

e.g.)

# proxy 서버를 이용해서 jupyter notebook을 설치한다.

$ pip install --proxy http://10.10.10.5:8080 jupyter 

pip --proxy 경로를 주어도 sslVerify (Retrying ... connection.VerifiedHTTPSConnection ...)  오류가 발생하면 하기와 같이 trust-host 옵션을 추가한다.

$ pip install  --trusted-host pypi.python.org --trusted-host files.pythonhosted.org --trusted-host pypi.org  --proxy 프록시서버IP:포트 [ 패키지명]

e.g.)

$ pip install  --trusted-host pypi.python.org --trusted-host files.pythonhosted.org --trusted-host pypi.org  --proxy 10.10.10.10:8080 numpy

2. 설정파일 등록

하기 파일에 내용을 추가함

위치 : C:\Users\<로그인 유저ID>\AppData\Roaming\pip\pip.ini 

[global]
proxy=[proxy ip : proxy port]

사용례)

[global]
proxy=http://100.0.10.30:8080

1. conda configuration file 생성

아나콘다 설치 후 conda 환경에서 패키지들을 설치할 경우 proxy 설정이 필요할 때 다음과 같이 처리하면 사용자 home directory 밑에 .condarc 파일이 새로 생성된다.

$ conda config --set ssl_verify false

2. configuration 설정

.condarc 파일을 열고 다음과 같이 기록한 후 저장한다.

ssl_verify: false

proxy_servers:

 http: http://proxy.server:port 

 https: http://proxy.server:port 

3. 주의사항

이때 proxy_servers: 아래의 http: 앞 부분 공백은 space를 이용해서 공백을 처리해야 한다.

tab 키를 이용해서 처리하면 안된다.

사용예)

ssl_verify: false

proxy_servers:

[space][space] http: http://20.30.40.10:8080

[space][space] https: http://20.30.40.10:8080

1. configuration directory 생성

$ sudo mkdir -p /etc/systemd/system/docker.service.d

2. configuration file 생성 및 환경 구성

$ sudo vi /etc/systemd/system/docker.service.d/proxy.conf

생성된 file에 아래와 같이 환경 구성을 기록하고 저장한다.

[Service]
Environment="HTTP_PROXY=http://proxy.server:port/"
Environment="HTTPS_PROXY=http://proxy.server:port/"
Environment="NO_PROXY="localhost,127.0.0.1,::1"

사용예)

[Service]
Environment="HTTP_PROXY=http://10.10.10.5:8080/"
Environment="HTTPS_PROXY=http://10.10.10.5:8080/"
Environment="NO_PROXY="localhost,127.0.0.1,::1"

3. daemon 재수행

$ sudo systemctl daemon-reload

4. docker service 재수행

$ sudo systemctl restart docker.service

Ubuntu 포함 linux 기본 환경에서 apt 또는 apt-get 에 대한 proxy 설정방법이다.

Docker 환경에서 container 안에서 proxy를 설정해야할 경우에도 똑같이 적용하면 된다.

다만, docker container 안에서는 proxy가 안될 경우 vi 설치부터 애먹는 경우가 있는데 아래 간단한 팁을 적어 놓았다.

□ APT, APT-GET을 위한 Proxy 설정

1. configuration file 생성

파일이름은 상관없다. proxy.conf, 90proxy, 09proxy 등 다른 용도를 위해서 기존에 존재하는 파일명과 충돌하지 않으면 된다. 아래에서는 90proxy를 사용한다. 단지 앞에 숫자를 붙이면 정렬이 되어서 보기 좋기 때문이다.

$ sudo vi /etc/apt/apt.conf.d/90proxy

2. file에 proxy 정보 저장

Acquire::http::proxy "http://proxy.server:port/";

Acquire::https::proxy "http://proxy.server:port/";

사용예)

Acquire::http::proxy "http://127.0.0.1:8080/";

Acquire::https::proxy "http://127.0.0.1:8080/";

proxy server에 비밀번호가 있는 경우는 아래처럼 설정한다.

Acquire::http::proxy "http://user:password@proxy.server:port/";

Acquire::https::proxy "http://user:password@proxy.server:port/";

3. 호완되는 다른 형식

Acquire {

    HTTP::proxy "http://proxy.server:port/";

    HTTPS::proxy "http://proxy.server:port/";

}

또는

Acquire {
    HTTP {
        Proxy "http://proxy.server:port/";
    };
    HTTPS {
        Proxy "http://proxy.server:port/";
    };
}

□ VI가 안될 때 팁

누구나 아는 방법일 뿐이지만, 쉽게 copy & paste 하시길... 리다이렉트 옵션인 > 와 >> 가 중요하다.

$ export http_proxy="http://proxy.server:port"
$ export https_proxy="http://proxy.server:port"

$ touch /etc/apt/apt.conf.d/proxy.conf
$ echo "Acquire::http::Proxy \"http://proxy.server:port/\";" > /etc/apt/apt.conf.d/proxy.conf
$ echo "Acquire::https::Proxy \"https://proxy.server:port/\";" >> /etc/apt/apt.conf.d/proxy.conf

// 큰따옴표(") 대신 작은따옴표(')를 써도 됨. 이 경우 \ 를 안써도 되서 좀 더 편함

$ echo 'Acquire::http::Proxy "http://proxy.server:port/";' > /etc/apt/apt.conf.d/proxy.conf
$ echo 'Acquire::https::Proxy "https://proxy.server:port/;' >> /etc/apt/apt.conf.d/proxy.conf

확인은 cat 명령어 수행 시 Acquire... 가 나오면 성공

$ cat /etc/apt/apt.conf.d/proxy.conf
Acquire::http::Proxy "http://proxy.server:port/";
Acquire::https::Proxy "https://proxy.server:port/";

끝으로 apt-get update 등으로 proxy setting이 잘되었는지 확인해 보면 된다.

pytorch를 docker 환경에서 설치하는 것은 매우 간단하다. 다만 nvidia-docker 환경이 먼저 설치되어 있어야 한다.

□ nvidia-docker 설치

nvidia-docker 설치를 하고 싶다면 아래를 참고하기 바란다.

https://driz2le.tistory.com/297

□ docker pytorch 설치

nvidia-docker 환경 구성을 완료했거나 이미 설치가 되어 있을 경우 이제 콘솔 화면에서 아래와 같이 입력하여 설치를 시작한다.

$ docker pull pytorch/pytorch

참고로 해당 명령은 아래 사이트에서 pytorch 설치에 대한 정보를 확인할 수 있다.

https://hub.docker.com/r/pytorch/pytorch/

해당 사이트를 캡처한 아래 그림에서 오른 쪽 하단에 Docker Pull Command를 통해서 설치 명령어를 알 수 있다.

끝으로 docker 사이트에 로그인이 되어 있지 않다면 로그인하라는 메세지가 뜨기도 한다.

당황하지말고 침착하게 docker login ~

□ docker pytorch 이미지 확인

pytorch 다운로드가 완료되면 아래와 같이 이미지를 잘 받았는지 확인이 가능하다.

$ docker images
REPOSITORY              TAG                      IMAGE ID            CREATED             SIZE
pytorch/pytorch             latest                    ba2da111b833      3 weeks ago         4.32GB

□ docker pytorch 컨테이너 실행

runtime 환경에 nvidia를 설정해 주어야 한다.

# docker version 19.03 이상

$ docker run --gpus all --name pytorch --restart=always pytorch/pytorch

# docker version 19.03 이하 nvidia-docker v2 상태

$ docker run --runtime=nvidia --name pytorch --restart=always pytorch/pytorch

※ 주의

    docker version 19.03 부터 nvidia-docker를 설치하면 --gpus 명령을 사용해야 한다.

    19.03 이하 버전에서는 nvidia-docker 버전에 따라 아래처럼 사용한다.

    nvidia-docker v2에서는 --gpus all 대신 --runtime=nvidia를 사용한다.

    nvidia-docker v1은 --runtime=nvidia 또는 --gpus all 명령줄 플래그 대신 nvidia-docker 별칭을 사용한다.

□ 설치된 pytorch에서 GPU 사용여부 확인

pytorch 컨테이너가 구동되면 pytorch가 정상적으로 GPU를 사용할 수 있는지 확인할 필요가 있다.

이 경우 아래 페이지를 참고하여 확인할 수 있다.

https://driz2le.tistory.com/270

이제 사용하는 일만 남았다~ 건승하시길~

□ 추신

새로 설치한 pytorch에는 VI와 jupyter notebook이 설치되어 있지 않다. 설치해 주려면 아래를 수행한다.

1) VI 설치

$ apt-get update
$ apt-get install vim

2) jupyter notebook 설치

$ pip install jupyter