아래 리스트에 글들은 100% 신뢰하면 안된다. 읽다 보면 깊은 경험에서 우러난 글 처럼  느껴지며 때때로 강한 신뢰감을 받기도 하지만, 출처를 알 수 없고 과학적으로 논의되거나 정량적으로 재현할 수 있는  글들은... 아니기 때문이다.

다만, 다양한 연구자들, 모델러들의 고민과 경험을 접할 수 있기에 무언가 막혀 있을 때 읽어 보면 좋을 듯 하다고 생각한다.

 

 

  [번역] 오픈소스 모델이 나아갈 길은 양질의 데이터 세트를 정제하는 것이다

 

 

After 500+ LoRAs made, here is the secret  [번역] 500개 이상의 LoRA를 만들어본 후, 터득한 비결

 

반응형

 

Container를 실행(running) 상태로 두면서 나오기, 아래처럼   Ctrl 버튼 누른 상태에서 p, q를 순서대로 입력한다.

Ctrl+p+q 

 

나온 상태에서 docker ps를 실행하면

$ docker ps

CONTAINER ID   IMAGE    COMMAND    CREATED          STATUS        PORTS   NAMES
042b6ec17812   nvidia   "/opt/…"   51 minutes ago   Up 51 minutes         strange_galois

 

위 STATUS 항목에서 볼 수 있듯이 UP 상태로 그대로 실행 중인 것을 확인할 수 있다.

 

다시 접속을 위해서는 위 예제의 경우 NAMES = strange_galois 이므로 아래와 같이 명령을 수행한다.

$ docker attach strange_galois

 

여담으로 실행 중인 docker 컨테이너에 접속하는 것을 attach라고 칭하듯이, 컨테이너 중단 없이 나가는 것을 detach 라고 부른다. 또한, docker 옵션 중 -d 옵션이 detach mode를 뜻하며 아래 명령은 컨테이너 ABC를 중단없이 백그라운드로 실행한다.

 

$ docker -d -- name ABC   

 

 

 

반응형

'Linux' 카테고리의 다른 글

Ubuntu 버전 확인  (0) 2024.02.24
xrdp 원격 접속, 검은 화면 해결(black screen)  (0) 2024.02.22
Ubuntu 디스크 용량 확인  (0) 2024.02.07
[Windows] Jupyter notebook 띄우기  (2) 2024.02.07
Ubuntu USB 만들기 (ubuntu 22.04)  (0) 2023.09.08

Ubuntu 버전의 경우 몇 가지 방법으로 버전 확인을 할 수 있다.

 

가장 쉬운 방법은 하기와 같다. Ubuntu는 /etc/issue 파일에 간단한 시스템 버전 정보를 기재해 놓고 있다. 간단히 출력해서 확인이 가능하다. 해당 파일은 누구나 읽을 수 있도록 되어 있다(-rw-r--r--).

$ cat /etc/issue

 

보다 상세한 정보는 /etc/os-release에 기재되어 있다. 구체적인 정보를 확인할 수 있으므로 가장 좋은 방법이라고 생각된다.

$ cat /etc/os-release

 

lsb_release 명령을 사용하는 방법도 있다.

$ lsb_release -a 

 

lsb_release의 경우 -d 옵션을 사용할 수도 있다.

$ lsb_release -d

 

이외 방법으로 hostnamectl 을 통해서 간접 확인이 가능하다. 참고로 hostnamectl은 시스템 host 명을 설정하는 데 사용하는 명령이다.

 

$ hostnamectl

 Static hostname: h100-cluster-002
       Icon name: computer-server
         Chassis: server
      Machine ID: de2a9aa515524021a6eddac86033f257
         Boot ID: 2e1df185400f43eea56e427114449f4c
Operating System: Ubuntu 22.04 LTS
          Kernel: Linux 5.15.0-25-generic
    Architecture: x86-64
 Hardware Vendor: HPE
  Hardware Model: HPE Cray XD670

 

반응형

 

 

윈도우 환경에서 우분투 원격 접속 할때, 접속은 되지만 검은 화면(black screen)만 보이는 경우가 많다. (사실 대부분...?)

이 경우, xrdp X session start script에 아래 세 줄을 추가해서 해결할 수  있다.

 

unset DBUS_SESSION_BUS_ADDRESS 
unset XDG_RUNTIME_DIR 
. $HOME/.profile

 

우선 startwm.sh 파일을 연다. 하기처럼 해당 파일의 특정 위치에 추가해야 한다.

$ sudo vi /etc/xrdp/startwm.sh

#!/bin/sh
# xrdp X session start script (c) 2015, 2017 mirabilos
# published under The MirOS Licence

                         ... 중략 ....
        
        test -z "${LC_NUMERIC+x}" || export LC_NUMERIC
        test -z "${LC_PAPER+x}" || export LC_PAPER
        test -z "${LC_TELEPHONE+x}" || export LC_TELEPHONE
        test -z "${LC_TIME+x}" || export LC_TIME
        test -z "${LOCPATH+x}" || export LOCPATH
fi

if test -r /etc/profile; then
        . /etc/profile
fi

# 추가할 부분
unset DBUS_SESSION_BUS_ADDRESS
unset XDG_RUNTIME_DIR
. $HOME/.profile

test -x /etc/X11/Xsession && exec /etc/X11/Xsession
exec /bin/sh /etc/X11/Xsession
~

 

추가한 세 줄은 test ... exec.. 위에 위치해야 하며 이후 xrdp 서비스를 재시작한다.

$service xrdp restart

 

원격 접속을 다시 시작해서 결과 확인한다. 

 

□ 관련 페이지

- Ubuntu GUI 원격접속 https://driz2le.tistory.com/467

 

Ubuntu GUI 원격접속

윈도우 원격접속을 이용해서 Ubuntu GUI 환경으로 접속을 위해 xrdp 를 이용할 수 있다. 우선 하기와 같이 xrdp vnc3server tightvncserver를 삭제한다. 해당 서비스의 경우 높은 확률로 vnc error ( VNC error - probl

driz2le.tistory.com

 

반응형

'Linux' 카테고리의 다른 글

Docker 중단없이 나오기(Detach)  (2) 2024.02.25
Ubuntu 버전 확인  (0) 2024.02.24
Ubuntu 디스크 용량 확인  (0) 2024.02.07
[Windows] Jupyter notebook 띄우기  (2) 2024.02.07
Ubuntu USB 만들기 (ubuntu 22.04)  (0) 2023.09.08

□ 환경

- Ubuntu 

 

디스크 별 용량 확인
df -h
 
특정 디렉토리 용량 확인
du -hs folder
(-h : byte 형태로 출력)

특정 폴더에 있는 폴더 및 파일 용량 출력
du -hs 폴더명

 

특정 폴더에서 파일 용량이 큰 순서대로 출력
du -h --max-depth=1 폴더명 | sort -hr

특정 디렉토리에 있는 폴더들에 대해 용량 크기 순으로 정렬하여 출력
sudo du -ah --max-depth=1 폴더명 | sort -hr

반응형

'Linux' 카테고리의 다른 글

Ubuntu 버전 확인  (0) 2024.02.24
xrdp 원격 접속, 검은 화면 해결(black screen)  (0) 2024.02.22
[Windows] Jupyter notebook 띄우기  (2) 2024.02.07
Ubuntu USB 만들기 (ubuntu 22.04)  (0) 2023.09.08
pip 최신 버전 맞춤 설치하기  (0) 2023.06.05

□ 환경

- Windows, Ubuntu 공통

- python 3.7 이상

 

python 환경이 먼저 설치가 되어 있어야 한다.

 

Jupyter notebook이 설치가 되어 있지 않다면, 아래 명령으로 간단히 설치가 가능하다.

pip3 install jupyter

 

이후 하기 명령으로 간단히 띄우는 것이 가능하다.

python.exe -m notebook

 

C:\workspace>python -m notebook

[W 2024-02-07 10:21:11.326 ServerApp] A `_jupyter_server_extension_points` function was not found in notebook_shim. Instead, a `_jupyter_server_extension_paths` function was found and will be used for now. This function name will be deprecated in future releases of Jupyter Server.
[I 2024-02-07 10:21:11.329 ServerApp] jupyter_lsp | extension was successfully linked.

.....

    Or copy and paste one of these URLs:
        http://localhost:8888/tree?token=5d77610764e494f4a70849088e4713459b1fad22e87706cd
        http://127.0.0.1:8888/tree?token=5d77610764e494f4a70849088e4713459b1fad22e87706cd

.....

0.00s - Note: Debugging will proceed. Set PYDEVD_DISABLE_FILE_VALIDATION=1 to disable this validation.

 

실행하면 위와 같은 로그가 출력되며 이 중 copy and paste of these URLs: 란 문구 아래 둘 중 하나를 사용해서 브라우저 상에서 jupyter notebook을 띄우는 게 가능하다. 

copy and paste of these URLs:

      http://localhost:8888/tree?token=5d77610764e494f4a70849088e4713459b1fad22e87706cd
      http://127.0.0.1:8888/tree?token=5d77610764e494f4a70849088e4713459b1fad22e87706cd

 

반응형

□ 호환: Ubuntu 16.04, 18.04. 20.04. 22.04 등 전체 버전

 

우분투 설치를 위해 USB 인스톨 파일을 만들 필요가 있다.

이때, Rufus를 사용하면 간단하게 해결이 가능하다.

Rufus는 ISO 파일로부터 부팅 가능한 USB를 만들어주는 프로그램으로 가볍고 속도가 빠르기 때문에 편하게 사용가능하다. 사용을 위해 알아야 할 특별한 것은 없으며, 클릭 몇번으로 설치가 가능하다.

다운로드는 설치가 귀찮다면 portable 파일로 다운받기를 권장한다.

 

RUFUS  https://rufus.ie/ko/

 

Rufus - 간편하게 부팅 가능한 USB 드라이브 만들기

Rufus는 USB 메모리 및 플래시 드라이브를 포맷하고 부팅할 수 있도록 만드는 도구입니다. 이 페이지 아래에 나열된 ISO 이미지 이외에도 Rufus는 여러 종류의 ISO 이미지를 지원합니다. (1) Windows 8 이

rufus.ie

 

 

반응형

□ 환경

- ubuntu18.04, 20.04

- python 3.7 이상

 

pip는 운영체제에 내장되어 있거나 default로 설치되는 python에 내장되어 탑재된 pip를 사용하게 되므로 pip 최신 버전으로 업데이트를 할 필요가 종종 있다. 한 예로 pip3로 버전을 확인해 보면 아래와 같이 너무 낮은 버전의 pip를 보게 된다.

$ pip3 --version
pip 9.0.1 from /usr/lib/python3/dist-packages (python 3.6)

 

또한, 위와 같은 경우 pip 명령은 인식 못할 경우도 많아서 pip3를 쓰거나 alias나 symbolic link를 설정하는 등 부가적인 고생을 해야하는 경우도 있다.

 

1. 단순히 pip 버전만 올리고 싶다면, 아래와 같다. 

$ pip3 install --upgrade pip

 

대개의 경우 위 명령을 수행하면 pip가 최신 버전으로 설치됨과 동시에 별도 alias나 symlolic link 처리와 상관없이 pip를 사용하여 pip3를 호출할 수 있게 된다. 그러나, 경우는 python 버전은 기본 버전으로 유지된다. 즉, 위에서 예시한 python3.6 이라면 pip도 python3.6 환경을 따르는 pip 최신 버전이 설치된다는 뜻이다.

 

2. 자신이 사용하는 python에 내장된 pip를 바꾸고 싶다면, 

python은 여러 버전이 이미 설치되어 있기도 하고 계속 여러 버전을 설치해서 사용하는 경우도 많기 때문에 내장된 python과 새로 설치하여 사용하는 python이 다른 경우가 종종 있다.

해당 명령을 실행하면 현재 사용하고 있는 python의 pip가 최신 버전으로 업데이트 되며, 위 1번 처럼 pip를 실행하면 새로 설치한 pip3가 잘 동작하므로 깔끔하게 해결이 가능하다.

$ python -m pip install --upgrade --force-reinstall pip

 

참고로, 현재 사용하는 python에 내장된 pip 버전은 하기와 같이 버전을 확인할 수 있다.

$ python -m pip -version

 

끝으로 위 모든 과정을 예를 들어 설명한다면, 즉, 기본 설치된 pythondl 3.6이었으나 현재는 python3.7을 사용하고 있고 위 부터 순차적으로 수행했다면 아래와 같은 결과를 볼 수 있다.

$ python --version

Python 3.7.5

 

// 만약, pip와 pip3 간 wrapping 이 안되어 있다면 명령어를 찾지 못했다고 나온다.

$ pip
bash: pip: command not found

 

$ pip3 --version
pip 9.0.1 from /usr/lib/python3/dist-packages (python 3.6)

 

$ pip3 install --upgrade pip

Downloading ....

Installing collected packages: pip

 

$ pip --version
pip 21.3.1 from /usr/local/lib/python3.6/dist-packages/pip (python 3.6)

 

$ python -m pip --version
pip 9.0.1 from /usr/lib/python3/dist-packages (python 3.7)

 

$ python -m pip install --upgrade --force-reinstall pip

Downloading ....

Installing collected packages: pip

 

$ python -m pip --version

pip 23.1.2 from /usr/local/lib/python3.7/dist-packages/pip (python 3.7)

 

// 위와 동일 결과

$ pip --version

pip 23.1.2 from /usr/local/lib/python3.7/dist-packages/pip (python 3.7)      

 

반응형

의외로 많이 보게 되는 단순한 설치 문제이다.

$ pip install scikit-build

 

위처럼 간단히 해결할 수 있다.

반응형

생각보다 짜증나는 설치 오류이다. 해결은 매우 쉽다. attr과 attrs 패키지를 모두 설치해야 한다.

$ pip install attr

$ pip install attrs

 

proxy 설정이 되어 있는 경우 하기 사이트에서 해결할 수 있다.

https://driz2le.tistory.com/275

 

Proxy setting, pip (ubuntu)

pip의 경우 파라메터를 주는 방식으로 proxy를 설정한다. $ pip install --proxy http://proxy.server:port 패키지명 e.g.) # proxy 서버를 이용해서 jupyter notebook을 설치한다. $ pip install --proxy http://10.10.10.5:8080 jupyter

driz2le.tistory.com

 

 

반응형

+ Recent posts