User Tools

Site Tools


setup_a_testing_server

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
setup_a_testing_server [2019/11/10 12:24]
hyjeong
setup_a_testing_server [2019/11/13 11:00] (current)
hyjeong [수작업으로 설치한 프로그램(~/apps)]
Line 1: Line 1:
 ====== 실습용 서버에 프로그램 설치하기 ====== ====== 실습용 서버에 프로그램 설치하기 ======
 +이 문서는 원래 KOBIC에서 제공한 실습용 서버에 필요한 프로그램을 설치하는 방법을 설명하기 위한 것이었습니다. 따라서 /BiO 디렉토리 하위에 대부분의 프로그램(데이터도 포함)을 설치하는 것을 전제로 하였었습니다. 그러나 교육이 끝난 지금, 실습에 사용했던 환경을 여러분이 직접 사용하실 수 있는 곳에 설치하는데 도움을 주는 문서로 차차 바꾸어 나가고자 합니다. 기준 환경은 CentOS 7로 하되 Oracle VirtualBox에 설치한 가상 머신도 나쁘지는 않습니다. 리눅스 서버에 접속이 가능하다면,​ 관리자 권한이 없더라도 문제가 없을 것입니다. 그것이 바로 conda의 힘입니다.
 +
 +여담이지만 anaconda, conda 및 bioconda를 명확히 구별하는 것도 썩 쉽지는 않습니다. **anaconda installer**를 다운로드하여 설치하는 것이 시작입니다. 그러면 비로소 conda(package manager)라는 명령어를 쓸 수 있게 되고, bioconda '​채널'​에 등록된 수많은 생명정보 프로그램 패키지를 다운로드하여 설치할 수 있습니다. 이상의 과정은 관리자 권한과 무관하게 실행하게 됩니다.
  
   $ uname -a   $ uname -a
-  Linux edu02.kobic.re.kr ​3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux+  Linux tube 3.10.0-1062.1.2.el7.x86_64 #1 SMP Mon Sep 30 14:19:46 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
   $ cat /​etc/​centos-release   $ cat /​etc/​centos-release
-  CentOS Linux release 7.6.1810 (Core)+  CentOS Linux release 7.7.1908 (Core)
   $ python -V   $ python -V
   Python 2.7.5   Python 2.7.5
   $ perl -v   $ perl -v
-  This is perl 5, version 16, subversion 3 (v5.16.3) built for x86_64-linux-thread-multi (with 38 registered patches, see perl -V for more detail)+  This is perl 5, version 16, subversion 3 (v5.16.3) built for x86_64-linux-thread-multi (with 39 registered patches, see perl -V for more detail
 +  $ gcc -v 
 +  gcc version 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
  
 가급적 관리자 권한을 쓰지 않고 필요한 프로그램을 설치하기 위해 노력하였다. 그러려면 bioconda에 의존하지 않을 수 없다. 간단히 Windows host의 Oracle VirtualBox 가상머신 환경에서도 테스트해 보기 위하여 처음에는 실습일 기준(2019년 11월) 최신 anaconda 설치 파일([[https://​repo.anaconda.com/​archive/​Anaconda3-2019.07-Linux-x86_64.sh|Anaconda3-2019.10-Linux-x86_64.sh]])을 쓰고자 하였으나 이는 CentOS 7.7 가상머신 환경에서 설치되지 않아서 부득이하게 [[https://​repo.anaconda.com/​archive/​Anaconda3-2019.07-Linux-x86_64.sh|2019.07]] 버전을 사용하였다. ​ 가급적 관리자 권한을 쓰지 않고 필요한 프로그램을 설치하기 위해 노력하였다. 그러려면 bioconda에 의존하지 않을 수 없다. 간단히 Windows host의 Oracle VirtualBox 가상머신 환경에서도 테스트해 보기 위하여 처음에는 실습일 기준(2019년 11월) 최신 anaconda 설치 파일([[https://​repo.anaconda.com/​archive/​Anaconda3-2019.07-Linux-x86_64.sh|Anaconda3-2019.10-Linux-x86_64.sh]])을 쓰고자 하였으나 이는 CentOS 7.7 가상머신 환경에서 설치되지 않아서 부득이하게 [[https://​repo.anaconda.com/​archive/​Anaconda3-2019.07-Linux-x86_64.sh|2019.07]] 버전을 사용하였다. ​
Line 14: Line 19:
 {{ ::​anaconda3-2019-10_installation_failure.png?​400 |VirtualBox의 CentOS 7.7 가상머신에서 Anaconda3-2019.10이 설치되지 못하는 화면}} {{ ::​anaconda3-2019-10_installation_failure.png?​400 |VirtualBox의 CentOS 7.7 가상머신에서 Anaconda3-2019.10이 설치되지 못하는 화면}}
  
-Anaconda의 설치 위치는 ​**/​BiO/​day1/​anaconda3**로 하였다. 직접 설치하려면 홈 디렉토리 등 쓰기 권한이 있는 곳을 적절히 선택한다.+Anaconda의 설치 위치는 ​교육용 서버에서는 ​/​BiO/​day1/​anaconda3로 하였다. 직접 설치하려면 홈 디렉토리 등 쓰기 권한이 있는 곳(예: ~/​anaconda3)을 적절히 선택한다.
   $ bash Anaconda3-2019.07-Linux-x86_64.sh   $ bash Anaconda3-2019.07-Linux-x86_64.sh
   .... 라이센스 동의   .... 라이센스 동의
-  PREFIX=/​BiO/​day1/​anaconda3 # 설치 위치+  PREFIX=/​BiO/​day1/​anaconda3 # 설치 위치(쓰기 권한이 있는 곳으로 설정할 것)
   ...   ...
   Do you wish the installer to initialize Anaconda3   Do you wish the installer to initialize Anaconda3
Line 23: Line 28:
   [no] >>> ​   [no] >>> ​
  
-여기에서 yes를 선택하면 .bashrc 끝부분에 콘다 초기화를 위한 ​스크립트를 ​추가다. '​conda ​init'라 실행해도 같은 효과를 발생한다.+여기에서 yes를 선택하면 .bashrc 끝부분에 콘다 초기화를 위한 ​몇 줄의 코드가 자동으로 ​추가되며(conda init 명령이 하는 일), 새로 로그인을 하면 conda base environment를 활성화(activate)하게 된다. init와 activate의 차이를 이해하는 것이 중요하다. 
 + 
 +  [no] >>>​ yes
   ...   ...
-  no change ​    /​BiO/​anaconda3/​etc/​profile.d/​conda.csh +  no change ​    anaconda3_설치_디렉토리/​etc/​profile.d/​conda.csh 
-  modified ​     ​/home/edu01/.bashrc+  modified ​     ​홈_디렉토리/.bashrc
   ​   ​
   ==> For changes to take effect, close and re-open your current shell. <==   ==> For changes to take effect, close and re-open your current shell. <==
-  # 재로그인 또는 source .bashrc 실행 후+  # 재로그인 또는 source ​~/.bashrc 실행 후
   (base) $   (base) $
    
-no를 선택하면 다음과 같은 설명이 나온다.+no를 선택하면 다음과 같은 설명이 나온다. 이런 상태로 설치를 마쳤다면 eval~ 명령어를 입력해야 conda base environment를 활성화할 수 있다는 뜻이다. eval.. 명령어 내부의 YOUR_SHELL_NAME은 bash로 바꾸어야 한다.
  
   You have chosen to not have conda modify your shell scripts at all.   You have chosen to not have conda modify your shell scripts at all.
   To activate conda'​s base environment in your current shell session:   To activate conda'​s base environment in your current shell session:
   ​   ​
-  eval "$(/​BiO/​day1/​anaconda3/bin/conda shell.YOUR_SHELL_NAME hook)" ​+  eval "$(anacond3_설치_디렉토리/bin/conda shell.YOUR_SHELL_NAME hook)" ​
   ​   ​
   To install conda'​s shell functions for easier access, first activate, then:   To install conda'​s shell functions for easier access, first activate, then:
Line 43: Line 50:
   conda init   conda init
   ​   ​
-다음은 Anaconda3 초기화를 위해 conda init를 쓰건 안쓰건 공통적으로 나오는 메시지이다.+다음은 Anaconda3 초기화를 위해 conda init를 쓰건 안쓰건 공통적으로 나오는 메시지이다. 이 명령을 수행하면 ~/​.condarc에 해당 설정이 기록되고,​ conda base environment의 자동 활성화가 되지 않는다. 이런 상태에서는 conda activate를 실행해야 한다.
  
   If you'd prefer that conda'​s base environment not be activated on startup, ​     If you'd prefer that conda'​s base environment not be activated on startup, ​  
Line 53: Line 60:
   ​   ​
   ===========================================================================   ===========================================================================
-conda config 명령을 실행하면 홈 디렉토리의 .condarc 파일에서 설정이 기록된다. 로그인 시 자동 활성화가 되지 않게 하였다면,​ conda base 환경으로 들어가기 위해 다음과 같이 하면 된다. YOUR_SHELL_NAME은 bash로 바꾸어 쓴다. +conda config 명령을 실행하면 홈 디렉토리의 .condarc 파일에서 설정이 기록된다. 로그인 시 자동 활성화가 되지 않게 하였다면,​ conda base 환경으로 들어가기 위해 다음과 같이 하면 된다. YOUR_SHELL_NAME은 bash로 바꾸어 쓴다. Conda base environment를 활성화하는 방법을 정리하면 다음과 같다. 
-  - [conda init로 초기화를 하지 않은 경우(.bashrc 뒷부분이 수정되지 않은 경우)]: eval "$(/​BiO/​day1/​anaconda3/bin/conda shell.YOUR_SHELL_NAME hook)"​ +  - [conda init로 초기화를 하지 않은 경우(.bashrc 뒷부분이 수정되지 않은 경우)]: eval "$(anaconda3_설치_디렉토리/bin/conda shell.YOUR_SHELL_NAME hook)"​ 
-  - [conda init로 초기화를 한 경우]: conda activate+  - [conda init로 초기화를 한 경우]: ​재로그인을 하면 자동으로 활성화가 된다. 그러나 .condarc 파일에 "​auto_activate_base:​ false" 라인이 존재한다면 ​conda activate를 실행해야 함
  
-===== 수작업으로 설치한 프로그램(/BiO/day1/apps) ===== +===== 수작업으로 설치한 프로그램(~/apps) ===== 
-이미 bioconda용으로 만들어진 패키지가 있을지도 모르지만 원본 사이트에서 바이너리를 가져다가 압축을 풀었다. 직접 compile한 것도 있는데, ​conda base 환경에서 ​했는지 그 외부에서 했는지가 확실하지 않. 재설치(빌드)할 경우 conda base 환경에서 작업하는 것으로 통일하자.+이미 bioconda용으로 만들어진 패키지가 있을지도 모르지만 원본 사이트에서 바이너리를 가져다가 압축을 풀었다. 직접 compile한 것은 conda base 환경에서 실다.
   * [[https://​www.niehs.nih.gov/​research/​resources/​software/​biostatistics/​art/​index.cfm|art_bin_MountRainier]] [[https://​www.niehs.nih.gov/​research/​resources/​assets/​docs/​artbinmountrainier2016.06.05linux64.tgz|다운로드]]   * [[https://​www.niehs.nih.gov/​research/​resources/​software/​biostatistics/​art/​index.cfm|art_bin_MountRainier]] [[https://​www.niehs.nih.gov/​research/​resources/​assets/​docs/​artbinmountrainier2016.06.05linux64.tgz|다운로드]]
-  * [[https://​sourceforge.net/​projects/​bbmap/​|BBTools]] 설치 디렉토리명은 bbmap+  * [[https://​sourceforge.net/​projects/​bbmap/​|BBTools]] 설치 디렉토리명은 bbmap. 설치한 버전은 BBMap_38.71
   * [[https://​ncbi.github.io/​sra-tools/​install_config.html|sratoolkit.2.9.6-1-centos_linux64]]   * [[https://​ncbi.github.io/​sra-tools/​install_config.html|sratoolkit.2.9.6-1-centos_linux64]]
   * [[http://​cube.univie.ac.at/​gepard|Gepard]]   * [[http://​cube.univie.ac.at/​gepard|Gepard]]
   * [[https://​www.wsi.uni-tuebingen.de/​lehrstuehle/​algorithms-in-bioinformatics/​software/​dendroscope/​|dendroscope]] openjdk-11(conda base에서 fastqc 설치될 때 같이 깔림)가 마련된 이후에 설치할 것.   * [[https://​www.wsi.uni-tuebingen.de/​lehrstuehle/​algorithms-in-bioinformatics/​software/​dendroscope/​|dendroscope]] openjdk-11(conda base에서 fastqc 설치될 때 같이 깔림)가 마련된 이후에 설치할 것.
-  * [[https://​github.com/​marbl/​canu|canu ]] 처음에는 bioconda package를 설치했었으나 circlator 실행에서 버전을 확인할 수 없다는 에러가 발생하여 소스로부터 컴파일하였다. +  * [[https://​github.com/​marbl/​canu|canu ]] 처음에는 bioconda package를 설치했었으나 circlator 실행에서 버전을 확인할 수 없다는 에러가 발생하여 소스로부터 컴파일하였다. ​Canu snapshot v1.8 +519 changes 
-  * [[https://​github.com/​tseemann/​snippy|snippy]] bioconda를 통해 설치한 것은 snpEff 실행 과정에서 에러가 발생한다. 이것을 쓰기 바람. +  * [[https://​github.com/​tseemann/​snippy|snippy]] bioconda를 통해 설치한 것은 snpEff 실행 과정에서 에러가 발생한다. 이것을 쓰기 바람. ​version 4.4.5 
-  * sudo yum install perl-App-cpanminus(gbk_get을 실행하기 위해 필요한 Perl module 설치) +  * quast 아래 항목 참조. Version: 5.0.2, aa6e843
-  * 관리자 권한으로 R 설치(yum);​ 추가한 패키지는 gplots ape+
  
 기타 실행 파일 또는 스크립트는 **/​BiO/​day1/​bin**에 두었다. 여러 소스에서 구하거나 내가 수정한 것, 또는 내가 직접 만든 것을 포함한다. 여기에 있는 파일은 다음과 같다. 기타 실행 파일 또는 스크립트는 **/​BiO/​day1/​bin**에 두었다. 여러 소스에서 구하거나 내가 수정한 것, 또는 내가 직접 만든 것을 포함한다. 여기에 있는 파일은 다음과 같다.
   * Dendroscope -> /​BiO/​day1/​apps/​dendroscope/​Dendroscope   * Dendroscope -> /​BiO/​day1/​apps/​dendroscope/​Dendroscope
-  * gbk_get [[https://​journals.plos.org/​plosone/​article?​id=10.1371/​journal.pone.0060120}CMG-Biotools]]에서 유래한 것으로 평소에 아주 잘 쓰고 있다. +  * gbk_get [[https://​journals.plos.org/​plosone/​article?​id=10.1371/​journal.pone.0060120|CMG-Biotools]]에서 유래한 것으로 평소에 아주 잘 쓰고 있다. [[https://​github.com/​lskatz/​lyve-SET/​blob/​master/​scripts/​getgbk|getgbk]]와 사실상 동일한 것이니 이를 가져다가 쓰는 것이 좋을 것임
-  * Gepard-1.40.jar+  * [[https://​github.com/​univieCUBE/​gepard/​blob/​master/​dist/​Gepard-1.40.jar?​raw=true|Gepard-1.40.jar]]
   * minimus2 toAmos - Conda amos environment에서 찾아서 복사하였음   * minimus2 toAmos - Conda amos environment에서 찾아서 복사하였음
-  * n50.pl n50_simple.pl substitute.pl +  * [[n50.pl|n50.pl]] [[n50_simple.pl|n50_simple.pl]] [[substitute.pl|substitute.pl]] [[histo2plot.sh|histo2plot.sh]] 
-  * roary2svg.pl roary_plots.pl +  * roary2svg.pl roary_plots.pl ​[[https://​github.com/​sanger-pathogens/​Roary/​tree/​master/​contrib|이곳]]에서 입수 가능 
-  * simple_circularise.py ​+  * [[https://​github.com/​Kzra/​Simple-Circularise|simple_circularise.py]] 잘 작동하는지의 여부는 잘 모르겠음
  
 ===== bioconda를 이용하여 설치한 프로그램 ===== ===== bioconda를 이용하여 설치한 프로그램 =====
Line 106: Line 112:
   * bowtie2-2.3.5   * bowtie2-2.3.5
   * figtree-1.4.4   * figtree-1.4.4
 +  * r-gplots-3.0.1.1 (r-base도 동시에 설치)
 +  * r-ape-5.3
 +  * perl-html-parser (gbk_get 실행에 필요한 HTML::​Parser 제공)
  
  
Line 128: Line 137:
   $ python tests/​test_all_functions.py   $ python tests/​test_all_functions.py
  
-==== amos environment (+pbh5tools)====+==== amos environment (python 2.7.15; ​+pbh5tools)====
 minimus2를 이용한 circlator 작업을 위하여 설치한다. base environment에 설치된 circlator는 python >=3이 필요하다 하고, amos 패키지도 필요하다 하면서 정작 amos를 설치하려고 알아보면 python 2.7이 필요하다고 하니 이는 명백한 모순이다. base environment에 circlator를 설치할 때 amos는 자동으로 깔리지는 않는다. ​ minimus2를 이용한 circlator 작업을 위하여 설치한다. base environment에 설치된 circlator는 python >=3이 필요하다 하고, amos 패키지도 필요하다 하면서 정작 amos를 설치하려고 알아보면 python 2.7이 필요하다고 하니 이는 명백한 모순이다. base environment에 circlator를 설치할 때 amos는 자동으로 깔리지는 않는다. ​
   $ conda create -n amos python=2.7   $ conda create -n amos python=2.7
setup_a_testing_server.1573356257.txt.gz · Last modified: 2019/11/10 12:24 by hyjeong