Moduler

Introduksjon

For ? forenkle oppsett av milj?er for kompilatorer, MPI-versjoner og applikasjoner har Colossus Environment Modules-pakken installert. Dette gir et verkt?y man kan benytte for ? gj?re dynamisk modifikasjon av en brukers milj? via modulefiles.

Hver modulfil inneholder informasjonen som trengs for ? konfigurere skallet for et milj?. Vanligvis modifiserer en modulfil milj?variabler som PATH, MANPATH, LD_LIBRARY_PATH, CPATH og PKG_CONFIG_PATH for ? gi tilgang til en applikasjon eller et bibliotek. For ? starte en modulfil kj?rer du module kommandoen med argumenter.

I TSD kan module kommandoen brukes fra kommandolinjen p? submit host og som en del av et jobbskript n?r du sender en jobb til Colossus. Du kan n? submit host som er tildelt prosjektet ditt ved ? koble til  pXX-hpc-01.tsd.usit.no, ved ? bruke PUTTY fra Windows VM, eller ved ? bruke ssh fra prosjektets Linux VM.

Liste tilgjengelige moduler

De tilgjengelige modulfilene kan listes ved ? benytte kommandoen module avail. Eksempel:

$ module avail 
----------------- /cluster/software/MODULEFILES/custom -----------------------
   atlas-lapack/3.10.3            matlab/R2018b                  
   bcftools/1.8                   netcdf-fortran.gnu/4.4.4       
   bedtools/2.17.0                netcdf.gnu/4.6.1                
   bismark/0.22.1                 openmpi.gnu/1.8               
   bowtie/1.2.2                   openmpi.gnu/3.1.3           
[...] 
----------------- /cluster/software/MODULEFILES/easybuild/all ----------------
   AFNI/18.3.00-foss-2018b-Python-3.6.6      libreadline/7.0-GCCcore-6.4.0
   Anaconda3/5.3.0                           libreadline/7.0-GCCcore-7.3.0
   arpack-ng/3.7.0-foss-2019a                libreadline/8.0-GCCcore-8.2.0
[...]

Du vil se custom og Easybuild-moduler. Easybuild-modulene er vanligvis de nyeste og b?r foretrekkes. N?r du laster inn en custom modul, vises et varsel for ? avklare dette.

Du kan ogs? angi et navn:

$ module avail MATLAB
----------------- /cluster/software/MODULEFILES/easybuild/all ----------------
   MATLAB/2017b    MATLAB/2018a    MATLAB/2018b    MATLAB/2019a    
   MATLAB/2019b    MATLAB/2020a    MATLAB/2020b 

Lasting av modules

Modulfiler kan brukes fra de fleste skall, s? vel som Perl og Python. Modulfiler kan lastes og av-lastes p? kommandolinjen eller i skriptene dine ved ? skrive:

module load software/version
module unload software/version

Hvis en versjon ikke er spesifisert, vil ingen programvare lastes inn. For ? oppn? reproduserbarhet tvinger vi brukere til ? laste spesifikke versjoner av modulfiler.

Du vil f? en liste over lastede modulfiler slik:

$ module list
Currently Loaded Modulefiles:
 1) MATLAB/2020b

For ? se n?yaktig hva en modulfil gj?r med milj?et ditt, skriv inn:

 module show modulefile/version

Bytt til en annen versjon av en modul

? bytte til en annen versjon er som ? laste en spesifikk versjon. For eksempel, hvis du ?nsker ? bytte fra den n?v?rende lastede R-bundle-Bioconductor til en nyere:

module switch R-bundle-Bioconductor/3.9-foss-2019a-R-3.6.0 R-bundle-Bioconductor/3.11-foss-2020a-R-4.0.0

Denne, mer kompakte syntaksen vil ogs? fungere:

module switch R-bundle-Bioconductor R-bundle-Bioconductor/3.11-foss-2020a-R-4.0.0

Laste flere moduler samtidig

En modul laster inn alle n?dvendige avhengigheter sammen med den overordnede modulen. Dette kan f?re til konflikter n?r ulike moduler har motstridende avhengigheter, f.eks. de er avhengige av motstridende versjoner av verkt?ykjedene (foss, GCC, GCCcore). Vi anbefaler ? laste inn modulene sekvensielt og l?se eventuelle konflikter. N?r moduler lastes inn p? nytt med en versjonsendring, indikerer dette en konflikt og vil bryte avhengighetene til de tidligere lastede modulene, f.eks.:

module load R-bundle-Bioconductor/3.11-foss-2020a-R-4.0.0
module load libGLU/9.0.0-foss-2018b

The following have been reloaded with a version change:
  1) FFTW/3.3.8-gompi-2020a => FFTW/3.3.8-gompi-2018b
  2) GCC/9.3.0 => GCC/7.3.0-2.30
  3) GCCcore/9.3.0 => GCCcore/7.3.0
  4) GMP/6.2.0-GCCcore-9.3.0 => GMP/6.1.2-GCCcore-7.3.0

Rense for moduler

Vi anbefaler ? benytte

module purge

f?r noen module load kommandoer i jobbskript, for ? forhindre arving av milj?variabler satt av module kommandoer i skallet som brukes n?r jobben sendes.

Hjelp

Det finnes en hjelpetekst for de fleste modulfilene. For ? se den, skriv inn:

 module help modulefile/version

For ytterligere dokumentasjon, se Environment Modules hjemmeside.

Tilpass standard modulfiler

You may add loading of modulefiles to your .bash_login file to make sure your favorite modulefile is always loaded when logging in. For instance, to always have the MATLAB/2020b modulefile load on login, add:

Du kan legge til lasting av modulfiler til .bash_login filen din for ? sikre at din favoritt modulfile alltid er lastet inn n?r du logger p?. For eksempel ? alltid ha MATLAB/2020b modulfilen lastet ved p?logging, legg til:

module load MATLAB/2020b

til din .bash_login fil.