Administrasjon av data p? Colossus

 

Tilgjengelige filsystemer p? Colossus

Filsystem	Sti	Anbefalt bruk
Prosjekt folder	/tsd/pXX/data/durable	Programvare, jobb konfigurasjoner, input filer, prosesserte jobb data. Bruk dette omr?det for langtids lagring. Backup er aktivert.
Cluster folder	/tsd/pXX/cluster	(identisk med /cluster/projects/pXX)	Programvare, jobb konfigurasjoner, inndata, prosesserte jobb data. Pleide ? v?re p? et eget filsystem.
Home folder	/tsd/pXX/home/<pXX-user> eller $HOME	Programvare, jobb konfigurasjoner. IKKE bruk dette omr?det for prosessering av data i en jobb.
Scratch	/cluster/work/jobs/jobid eller $SCRATCH	Prosesserte data fra en jobb, chkfile for ? ta vare p? utdata.
Lokalt disk omr?de	$LOCALTMP	Prosesserte data fra en jobb med krav om rask I/O. 100-200 GiB disk kvote

 (*) Ekstra diskplass kan bes om.

P? Colossus

Prosjektdata lagres p? IBM Storage Scale filsystemet. P? Colossus er dette filsystemet tilgjengelig samtidig p? alle beregningsnoder og bruker det globale parallelle filsystemet (GPFS) over ultraraskt 56 Gbps Infiniband. P? beregningsnodene er den montert under /gpfs, med symbolske lenker som peker til /cluster/projects/pXX,/ess/pXX for eldre form?l.

P? submit host

P? submit host er prosjektdataene p? IBM Storage Scale-filsystemet tilgjengelig over NFSv4 (med Kerberos-autentisering, se nedenfor) over 1 Gbps Ethernet. Det er montert under /ess/pXX med symbolske lenker som peker til flere eldre stier. Vi anbefaler ? bruke referanser til /ess/pXX i jobbmanusene dine.

Prosjekt folder

Colossus har tilgang til prosjektkatalogen via et h?yytelses parallelt filsystem: /tsd/pXX, hvor pXX er ditt prosjektnummer. En enkelt diskkvote gjelder for alle underkatalogene (data, home, cluster). Folderen cluster ligger ikke lenger p? et eget filsystem og derfor trenger ikke data ? kopieres dit for behandling p? Colossus.

Som standard er hele prosjektkatalogen sikkerhetskopiert. Det er imidlertid ingen sikkerhetskopi av dataene som er lagret i kataloger som inkluderer no-backup i fil-stien (f.eks. /tsd/pXX/data/no-backup), men daglige ?yeblikksbilder er tilgjengelige for de siste 7 dagene i /tsd/pXX/.snapshots underkatalogen.

Hvis du planlegger ? jobbe med TiB-er av data som vil endres ofte som f?lge av beregninger gjort p? Colossus, kan du kopiere dataene til en katalog uten sikkerhetskopiering s? lenge analysen varer. Dette vil ekskludere midlertidige filendringer fra de daglige sikkerhetskopiene og redusere innvirkningen p? backupsystemet.

? betjene og holde styr p? et parallelt klyngefilsystem er en komplisert oppgave. Mens maskinvaren er avansert, vil GPFS-programvaren en gang i blant f? problemer. N?r dette skjer, kan brukere oppleve forsinkelser n?r de utf?rer enkle kommandoer som "ls" eller til og med henger. Vanligvis varer disse problemene i sv?rt kort tid, men hvis det er et alvorlig problem vil det v?re en kunngj?ring p? TSD driftslogg og p? Colossus Users e-postliste.

Kerberos autentisering

Tilgang til filsystemet /ess/pXX over NFSv4 krever en gyldig Kerberos-billett. En gyldig billett vil gi deg tilgang, mens en utl?pt, ugyldig billett vil nekte tilgang.

Hvis du kobler til submit host (via ssh eller PUTTY) vil du automatisk bli tildelt en billett for en 10 timers ?kt som automatisk fornyes opptil en uke. Hvis billetten utl?per etter en uke, m? du logge ut og inn igjen for ? gjenopprette tilgangen. Dette er den foretrukne metoden for ? skaffe en billett.

Du kan ogs? skaffe en billett manuelt ved ? bruke kinit-kommandoen. Imidlertid vil ikke denne billetten fornyes og utl?per etter 10 timer. Vi anbefaler at du ikke bruker denne kommandoen. Innhenting av automatiske og manuelle billetter p? samme tid kan resultere i permission denied feil dersom en av billettene utl?per mens den andre fortsatt er gyldig.

Kerberos-autentisering krever passordautentisering, derfor vil du ikke bli gitt en billett hvis du kobler til med ssh-n?kler. Vennligst deaktiver ssh-n?kler p? submit host og bruk passordautentisering i stedet.

Du kan liste opp din n?v?rende billettstatus ved ? bruke:

klist

I den innledende fasen kan det bare vises oppf?ringen for Ticket Granting Ticket (TGT) som indikerer en vellykket passordverifisering:

-bash-4.2$ klist
Ticket cache: FILE:/tmp/krb5cc_7927__Vx2FH
Default principal: p11-bartt@TSD.USIT.NO

Valid starting       Expires              Service principal
07/06/2020 14:50:43  07/07/2020 00:50:43  krbtgt/TSD.USIT.NO@TSD.USIT.NO
        renew until 07/13/2020 14:50:21

N?r du ?pner  /cluster/projects/pXX, vil oppf?ringer for tilgang til nfs/ess01.tsd.suit.no bli lagt til, noe som indikerer vellykket autorisasjon til nfs-monteringen:

-bash-4.2$ klist
Ticket cache: FILE:/tmp/krb5cc_7927_Vx2FH
Default principal: p11-bartt@TSD.USIT.NO

Valid starting       Expires              Service principal
07/06/2020 14:50:43  07/07/2020 00:50:43  krbtgt/TSD.USIT.NO@TSD.USIT.NO
        renew until 07/13/2020 14:50:21
07/06/2020 14:52:44  07/07/2020 00:52:44  nfs/ess01.tsd.usit.no@TSD.USIT.NO
        renew until 07/13/2020 14:50:21

Hvis billetten din utl?per, m? du autentisere deg p? nytt for ? f? en ny billett. Logg ut og inn igjen. Hvis du f?r permission denied eller ikke kan vise innholdet n?r du ?pner en katalog for f?rste gang, men du har en gyldig billett, kan Kerberos-autentiseringen ha blitt forsinket og vil lykkes hvis du pr?ver igjen.

Home folder

Hver bruker har en hjemmekatalog ($HOME) p? ESS filsystemet. Som standard er diskkvoten for hjemmekatalogen 100 GiB (se under).

Hjemmekatalogen sikkerhetskopieres regelmessig (se under), men alt i kataloger som heter no-backup blir hoppet over. Sikkerhetskopiering er treg og dyr, s? legg midlertidige filer, filer som kan lastes ned igjen, installert programvare og andre filer som enkelt kan gjenskapes eller ikke trenger ? sikkerhetskopieres i en no-backup-katalog.

Merk ogs? at man ikke skal bruke hjemmekatalogen som lese-/skriveomr?de for jobber, spesielt ikke I/O-intensive jobber. Bruk scratch-omr?det til det (se under).

Scratch disk omr?de

Mens en jobb kj?rer, har den tilgang til en midlertidig scratch-katalog p? /cluster/work/jobs/jobid som ligger p? det h?yytelses GPFS-filsystemet. Katalogen er individuell for hver jobb, opprettes automatisk n?r jobben starter, og slettes n?r jobben er ferdig (eller stilles i k?). Det er ingen sikkerhetskopi av denne katalogen. Navnet p? katalogen er lagret i milj?variabelen $SCRATCH, som er satt i jobbskriptet.

Generelt b?r jobber kopiere arbeidsfilene til $SCRATCH eller /cluster/projects/pXX og kj?re der. Dette er spesielt viktig for I/O-intensive jobber. Scratch-disken er raskere enn hjemmekatalogdisken, og ? kj?re I/O-intensive jobber i $HOME bremser ikke bare jobben, men ogs? interaktivt arbeid for andre brukere.

Generelt b?r jobber kopiere arbeidsfilene til >tt>$SCRATCH og kj?re der siden den rydder opp etter seg selv.

Hvis du trenger tilgang til scratch-katalogen fra utenfor jobben (for eksempel for ? overv?ke en kj?rende jobb), er katalogen /cluster/work/jobs/jobid, der jobid er jobb-ID-en til den aktuelle jobben.

Lokal disk 

For sv?rt intensiv IO kan det v?re nyttig ? bruke de lokale stasjonene p? compute nodene. Banen til katalogen er lagret i milj?variabelen $LOCALTMP. Datamaskin- og GPU-nodene har henholdsvis 100 GB og 200 GB lokal lagring. Legg til f?lgende i batchskriptet ditt for ? be om (f.eks. 20 GB) lokal midlertidig lagring p? noden:

#SBATCH --gres=localtmp:20
cleanup cp $LOCALTMP/outputfile $SLURM_SUBMIT_DIR

Disk kvote

Alle prosjekter har en enkelt disk kvote for /tsd/pXX/.  Dette inkluderer data, home og cluster underfoldere.  Prosjekter med behov for mye lagringsplass kan s?ke om ekstra diskplass fra Sigma2.

P? Colossus og submit host kan UNIX df-verkt?yet brukes til ? sp?rre etter diskbruk p? GPFS-filsystemet. En disk vil v?re full hvis enten plassen eller antallet inoder (filer) g?r tom. For ? unders?ke diskplass, bruk:

$ df -h /cluster/projects/p11
Filesystem              Size  Used Avail Use% Mounted on
ess01.tsd.usit.no:/p11  1.0T  966G   59G  95% /cluster/p/p11

For ? unders?ke bruk av inoder i filsystemet, bruk:

$ df -ih /cluster/projects/p11
Filesystem             Inodes IUsed IFree IUse% Mounted on
ess01.tsd.usit.no:/p11   1.1G   22M  1.1G    3% /cluster/p/p11

Data kompresjon

Millioner av sm? filer utgj?r en utfordring for GPFS og b?r unng?s. Hvis det er mulig, pakk heller de sm? filene i arkiver som gj?r operasjoner p? dem enkelt. En m?te er ? kopiere arkivet til $SCRATCH eller $LOCALTMP, og s? pakke dem ut der og jobbe i det lokale filtreet.

Et standard unix/linux-verkt?y er gzip. Les man-sidene for mer informasjon.

gzip file.dta

Dette vil produsere en fil file.dta.gz, forh?pentligvis en mye mindre fil. Ikke alle typer data komprimeres like godt. Tekst komprimeres godt, jpg-bilder ikke godt i det hele tatt. For filer som skal pakkes ut p? Windows-maskiner kan zip-verkt?yet ogs? brukes. En begrensning for eldre versjoner av zip er at verken inndatafilene eller det resulterende arkivet kan v?re st?rre enn 4 GB. I tilfeller hvor dette kan skje bruk gzip istedet for filer st?rre enn 4 GB. ? gi det et numerisk argument som -9 tvinger frem h?yere komprimering p? bekostning av lengre komprimeringstid. Et mer effektivt alternativ er bzip2.

For ? pakke ut filen:

gunzip file.dta.gz

Dette vil resultere i den originale filen i dens ukomprimerte form.

Sikkerhetskopiering og gjenoppretting

Se her for mer informasjon om sikkerhetskopiering og gjenoppretting.