Raccourcis
Les versions installées sur Olympe
Version 3.1-gpu
Version 3.1-gpu
Compilé avec compilateur intel et openmpi, et cuda 10
module load relion/3.1 Intel Parallel Studio XE 2018_2 loaded module li Currently Loaded Modulefiles: 1) intel/18.2.199 2) openmpi/icc/mt/2.0.2.10 3) cuda/10.1.105 4) relion/3.1
Version 3.0 cpu
Version 3.0 cpu
Compilé avec compilateur intel et openmpi
module load relion/3.0-cpu Intel Parallel Studio XE 2018_2 loaded module li Currently Loaded Modulefiles: 1) intel/18.2.199 2) openmpi/icc/mt/2.0.2.10 3) relion/3.0-cpu
Version 3.0-gpu
Version 3.0-gpu
Compilé avec compilateur intel et openmpi, et cuda 9
module load relion/3.0-gpu Intel Parallel Studio XE 2018_2 loaded module li Currently Loaded Modulefiles: 1) intel/18.2.199 2) openmpi/icc/mt/2.0.2.10 3) cuda/9.1.85.3 4) relion/3.0-gpu
Version 2.1 (intel mpi)
Version 2.1 (intel mpi)
Compilé avec le compilateur intel, cuda 9.1 et intel mpi en double précision
module purge module load relion/2.1 module li Currently Loaded Modulefiles: 1) intelmpi/17.1 2) intel/17.1 3) cuda/9.1.85.3 4) relion/2.1
Exemples de script sbatch
Un script qui tourne sur 1 nœud cgpu:
#!/bin/sh
#SBATCH -J "relion"
#SBATCH -t 01:00:00
#SBATCH -N 1
#SBATCH -n 17
#SBATCH --cpus-per-task=4
#SBATCH --gres=gpu:4
module purge
module load cuda/9.1.85.3 relion/2.1
# Variables d'environnement utilisées par mps
export CUDA_MPS_PIPE_DIRECTORY=/dev/shm/nvidia-mps
export CUDA_MPS_LOG_DIRECTORY=/dev/shm/nvidia-log
placement --ascii
# Lancer le démon mps
source nvidia-mps.sh
srun $(placement) relion_refine_mpi ...
jobinfo ${SLURM_JOBID}
Un script qui tourne sur deux nœuds GPU:
L'expérience montre qu'il est inutile, en termes de performance, d'aller au-delà de deux nœuds GPU.
#!/bin/sh
#SBATCH -J "relion"
#SBATCH -t 01:00:00
#SBATCH -N 2
#SBATCH -n 32
#SBATCH --cpus-per-task=4
#SBATCH --gres=gpu:4
module purge
module load cuda/9.1.85.3 relion/2.1
# Variables d'environnement utilisées par mps
export CUDA_MPS_PIPE_DIRECTORY=/dev/shm/nvidia-mps
export CUDA_MPS_LOG_DIRECTORY=/dev/shm/nvidia-log
placement --ascii
# Lancer le démon mps sur chaque nœud
clush -w ${SLURM_JOB_NODELIST} nvidia-mps.sh
srun $(placement) relion_refine_mpi ...
jobinfo ${SLURM_JOBID}