Jupyter notebook

Durant la phase mise au point des scripts python, il peut être intéressant d’utiliser l’outil jupyter notebook.

C’est possible sur Olympe, à certaines conditions :

la durée de connexion ne peut pas excéder 4 heures
Pour un travail interactif, vous pouvez lancer le script sur la frontale. Comme toujours, merci cependant de ne pas lancer de calculs lourds sur la frontale
Pour un travail plus intensif, vous pouvez utiliser un nœud de calcul (queue mono, réservation 1 cœur)
Pour tester le comportement de votre application avec les gpus, vous pouvez utiliser un nœud gpu (qos voltam, réservation 1 gpu et 9 cœurs)

Pour des calculs intensifs demandant des ressources conséquentes, veuillez écrire votre script SBATCH comme indiqué ici

Comment lancer jupyter notebook

Lorsque vous êtes connecté sur Olympe, vous devez d’abord avoir jupyter dans votre environnement. Pour cela, il vous suffit de charger un environnement de l’écosystème python (tensorflow, pytorch, python-tools, etc.) :

module purge
module load python-tools/3.8.5

Puis utilisez l’une des commandes suivantes :

Lancement sur la frontale :

runJupyterSession.sh

Lancement sur un nœud :

runJupyterSession.sh --cpu

Lancement sur un nœud gpu :

runJupyterSession.sh --gpu

Laissez le script démarrer (cela prend quelques secondes, soyez patient...) puis vous devriez voir un affichage de ce style :

Démarrage de Jupyter

Vous devez ouvrir un terminal sur votre poste de travail, et copier coller dedans la ligne entourée en bleu (pas celle de l’image, celle qui apparaîtra chez vous !). Cela afin de construire le tunnel ssh. On vous demandera deux fois (hé oui !) votre mot de passe d’Olympe
Puis, copiez-collez l’URL soulignée en rouge dans le navigateur de votre poste de travail (celle qui vous sera donnée par Olympe évidemment pas celle de l’image !)

Attention : Ne fermez pas la fenêtre sur Olympe, et n’arrêtez pas le script, cela arrêterait du même coup Jupyter.

Comment arrêter Jupyter notebook

Vous pouvez arrêter Jupyter notebook de plusieurs manières :

Retournez sur le terminal dans lequel vous avez lancé runJupyterSession.sh, et tapez :

CTRL-C

Ou cliquez sur le bouton Quit de l’interface de Jupyter

Si ça ne démarre pas...

Il peut arriver que l’étape 1 ci-dessus refuse de s’exécuter correctement avec le message :
Address already in use
Dans ce cas :

Le tunnel est déjà créé, vous pouvez sans doute simplement ignorer cette étape
Si le tunnel existe mais est "effondré" (à cause d’un timeout), vous devez le refermer avant de pouvoir poursuivre. Pour cela :
- Sous gnu/linux ou macOs

kill $(ss -pOln | grep xxxxxx|head -1|tr -s ' '|tr '=,' '  '| cut -d' ' -f9)

dans lequel vous remplacerez xxxxxx par le numéro de port (nombre souligné en vert dans la figure ci-dessus)
...Vous pouvez aussi vous déconnecter de votre session et vous reconnecter, puis tout reprendre à zéro
Sous Windows : pas d’autre solution que d’arrêter votre session mobaxterm, et la relancer, donc de tout reprendre à zéro.

Jupyter notebook