Le cycle de vie de la donnée sur Olympe

Archiver, compresser et copier en une seule fois le dossier /tmpdir/$USER/dossier_resultat sur l’espace STORE :

tar -c --totals -z -C /tmpdir/${USER} -f /store/${GROUPE}/${USER}/archive.tgz dossier_resultat/

Dans le cas de jeux de données, afin d’optimiser les temps de transferts, on pourra omettre la compression :

tar -c --totals -C /tmpdir/${USER} -f /store/${GROUPE}/${USER}/archive_jeu_de_donnees.tar jeu_de_donnees/

Remettre en production des données archivées "archive.tgz" dans le dossier "/tmpdir/$USER/dossier_resultat" :

tar -x --totals -z -C /tmpdir/${USER}/dossier_resultat -f /store/${GROUPE}/${USER}/archive.tgz

Dans le cas d’un jeu de données non compressé, la commande est la suivante :

tar -x --totals -C /tmpdir/${USER}/jeu_donnees_restaure -f /store/${GROUPE}/${USER}/jeu_donnees.tar

Récupérer les données présentes sur l'espace STORE sur une machine locale :

rsync -a --info=progress2 --partial user [at] olympe [dot] calmip [dot] univ-toulouse [dot] fr:/store/${GROUPE}/${USER}/data/ dossier_local

ATTENTION:

• Le / à la fin du répertoire source est très important pour ne pas recopier 2 fois les données en cas de transfert interrompu !
• En cas d’interruption de la connexion, rejouer la commande reprendra le transfert là ou il s’est arrêté

Vous pouvez demander des espaces partagés pour faciliter le partage de fichier au sein d’un même projet ou entre différents projets. Pour cela, vous devez faire une demande au support: support.calmip at univ-toulouse.fr en indiquant précisément qui doit avoir accès en lecture et/ou écriture et à quoi .

Les dossiers partagés ont des droits par défaut et tous les fichiers et dossiers créés obtiennent automatiquement les droits nécessaires.

Par contre, si vous copiez des données d’un endroit hors du partage avec la commande cp, il vous faudra positionner manuellement les droits pour que d’autres utilisateurs puissent accéder à ces données :

Pour autoriser les accès en lecture sur un fichier ou un dossier à un membre d’un ou plusieurs groupe vous devez "ouvrir" ces droits à l’aide de cette commande :

chmod g+r /users/pxxxx/partage/Mon_Partage/Mon_Fichier

... Ou récursivement pour l’arborescence complète d’un dossier :

chmod -R g+rX /users/pxxxx/partage/Mon_Partage/Mon_Dossier

... Ou récursivement pour l’arborescence complète d’un dossier également en écriture :

chmod -R g+rwX /users/pxxxx/partage/Mon_Partage/Mon_Dossier