Archivage de données et compression

Répondre
Partager Rechercher
Salut JOL,

Je suis en train de faire du propre dans mes données et... bon bah j'avais jamais pris le temps de le faire donc effectivement il y a du boulot.

Pour l'instant je centralise tout localement, et je compte ensuite archiver ça quelque part, raison pour laquelle j'ouvre ce sujet.

Concernant la compression des données, j'ai fait quelques tests et il semble que le .7z de seven zip soit le plus performant pour économiser de l'espace => vous confirmez? Si non, vous conseillez quoi pour compresser ~250Go de données avec pour seul souci l'espace disque.

Ensuite pour le stockage à proprement parler, je pensais naïvement faire une copie sur plusieurs disques durs et sur une solution cloud. A priori pour la solution cloud je vais juste fragmenter l'archive pour la déposer en plusieurs morceaux sur Google Drive, ça me semble le plus safe et le plus robuste dans la durée. Vos avis là dessus?

Enfin, dernière question concernant le logiciel Seven Zip. Je me questionne sur la viabilité dans le temps de celui-ci pour deux raisons (comprendre que j'ai peur de ne pas pouvoir décompresser mon archive dans 30-40 ans) :
  • il est d'origine Russe;
  • c'est un logiciel libre.
D'après la page wikipédia du logiciel, il est recommandé par l'État français donc je pars du principe qu'on est à peu près sûr de toujours avoir au moins un logiciel qui puisse compresser/décompresser ce format là, y compris en cas de guerre en Europe ?

Merci d'avance !
A mon sens, si t'as "que" 250 Go à stocker, vu le prix moyen du To (en local ou en déporté), le choix de l'appli de compression est un faux problème.
Le choix d'un support pérenne en est un vrai, par contre...

Je serais dans ta situation, je m'emm... pas avec la compression, je ferais plusieurs miroirs des données brutes (google+amazon ou OneDrive, histoire de ceinturo-bretelliser l'affaire) et des copies locales, en serrant les fesses pour qu'il y ait toujours une possibilité de les brancher sur ce qui nous tiendra lieu d'ordi dans 30 ans (hint : ce sera pas le cas, mais comme dans 30 ans, je serai gélatineux, ça n'emm... que mes héritiers)
__________________
-MdF
Citation :
Publié par OeufRoyal
Salut JOL,

Je suis en train de faire du propre dans mes données et... bon bah j'avais jamais pris le temps de le faire donc effectivement il y a du boulot.

Pour l'instant je centralise tout localement, et je compte ensuite archiver ça quelque part, raison pour laquelle j'ouvre ce sujet.

Concernant la compression des données, j'ai fait quelques tests et il semble que le .7z de seven zip soit le plus performant pour économiser de l'espace => vous confirmez? Si non, vous conseillez quoi pour compresser ~250Go de données avec pour seul souci l'espace disque.

Ensuite pour le stockage à proprement parler, je pensais naïvement faire une copie sur plusieurs disques durs et sur une solution cloud. A priori pour la solution cloud je vais juste fragmenter l'archive pour la déposer en plusieurs morceaux sur Google Drive, ça me semble le plus safe et le plus robuste dans la durée. Vos avis là dessus?

Enfin, dernière question concernant le logiciel Seven Zip. Je me questionne sur la viabilité dans le temps de celui-ci pour deux raisons (comprendre que j'ai peur de ne pas pouvoir décompresser mon archive dans 30-40 ans) :
  • il est d'origine Russe;
  • c'est un logiciel libre.
D'après la page wikipédia du logiciel, il est recommandé par l'État français donc je pars du principe qu'on est à peu près sûr de toujours avoir au moins un logiciel qui puisse compresser/décompresser ce format là, y compris en cas de guerre en Europe ?

Merci d'avance !
Ah punaise, je me suis fait manger mon message...
Mais en résumé : te prend pas la tête. Les différences de perfs entre les différents algo sont insignifiantes vu la quantité très légères de données que tu as à compresser.
Quand à la pérennité de ton choix, osef aussi : presque tous les logiciels peuvent ouvrir du 7z. Sauf le gestionnaire de fichier de windows. En plus, c'est du GPL, donc open source.
Tu devrais surtout te prendre un peu plus la tête pour mettre en place une solution de sauvegardes incrémentales. Parce que d'ici la, tu voudras surement la compléter ta sauvegarde, et pas te retaper un upload entier.

Je ne sais pas sous Windows, mais sous Linux, y'a des programmes comme duplicity (basé sur rsync), ça chiffre, découpe en paquets et upload sur la plupart des services connus, en plus d'être incrémental (aka, ça uploadera que ce qui a été modifié).

Et sinon +1 pour une solution libre, c'est ce qui te permettra d'assurer la pérennité.
Merci pour les retours !

C'est noté pour l'intérêt limité de la compression ; en l'occurence je m'en sers aussi pour éviter que les données soient facilement lues sur la solution cloud (vu que par défaut tout est analysé sauf quand c'est compressé + mot de passe).

Pour ce qui est de la mise à jour des données c'est pas un souci que j'ai ; j'utilise déjà un gestionnaire de version pour les données qui changent régulièrement.

Je suis plus dans l'idée de sceller/archiver mes 25-30 dernières années, pour ensuite changer complètement mon mode de fonctionnement au travail et perso pour quelque chose de mieux organisé et centralisé (et donc dans lequel il est facile de se retrouver, ce qui n'était plus vraiment le cas pour moi ces derniers temps https://jolstatic.fr/forums/jol/images/icons/icon10.gif).
Pourquoi ne pas t'acheter un NAS si tu veux proprement organiser tes données et tes sauvegardes ? Une solution clé en main type Synology 220+ (voir 220j si usage très basique) pourrait te convenir.
Citation :
Publié par No One
Pourquoi ne pas t'acheter un NAS si tu veux proprement organiser tes données et tes sauvegardes ? Une solution clé en main type Synology 220+ (voir 220j si usage très basique) pourrait te convenir.
Un NAS n'est pas une sauvegarde... ou alors, transitoire, le temps de copier les sauvegardes vers d'autres supports.
__________________
-MdF
Citation :
Publié par Morcellus de Fromagis
Un NAS n'est pas une sauvegarde...
Bien sur que si. Cela permet de se prémunir contre un certain nombre de cas de perte de données, donc c'est une sauvegarde. Elle n'est pas parfaite, aucune ne l'est à vrai dire, mais comme l'écrasante majorité des gens n'ont rien de vital à sauvegarder, c'est un élément qui est au moins à considérer.
Citation :
Publié par Bjorn
Bien sur que si. Cela permet de se prémunir contre un certain nombre de cas de perte de données, donc c'est une sauvegarde. Elle n'est pas parfaite, aucune ne l'est à vrai dire, mais comme l'écrasante majorité des gens n'ont rien de vital à sauvegarder, c'est un élément qui est au moins à considérer.
Par contre un NAS avec seulement deux disques durs ... je n'y connais rien en NAS (je pense même m'y intéresser au moins pour une solution de mise à dispo d'une biblio de musique) mais l'intérêt, du moins pour la sécurité n'est-il pas de mettre les disques durs en RAID ?
Citation :
Publié par Morcellus de Fromagis
Un NAS n'est pas une sauvegarde... ou alors, transitoire, le temps de copier les sauvegardes vers d'autres supports.
Pas la peine d'être pédant si tu n'expliques pas pourquoi ce n'est "pas une sauvegarde".

Alors autrement je peux approfondir en expliquant que le NAS en lui même ne se suffit pas évidemment. Il faut mettre en place un RAID1 ou RAID5, avoir une deuxième sauvegarde locale typiquement sur DD externe. Si on ne peut pas se permettre d'avoir un mode dégradé long, alors avoir un hotspare est encore mieux.
Ensuite réplication dans le cloud avec par exemple Backblaze en S3 qui est vraiment peu cher pour pallier aux risques type vols / incendies. Synology est très bien pour ça car cela peut se faire très facilement avec les outils qu'ils fournissent dans leur OS (sur une base unix).
Citation :
Publié par OeufRoyal
Merci pour les retours !

C'est noté pour l'intérêt limité de la compression ; en l'occurence je m'en sers aussi pour éviter que les données soient facilement lues sur la solution cloud (vu que par défaut tout est analysé sauf quand c'est compressé + mot de passe).

Pour ce qui est de la mise à jour des données c'est pas un souci que j'ai ; j'utilise déjà un gestionnaire de version pour les données qui changent régulièrement.

Je suis plus dans l'idée de sceller/archiver mes 25-30 dernières années, pour ensuite changer complètement mon mode de fonctionnement au travail et perso pour quelque chose de mieux organisé et centralisé (et donc dans lequel il est facile de se retrouver, ce qui n'était plus vraiment le cas pour moi ces derniers temps https://jolstatic.fr/forums/jol/images/icons/icon10.gif).
Qui peut le plus peu le moins De ce que j'ai pu voir, c'est pas la folie les softwares sous Windows pour faire des backups. Je ne sais pas si Linux est envisageable pour toi mais y'a pléthores de solutions, gratuites et opensource. Et si t'es pas à l'aise avec les lignes de commandes et autres scripts, simplement booter sur un live USB, et installer/utiliser une interface comme Déjà Dup (interface graphique de duplicity que je cite plus haut). T'as qu'à renseigner source, destination et le service que tu veux utiliser (de base y'a Google Drive, One Drive & Cie) et ça va te faire compression, chiffrage et upload tout seul.
Citation :
Publié par Diesnieves
Par contre un NAS avec seulement deux disques durs ... je n'y connais rien en NAS (je pense même m'y intéresser au moins pour une solution de mise à dispo d'une biblio de musique) mais l'intérêt, du moins pour la sécurité n'est-il pas de mettre les disques durs en RAID ?
Ben, le RAID1 se fait avec deux disques...
Citation :
Publié par No One
Pourquoi ne pas t'acheter un NAS si tu veux proprement organiser tes données et tes sauvegardes ? Une solution clé en main type Synology 220+ (voir 220j si usage très basique) pourrait te convenir.
Il y a une différence avec une simple copie sur disque dur?

Pour moi l'intérêt du NAS est dans le fait d'avoir accès aux données de différents endroits (et donc implicitement c'est pour des données qu'on souhaite utiliser régulièrement).

Comme dit au dessus, je suis plus dans une optique d'archivage pour centraliser toutes mes productions passées (en partant de la lettre de motivation pour un stage à des assets 3D, en passant par des productions logicielles).

C'est pas des données auxquelles j'ai besoin d'accéder régulièrement, simplement j'ai pas envie de les supprimer non plus vu que ça représente un bout de ma vie . D'où l'envie initiale de tout compresser au maximum et archiver ça quelque part, pour éventuellement ressortir ça dans 30 balais, comme on peut le faire avec des vieilles photos quoi.

Accessoirement ça me permet aussi de vider entièrement mes dépôts git/dropbox/drive/azure & co pour conserver seulement les données dignes d'intérêt https://jolstatic.fr/forums/jol/images/icons/icon23.gif.

Dans ce cadre, je ne suis pas convaincu de l'intérêt du NAS? Je me trompe peut-être.
Citation :
Publié par Bjorn
Ben, le RAID1 se fait avec deux disques...
Bah j'avais pensé du coup qu'un RAID1 tu dois considérer la capacité d'un disque (en en ayant 2) et donc avoir seulement 2 baies ça devient un peu limitant en capacité.
Citation :
Publié par OeufRoyal
Il y a une différence avec une simple copie sur disque dur?
Tu peux mettre du RAID, ce qui te permet de te protéger contre la défaillance du disque. Si un des disques du NAS tombe, t'es alerté et tu changes le disque avant de perdre les données.
Et puis c'est sur une "autre machine", un autre OS... ca peut protéger de certaines choses.
Surtout, le but c'est que c'est toujours en route : tu peux donc programmer des sauvegardes régulières sans avoir à t'en soucier ensuite. Un disque dur externe, soit tu le branches quand t'as besoin de faire une sauvegarde manuelle et tu le fais pas parce que t'oublies, soit c'est pas tiptop de le laisser toujours branché.

Citation :
Publié par Diesnieves
Bah j'avais pensé du coup qu'un RAID1 tu dois considérer la capacité d'un disque (en en ayant 2) et donc avoir seulement 2 baies ça devient un peu limitant en capacité.
Oui c'est ca, en RAID1 tu considères la capacité d'un disque. Mais vu la taille des disques aujourd'hui... ca me semble pas problématique moi. Tu prends deux disques a 4To, ca te fait un peu d'espace de stockage déjà Si t'as plus de 4To de données à sauvegarder, oui, le NAS grand public ne Synology n'est sans doute pas le bon choix, mais t'es pas trop du "grand public" pour moi ^^

Dernière modification par Bjorn ; 02/01/2023 à 17h25. Motif: Auto-fusion
Citation :
Publié par Bjorn
Tu peux mettre du RAID, ce qui te permet de te protéger contre la défaillance du disque. Si un des disques du NAS tombe, t'es alerté et tu changes le disque avant de perdre les données.
Et puis c'est sur une "autre machine", un autre OS... ca peut protéger de certaines choses.
Surtout, le but c'est que c'est toujours en route : tu peux donc programmer des sauvegardes régulières sans avoir à t'en soucier ensuite. Un disque dur externe, soit tu le branches quand t'as besoin de faire une sauvegarde manuelle et tu le fais pas parce que t'oublies, soit c'est pas tiptop de le laisser toujours branché.
Ça marche, merci pour les explications !

Dans ce cas, je ne suis pas sûr que ça fasse sens de partir là dessus pour ce que je cherche à faire.

Ces données ne seront jamais mises à jour, donc le fait qu'il y ait des sauvegardes régulières et que ce soit toujours en route a très peu d'intérêt pour moi.

C'est vraiment juste pour de l'archivage "long terme" (à l'échelle d'une vie).

Je pense que la solution la plus adaptée est celle donnée par Morcellus au dessus, à savoir chiffrer et faire plusieurs miroirs locaux/distants.
Répondre

Connectés sur ce fil

 
1 connecté (0 membre et 1 invité) Afficher la liste détaillée des connectés