Comment aspirer les pdfs d'un site web

Zangdar MortPartout · 03/08/2011, 20h29

Salut,

J'aurais besoin de télécharger en grand nombre des pdf présents sur deux sites web et pour cela j'avais penser à utiliser un aspirateur de site. Mais je suis bien incapable de le faire fonctionner correctement, et dans le fond je ne sais même pas si c'est possible.

Les deux pages sont là:

http://www.airservicesaustralia.com/...cChartsTOC.htm

https://www.sia.aviation-civile.gouv...set_aip_fr.htm

Est-ce que vous pensez qu'il y a une façon de faire ?

~Boumy~ · 03/08/2011, 20h37

Essaye ca : imacro. Tu peux créer des actions automatisées. Tu dois pouvoir lui dire de "cliquer" et "télécharger" chaque PDF.

Citation :

(2) Automated Download & Upload

iMacros can automate the download of images, files, or entire pages (with or without images). In the other direction, it can automate the upload of data to websites. You can use variables inside the macros and import data from CSV files. iMacros includes a user agent switcher, PDF download and Flash, and ad- and image-blocking functions. When combined and controlled with Javascript, the recorded Macros can script even very complex tasks.

Mikooh · 03/08/2011, 20h39

À un moment, j'utilisais HTTrack comme aspirateur de site. Il me permettait entre autre de mettre en place des filtres afin de prendre ou non certains items. Désactiver tout, et ajouter une simple exception genre «+*.pdf» devrait faire ton bonheur.
Enfin, je suppose que tout aspirateur de site peut faire ce tri.

Zangdar MortPartout · 03/08/2011, 20h41

Oui j'ai utilisé HTTrack aussi mais avec ces sites ça merde, ça me dit mirroir vide.

Très bien imacro, mais je suppose que tu peux plus rien faire avec ton pc durant ce temps ?

~Boumy~ · 03/08/2011, 20h46

Citation :

Publié par Zangdar MortPartout

Oui j'ai utilisé HTTrack aussi mais avec ces sites ça merde, ça me dit mirroir vide.

Très bien imacro, mais je suppose que tu peux plus rien faire avec ton pc durant ce temps ?

Normalement si. Je crois même que tu peux toujours utiliser firefox pour autre chose en même temps. Simplement vu le nombre de PDF a télécharger, ta navigation sur le web risque d'être un peu lente.

edit : le gros avantage c'est que tu peux récupérer les PDF de SIA en faisant une macro pour remplir le formulaire. Je crois pas que tu puisse les aspirer avec un logiciel directement.

Zangdar MortPartout · 03/08/2011, 20h48

Avec le site du SIA pour l'instant j'ai pas réussi à créer une macro encore.
En plus il faut que la macro boucle ? Parce que à chaque fois c'est :descendre d'un cran, cliquer le lien, cliquer ok, enregistrer ...

Je peux faire ça facilement ?

~Boumy~ · 03/08/2011, 20h51

Ca fait trois ans que je l'ai utilisé, pour un truc assez basique en plus. Je me rappel plus trop.

Essaye de voir sur le wiki comment faire.

Zangdar MortPartout · 03/08/2011, 20h57

J'ai trouvé BlackWidow qui est en train de me scanner tout le site australien .... je pense que ça va faire la job

Zangdar MortPartout · 04/08/2011, 15h46

J'ai pu récupérer tout le site australien mais rien pour le sia

thanatosX · 05/08/2011, 19h38

Super macro peut etres alors ?
Programmation facile et avec FF tu utilise la saisie auto en fonction de la saisie ou Tab de ton clavier pour passer de noms en noms ou de liens en liens.

Mikooh Alpha & Oméga	À un moment, j'utilisais HTTrack comme aspirateur de site. Il me permettait entre autre de mettre en place des filtres afin de prendre ou non certains items. Désactiver tout, et ajouter une simple exception genre «+*.pdf» devrait faire ton bonheur. Enfin, je suppose que tout aspirateur de site peut faire ce tri.
03/08/2011, 20h39

Zangdar MortPartout Alpha & Oméga	Oui j'ai utilisé HTTrack aussi mais avec ces sites ça merde, ça me dit mirroir vide. Très bien imacro, mais je suppose que tu peux plus rien faire avec ton pc durant ce temps ?
03/08/2011, 20h41

Zangdar MortPartout Alpha & Oméga	Avec le site du SIA pour l'instant j'ai pas réussi à créer une macro encore. En plus il faut que la macro boucle ? Parce que à chaque fois c'est :descendre d'un cran, cliquer le lien, cliquer ok, enregistrer ... Je peux faire ça facilement ?
03/08/2011, 20h48

~Boumy~ Alpha & Oméga	Ca fait trois ans que je l'ai utilisé, pour un truc assez basique en plus. Je me rappel plus trop. Essaye de voir sur le wiki comment faire.
03/08/2011, 20h51

Zangdar MortPartout Alpha & Oméga	J'ai trouvé BlackWidow qui est en train de me scanner tout le site australien .... je pense que ça va faire la job
03/08/2011, 20h57

Zangdar MortPartout Alpha & Oméga	J'ai pu récupérer tout le site australien mais rien pour le sia
04/08/2011, 15h46

thanatosX Alpha & Oméga	Super macro peut etres alors ? Programmation facile et avec FF tu utilise la saisie auto en fonction de la saisie ou Tab de ton clavier pour passer de noms en noms ou de liens en liens.
05/08/2011, 19h38

Comment aspirer les pdfs d'un site web

Connectés sur ce fil