Créer un site encyclopédique Dofus

lulil · 13/10/2013, 17h10

Bonjour,

J'aimerai créer un site encyclopédique Dofus. Je sais qu'il existe déjà moultes sites dans ce genre là comme Barbok ou Dofux, mais je fais ça pour un projet scolaire. Ce que je voudrais savoir, c'est comment ces sites ont procédé pour récolter leur données sur les items, ressources, etc. ? Est-ce qu'il faut rentrer chaque élément un par un manuellement dans la base de données, ou existe-il une sorte de fichier sql sur lequel je pourrais me baser ?

Merci d'avance!

JePiKHo · 13/10/2013, 20h17

Salut,

Pour la récupération des données sur les items, une récupération sur la base de données du site me semble faisable.

Un autre système utilisé par ma guilde à l'époque (Les Enfants d'Hérazade Debière, avec le catalogue Hérazade) était la récupération de données sur le client directement. Mais ça, faut que t'en discutes plutôt avec Drallieiv (DrallieivEHD le compte JoL) qui était le développeur à l'origine du catalogue Herazade, avant fermeture.

Après, si je dois te donner un conseil, va faire bosser les oisifs du Laboratoire (ok je plaisante, patapay le Labo, reposez vos claviers) et pense à faire un tri par nombre de cases de craft si tu veux te démarquer et être le plus visité.
Car c'est ce qui manque actuellement dans pas mal de fansites.

De rien.

Mirroir · 13/10/2013, 20h37

Citation :

Publié par lulil

Je sais qu'il existe déjà moultes sites dans ce genre là comme Barbok ou Dofux, mais je fais ça pour un projet scolaire. Ce que je voudrais savoir, c'est comment ces sites ont procédé pour récolter leur données sur les items, ressources, etc. ? Est-ce qu'il faut rentrer chaque élément un par un manuellement dans la base de données, ou existe-il une sorte de fichier sql sur lequel je pourrais me baser ?!

Je faisais partie de ceux en charge de créer et de mettre à jour les items & co sur DofuX, et on faisait quasiment tout manuellement.
Le site est à l'abandon maintenant, on ne s'en occupe plus, vous trouverez mieux ailleurs

Zangtsu · 14/10/2013, 08h22

Projet un peu différent mais j'avais aussi besoin de récupérer les équipements présent en jeu pour le logiciel JDofusCalc.
J'utilisais un processus automatique, le package regex en java pour analyser les pages du cite dofus et pouvoir alimenter ma base de données. Il fallait juste le tenir a jour par rapport au tag html du cite.

serpentjaune · 14/10/2013, 09h30

Barbok, DofuX, herazade, dofuscalc....c était le bon vieux temps

Tu peux aussi tenter de contacter Douce de dofusbook via son site peut être qu elle pourra t aider (peut être car il me semble qu elle est pas mal oqp ces derniers temps)

Thib' · 14/10/2013, 15h34

Dans l'idée, je serai en effet parti sur un parsing des pages HTML de l'encyclopédie du site officiel dofus.fr. Mais pour les images des items/ressources, je me demande bien comment ça serai faisable facilement, vu que sur le site ce sont des fichiers flex/flash.

Alakarte · 14/10/2013, 16h36

Y'a des logiciels qui font de la conversion à la volée, et après pour recadrer/harmoniser les fonds rien ne vaut des bons petits scripts photoshop !

ShosuroPhil · 14/10/2013, 16h49

Photoshop, réellement? (je ne connais rien aux scripts Photoshop, j'ai juste beaucoup de mal à croire que ce soit le truc pertinent pour parser ce que tu aspires d'un site...)

Alakarte · 14/10/2013, 16h56

Pas pour parser, mais simplement quand tu récupères du flash comme ça et que tu le convertis, la couleur de fond ou le cadrage peut être foireux. Dans ce cas, un script photoshop est le graal !

Edit : Avec une bonne machine ça va réellement super vite, j''ai déjà bashé 6000 images en moins d'une heure avec ça !

Alvee/Runea · 14/10/2013, 17h27

Citation :

Publié par serpentjaune

Barbok, DofuX, herazade, dofuscalc....c était le bon vieux temps

Tu peux aussi tenter de contacter Douce de dofusbook via son site peut être qu elle pourra t aider (peut être car il me semble qu elle est pas mal oqp ces derniers temps)

Jahlovehot aussi

**Salakiss** · 14/10/2013, 17h33

Si tu veux les sprites de TOUS les items du jeu, je les ai mis dans une espèce d'archive d'images sur notre site de guilde :

http://ordre2vlad.fr/pages/pages.php...heque-d-images
Si tu veux les DL, voici le .zip : http://ordre2vlad.fr/archives/archives/items.zip (si lien "mort", attendre 5min, upload en cours).

Thib' · 15/10/2013, 14h01

Citation :

Publié par The-Salamander

Si tu veux les sprites de TOUS les items du jeu, je les ai mis dans une espèce d'archive d'images sur notre site de guilde :

Ouah, c'est vraiment un travail énorme que tu as fais la ! Une question cependant, pourquoi avoir choisi le png comme format d'image pour tout stocker ? Les fichiers flex étant du vectoriel, le SVG me semblait être une meilleure idée, surtout que la conversion SVG > PNG est possible, alors que l'inverse non. Et puis le SVG a cet énorme avantage d'être joli sur les écrans à haute densité de pixel (retina) qui sont de plus en plus nombreux.

EDIT : je viens de trouver cet outil formidable SWF2SVG (https://github.com/flying-sheep/SWF2SVG) qui permet en une ligne de commande de convertir un lot de SWF en SVG
RE-EDIT : l'outil sus-nommé ne marche à priori pas sur tous les swf que l'on peut récupérer. Sur le premier que j'ai essayé, l'arc honte (2075.swf) tout s'est passé et le rendu est top, mais je n'ai pas encore réussi à avoir un autre item en bien :-3

Kiwigae' · 15/10/2013, 15h33

Citation :

Publié par The-Salamander

Si tu veux les sprites de TOUS les items du jeu, je les ai mis dans une espèce d'archive d'images sur notre site de guilde :

http://ordre2vlad.fr/pages/pages.php...heque-d-images
Si tu veux les DL, voici le .zip : http://ordre2vlad.fr/archives/archives/items.zip (si lien "mort", attendre 5min, upload en cours).

Ton forum/site est vraiment super

**Salakiss** · 15/10/2013, 16h05

Citation :

Publié par Thib'

Ouah, c'est vraiment un travail énorme que tu as fais la ! Une question cependant, pourquoi avoir choisi le png comme format d'image pour tout stocker ? Les fichiers flex étant du vectoriel, le SVG me semblait être une meilleure idée, surtout que la conversion SVG > PNG est possible, alors que l'inverse non. Et puis le SVG a cet énorme avantage d'être joli sur les écrans à haute densité de pixel (retina) qui sont de plus en plus nombreux.

Tout "simplement" car les fichiers que je possède sont extraits directement du jeu depuis les fichiers .d2p du jeu, qui sont des archives de fichiers png (ou .swf pour une autre archive), mp3, etc...

Jerede · 15/10/2013, 17h22

J'peux te filer une librairie .NET pour lire les d2p/d2o. T'auras accès à toutes les données du client, t'auras juste à faire un petit programme pour mettre ça dans une DB.

Thib' · 15/10/2013, 17h34

Citation :

Publié par The-Salamander

Tout "simplement" car les fichiers que je possède sont extraits directement du jeu depuis les fichiers .d2p du jeu, qui sont des archives de fichiers png (ou .swf pour une autre archive), mp3, etc...

Oh, je ne pensais pas possible d'ouvrir ces fichiers .d2x, je ne sais plus ou j'ai cru lire qu'il étaient propriétaires. Joli coup, vraiment !

Est-ce que ça t'embête de nous dire comment tu as fait ?

EDIT : trop lent pour écrire mes messages !

Citation :

Publié par Jerede

J'peux te filer une librairie .NET pour lire les d2p/d2o. T'auras accès à toutes les données du client, t'auras juste à faire un petit programme pour mettre ça dans une DB.

Han, .NET :-( Je suis sous OS X, je suis déception.

Thib' · 15/10/2013, 18h17

Je profite de ce sujet pour demander quelles sont les fonctionnalités qui vous manquent vraiment sur les fansites encyclopédiques ou autres webApp de type DofusBook.

Je sais que j'ai depuis très longtemps envie de développer une application de tests de stuffs / encyclopédie pour ne plus avoir à utiliser Dofus Book, sur lequel je vais vraiment à contre coeur tellement je trouve ce site mal foutu. J'en ai profité pour me former sur une techno récente, le Ruby on Rails, qui semble bien adapté à ce genre de projet, et je développe tout doucement sur mon temps libre (doucement parce que je débute, et parce que j'ai très peu de temps libre...)

Je sais qu'une des principales fonctionnalités que je veux ajouter est le versionning de stuff, que lorsque l'on partage un équipement ce dernier soit fixe et indépendant de toute modification future (qui n'a jamais cliqué sur un lien DB ou le stuff n'avait plus rien à voir avec ce qui était annoncé ?). À l'heure des mimibiotes, j'adorerais aussi pouvoir voir le rendu d'une coiffe et cape sur mon personnage, même si ça serait, pour le coup, une fonctionnalité beaucoup plus compliquée (ou pas ? Il faudrait creuser un peu)

Bref, j'ai plein de petites idées pour un fan site du tonnerre, mais je suis sur que je n'ai pas pensé à tout. Alors, vos idées, vos remarques ?

cocothebo · 15/10/2013, 20h03

Le versionning de stuff, l'idée est belle.
Malheureusement tu risques de rencontrer rapidement des gros problèmes de taille de stockage à la longue (quoi si ton site est autant utilisé qu'un dofusbook par exemple).
Imagine la quantité de données nécessaires pour un seul stuff, et après ben faut multiplier par beaucoup

Après, le versionning pourrait être une version "cheap" d'un stuff, c'est à dire sans aucune modif des jets des items, mais dans ce cas tu ne garderas pas les "spécialisations" du stuff (jets réels, exos etc.).

Après LE truc (pour moi du moins) qui manque sur tous ces comparateurs de stuff, c'est une fonction de recherche de stuff suivant des conditions. En gros tu mets ce que tu veux, et l'outil cherche à te sortir les stuffs qui correspondent aux critères.
Par contre, algorithmiquement parlant c'est vite très très compliqué pour avoir quelque chose de performant.

Jerede · 15/10/2013, 20h27

Citation :

Publié par Thib'

À l'heure des mimibiotes, j'adorerais aussi pouvoir voir le rendu d'une coiffe et cape sur mon personnage, même si ça serait, pour le coup, une fonctionnalité beaucoup plus compliquée (ou pas ? Il faudrait creuser un peu)

C'est possible aussi ça. Juste à utiliser le swf qu'ils utilisent pour les pages persos. Avec un peu de js à côté tu peux modifier la chaîne qui représente l'apparence du personnage (lors du clic sur un chapeau par exemple) puis demander au personnage de s'actualiser.

J'l'utilise d'ailleurs le swf pour notre forum, ça permet d'afficher l'apparence des personnages sans que personne n'a a s'embêter à choisir un avatar sur le forum

Thib' · 16/10/2013, 09h19

Citation :

Publié par cocothebo

Imagine la quantité de données nécessaires pour un seul stuff, et après ben faut multiplier par beaucoup

Bah non justement, un stuff c'est juste 15 clefs étrangères vers 15 items. Et stocker 15 lignes de deux integers en base, y'a pire !

Dans le cas d'un objet normal je vais chercher la clef de l'item de l'encyclopédie et je prends ses valeurs de jet maximum (une autre fonctionnalité serait de fournir des items jet "moyen"), donc dans se cas y'a pas de donnée en plus outre de savoir la qualité du jet. Et dans le cas d'un objet avec exo, over ou encore avec le jet réel de l'objet possédé en jeu, je ne stocke que les différences avec l'objet "template" de l'encyclopédie, afin de minimiser encore une fois les données à stocker. De plus, une autre idée serai que si un utilisateur utilise plusieurs fois une alliance gloursonne jet max avec PA dessus, je vérifierai si cet objet "personnalisé" n'existe déjà pas pour lui, et je ré-utiliserai la même clef. Mais cela demande un peu de réflexion sur les modifications d'objets liés à plusieurs stuffs.
Bref, je ne pense pas que ça soit si lourd que ça.

Citation :

Publié par cocothebo

Après LE truc (pour moi du moins) qui manque sur tous ces comparateurs de stuff, c'est une fonction de recherche de stuff suivant des conditions. En gros tu mets ce que tu veux, et l'outil cherche à te sortir les stuffs qui correspondent aux critères.
Par contre, algorithmiquement parlant c'est vite très très compliqué pour avoir quelque chose de performant.

Je vois ce que tu veux dire, et en effet ça promet un bel algo bieeeeen compliqué. Rien n'est impossible, mais c'est le genre de truc qui demande énormément de travail.

Citation :

Publié par Jerede

C'est possible aussi ça. Juste à utiliser le swf qu'ils utilisent pour les pages persos. Avec un peu de js à côté tu peux modifier la chaîne qui représente l'apparence du personnage (lors du clic sur un chapeau par exemple) puis demander au personnage de s'actualiser.

Je me doutais bien que se baser sur les swf des pages persos devait être possible, mais n'ayant pas jeté de coup d'oeil à ces dernières, je n'étais sur de rien. Du coup c'est cool !

Klud · 16/10/2013, 11h17

Pour une nouveauté j'aimerai bien un mélange de ces trois outils:

Avec gestion des capes/coiffes/familiers bien sur. Et un export en JPEG ou autre avec les codes couleur visibles.

Pour la recherche d'équipement/arme selon un ou plusieurs critères très précis il y a http://www.dofusbook.net/outil/accueil.html, mais ça bug très souvent chez moi (page blanche en résultat de recherche).

Yam' · 16/10/2013, 12h42

Un outil de craft selon les ressources disponibles!

Moz09 · 16/10/2013, 13h23

Citation :

Publié par Yam'

Un outil de craft selon les ressources disponibles!

Ça existe déjà mais c'est super mal foutue puisqu'il faut rentrer les ressources à la main :/

Peut-être avec l'arrivée des modules en 2027.

Thib' · 16/10/2013, 14h44

Citation :

Publié par Yam'

Un outil de craft selon les ressources disponibles!

Citation :

Publié par Moz09

Ça existe déjà mais c'est super mal foutue puisqu'il faut rentrer les ressources à la main :/

Peut-être avec l'arrivée des modules en 2027.

Oui, il faut forcément indiquer quelque part quelles sont les ressources que tu possèdes, rendant l'utilisation d'un telle fonctionnalité très (très) lourde.

Les modules seront capables de scanner ta banque pour toi et te dire ce que tu peux craft, un jour :-)

walks · 16/10/2013, 16h27

Citation :

Publié par Moz09

Ça existe déjà mais c'est super mal foutue puisqu'il faut rentrer les ressources à la main :/

Peut-être avec l'arrivée des modules en 2027.

Ca existe ou??
Ca peut quand meme m'interesser, meme si il faut se palucher des inventaires a la main...

Zangtsu Roi	Projet un peu différent mais j'avais aussi besoin de récupérer les équipements présent en jeu pour le logiciel JDofusCalc. J'utilisais un processus automatique, le package regex en java pour analyser les pages du cite dofus et pouvoir alimenter ma base de données. Il fallait juste le tenir a jour par rapport au tag html du cite. Dernière modification par Zangtsu ; 14/10/2013 à 12h00.
14/10/2013, 08h22

serpentjaune Alpha & Oméga	Barbok, DofuX, herazade, dofuscalc....c était le bon vieux temps Tu peux aussi tenter de contacter Douce de dofusbook via son site peut être qu elle pourra t aider (peut être car il me semble qu elle est pas mal oqp ces derniers temps)
14/10/2013, 09h30

Thib' Dauphin	Dans l'idée, je serai en effet parti sur un parsing des pages HTML de l'encyclopédie du site officiel dofus.fr. Mais pour les images des items/ressources, je me demande bien comment ça serai faisable facilement, vu que sur le site ce sont des fichiers flex/flash.
14/10/2013, 15h34

Alakarte Roi	Y'a des logiciels qui font de la conversion à la volée, et après pour recadrer/harmoniser les fonds rien ne vaut des bons petits scripts photoshop !
14/10/2013, 16h36

ShosuroPhil Alpha & Oméga	Photoshop, réellement? (je ne connais rien aux scripts Photoshop, j'ai juste beaucoup de mal à croire que ce soit le truc pertinent pour parser ce que tu aspires d'un site...)
14/10/2013, 16h49

Alakarte Roi	Pas pour parser, mais simplement quand tu récupères du flash comme ça et que tu le convertis, la couleur de fond ou le cadrage peut être foireux. Dans ce cas, un script photoshop est le graal ! Edit : Avec une bonne machine ça va réellement super vite, j''ai déjà bashé 6000 images en moins d'une heure avec ça !
14/10/2013, 16h56

Alvee/Runea [S'o'D] Alpha & Oméga	Citation : Publié par serpentjaune Barbok, DofuX, herazade, dofuscalc....c était le bon vieux temps Tu peux aussi tenter de contacter Douce de dofusbook via son site peut être qu elle pourra t aider (peut être car il me semble qu elle est pas mal oqp ces derniers temps) Jahlovehot aussi
14/10/2013, 17h27

Salakiss Alpha & Oméga	Si tu veux les sprites de TOUS les items du jeu, je les ai mis dans une espèce d'archive d'images sur notre site de guilde : http://ordre2vlad.fr/pages/pages.php...heque-d-images Si tu veux les DL, voici le .zip : http://ordre2vlad.fr/archives/archives/items.zip (si lien "mort", attendre 5min, upload en cours).
14/10/2013, 17h33

Kiwigae' Alpha & Oméga	Citation : Publié par The-Salamander Si tu veux les sprites de TOUS les items du jeu, je les ai mis dans une espèce d'archive d'images sur notre site de guilde : http://ordre2vlad.fr/pages/pages.php...heque-d-images Si tu veux les DL, voici le .zip : http://ordre2vlad.fr/archives/archives/items.zip (si lien "mort", attendre 5min, upload en cours). Ton forum/site est vraiment super
15/10/2013, 15h33

Jerede Héros	J'peux te filer une librairie .NET pour lire les d2p/d2o. T'auras accès à toutes les données du client, t'auras juste à faire un petit programme pour mettre ça dans une DB.
15/10/2013, 17h22

Yam' [AFJ] Héros	Un outil de craft selon les ressources disponibles!
16/10/2013, 12h42

Moz09 Prince / Princesse	Citation : Publié par Yam' Un outil de craft selon les ressources disponibles! Ça existe déjà mais c'est super mal foutue puisqu'il faut rentrer les ressources à la main :/ Peut-être avec l'arrivée des modules en 2027.
16/10/2013, 13h23

walks [Tmnt] Héros / Héroïne	Citation : Publié par Moz09 Ça existe déjà mais c'est super mal foutue puisqu'il faut rentrer les ressources à la main :/ Peut-être avec l'arrivée des modules en 2027. Ca existe ou?? Ca peut quand meme m'interesser, meme si il faut se palucher des inventaires a la main...
16/10/2013, 16h27

Créer un site encyclopédique Dofus

Connectés sur ce fil