JeuxOnLineForumsPlusConnectés : 535 (sites) | 930 (forums)Créer un compte
Forums divers
La Forge
Répondre
Partager Rechercher
Avatar de Caniveau Royal
Caniveau Royal
Alpha & Oméga
 
Avatar de Caniveau Royal
 

UC sans ventilateur, du disque, ram importante, peut-être pas de carte graphique

Bonjour,

Je suis entrain de lier des sources de données Open Data de plus en plus nombreuses et volumineuses.
Les fichiers CSV de départ analysés font de 1 à 9 Go chacun, et il a fallu que je fasse du Spark pour commencer à pouvoir traiter tout cela.

Mon PC bâti il y a cinq ans et qui me sert aujourd'hui pour cela, franchement, j'en suis heureux : la carte mère Asus P9X79 est impeccable sur un processeur i7-3820 et 32 Go de RAM ont fait toute la différence toutes ces années d'utilisation : il est toujours très très bien et ne montre aucun signe de faiblesse ou de performances en retrait. Un bon achat, quand il se révèle bon au fil des années, c'est vraiment plaisant.

Mais bon, voilà : le i7-3820 c'est un quatre cœurs, ça ne me permet que de mettre un master Spark et deux workers à un cpu – pour des machines virtuelles – chacun, et d'en laisser un pour mon Windows porteur.
Ce n'est pas suffisant. Il me faut deux ou trois UC d'appoint.

Celles-là, je les veux d'abord silencieuses. Les PC sans ventilateurs m'attirent. Mais je ne sais pas s'ils sont régulièrement proposés sur le marché.
Un processeur moyen, du disque, et pas mal de RAM m'iront bien. À priori, ces UC n'auraient pas besoin de carte graphique, mais seulement d'une carte Ethernet.
Je pensais que sur un budget de 650 € par machine, cela pourrait me donner quelque-chose de correct, me menant pour trois machines à 2000 €.

Comment ébaucheriez-vous le contenu de telles UC ?

Merci !
Avatar de Jerau
Jerau
Dieu créateur
 
Avatar de Jerau
 
Lu,
Un ventirad be quiet avec l'un de leur ventilateur haut de gamme (dont tu peux régler la vitesse dans le bios) ça s'entend pas. Essayer de trouver du passif efficace c'est une prise de tête inutile je pense.

Je suis pas sûr d'avoir bien compris pourquoi 3 UC? Pourquoi pas une machine à 2K avec un gros processeur style ryzen threadripper 12-16 core?
Parce que je vois pas bien ce que tu veux faire rentrer dans 650e :x
edit, un truc comme ça https://www.topachat.com/pages/confi...IzqI04ma8hA%3D ?

Dernière modification par Jerau ; 31/10/2018 à 15h27.
Avatar de SiroTeur
SiroTeur
Alpha & Oméga
 
Avatar de SiroTeur
 
Intel NUC? J'en ai pris un récemment, et ça fait clairement le boulot.
Avatar de Caniveau Royal
Caniveau Royal
Alpha & Oméga
 
Avatar de Caniveau Royal
 
Citation :
Publié par Jerau
Je suis pas sûr d'avoir bien compris pourquoi 3 UC? Pourquoi pas une machine à 2K avec un gros processeur style ryzen threadripper 12-16 core?
Il y a deux écoles. Celles extrémiste où chaque lame est une carte mère faite de plusieurs processeurs puissants, 256 Go de RAM, 100 To de disque et qui coûte cher,
et celles où l'on prend des UC moins puissantes, voire même : un peu en retrait, mais plus nombreuses.

Apache Spark, se fonde véritablement sur la distribution. Et quatre machines (1 maître et 3 workers) iront plus vite qu'une seule quatre fois plus puissante qui aurait séparé son processeur en quatre pour ces mêmes master et workers.

De plus, s'il y a plusieurs UC, plus de problème de cœurs à partager.
Avatar de Jerau
Jerau
Dieu créateur
 
Avatar de Jerau
 
Je ne suis pas expert en virtualisation donc je risque pas d'être un "extrémiste" sur le sujet. Sur le papier ça me semble simplement plus pratique et avantageux d'avoir une machine avec que des composants de qualité que de devoir faire des compromis sur du plus bas de gamme pour une puissance"brute" +/- équivalente. Après en terme d'efficacité réel j'en sais rien d'où la question.
Avatar de Caniveau Royal
Caniveau Royal
Alpha & Oméga
 
Avatar de Caniveau Royal
 
Oh, moi j'en sais très peu sur tout aussi. Je découvre, beaucoup.

@Melchiorus : Merci beaucoup : je vais regarder ça.

Dernière modification par Caniveau Royal ; 01/11/2018 à 12h52.
Avatar de Melchiorus
Melchiorus
Alpha & Oméga
 
Avatar de Melchiorus
 
Ryzen 5 2600 : 169,99 € https://www.amazon.fr/dp/B07B41WS48?m=A1X6FK5RDHNB96
MSI B450M Mortar : 104,95 € https://shop.hardware.fr/fiche/AR201807120051.html
G.Skill 2x8Go 3000 MHz CL16 : 124,90 € https://www.alternate.fr/G-Skill/D41...oduct/1283393?
Cooler Master MA410P RGB : 33,16 € https://www.topachat.com/pages/detai...n10114935.html
ASUS Radeon R5 230 : 39,95 € https://shop.hardware.fr/fiche/AR201807120052.html
Kingston SSD A400 - 120 Go : 22,95 € https://www.amazon.fr/Kingston-SSD-A...dp/B01N6JQS8C/
HDD 1 To : 39,49 € https://www.alternate.fr/Toshiba/P30...oduct/1321244?
Fractal Design Design Focus G : 48,49 € https://www.alternate.fr/Fractal-Des...oduct/1341197?
be quiet! Pure Power 10 400W 80+ Silver : 54,90 € https://www.alternate.fr/be-quiet-/P...oduct/1328350?

Total : 638,78 €


C'est difficile d'évaluer le silence de l'ordinateur (même si j'ai mis des éléments silencieux).
Mais de toute façon, tu n'as besoin que de les connecter en ethernet non ? Donc tu dois pouvoir les éloigner suffisamment de toi pour ne rien entendre.

J'ai mis une carte graphique passive (fanless). Je ne sais pas si tu en as besoin d'une pour les faire fonctionner mais à priori tu en as besoin d'une pour installer un système d'exploitation.
Pour le stockage, il faudrait savoir la taille nécessaire. J'ai mis un SSD 120 Go et un HDD 1 To mais c'est modifiable (tout en SSD par exemple)

Dernière modification par Melchiorus ; 01/11/2018 à 10h12.
Avatar de Eyce Karmina
Eyce Karmina [m3h-k]
Alpha & Oméga
 
Avatar de Eyce Karmina
 
Ecarte les questions plusieurs petites machines vs une grosse, parce qu'il y a plein de solutions entre les 2.
Essaie déjà d'avoir une idée de tes besoins d'un point de vue cœur/ram par worker, et tu fais ton mix en fonction de ton budget et du nombre de workers dont tu as besoin

Exemples de prix en ramenant au cœur/ram (c'est pas opti, c'est pour donner une idée du surcoût engendré par alim+boitier+cm) :
1c/2g : 8/16@812 : 101 < 6/16@687 : 114 < 4/8@523 : 130 (alors que le 6c te donne de la marge en ram, et 1x8/32 coute moins cher que 2x4/8 O_o)
1c/4g : 8/32@1028 : 128 < 4/16@589 : 147 < 6/32@903 : 150
1c/8g : 8/64@1489 : 186 < 4/32@805 : 201
Le 6c étant évidemment le plus intéressant quand on tombe sur des 1c/2.5g ou 5g, bref il faut que tu analyses ton besoin.

Et pour les histoires de partage de CPU, sur certains workload qui n'aiment pas la virtualisation, essaie le CPU pinning qui te permet de dédier chaque cœur à une VM en particulier, mais je n'ai pas l'impression que Spark soit particulièrement allergique à la virtualisation vue la quantité de gens qui qui l'utilisent sur "le Cloud©"

Pour réduire les coûts, tu peux aussi voir l'influence de la vitesse de la ram (qui fait exploser le prix quand on tape sur des grosses barrettes et qui n'est pas forcément utile pour ton workload).

Après perso pour 2k, sans connaitre ton workload exact, je partirais sur 2x8/32.
Répondre

Connectés sur ce fil

 
1 connecté (0 membre et 1 invité) Afficher la liste détaillée des connectés

Rechercher
Rechercher:

Recherche avancée

© JeuxOnLine / JOL. Tous droits réservés. - Conditions générales d'utilisation - Conditions d'utilisation des forums - Politique de confidentialité - Utilisation de mes données personnelles - ! Signaler un contenu illicite