[Ron Jeu Vidéo]

Citation :

Publié par znog

Sur Reddit ce n'est pas l'enthousiasme je vois pas mal de critiques disant qu'ils sont dépassés par rapport à d'autres modèles OS/OW

https://www.reddit.com/r/LocalLLaMA/...stunt_as_more/

L'intérêt de l'OW sur GPT4 c'est que tu peux le fine tuner.

Je ne comprends pas les mecs qui le comparent à des modèles entraînés en permanence.

C'est comme comparer une formule 1 non réglée et celle déjà réglée pour les GP de la saison.

Là l'idée c'est de préparer ton modèle pour ce que tu souhaites. Tu veux en faire un conférencier spécialisé dans Victor Hugo ? Un Lora sur quelques mo contenant toutes les œuvres de l'auteur, les bibliographie à son sujet etc. et tu devrais avoir un résultat qui tourne avec un gpu de 16gb en local.

[gunchetifs]

Sinon GPT 5 est sortie.

[Jet]

Citation :

Publié par gunchetifs

Sinon GPT 5 est sortie.

Il y a un nouveau mode "réfléchir" en plus de la "recherche approfondie" habituelle, qui est lent aussi évidemment, mais je me demande lequel est le plus efficace finalement, car il semble effectuer des recherches également. Le premier avantage du nouveau mode est qu'il ne semble pas avoir de limitation, en tout cas ce n'est pas indiqué pour le moment.

[Christobale]

Visiblement vu leur retours çà a l'air à chier la version 5

[Ron Jeu Vidéo]

Citation :

Publié par Christobale

Visiblement vu leur retours çà a l'air à chier la version 5

Comme d'hab. Il est sorti y a moins de 24h, il n'était pas déployé partout et les mecs t'expliquent déjà que c'est nul... Genre ils ont poussé l'usage.

En attendant, je le teste sur un fichier py de 5000 lignes, puis je l'éclate en modulaire, il ne perd pas le contexte. Aucun autre n'en était capable hors API.

Rien que ça, pour moi c'est un changement énorme. La gestion de la mémoire a fait un net progrès.

[Caniveau Royal]

J'ai une question sur un contexte d'emploi particulier :

Je voudrais utiliser un LLM en mode note de synthèse.
Je voudrais lui soumettre 50 documents d'une intercommunalité et de ses communes, en lui demandant de me décrire ce qu'il y a dedans, et de me dire qui réagit à quoi.

Le LLM n'a le droit de prendre ses données que des documents et pas d'autres sources.

Ma question est : si je prends une IA en ligne, elle utilisera sa base d'apprentissage, et si elle respecte les directives, je pense qu'elle me donnerait un bon résultat (à travailler plusieurs fois, évidement).

Mais si je l'installe chez moi, parce que j'ai les 40 ou 120 Go qu'il faut pour ça, la RAM et tout.
Le LLM, il va tourner avec ses algos, mais très peu de ses données d'entraînement, puisqu'il sera déconnecté.
Alors, comment va t-il faire pour être malin ? Parce même s'il se garde les résultats des "fit" majeurs qu'il a fait pour certains apprentissages qu'il lui est indispensable de conserver, il pourra jamais en acquérir assez de sa base globale en ligne, et le rapporter sur mon poste.

Ne vais-je pas avoir, avec une instance IA LLM locale, des résultats moins bons ? Une IA moins futée ?

[Ron Jeu Vidéo]

Citation :

Publié par Caniveau Royal

J'ai une question sur un contexte d'emploi particulier :

Je voudrais utiliser un LLM en mode note de synthèse.
Je voudrais lui soumettre 50 documents d'une intercommunalité et de ses communes, en lui demandant de me décrire ce qu'il y a dedans, et de me dire qui réagit à quoi.

Le LLM n'a le droit de prendre ses données que des documents et pas d'autres sources.

Ma question est : si je prends une IA en ligne, elle utilisera sa base d'apprentissage, et si elle respecte les directives, je pense qu'elle me donnerait un bon résultat (à travailler plusieurs fois, évidement).

Mais si je l'installe chez moi, parce que j'ai les 40 ou 120 Go qu'il faut pour ça, la RAM et tout.
Le LLM, il va tourner avec ses algos, mais très peu de ses données d'entraînement, puisqu'il sera déconnecté.
Alors, comment va t-il faire pour être malin ? Parce même s'il se garde les résultats des "fit" majeurs qu'il a fait pour certains apprentissages qu'il lui est indispensable de conserver, il pourra jamais en acquérir assez de sa base globale en ligne, et le rapporter sur mon poste.

Ne vais-je pas avoir, avec une instance IA LLM locale, des résultats moins bons ? Une IA moins futée ?

Il faut que tu montes un rag, c'est le plus simple et le moins onéreux dans ce cas là. L'avantage du rag c'est que tu peux piocher dans ta doc comme si c'était une mémoire étendue.

edit : mieux expliqué :

Citation :

La génération augmentée de récupération (RAG) est le processus consistant à optimiser le résultat d'un grand modèle de langage. Elle fait donc appel à une base de connaissances fiable externe aux sources de données utilisées pour l'entraîner avant de générer une réponse. Les grands modèles de langage (LLM) sont entraînés avec d'importants volumes de données et utilisent des milliards de paramètres pour générer des résultats originaux pour des tâches telles que répondre à des questions, traduire des langues et compléter des phrases. La RAG étend les capacités déjà très puissantes des LLM à des domaines spécifiques ou à la base de connaissances interne d'une organisation, le tout sans qu'il soit nécessaire de réentraîner le modèle. Il s'agit d'une approche économique pour améliorer les résultats du LLM et qu'ils restent cohérents, précis et utiles dans de nombreux contextes.

@Caniveau_Royal pour ton usage, ce que nous avions testé par exemple, ça me paraît très pertinent.

[Axoulotl08]

Citation :

Publié par Ron Jeu Vidéo

Comme d'hab. Il est sorti y a moins de 24h, il n'était pas déployé partout et les mecs t'expliquent déjà que c'est nul... Genre ils ont poussé l'usage.

Et ya toi qui nous explique déjà que c'est génial... Comme quoi.
Sachant qu'elle a sûrement été entraîner sur ses propres donnée, ya plus de chance que ce soit moins bien que mieux.

[Ron Jeu Vidéo]

Citation :

Publié par Axoulotl08

Et ya toi qui nous explique déjà que c'est génial... Comme quoi.

Comme d'habitude, tu inventes des propos que je n'ai pas tenu.
J'ai expliqué que la gestion de la mémoire est nettement meilleure, que le progrès est énorme sur un exemple de niche très précis lié à mon usage.
C'est génial en général ? Ce n'est pas mon propos.

Pour pousser plus loin, je pense que c'est d'abord une simplification de l'usage pour l'utilisateur hors API, qui était perdu dans le choix des modèles. Les ajouts des connections mail etc sont bienvenues, mais ce n'est pas une révolution. Les tests sur les benchmarks sont imo devenus abscons, ça ne reflète pas l'usage de 99% des users (doigt mouillé).

Personnellement je suis très content, c'est une amélioration.

Les déçus doivent être ceux qui espéraient l'AGI.

[Dr. Troy]

Citation :

Publié par Caniveau Royal

Mais si je l'installe chez moi, parce que j'ai les 40 ou 120 Go qu'il faut pour ça, la RAM et tout.
Le LLM, il va tourner avec ses algos, mais très peu de ses données d'entraînement, puisqu'il sera déconnecté.

Que ce soit en ligne ou non, le LLM utilise ses données d'entraînement. Je n'ai pas l'impression que tu aies très bien compris le principe. "En ligne", c'est que tu fais tourner le calcul sur des serveurs, le fait que le LLM aille piocher des infos sur le net, c'est une autre histoire (un LLM local peut le faire aussi).

Concernant la mémoire il faut que tu aies bien conscience qu'on parle de mémoire vidéo principalement, côté RAM/CPU on est large la plupart du temps.
Mais malheureusement, à moins d'avoir des cartes professionnelles, ou à minima une 5090 @ 32Go, c'est jamais bien folichon les résultats.

Une solution "économique", ce sont les Mac et leur mémoire unifiée (aka les Mac utilisent la RAM aussi comme mémoire vidéo, je fais tourner de plus gros modèles sur mon Macbook Pro qui a 32Go de RAM, que sur ma tour équipée d'une 4080). Un Mac Studio gonflé en mémoire, c'est un des meilleurs rapport qualité/prix actuellement (mais faut quand même compter 5k). En attendant une éventuelle dispo du concurrent made in nvidia.

Côté logiciel, c'est effectivement la technique du RAG qui est le plus accessible. Si tu comptais entraîner réellement un LLM, la on parle de matoss encore plus onéreux.

[Ron Jeu Vidéo]

Citation :

Publié par Dr. Troy

Si tu comptais entraîner réellement un LLM, la on parle de matoss encore plus onéreux.

A ce sujet, il pourrait l'entraîner sur un pod en ligne, c'est comme ça que je fais, pour quelques dizaines d'euros puis le faire tourner localement ensuite, c'est un compromis intéressant.

Mais vu son usage, s'il doit recharger de la doc régulièrement, au vu de sa demande de la dernière fois, le RAG est la meilleure solution.

[debione]

Citation :

Publié par Dr. Troy

Que ce soit en ligne ou non, le LLM utilise ses données d'entraînement. Je n'ai pas l'impression que tu aies très bien compris le principe. "En ligne", c'est que tu fais tourner le calcul sur des serveurs, le fait que le LLM aille piocher des infos sur le net, c'est une autre histoire (un LLM local peut le faire aussi).

Concernant la mémoire il faut que tu aies bien conscience qu'on parle de mémoire vidéo principalement, côté RAM/CPU on est large la plupart du temps.
Mais malheureusement, à moins d'avoir des cartes professionnelles, ou à minima une 5090 @ 32Go, c'est jamais bien folichon les résultats.

Une solution "économique", ce sont les Mac et leur mémoire unifiée (aka les Mac utilisent la RAM aussi comme mémoire vidéo, je fais tourner de plus gros modèles sur mon Macbook Pro qui a 32Go de RAM, que sur ma tour équipée d'une 4080). Un Mac Studio gonflé en mémoire, c'est un des meilleurs rapport qualité/prix actuellement (mais faut quand même compter 5k). En attendant une éventuelle dispo du concurrent made in nvidia.

Côté logiciel, c'est effectivement la technique du RAG qui est le plus accessible. Si tu comptais entraîner réellement un LLM, la on parle de matoss encore plus onéreux.

A voir quand on parle de Nvidia que la 5090 n'est absolument pas taillée pour l'IA, elle peut en faire, mais en effet au prix ou elle est on préfèrera plutôt la Nvidia A 16 (64 go) qui met une patée en IA à une 5090...
Et du coup, tu peux te retrouver avec une très bonne bécanne pour l'IA aux alentour de 4k-5k (qui fera très largement mieux qu'une tour avec une 5090 ou qu'un Studio).

[Ron Jeu Vidéo]

Citation :

Publié par debione

Et du coup, tu peux te retrouver avec une très bonne bécanne pour l'IA aux alentour de 4k-5k (qui fera très largement mieux qu'une tour avec une 5090 ou qu'un Studio).

A ce prix là je préfère attendre d'obtenir un DGX Spark.

Architecture	NVIDIA Grace Blackwell
GPU	Architecture Blackwell
CPU	Arm à 20 cœurs, 10 Cortex-X925 + 10 Cortex-A725
Cœurs CUDA	Architecture NVIDIA Blackwell
Cœurs Tensor	5ᵉ génération
Cœurs RT	4ᵉ génération
Performances de Tensor1	1 PFLOP
Mémoire système	128 Go LPDDR5x, mémoire système unifiée
Interface mémoire	256 bits
Bande passante mémoire	273 Go/s
Stockage	NVME.M2 1 ou 4 To avec auto-chiffrement
USB	4x USB TypeC
Ethernet	1 connecteur RJ-45 10 GbE
NIC	ConnectX-7 Smart NIC
Wi-Fi	Wi-Fi 7
Bluetooth	BT 5.3
Sortie audio	Sortie audio HDMI multicanal
Consommation	TBD
Connecteurs d’affichage	1 port HDMI 2.1a
NVENC | NVDEC	1x | 1x
Système d’exploitation	NVIDIA DGX™ Base OS, Ubuntu Linux
Dimensions système	150 mm L x 150 mm L x 50,5 mm H
Poids	1,2 kg

https://www.nvidia.com/fr-fr/product...ons/dgx-spark/

[Cthulhoo]

J'ai essayé GPT-5 ce matin et je suis un poil circonspect.

En utilisant la version 5 comme j'utilisais la version 4, je suis resté sur ma faim.
Des résumés imprécis, un ton différent, problème de compréhension de mes demandes. bref, pas convaincu.

Maintenant, c'est peut être de ma faute. J'utilise l'IA de manière occasionnelle, dans un cadre privé, et je fais probablement des erreurs flagrantes.
Reste que, à demande équivalente le 5 semblait à coté de la plaque comparé au 4.

Petite question en passant : vous avez une expérience à partager sur les produits comme mammouth.ai ou dotlane.ai qui sont des sortes de plateformes multi-IA avec abonnement unique ?

[Dr. Troy]

Citation :

Publié par debione

A voir quand on parle de Nvidia que la 5090 n'est absolument pas taillée pour l'IA, elle peut en faire, mais en effet au prix ou elle est on préfèrera plutôt la Nvidia A 16 (64 go) qui met une patée en IA à une 5090...
Et du coup, tu peux te retrouver avec une très bonne bécanne pour l'IA aux alentour de 4k-5k (qui fera très largement mieux qu'une tour avec une 5090 ou qu'un Studio).

Une A16 64Go seule c'est déjà quasi le prix d'un Mac Studio avec 96Go, et pour 2k de plus t'as un Mac Studio avec 256Go.

[SekYo]

Citation :

Publié par Cthulhoo

Petite question en passant : vous avez une expérience à partager sur les produits comme mammouth.ai ou dotlane.ai qui sont des sortes de plateformes multi-IA avec abonnement unique ?

J'utilise https://openrouter.ai/ régulièrement, ça fonctionne bien. Après c'est clairement plus fais pour utiliser les API dans d'autres produits que pour utiliser directement leur site (y a une fonction "chat" mais ça reste ultra basique).

[Jyharl]

Citation :

Publié par Ron Jeu Vidéo

Il faut que tu montes un rag, c'est le plus simple et le moins onéreux dans ce cas là. L'avantage du rag c'est que tu peux piocher dans ta doc comme si c'était une mémoire étendue.

S'il s'agit juste de feed 50 docs à l'IA, autant utiliser Chat GPT et créer un agent dedié vu que c'est maintenant possible.

J'ai testé en me créant un agent pour le taf et ça fonctionne plutôt bien.

[Caniveau Royal]

Citation :

Publié par Jyharl

S'il s'agit juste de feed 50 docs à l'IA, autant utiliser Chat GPT et créer un agent dedié vu que c'est maintenant possible.

J'ai testé en me créant un agent pour le taf et ça fonctionne plutôt bien.

Merci ! Je vais commencer à regarder ça.

[Aloïsius]

Si j'ai le temps avant la rentrée, je pense voir si je peux faire corriger mes copies par une IA.
Je suppose que ça passe par la création d'un agent à qui je fournis le sujet, le barème, une poignée de copies corrigées par mes soins et zouh !

[Caniveau Royal]

Citation :

Publié par Aloïsius

Si j'ai le temps avant la rentrée, je pense voir si je peux faire corriger mes copies par une IA.
Je suppose que ça passe par la création d'un agent à qui je fournis le sujet, le barème, une poignée de copies corrigées par mes soins et zouh !

Et comment !
Sam Altmann l'a déclaré : "GPT-5, c'est comme parler à un expert détenteur d'un doctorat sur n'importe quel sujet"
On avait jusqu'alors pas le niveau pour faire ce qu'on faisait, maintenant va y avoir beaucoup de progrès.

[Caniveau Royal]

Il y a quand même une chose à laquelle il faut faire attention, dans toutes les prévisions alarmistes qui disent que le métier de développeur va "disparaître" comme vont jusqu'à l'écrire ou le déclarer certains,

1) C'est que si l'Intelligence Artificielle est l'atout des entreprises de demain, que toutes doivent en faire usage, et fonder des systèmes experts dessus, eh bien les logiciels qui le feront, eux, restent à écrire... Il n'y en a, pour ainsi dire, presque aucun à cette heure, à l'aune des centaines de millions d'entreprises dans le monde qui ont écrit leurs applications d'entreprise.

La moyenne ou grande entreprise peut bien pouvoir profiter de l'IA pour être plus habile, rapide, stratège, il faut quand même écrire ce qu'il faut pour ça... Et ce n'est pas fait. Écrire une application d'entreprise qui se refonde là-dessus, sûrement que c'est pensé, mais actuellement c'est en expression de besoin, dans les phases projets. En examen et pré-étude, pas beaucoup plus loin.

2) Il y a le problème de la pérennité. Si je me suis installé dans mon entreprise le serveur que vous dites pour porter mon LLM :

• s'il est totalement interne et reprend les paramétrages et les résultats des apprentissages qu'on lui a autorisé de prendre pour les ramener dans l'entreprise (pour qu'il fonctionne quoi qu'il se passe à l'extérieur), il aura une acuité moins grande et réclamera des mises à jour.
  

• s'il est connecté à l'Internet pour user de l'IA sur le site de son fournisseur directement, alors l'avenir n'assure nullement - loin s'en faut - la pérennité des sources de ces IA. On les a vues, au contraire, déconner à intervalles régulier... Si le 27 Avril 2029, 10% des entreprises qui ont lié leurs applications à l'IA version 8 de chez Schtroumpf, voit celui-ci inaccessible durablement ou pire : faire du delirium-tremens, qu'est-ce qui se passe ?
  

Avant de commencer une nouvelle application usant d'IA, il faut penser le Plan de Continuation d'Activité quand cette IA n'est plus là...
En plus de celui de détection et de réparation (voire remboursement) de ses erreurs : les dégâts éventuels qu'elle pourrait causer, en interne ou chez les des clients, et cela pourrait la mettre par terre, si elle est victime de son IA malade d'hallucinations.

On est dans double œil du cyclone :

1) Celui boursier où l'on place des espoirs énormes dans l'IA et y investi sans limites
2) Celui informatique où l'on présage de tout ce qu'elle peut faire, mais sans l'avoir fait encore. On va se lancer et on va voir ce que l'on va voir, c'est promis ! Les déclarations ne manquent pas.

[Ron Jeu Vidéo]

Citation :

Publié par Jyharl

S'il s'agit juste de feed 50 docs à l'IA, autant utiliser Chat GPT et créer un agent dedié vu que c'est maintenant possible.

J'ai testé en me créant un agent pour le taf et ça fonctionne plutôt bien.

Ah oui éventuellement, mais vu qu'il parlait de documents d'une intercommunalité, par réflexe de confidentialité j'ai pensé à un montage en local.

[Caniveau Royal]

Joaquin Oliver avait 17 ans quand il a été abattu dans son lycée par un élève plus âgé.
Sept ans plus tard, il dit qu'il est important de parler de ce qui s'est passé ce jour-là, à Parkland, en Floride. Et qu'il faut mettre fin à la circulation des armes.

Jim Acosta, l'ancien journaliste de CNN, interviewe celui que ses parents ont poussé à renaître par une IA entraînée par ses interventions d'autrefois sur les réseaux sociaux. Il lui répond d'une voix métallique.

---

@Ron_Jeu_Vid_o Mon analyse n'aura rien de confidentiel : il s'agit des délibérations et comptes rendus des conseils municipaux et communautaires. Comme ils sont longs et nombreux, personne n'a la vue du dessus pour voir quelle ville a initié quoi et lesquelles y ont ensuite réagi, par exemple.

[Pitit Flo -TMP]

Tiens, ton cas d'usage m'intéresse : est-ce que des docs pdf scannés (comme c'est souvent le cas pour les délib de collectivités) peuvent être lus par les LLM comme chatGPT ?

[Aewen / Adrira]

Pour avoir tester avec un PDF OCR d'un livre de JdR, oui chatGPT "lisait" le contenu. mais comme d'hab faut bien le cadrer et lui dire de chercher uniquement dans le PDF