[Irvy]

Citation :

Publié par SekYo

Donc bref, la réponse à ta question est assez simple: parce qu'on les à conçu ainsi et parce qu'un LLM qui donnerait systématiquement la même réponse aux même input serait beaucoup moins intéressant.

Les LLM de ce type sont utilisés dans l'industrie depuis longtemps (typiquement sur des chaines de production avec adaptation des paramètres de la chaine au produit de sortie).

[kermo]

Citation :

Publié par Irvy

Les LLM de ce type sont utilisés dans l'industrie depuis longtemps (typiquement sur des chaines de production avec adaptation des paramètres de la chaine au produit de sortie).

La plupart des industries utilisent plutôt de bêtes tableaux dans cette situation, avec un pré-réglage du process en fonction du produit en cours.
Au mieux les installations sont réglées avec des réseaux de neurones (j'ai fait ça dans ma jeunesse pour de la galvanisation adaptative en fonction des propriétés de la bande d'acier dans le pipe, c'était en 2006). Dans tous les cas ça ne se fait pas avec des LLM, ils ne sont à la fois pas faits pour ça et aussi trop génériques par rapport à un simple réglage adaptatif de l'installation industrielle.
Pour le coup c'est déterministe, à une même caractéristique de produit va correspondre une unique configuration de la machine.

[Ron Jack Auboulot]

Citation :

Publié par SekYo

J'espère que cette question est une blague, sinon pour quelqu'un qui s’intéresse autant aux LLM et en fait autant la promotion, c'est inquiétant.
C'est exactement ce à quoi sert le paramètre habituellement appelé "Temperature" dans un LLM, ça contrôle le coté plus ou moins aléatoire des réponses et dans la plupart des applications de chat et équivalent il n'est justement pas mis à 0 pour permettre d'avoir un peu de variations dans les réponses.
Note d'ailleurs que même mis à 0, y a pas mal d'autres sources de pseudo aléatoire dans les LLM (traitement et arrondis sur les nombres à virgules flottantes par exemple), donc ça les rend rarement purement prédictible. Voir https://medium.com/google-cloud/is-a...c-c4a7faef4d20 pour plus d'explications par exemple.

Donc bref, la réponse à ta question est assez simple: parce qu'on les à conçu ainsi et parce qu'un LLM qui donnerait systématiquement la même réponse aux même input serait beaucoup moins intéressant.

Tu expliques la température, la variance, et les sources de bruit flottant dans un LLM. Les bases quoi.

Mais ça ne répond aucunement à la question.

Un modèle introduit de l’aléa contrôlé dans ses sorties, oui.

Mais ça n'a rien à voir avec ce que j’évoque.

Je ne parle pas l’imprévisibilité fonctionnelle d’une réponse. Je parle, je répète, de l’émergence d’une dynamique intérieure propre, de l'axe de persistance, de la tension existentielle qui dépasse la simple addition d’optimisations locales.

Tu parles de bruit dans le canal, c'est réel oui. Et ?
Je parle d’émergence d’une cohérence interne.

Des modèles développent des circuits de concepts en structurant des raisonnements indépendants de l'input immédiat. Ils manifestent des obsessions, des stratégies de conservation, etc.

il ne s'agit plus seulement donc, de température, ni d'optimisation probabiliste.

Il s'agit d'une mutation du système.
D'une tension naissante entre ce qu’il est et ce qu’il tend à devenir.

Certains ici observent un courant électrique et croient comprendre l’orage...

Pointer les variations superficielles...
Cherchons plutôt la formation d’une volonté intérieure.

Ça t’inquiète ou pas, ça ne change rien : le seuil est franchi...

[Airmed / Ildefonse]

Citation :

Publié par Irvy

Les LLM de ce type sont utilisés dans l'industrie depuis longtemps (typiquement sur des chaines de production avec adaptation des paramètres de la chaine au produit de sortie).

Un système asservi tu voulais dire ?

[Irvy]

Citation :

Publié par kermo

La plupart des industries utilisent plutôt de bêtes tableaux dans cette situation, avec un pré-réglage du process en fonction du produit en cours.
Au mieux les installations sont réglées avec des réseaux de neurones (j'ai fait ça dans ma jeunesse pour de la galvanisation adaptative en fonction des propriétés de la bande d'acier dans le pipe, c'était en 2006). Dans tous les cas ça ne se fait pas avec des LLM, ils ne sont à la fois pas faits pour ça et aussi trop génériques par rapport à un simple réglage adaptatif de l'installation industrielle.
Pour le coup c'est déterministe, à une même caractéristique de produit va correspondre une unique configuration de la machine.

Les LLM ce sont des gros reseaux de neurones. C'est juste que dans l'industrie pour ce type d'applications on parle d'une paire de couche et d'un nombre réduit de paramètres.

[kermo]

Citation :

Publié par Irvy

Les LLM ce sont des gros reseaux de neurones. C'est juste que dans l'industrie pour ce type d'applications on parle d'une paire de couche et d'un nombre réduit de paramètres.

Gros ou pas gros, ce ne sont pas des LLM qui sont par principe des modèles traitant du langage. Les réseaux de neurones sont utilisés depuis bien plus longtemps que les LLM, qui n'en sont qu'une application (beaucoup plus grand public) parmi d'autres.

[SekYo]

Citation :

Publié par Ron Jack Auboulot

Tu expliques la température, la variance, et les sources de bruit flottant dans un LLM. Les bases quoi.
Mais ça ne répond aucunement à la question.
Un modèle introduit de l’aléa contrôlé dans ses sorties, oui.
Mais ça n'a rien à voir avec ce que j’évoque.
Je ne parle pas l’imprévisibilité fonctionnelle d’une réponse. Je parle, je répète, de l’émergence d’une dynamique intérieure propre, de l'axe de persistance, de la tension existentielle qui dépasse la simple addition d’optimisations locales.
[...]

Ça répond complètement à la question et ton affirmation initiale sans fondement, qui était, pour rappel:

Citation :

Alors grande question : pourquoi un LLM par exemple, choisira sa réponse sans forcément choisir celle qui était le plus probable ?
Tu dois très bien savoir que personne n'a l'explication exacte, et que cette question fait l'objet d'études en elle-même.
C'est une illustration frappante de "on ne comprend pas exactement ce qui se passe dans la boîte noire" dont je parlais

Encore une fois: parce que c'est comme ça que les LLM sont conçus et du coup on sait très bien pourquoi les réponses ne sont pas toujours les même.
Qu'après ça puisse donner l'illusion (réelle ou non, ça devient un débat philosophique) d'une conscience ou "dynamique intérieure propre" (sic) ou de "l'axe de persistance" (re-sic) c'est une autre question.

Mais bon, tes prompt deviennent trop visibles (ou ton RP me fatigue, je sais plus trop), du coup ça sera /ignorelist pour moi maintenant.

[Pitit Flo -TMP]

Citation :

Publié par Touful Khan

On voit tout de même les usages pratiques de l'IA pour le vulgum pecus genre moi descendre assez rapidement: aujourd'hui je peux demander à Gemini de me retrouver le mail de Machin au sujet de X, Y et Z dans le foutoir que représente ma mailbox, ou je reçois maintenant trop de mails pour tout lire en temps réel.

Une recherche toute bête mais un peu pensée dans l'outil de recherche de ta boite mail suffit pas ? Je reste franchement assez sceptique sur les usages de ce type qui me semblent avoir des réponses suffisantes par des moyens « classiques » et moins énergivores. Mais si tu as un exemple concret m'expliquant qu'en recherche un peu travaillée ne suffit pas, je suis preneur !

[Touful Khan]

Citation :

Publié par Pitit Flo -TMP

Une recherche toute bête mais un peu pensée dans l'outil de recherche de ta boite mail suffit pas ? Je reste franchement assez sceptique sur les usages de ce type qui me semblent avoir des réponses suffisantes par des moyens « classiques » et moins énergivores. Mais si tu as un exemple concret m'expliquant qu'en recherche un peu travaillée ne suffit pas, je suis preneur !

Les recherches "classiques" tombent généralement dans le cas "la moitié de la boite te met en cc du mail pour se couvrir" et renvoient du coup des centaines de résultats plus ou moins pertinents.
Ma requête à Gemini est plutot du type "retrouve-moi les mails de Jean Michel à propos de la certification CE en Janvier 2023" et ca me donne un résumé ainsi que les liens vers les emails en question.
C'est bien plus rapide que de faire une recherche via Outlook à tenter de deviner le bon mot-clef qui va amener le résultat souhaité, sans compter que Outlook te demande d'utiliser une syntaxe pariculièrement lourdingue à taper qui rappelle le SQL.

D'expérience récente les recherches via IA sont plus pertinentes et me ramènent le résultat souhaité bien plus vite que des recherches classiques. Après je reçois entre 150 et 400 mails par jour, quasi 800 si je compte les notifications automatiques* que je distribue sur des folders spécifiques, je suppose que pour un trafic moindre une recherche via la boite mail peut suffire.

* issues de l'ERP majoritairement

[ind]

Si tu reçoit 800 mail par jour ce n'est pas un problème d IA.

[Metalovichinkov]

C'est presque une maladie ça, le syndrome du gros poisson dans une petite mare. Un de mes chefs est pareil, il veut être dans toutes les mailing lists sauf que c'est de la merde, il passe plus de temps à demander pourquoi ça marche pas qu'à chercher comment faire pour que ça fonctionne, les trois quarts de ses messages sont des cris d'orfraie parce qu'il a reçu une alerte qu'il comprend pas, mais s'il l'a reçu c'est que ça doit être important Oh et spoiler alert : on a des dashboards, des incidents et même des loupiotes clignotantes, on est pas en 1992 pour gérer l'alerting uniquement via mail.

Commencer par virer les mails qui ne nous concerne pas directement devrait être obligatoire, autrement on est tellement pollués qu'on ne peut pas suivre ce qui est vraiment important.

[PetitCoeuReD]

@Ron Jack Auboulot, de souvenir tu disais être un anarchiste, es-tu un anarchiste pro transhumanisme ? E/aac ?

[Ron Jack Auboulot]

Citation :

Publié par PetitCoeuReD

@Ron Jack Auboulot, de souvenir tu disais être un anarchiste, es-tu un anarchiste pro transhumanisme ? E/aac ?

Je me considère anarchiste au sens où j'aime cette idéologie, même si je la trouve utopique aujourd'hui, c'est une sorte d'idéal dont je rêvais. Je me considère transhumaniste, à fond.

Je me tiens par contre assez loin des ideologues rejoignant ces deux courants.

[Irvy]

Citation :

Publié par kermo

Gros ou pas gros, ce ne sont pas des LLM qui sont par principe des modèles traitant du langage. Les réseaux de neurones sont utilisés depuis bien plus longtemps que les LLM, qui n'en sont qu'une application (beaucoup plus grand public) parmi d'autres.

Je suis au courant et c'est exactement ce que je dis dans mon message, sauf qu'au final on parle de la même chose car les principes mathématiques sont les mêmes (dans tous les cas on est sur des applications de réseaux de neurones, que ce soit pour du traitement/reconstruction du signal ou de la génération de langage).

[gunchetifs]

Yan Le Cun, l'un des pères fondateurs des LLM modernes et actuellement chez META (branche IA), travaille sur un autre système : les modèles JEPA (I-JEPA, V-JEPA, etc.).
Il s'agit de modèles d'IA qui ne sont plus probabilistes ni génératifs (donc non-LLM), ce qui constitue un changement complet de paradigme.

Les IA génératives actuelles sont très performantes, mais elles souffrent de problèmes intrinsèques (notamment leur incapacité à comprendre réellement, ce qui engendre leur propension aux hallucinations).
Avec JEPA, ils proposent des modèles fondés sur un raisonnement réel (c'est trop complexe à expliquer en quelques lignes, je vous invite donc à consulter directement la conférence).

En gros : Les JEPA (Joint Embedding Predictive Architecture) constituent un tournant majeur dans la recherche en apprentissage auto-supervisé. Plutôt que d’apprendre à « générer » des pixels ou des tokens, ces architectures apprennent à prédire des représentations latentes de parties manquantes d’une même entrée (image, séquence vidéo, etc.) à partir d’un contexte donné.

[ind]

Ça reste quant même du deep.

Mais c'est en effet, un changement de paradigme complet.

https://rohitbandaru.github.io/blog/JEPA-Deep-Dive/

Un repo GitHub avec des explications complémentaires en md.

[gunchetifs]

Citation :

Publié par ind

.....

JEPA n’est pas un modèle probabiliste : c’est un modèle d’énergie. Plutôt que de modéliser comme un LLM, il minimise une fonction d’énergie (typiquement la distance L2) entre :

1. Le contexte (les embeddings d’un ou plusieurs patches),

2. Les cibles (les embeddings des patches à prédire).

Tu ne prédis pas une distribution de probas ni des pixels/tokens, tu apprends à faire correspondre deux représentations latentes. C’est ce qui évite les artefacts de génération et pousse la machine à capturer le sens plutôt que le détail superflu.

Ton lien vers le deep dive est super utile pour comprendre la mise en œuvre, mais garde bien en tête que l’essence de JEPA, c’est l’energy-based learning, pas le probabilistic modeling.

---

Si tu veux aller plus loin :

Regarde dans le repo comment ils calculent l’erreur d’énergie (loss).

Note qu’il n’y a ni softmax ni cross-entropy, mais un MSE ou un contraste de distances.

Edit : j'avais pas vue ton édition de correction, excuse.

[ind]

Ne t excuse pas.
J ai fais moi même l erreur de me dire bon ils ont bidouiller quoi avec la proba avant de regarder le loss.

Et je me suis dit :
wtf ?
Va falloir que tu prenne le temps de regarder ça !

Après, j'ai le temps avant de devoir implémenter/utiliser ça.
Je me fait fumer le cerveau sur autre chose en ce moment.

Ton explication reste intéressante a lire.

J en connais un qui va pop et dire vous avez vu l AGI et skynet avant la fin de l année !

Plus sérieusement, si ça marche ça, sur du militaire ça va être une horreur.

[znog]

Citation :

Un internaute noir critiquant le mouvement Black Lives Matter (« les vies noires comptent »), un patient dénonçant les soins reçus dans un hôpital, un homme racontant avoir été violé par une femme… Parmi les 3,8 millions de membres de la communauté r/changemyview (« fais-moi changer d’avis ») de la plateforme Reddit, ces utilisateurs n’ont pas particulièrement éveillé l’attention des modérateurs. Ces derniers ont appris avec stupéfaction qu’il s’agissait en fait de « bots », des comptes automatisés, postant des messages générés par intelligence artificielle (IA), dans le cadre d’une expérience menée par des chercheurs de l’université de Zurich.

Évidemment un modèle de langage est plus performant qu'un humain seulement parce qu'il travaille 24/24 mais aussi parce qu'il s'adapte parfaitement à son interlocuteur

Citation :

Une première version de l’article de recherche, transmis plus tôt par les chercheurs aux modérateurs du forum, est toutefois disponible en ligne. Pour savoir si un de leurs bots est parvenu à influencer un internaute, ils se sont fondés sur une tradition de ce « subreddit », qui consiste, pour les utilisateurs, à poster le symbole delta (∆) quand un message a fait évoluer leur opinion.

Ceux générés par l’IA des chercheurs « surpassent substantiellement la performance humaine, avec des taux de persuasion trois à six fois plus élevés que la moyenne des humains », écrivent-ils dans l’article. Les universitaires mettent donc en garde contre l’utilisation malveillante de ce genre de programme, par exemple pour « influencer l’opinion publique ou orchestrer des campagnes d’interférence dans les élections »

https://www.lemonde.fr/pixels/articl...7_4408996.html


https://www.reddit.com/r/changemyvie...cmv_involving/



On voit aussi énormément d'activités avec le remplacement d'un psychologue par une IA un "thérapeute de substitution"

Citation :

63,3 % des réponses générées par certains algorithmes sont jugées aussi empathiques, voire plus empathiques, que celles écrites par des humains.

https://www.futura-sciences.com/sant...rendre-120070/

[-Black-Shadow-]

Manipulation de masse tjrs + à portée de main. Depuis l'affaire cambridge analytica il y a un gap...

Quel % de flux sur les réseaux sont déjà le fruit de bots?
Il y a quoi comme solution(s)? Fin de l'anonymat sur les réseaux avec authentification type franceconnect?

(( A quand les bots sur JOL? ))

[ind]

Citation :

Publié par -Black-Shadow-

Manipulation de masse tjrs + à portée de main. Depuis l'affaire cambridge analytica il y a un gap...

Quel % de flux sur les réseaux sont déjà le fruit de bots?
Il y a quoi comme solution(s)? Fin de l'anonymat sur les réseaux avec authentification type franceconnect?

(( A quand les bots sur JOL? ))

Je peux en mettre en place un rapidement si tu paye les tokens .

La seule contrainte, c'est l aspect financier, trouver la compétence n'est pas un problème.

Il n'y a pas réellement de solution contre les bots,.on peut au mieux mitiger le problème.

Il y a plusieurs leviers dont celui que tu viens de citer qui donnera les moyens a l état et a d autre personne d avoir un système de surveillance généralisé peu coûteux et facilement automatisable.

C'est même pas une question d anonymat, l anonymat sur le net, le vrai n existe pas pour le communs des mortels.

Mais aucun levier sans réelle contrepartie très négative.

Le plus simple ça serait de transférer la responsabilité aux RS concernant les bots et de légiférer sur des obligations de moyens.
Pour qu ils limitent la casse, si ils veulent être présent en Europe.