[prootch]

Citation :

Publié par Ron Jeu Vidéo

Rien que les résultats éclatants en mathématiques, très récents, montrent que les avancées sont bien présentes ces derniers mois.

Les résultats ne sont pas "éclatants" : Il y a surtout bcp de communication d'OpenAI pour gagner du temps financier et amoindrir le risque d'explosion de la bulle.

Pour chatgpt, ils font du bruit médiatique à base de prétendues médailles d'or (qui n'en sont pas) mais leurs "test" sont systématiquement opérés avec l'appui moteur de calcul externe spécialisé (et déjà codés auparavant). Autrement dit l'algo exploite du soft spécialisé, mais ne fait pas le boulot seul à ce stade.

Pour mémoire la "médaille d'or" en math c'est la Médaille Fields (et ils en sont très très très loin).

Peut être verra t on des résultats de tests publiés pour le Concours général, ou les Olympiades internationales de mathématiques, on pourra juger du résultat sur pièces.

[Ron Jeu Vidéo]

Citation :

Publié par prootch

Peut être verra t on des résultats de tests publiés pour le Concours général, ou les Olympiades internationales de mathématiques, on pourra juger du résultat sur pièces.

Il s'agit justement des olympiades... quand je parle d'avancée en mathématiques :

https://www.informatiquenews.fr/une-...atiques-105899

https://www.ctol-fr.com/news/gemini-...atics-olympiad

C'etait déjà écrit dans la source de mon post précédent :

Citation :

World
Humans triumph over AI at annual math Olympiad, but the machines are catching up

[Dr. Troy]

Encore une fois, c'est juste un outil, incapable de résoudre des problèmes en dehors de nos domaines de connaissances, ce à quoi servent les mathématiciens, versus une calculatrice.
Et quand tu vois les coûts qu'engendre ce genre de vitrines, ce n'est même pas viable.

On est extrêmement loin d'une prétendue AGI. Croire que parce que les modèles font mieux, on s'en approche est complètement bidon.

[Noumenon]

Le souci des LLM c'est meme pas leur capacité. Y a des utilisations utiles. Ca pourrait faire gagner un temps monstre pour rédiger des suite de test par exemple. Le souci c'est que c'est pas fiable, et que tout le temps qui pourrait etre gagné est perdu en repassant derriere. Et ce probleme a l'air indepassable en l'etat des connaissances actuelles.

[prootch]

@ron
Je confirme ce que je disais au dessus, soutenu par ton propre article:

Citation :

Contest organizers could not verify how much computing power had been used by the AI models or whether there had been human involvement

Sans parler des moteurs de calculs externes utilisés en parallèle des gpt qui existent déjà (et ne sont pas des gpt).

Mais comme les sociétés ne publient pas leurs articles de recherche, on est loin de la preuve scientifique:

Il n'y a aucune publication scientifique peer reviewed qui le confirme.
Les conditions de test ne sont donc ni reproductibles ni documentés.

Au delà de leur simple absence de stabilité et de pertinence dans le tri des infos, à ce stade ce sont des moteurs de recherche capables de synthèses textes et d'utiliser des calculatrices basiques (usage à la pertinence instable).

[Anthodev]

Citation :

Publié par Ron Jeu Vidéo

Il s'agit justement des olympiades... quand je parle d'avancée en mathématiques

Sur un modèle qui a été entraîné exprès, avec une équipe dédiée à cela, et qui demande plusieurs heures de calcul sur une infra dédiée pour arriver aux résultats dont il a été question. C'est une "belle" vitrine, mais pas un truc qu'ils vont proposer commercialement parce que ça coûte beaucoup trop cher.

Autant il y avait un gap entre par exemple Sonnet 3.5 et 4.0, mais entre 4.0 et 4.5 ça semble plus incrémental qu'autre chose. Ce qu'on remarque surtout, c'est la multiplication des outils pour tenter de mitiger les résultats moyens des LLMs : utilisation de fichiers .rules ou AGENTS.md, utilisations de MCP, de RAG, d'agents. Et malgré tout cela, au niveau du développement, ça ne convainc pas des masses.

Pour de l'utilisation plus généraliste, il y a toujours les problèmes d'hallucinations qui n'est toujours pas réglé et aussi le fait qu'il faut toujours les cadrer un peu, et surtout réduire la propension des modèles à vouloir "satisfaire" l'utilisateur (ce qui amène à lui répondre en balançant des hallucinations/fausses informations, ou sans vérifier les informations que ça repartage).

[Ron Jeu Vidéo]

L'IA qui n'obtenait que l'argent il y a un an, qui obtient l'or désormais, ce n'est pas vraiment une avancée parce que...

elle a été entraînée pour...

Bon bah écoutez, quand on trouvera un remède au cancer grâce à une IA, ce ne sera pas une avancée, je suis persuadé qu'elle aura au moins été un peu entraînée sur des données concernant le cancer.

Le degré "d'autruchisme" devient dingue sur ce topic.

[Doudou Spuiii]

Les types qui reçoivent la médaille fields, ils ont pris des cours de math pendant leur scolarité, ça ne leur enlève pas leur mérite, je ne comprends pas trop ce contre argument ��

"l'IA a été entraînée" Bah oui c'est le principe lol

[prootch]

Le pb principal, c'est:

Citation :

Contest organizers could not verify how much computing power had been used by the AI models or whether there had been human involvement

On oublie donc gentiment qu'on en sait rien, ni de l'usage d'autres soft spécialisés et non gpt utilisés en support et pas même le niveau d'implication humaine dans le résultat.

Ce qui pour une "performance" mathématique est quelque peu problématique.

En gros on a la "parole" de gens pour qui un clash financier serait un arrêt de mort et qui ont besoin d'avancées vitales pour justifier leur capitalisation.

Alors qu'au quotidien leur gpt continue à halluciner à donf.

[znog]

Citation :

Publié par Ron Jeu Vidéo

Le degré "d'autruchisme" devient dingue sur ce topic.

Il s'agit simplement de "remettre l'église au milieu du village" et d'éviter l'enthousiasme béat, répétitif et naïf qui caractérise certains posts.

[Ron Jeu Vidéo]

Citation :

Publié par znog

Il s'agit simplement de "remettre l'église au milieu du village" et d'éviter l'enthousiasme béat, répétitif et naïf qui caractérise certains posts.

Cest l'inverse, je suis intervenu pour répondre à une assertion : il n'y a plus d'avancée dans l'IA.

Il ne s'agit pas de lutter contre l'enthousiasme béat si tu veux remettre l'église au milieu du village, mais le déni répétitif qui caractérise certains (beaucoup, la majorité même) des posts sur ce topic.

[Anthodev]

Citation :

Publié par Ron Jeu Vidéo

L'IA qui n'obtenait que l'argent il y a un an, qui obtient l'or désormais, ce n'est pas vraiment une avancée parce que...

elle a été entraînée pour...

Bon bah écoutez, quand on trouvera un remède au cancer grâce à une IA, ce ne sera pas une avancée, je suis persuadé qu'elle aura au moins été un peu entraînée sur des données concernant le cancer.

Le degré "d'autruchisme" devient dingue sur ce topic.

Où tout simplement que le sens de la réponse c'était de dire qu'un modèle a été entrainé spécifiquement pour cette compétition (car ils vont chaque année pour "montrer" leur avancés), avec un coût d'exploitation faramineux par rapport aux modèles grand public ou un peu spécialisé et qui n'est pas accessible à d'autres personnes que l'équipe en question, ce n'est pas pertinent pour parler des avancées de manière générale des LLMs.

Il y a plein de technos qui seront restés au niveau expérimental/prototype parce que leur coût d'exploitation (ou les contraintes d'exploitation) font que ce n'est pas réellement exploitable en utilisation "réelle". Depuis ce printemps il n'y a pas eu d'évolutions majeures des différents LLMs disponibles sur le marché. La seule avancée notable qu'on a vu dans cette période, c'est la génération de vidéo (qui était en retard par rapport au reste), mais pour la génération de texte et de capacité à résoudre des problèmes, il n'y a eu aucune évolution notable de ce type de modèle de l'introduction du "raisonnement".

Et pour l'instant sur les news concernant les prochains modèles, c'est pas la folie : ChatGPT 6 sortirait l'année prochaine et sa grosse nouvelle fonctionnalité ce serait la gestion de sa mémoire (et donc de ne pas oublier des choses qui sont dans son contexte). Par contre rien au niveau de ses performances pour le moment. Anthropic on a rien mais c'est plutôt habituel chez eux (ils sont habitués aux stealth release), Gemini 3 va pas tarder, mais ce sera essentiellement pour rattraper les autres, et Meta (avec LLama) semble avoir lâché l'affaire.

Ça a tendance quand même à indiquer des évolutions incrémentales plutôt que les gaps qu'on pouvait observer en 2023-2024.

[Dr. Troy]

Citation :

Publié par Ron Jeu Vidéo

Cest l'inverse, je suis intervenu pour répondre à une assertion : il n'y a plus d'avancée dans l'IA.

Il ne s'agit pas de lutter contre l'enthousiasme béat si tu veux remettre l'église au milieu du village, mais le déni répétitif qui caractérise certains (beaucoup, la majorité même) des posts sur ce topic.

Certes un peu grossier, il n'y a plus que des itérations si tu préfères. Ce qui est expliqué depuis quelques messages.

Et ce n'est pas en entraînant toujours plus un modèle que cela va faire changer le paradigme actuel et déboucher sur une AGI.

[SekYo]

Citation :

Publié par Dr. Troy

Encore une fois, c'est juste un outil, incapable de résoudre des problèmes en dehors de nos domaines de connaissances, ce à quoi servent les mathématiciens, versus une calculatrice.
Et quand tu vois les coûts qu'engendre ce genre de vitrines, ce n'est même pas viable.
On est extrêmement loin d'une prétendue AGI. Croire que parce que les modèles font mieux, on s'en approche est complètement bidon.

Mais pour le coup, même en dev, y a pas besoin d'une AGI pour que ce soit utile. Pour reprendre ton parallèle, dans les usages quotidiens, la plupart des gens n'ont pas besoin d'un mathématicien, une calculatrice suffit. Et même dans des besoins un peu plus avancés, plus personne n'utilise de règle à calcul (voir même sait les utiliser) quand t'as besoin de calculer un cosinus ou une arctan.

C'est un peu pareil dans le dev, la proportion de dev qui fait des trucs super compliqués, c'est quand même pas la majorité du boulot. Et pour se connecter à une API REST ou améliorer une app React, les Coding Assistant s'en sortent plutôt bien. Alors après le vibe coding c'est de la merde, faut clairement les guider. Mais pour moi ça reste un outil assez puissant, à condition de les utiliser correctement (bien structurer les taches qu'on leur demande, avoir les bons prompts, relire et vérifier le code écrit, etc...) et dans les bons cas.

@Anthodev: Que y ait un retour de balancier après que des évangélistes à la Ron ou des marketeux nous aient vendus ça comme la solution miracle à base de vibe coding and co, ça ne fait pas de doute. Est ce que ça implique de jeter le bébé avec l'eau du bain pour autant ? Je pense que c'est allez trop loin dans le retour

[Anthodev]

Citation :

Publié par SekYo

@Anthodev: Que y ait un retour de balancier après que des évangélistes à la Ron ou des marketeux nous aient vendus ça comme la solution miracle à base de vibe coding and co, ça ne fait pas de doute. Est ce que ça implique de jeter le bébé avec l'eau du bain pour autant ? Je pense que c'est allez trop loin dans le retour

Je jette pas le bébé avec l'eau du bain, je dis seulement que les avancées au niveau des LLMs s'est pas mal ralenti cette année et qu'un palier semble être atteint pour le moment. J'ai indiqué également que je l'utilisais également mais dans des cadres définis, en disant juste que leur efficacité est loin d'être ce qui est indiqué dans les media ou par certains des AI-évangélistes disant que ça peut remplacer des juniors ou un peu plus.

Bref il y a des cadres d'utilisation où ça aide, mais on est toujours très loin à ce que ça remplace des devs et les évolutions de cette année laisse penser que pour le moment on est plus proche d'un plateau au niveau de l'efficacité que d'un breakthrough pour les modèles "grand public" (et d'ailleurs étonnamment on ne voit toujours pas l'émergence de modèles optimisés sur des secteurs spécifiques (genre RH, médical, légal, etc...), même en B2B, ou alors ça ne perce pas).

[Cpasmoi]

Citation :

Publié par skywise

Perso je sais pas mais, en général, les courbes de progressions sont plutôt logarithmiques ou exponentielles?

Pourrait il exister un genre de Loi de Moore pour l'IA d'ici là?

C'est l'inverse en fait, parce que l'IA s’entraîne sur son propre slope et il n'y a aucune façon fiable de savoir si du code est généré par IA ou non.

J'ai demandé à Claude trois fois sur mon propre code de m'évaluer s'il avait été généré par IA, une fois il a répondu non, deux fois il a répondu oui. Les raisons pour lesquelles il a dit oui étaient en gros:

- Il y a un disclaimer comme quoi la doc a été générée par IA. J'avais mis dans mon prompt qu'il fallait ignorer la doc car générée par lui même (explicitement)
- Certaines structures de design sont souvent employées par les IA. Il s'agissait en fait de structures classiques qu'on trouve dès 2008 sur stack overflow, et que je n'ai en plus jamais vu une IA utiliser


Mon code était 0% généré par IA.

[Ron Jeu Vidéo]

Citation :

Publié par Anthodev

d'ailleurs étonnamment on ne voit toujours pas l'émergence de modèles optimisés sur des secteurs spécifiques (genre RH, médical, légal, etc...), même en B2B, ou alors ça ne perce pas).

Je travaille pour un type qui m'a confié une mission d'accompagnement sur un sujet annexe.

Il bosse dans l'IA, précisément sur le program synsthesis system, (générateur de code automatique basé sur du pattern matching) c'est passionnant même si je n'y pige rien, et prometteur semble-t-il.
Son truc c'est de performer sur des benchmark avec des modèles de quelques dizaines de ko sans puissance de calcul, ce ne sont pas des LLM.

Il m'expliquait que ce qui se passe actuellement, c'est que lorsque que tu as une avancée, elle est quasiment immédiatement intégrée par les gros du secteur. Or le "business" dans pour certains avant c'était de trouver un truc et ensuite passer éventuellement à une étape commerciale. Cette façon de faire est fortement chamboulée ces dernières années. Y a jamais eu autant de recherches, et paradoxalement aussi peu de débouchées commerciales pour les "petits". Alors attention, sous réserve que j'ai bien tout pigé, je n'ai aucune expertise concrète dans le domaine.

J'en déduis que si ça ne perce pas, c'est parce que derrière (et ce serait mon cas en tant qu'entrepreneur) monter un projet pour appliquer une avancée dans un des domaines que tu cites, c'est casse gueule au possible.

Y a au préalable tellement d'investissement avant niveau recherche, puis ensuite niveau sécurité etc avant même de commercialiser, que les gros feront aussi bien ou mieux pour moins cher très rapidement dans la foulée.
Donc personne ou presque ne tente le coup. Et aucun pour l'instant n'a eu un succès retentissant.

[debione]

Citation :

Publié par Anthodev

...
(et d'ailleurs étonnamment on ne voit toujours pas l'émergence de modèles optimisés sur des secteurs spécifiques (genre RH, médical, légal, etc...), même en B2B, ou alors ça ne perce pas).

Euh, si, genre Meditron pour le médical qui nous vient de l'EPFL, giotto (aussi des anciens de l'EPFL), etc etc...
Ne pas confondre absence d'émergence et absence de publicité à l'américaine...

[Dr. Troy]

Citation :

Publié par SekYo

Mais pour le coup, même en dev, y a pas besoin d'une AGI pour que ce soit utile. Pour reprendre ton parallèle, dans les usages quotidiens, la plupart des gens n'ont pas besoin d'un mathématicien, une calculatrice suffit. Et même dans des besoins un peu plus avancés, plus personne n'utilise de règle à calcul (voir même sait les utiliser) quand t'as besoin de calculer un cosinus ou une arctan.

Ah mais je n'ai jamais dit le contraire, je ne jette pas non plus le bébé avec l'eau du bain.

C'est RonJ qui fait son Macron, ce n'est pas parce qu'on ramène le débat dans le réel et qu'on se questionne sur les sujets connexes qu'on veut un retour à la bougie.

D'ailleurs la plupart des joliens "dans le déni" utilisent sûrement l'IA plus concrètement sans tomber dans le fantasme.

[Ron Jeu Vidéo]

Citation :

Publié par Dr. Troy

C'est RonJ qui fait son Macron, ce n'est pas parce qu'on ramène le débat dans le réel et qu'on se questionne sur les sujets connexes qu'on veut un retour à la bougie.

L'inversion totale.
Je t'ai juste contredit quand tu disais qu'il n'y a peu d'avancée.

[Cpasmoi]

S'il y a bien un secteur pour lequel l'IA peut représenter une avancée majeure c'est le médical.

Par contre c'est compliqué avec la gestion des données. Chez nous on ne s'en sert pas encore ou peu, et c'est vraiment dommage. Une IA entraînée pour spécifiquement peut détecter une crise cardiaque 15 min avant qu'elle ne se déclenche, ce qui peut éviter des séquelles majeures !

Même chose pour la recherche des cancers, l'analyse de résultats ....

Pour le coup c'est un véritable progrès qu'on n'exploite pas encore assez.

Tout ce qui est sciences et recherches des modèles d'IA spécifiquement entraînés c'est absolument incroyable ce que l'on peut faire avec.

[TabouJr]

Citation :

Publié par SekYo

Et pour se connecter à une API REST [...], les Coding Assistant s'en sortent plutôt bien.

Dans ce cas précis, il y avait les générateurs de code sur l'analyse de Swagger/OpenAPI avant qui, eux, ne sont pas facturés au token.

Et dans de nombreux cas d'utilisation en dev, tu trouveras des outils équivalents qui existaient avant.

Ca peut expliquer en partie pourquoi les sondages de SO montrent une baisse de l'utilisation. Quand tu as des outils gratuits ou à coût unique avec un apprentissage succinct qui font aussi bien et plus fiable qu'une solution qui est facturée à l'usage avec une courbe d'apprentissage qui ferait passer un S pour une verticale, tu vas très certainement essayer la seconde pour la culture et l'effet de mode, mais l'adoption est loin d'être systématique.

Les devs avaient déjà des outils pour les tâches simples où les LLMs s'en sortent bien, et ces outils coûtent moins chers à l'usage. À mon avis, il n'y a pas à chercher plus loin pourquoi l'usage en dev décroît. En plus, je doute que l'adaptation des législations à ce sujet n'inverse la tendance, je pense qu'elle vont plutôt l'accentuer.

Dans des domaines d'application où il n'existait pas au préalable d'outil, on n'observe pas la même désaffection ou pas au même niveau, et dans certains de ces domaines, les problèmes de fiabilité ont converti la promesse d'un outil autonome en outil d'assistance dans les faits.

On est très loin du raz de marée qui paraissait pourtant crédible il y a encore deux ans à la sortie de GPT 4 qu'OpenAI eux-mêmes ont qualifié à l'époque de dernier jalon dans l'amélioration des modèles multi-modaux de deep learning ("the latest milestone in its effort in scaling up deep learning" dans le texte). Mais y'a encore des gens pour nous servir la soupe comme quoi il y a des possibilités d'amélioration spectaculaire alors que les experts du domaine ont déjà annoncé que c'était fini. Du coup, qui croire des néophytes sensibles aux effets de mode ou des experts du domaine ? Le choix est vite fait.

Citation :

Publié par Cpasmoi

S'il y a bien un secteur pour lequel l'IA peut représenter une avancée majeure c'est le médical.

En pharma, on s'en sert déjà beaucoup. Il n'y a rien d'équivalent pour identifier des pattern dans les données de vigilance.

[Dr. Troy]

Citation :

Publié par Ron Jeu Vidéo

GPT2 savait à peine balbutier.
C'était il y a 6 ans à un jour près.
Aujourd'hui nous avons des IA qui codent. [ ... ]


Où croyez vous que nous en serons dans 6 ans ?

Citation :

Publié par Ron Jeu Vidéo

Mais bon l'AGI arrive, ça finira par mettre tout le monde d'accord.

Citation :

Publié par Ron Jeu Vidéo

L'inversion totale.
Je t'ai juste contredit quand tu disais qu'il n'y a peu d'avancée.

Mais oui, si pour toi les avancées vers l'AGI ce sont des modèles qu'on entraîne pour des concours, je comprends mieux.

[Ron Jeu Vidéo]

Citation :

Publié par Dr. Troy

Mais oui, si pour toi les avancées vers l'AGI ce sont des modèles qu'on entraîne pour des concours, je comprends mieux.

Moi je pense que l'AGI arrivera bientôt. Oui.

Mais je t'ai repris là dessus :

Citation :

Ce n'est ni exponentiel, ni même linéaire comme évolution, y'a qu'à voir le peu d'avancées sur ces derniers mois, à moins d'une nouvelle rupture technologique, ça ne va être que des itérations, on est très loin du fantasme de l'AGI

Et rien d'autre.

Les mathématiques donnent tort à cette assertion. Même si c'est tempéré par beaucoup ici.

C'est au contraire une avancée majeure, car les mathématiques sont un domaine où l'IA a beaucoup de difficultés.

[Cpasmoi]

Pour ceux que ça intéressent, voici un exemple live d'utilisation de chatGPT pour un Senior Dev:

Citation :

Replace Newtonsoft Json calls by microsoft json:

<code>