[Mordreck]

Citation :

Publié par TabouJr

Le problème est bel et bien là. On n'a déjà pas résolu les effets de bords adverses de la révolution précédente (celle des langages haut niveau et des frameworks qui font le café, en gros), ça veut dire que les IA génératives montent leur modèle sur des données qui ont déjà le problème. Au mieux, elles ne vont faire que le perpétuer, au pire elles l'aggraveront.

À la fin, tout le monde finira sûrement par faire générer du code par des RAG alimentés par des dataset de design pattern approuvés à mon avis, donc les juniors pourront toujours apprendre sur les prototypes d'approbation, mais sans problématiques de production sous charge qui seront à terme très certainement gérés intégralement par des Agentic AI, j'ai du mal à voir à quel moment dans leur carrière ils vont croiser une opportunité d'apprentissage pour compenser les défauts déjà induits par les langages haut niveau et les frameworks qui amidonnent les cols de chemise.

Perso, ça me tue quand un dev n'est pas capable de savoir si l'exécution est sur le serveur ou sur le client et qu'il me parle d'un "problème réseau" (sic) parce qu'une fois livrée, le client n'a plus accès qu'à la DMZ alors que son implémentation appelle direct le backend, et pourtant ils ont écrit le code eux-mêmes. Ajoute là-dessus une IA sur modèle même enrichi, il ne saura toujours pas qui fait quoi dans sa propre application.

J'ai exactement le meme probleme avec mes equipes, et pourtant ce ne sont pas des bots.
On a un nouveau projet. On a 20 devs dessus. 0 dette technique, 0 historique, donc opportunite totale de faire les choses correctement des le debut.
La majorite des devs ont bosser sur des services historique avec 10-15ans de dette technique, des patterns completement depasse etc...
Resultat? Je m'apercois que certains d'entre eux (pas forcement les juniors d'aillleurs) copie/colle le code des services historique pour le nouveau produit. Du coup, ils importent avec la dette technique, certains bugs critiques qui sont pourtant connu etc... On a enormement de documentation, de formation, d'exemple recent sur les bonnes recettes a appliquer etc... donc pas ou peu d'excuse sur le "on savait pas". Le choix de dev un nouveau service ayant en parti ete fait justement pour ne pas avoir a subir cette dette technique.
J'en trouve certains via la revue de code, mais c'est exactement le meme principe qu'avec une IA entraine sur le mauvais jeu de donnees, ils reproduise ce qu'ils connaissent.
Je peux meme pas leur en vouloir, c'est un probleme de management car ils ont ete sensibilise a livre le plus vite posslble et donc ils font au plus "simple" pour eux.

[Cpasmoi]

C'est très classique dans toutes les équipes et entreprises que j'ai vues.

Il y a deux raisons principales:

- On fait comme ça parce qu'on n'a jamais fait autrement
- L'impression (rarement fausse) que le management veut voir le produit très vite et donc pas le choix que de récupérer du code existant

C'est vraiment au manager de mettre le pied à terre, refuser CHAQUE PR qui contient du vieux code, shielder ses équipes contre le haut management qui va demander pourquoi ça n'avance pas aussi vite qu'ils le voudraient alors qu'on a déjà fait le produit une fois, et driver la barre technique.

Il y a énormément d'écrits sur les initiatives d'éliminer la dette technique en partant des projets on the side: ça échoue dans 99% des cas.
Une meilleure approche est d'y aller un morceau à la fois (si possible, même en changeant de langages ça se fait via des interfaces abstraites et du binding), on ne peut pas réutiliser de l'ancien code quand la consigne est de le refaire.

Si j'étais manager mon objectif no 1 serait d'être sur chaque revue, ça ferait perdre du temps à tout le monde mais au moins je serais sur que la direction prise est bonne

[Anthodev]

Citation :

Publié par Mordreck

J'ai exactement le meme probleme avec mes equipes, et pourtant ce ne sont pas des bots.
On a un nouveau projet. On a 20 devs dessus. 0 dette technique, 0 historique, donc opportunite totale de faire les choses correctement des le debut.
La majorite des devs ont bosser sur des services historique avec 10-15ans de dette technique, des patterns completement depasse etc...
Resultat? Je m'apercois que certains d'entre eux (pas forcement les juniors d'aillleurs) copie/colle le code des services historique pour le nouveau produit. Du coup, ils importent avec la dette technique, certains bugs critiques qui sont pourtant connu etc... On a enormement de documentation, de formation, d'exemple recent sur les bonnes recettes a appliquer etc... donc pas ou peu d'excuse sur le "on savait pas". Le choix de dev un nouveau service ayant en parti ete fait justement pour ne pas avoir a subir cette dette technique.

J'ai l'impression qu'il manque l'étape de toute la phase préparatoire en mettant à plat les guidelines du projet au niveau de l'architecture du projet, de la qualité de code attendu, de ce qui est attendu en terme de test et de ce qui sera accepté ou non en PR. Histoire de tout mettre sur la table pour éviter les mauvaises surprises.

Sur les deux projets de refonte/re-création de projet sur lesquels j'ai bossé, on a passé presque deux semaines à poser les contours technique du projet avant d'écrire ne serait-ce que la première ligne de code. Préparer la doc préparatoire, s'assurer que tout le monde était sur la même page, s'assurer que la direction était ok sur la vision et les délais qu'on a estimé (tout en continuant à maintenir le legacy sur le côté).

Citation :

Publié par Cpasmoi

C'est vraiment au manager de mettre le pied à terre, refuser CHAQUE PR qui contient du vieux code, shielder ses équipes contre le haut management qui va demander pourquoi ça n'avance pas aussi vite qu'ils le voudraient alors qu'on a déjà fait le produit une fois, et driver la barre technique.

C'est ce que faisais la plupart des managers avec lesquels je bossais, et on le backait auprès de la direction. Après on leur disait la vérité crue : vous voulez qu'on développe la nouvelle archi rapidement et que ça re-pète dans deux ans ou qu'on code les fondations correctement et qu'on soit en capacité à développer les fonctionnalités de manière constante sur le temps long ? Généralement ça calmait la direction.

[Caniveau Royal]

Je sais qu'une image ne fait pas un message, mais on en est quand même plus très loin... !
Maintenant, je ne sais pas qui est ce fournisseur de services, Artisan.

[Airmed / Ildefonse]

Un bon exemple d'hallu, je demande une truc linux spécifique à chatgpt, il me sort :

Citation :

typecctl list

La commande n'existe pas

[Locke / Rezard]

Je prends un peu le train en marche, je ne me suis pas vraiment intéressé à l'IA jusqu'à récemment, je suis développeur depuis une quinzaine d'années.

Bah globalement je trouve ça assez bluffant, c'est très utile pour générer une petite base d'un truc et itérer par-dessus, pour la complétion de trucs évidents et rébarbatifs, pour poser des questions et éviter d'aller sur Google / SO pour chercher des trucs basiques dont on se rappelle plus, et même générer des changelogs selon le contenu des pull requests.

Après, aujourd'hui, je me risquerais pas à lui demander d'implémenter de 0 à 100 une toute nouvelle feature, ça m'a pas l'air assez au point et je pense que je perdrais plus de temps à esssayer de comprendre + défaire + refaire qu'à tout faire moi-même.

En revanche, la vitesse à laquelle ça évolue est flippante ; y a encore peu de temps on pouvait pas poser 3 questions d'affilée sans obtenir une réponse absurde, aujourd'hui ça peut quasiment remplacer un dév junior à qui on file des tâches sans trop d'enjeu.

Alors dans un futur très proche on va peut-être avoir des dévs seniors très productifs s'ils savent tirer parti de l'IA d'aujourd'hui tout en connaissant ses limitations, mais si ça continue à ce rythme-là, dans un futur un peu moins proche on n'aura peut-être carrément plus besoin de nous. J'ai un peu l'impression d'être un senior allumeur de lampe à pétrole juste avant l'arrivée de l'électricité quoi.

[Caniveau Royal]

Entraînement / apprentissage... ou pas
Une IA, à ma connaissance, n'a que de deux manières connues de répondre. Elle le fait :

Soit à partir de choses qu'elle a analysées par le passé (entraînement / apprentissage) - encore appelés algorithmes supervisés : on donne à l'IA des exemples avec des conséquences ou des résultats connus, pour qu'en suite quand elle aura des questions auxquelles elle devra répondre, elle pourra avec le moins de chances possible de se tromper, dire les conséquences ou le résultat qui va -
Vous avez vus ou lus les résultats de l'équipe de Lyon contre l'équipe de Paris, Versailles, Brest, Quimper, Vesoul, Morne-à-l'Eau, Cayenne, Valenciennes et 600 autres villes, alors quand on vous demande :
"Hé ! Si Lyon joue maintenant contre Bar-le-Duc [que vous n'avez pas testé] ça va être quoi, le score ?"
Eh bien, il y a une chance que vous ayez une bonne idée : ce sera sans doute 5 - 1.

Soit en essayant de comprendre seule et de déterminer ce qu'il faut trouver - algorithmes non supervisés -.
C'est un peu compliqué à expliquer, mais dans ce cas, elle essaie de trouver elle-même de quoi est composé ce qu'on lui donne à regarder/analyser, de voir si parmi tout ce qui compose tout ce qu'on lui donne (et ce peut être des choses très différentes, et de l'un il peut y avoir beaucoup et de l'autre peu) il y a des choses que l'on peut regrouper d'une manière qu'on comprend ce qu'elles font, ensemble, même si elles ne sont pas venues toujours du même objet ou du même document.
Certes, c'est un peu ce que font les algorithmes supervisés déjà, mais alors que dans leur cas on est face à des objets ou des documents à analyser de structure connue (même elle est longue et compliquée), là on ne sait absolument rien au départ, et on a même pas idée de ce qu'on va trouver. Au retour d'une requête, on pourra autant parler de fleurs que de chiens, ou de pneus de bicyclette. Si on a du bol... Car il se pourrait même que ce qu'on parle on sache peut-être comment il évolue et se comporte, mais qu'on ne sache pas dire ce que c'est...

(ci-dessus, c'est ma compréhension des IA, ou de la data-science)

Ce que dit un article du Monde, Pourquoi notre utilisation de l'IA est un gouffre énergétique ?

C'est que cet apprentissage, à l'échelle d'OpenAI version 4, a coûté 50 Gigawatts d'électricité, soit l'alimentation de Paris pendant deux jours.
Mais que ça n'y suffit pas parce qu'on veut toujours la rafraîchir de connaissances nouvelles. Une portion de ceci est consommé chaque jour, en supplément. Pour que l'IA ait sa "base de travail".

La requête
Quand l'utilisateur questionne une IA d'une simple requête, il consomme en électricité déjà ce qu'il faudrait pour charger 2% de son téléphone portable. De l'ordre de 0.4 Wh, et peut aisément doubler ou tripler cela si la requête est complexe.
Parce que lorsque la réponse ne peut être donnée seulement par les requêtes supervisées à apprentissage, il faut à l'IA passer par les algorithmes non supervisés qui réclament une réflexion dédiée au problème soumis, dont l'analyse peut être complexe.

Une image générée, c'est 287 Wh. [Soit 17 minutes de radiateur électrique dans une chambre donne en comparaison un lecteur du Monde]

Quelle est l'inquiétude ?
Le blackout. Soit d'IA, soit d'électricité dans le pays. La panne.
Aux Etats-Unis, les IA consomment déjà 3% de l'électricité produite. Et l'on s'attend que ça double au moins, d'ici 2030.
Et un hype peut provoquer une ruée d'internautes à les questionner : un sujet d'intérêt ou une inquiétude brutale.

Ce que je comprends, c'est que si un data-center fournisseur d'IA cède, qu'il tombe en panne parce qu'on lui a trop demandé, ses serveurs grillent,
les requêtes vont aller ailleurs se faire. Et à la manière que ça arrive (même si ça arrivera moins vite) qu'un blackout électrique, tous les fournisseurs capables de fournir cette IA vont tomber, ou refuser de répondre aux requêtes.

Gare à ceux qui en dépendront, alors...

[prootch]

Comme tout industriel aux consos massives, les datacenters peuvent se voir délestés/dépriorisés d'une grille surchargée avant blackout (load shedding). On a probablement plus de chance d'un blackout lors d'une période de grand froid imprévue, sur une instabilité tech de la grille (cf espagne) et sur une insuffisance structurelle de prod dans un pays donné.

(Au passage, l'ia générative ne cherche pas "à comprendre". Ca reste un modèle stat).

[Caniveau Royal]

Citation :

Publié par prootch

l'ia générative ne cherche pas "à comprendre"

Comment elle répond à ta requête, si elle ne comprend pas ta requête ?
Comment sélectionne t-elle des résultats pertinents en rapport avec ce que tu lui demandes, si elle ne peut pas évaluer des choses ?
Et comment les évalue t-elle si elle ne sait pas décider si elle doit porter crédit à quelque-chose ou non, et sur la base de quoi ?
D'une prédiction [typiquement sur des valeurs], d'une classification [sur des types] ?

Si tu demandes de dessiner un vol d'oiseaux dans le ciel, il va bien falloir qu'elle choisisse ce qui appartient aux deux familles, si larges et vagues qu'elles soient.
Ça ne se fait pas par magie.

[ind]

Avec des probabilités du moins pour les modèles en production.

On a déjà eu cette conversation sur ce fil.

[prootch]

Citation :

Publié par Caniveau Royal

Comment elle répond à ta requête, si elle ne comprend pas ta requête ?
Comment sélectionne t-elle des résultats pertinents en rapport avec ce que tu lui demandes, si elle ne peut pas évaluer des choses ?
Et comment les évalue t-elle si elle ne sait pas décider si elle doit porter crédit à quelque-chose ou non, et sur la base de quoi ?
D'une prédiction [typiquement sur des valeurs], d'une classification [sur des types] ?

Si tu demandes de dessiner un vol d'oiseaux dans le ciel, il va bien falloir qu'elle choisisse ce qui appartient aux deux familles, si larges et vagues qu'elles soient.
Ça ne se fait pas par magie.

Les IA génératives sont probabiliste comme te l'explique Ind.

En gros, sur la base d'un corpus d'apprentissage, l'algo détermine quel sont les mots suivants majoritairement probables et documentés dans son corpus. Pose la question à une IA générative, elle te l'expliquera en détail.

[Dr. Troy]

Citation :

Publié par Caniveau Royal

Comment elle répond à ta requête, si elle ne comprend pas ta requête ?

Ça ne se fait pas par magie.

Je trouve ça très inquiétant qu'un public qui devrait être averti (comme toi, un dev) ait une compréhension de l'IA aussi biaisée. J'imagine même pas ce que ça donne auprès d'un public lambda.

Pourtant ce n'est pas la documentation ou la vulgarisation sur le sujet qui manque.

[Caniveau Royal]

Citation :

Publié par prootch

Pose la question à une IA générative.

Jusqu'à ce jour, les IA génératives reposaient principalement sur des réseaux de neurones, qui sont des algorithmes non supervisés, et ce sont des modèles connus de data science ou de machine learning. Améliorés pour devenir des IA génératives sûrement, mais déjà, ce ne sont pas de simples affaires de probabilités, le réseau de neurones étant une formulation souple de if imbriqués... Si on voit les choses de loin.

Et ça, c'est que le point de départ de ce qu'est la partie "IA générative" d'une IA que tu questionnes,
sachant que les autres IA, pas génératives, mais "normales" si on peut dire, sont elles faites d'algos supervisés ou pas, tel que : Régression Linéaire ou Logistique, SVM, KMean, Bayes, arbres de décision... qui sont à utiliser et à associer ensemble avec des buts et des réglages différents, mais que ces IA "normales" sont certainement employées par les moteurs d'IA que tu utilises toi, en génératif, pour être introduits ou participer à la réponse ou au programme que tu fais écrire, dans des algorithmes que les gens d'OpenAI ou d'autres ont écrit ou formulé.

On ne peut pas faire écrire un Tetris avec des prompts ou faire répondre à une question sur la base de seulement des probabilités.
Si le sujet était simple, s'il était de compréhension facile, s'il suffisait d'y mettre de l'argent et des ressources, il n'y aurait pas dix IA dans le monde, mais des milliers proposées. Et tout serait réglé et fiable depuis longtemps.

Si moi je m'étonne, c'est que ces parties-là (côté IA classiques) je les ai déjà observées. Sans les connaître parfaitement, je connais leurs entrées, leurs procédés (en gros), leurs limites. Et c'est pour ça que l'IA générative quoi qu'en m'en raconte, elle peut pas être tombée du ciel et être magique. Il y a des choses derrière les choses, qui ne s'expliquent pas en une phrase ou deux, satisfaites.

[Dr. Troy]

Pourquoi tu parles de compréhension alors ? Ou c'est un abus de langage, mais non une IA "ne comprend pas" de la même façon qu'elle ne mémorise pas.

Ou en partant de ce principe, ma calculatrice comprend l'algèbre.

Citation :

Publié par Caniveau Royal

On ne peut pas faire écrire un Tetris avec des prompts

Tu pouvais arrêter ta phrase la si tu parlais de RonJ


Et justement, il en faut énormément de l'argent pour "juste" améliorer les modèles actuels, parce que sans rupture, on ne fait pas mieux que les modèles actuels qui ont tous plus ou moins les mêmes méthodes (des milliers de modèles, ça a du être dépassés, y'en a pas que dix...), aka de l'entraînement qui en bouffe énormément des ressources.

Tu prend le DLSS de nvidia, c'est un supercalculateur qui a bouffé des vidéos de jeu pendant 6 ans en continue. Ce n'est pas n'importe qui qui aurait pu investir autant.

[prootch]

Franchement informe toi: les IA génératives sont probabilistes, c'est vraiment un non sujet:

P(motn+1∣mot1,…,motn)

Modèles de langage et réseaux de neurone:
https://web.stanford.edu/~jurafsky/slp3/
https://arxiv.org/abs/2005.14165

Conséquence:

Non-déductivité : contrairement à un système logique, une IA générative ne déduit pas ses sorties d’un raisonnement strict, mais échantillonne ce qui est probable.

Elle ne comprends pas.

[Caniveau Royal]

Mais ce que tu me donnes suffit à montrer que les choses ne sont pas aussi simples que tu l'écris.
Et les chapitres 4 à 7 de ton lien parlent des algorithmes que je t'évoques moi, comme fondations.

[ind]

En tout cas l IA pour cracher de la ligne de code c'est ok.

Mais dans ma spécialité autant une semaine elle va te faire gagner un jour de taff, autant la semaine suivante elle t en fait perdre deux.

Et la diff entre claude 3.5 et 4, c'est que l un te propose une connerie plus propre que l autre...

Après, je leurs en veux pas le contexte de ce qu on manipule est bien trop important pour obtenir des probabilités fiable.

C'est bien plus facile de compartimenter quant tu fais du code jusqu'à un certain niveau bien évidemment.
Il y a des architectures logicielles qui sont par définition très complexes.
Trop pour l IA, et cela rend difficile le prompt.

Mais dans ce que je fais c'est de base complexe.

Et sinon, prootch, ça ne sert a rien de discuter.
L IA génère une partie de "foi" grave a son niveau d interaction en langage naturel fort.
Un peu quant tu humanise le comportement d un animal, c'est un biais.
Sans compter de l effet "nouveauté", on a eu le même comportement lors de la découverte de l atome.
Ou tout semblait possible.

[prootch]

Ouais enfin on est sur un forum ou on doit debunk régulièrement des fantasmes, fussent ils technologiques.

Une fois documenté clairement que l'IA générative est probabiliste (cf stanford au dessus), afficher une croyance dans la "compréhension" par l'IA, c'est quasi du registre religieux.

Qu'il y ai des cheminements de traitement algo peu clairs (faute de moyens pour les tracer) dans les LLM, c'est un fait. Que cela relève de la "compréhension" de l'IA elle même, les liens au dessus l'on documenté: pas à ce stade.

Evitons de tout mélanger.

[Caniveau Royal]

Citation :

Publié par prootch

afficher une croyance dans la "compréhension" par l'IA

Quel est l'objet des analyses lexicographiques ?
Des champs lexicaux,
des arbres de syntaxe abstraites, de la sémantique structurelle,
des algorithmes de classification... ?

Pourquoi Facebook et consorts passent-ils tellement de temps à analyser leurs contenus
sinon pour profiler à destination des publicitaires qui ils perçoivent de nous dedans, par exemple ?

Quand tu formules une requête en langage humain, il y a nécessairement une partie qui doit être interprétée parce que les mots ont un sens.
C'est l'ensemble du sens que tu donnes à ton prompt qui fait que tu exécutes le résultat voulu convenablement ou pas pour ton demandeur.
Qui, peut-être, n'a pas été assez précis ou s'est trompé lui-même, d'ailleurs !
Que tu appelles tout cela compréhension du problème ou du contenu, ou bonne interprétation de celui-ci, qu'importe !

Au final, si elle ou il est mauvais, ton publicitaire ou ton internaute ne seront pas contents et demanderont des corrections ou reformuleront leur demande, en se disant que l'IA ne les a pas compris ! Mais le mot compréhension désigne un raccourci de tout cela, je suis d'accord.

Et je suis certainement un des derniers à idolâtrer religieusement les IA, pour quelque motif que ce soit. Je ne leur attribue rien. Au contraire, je vois plutôt des problèmes et des sources d'erreurs que vous n'observez pas.

[Airmed / Ildefonse]

Faudrait transférer sur le fil des religions, parce que là, c'est clairement le sujet

[Touful Khan]

Citation :

Publié par ind

En tout cas l IA pour cracher de la ligne de code c'est ok.

Mais dans ma spécialité autant une semaine elle va te faire gagner un jour de taff, autant la semaine suivante elle t en fait perdre deux.

Cela dépendra fortement du contexte de l'entreprise.
J'en connais pas mal qui seraient ok avec ce fonctionnement si c'est leur service qui gagne un jour et le service d'en face qui se tape les externalités négatives.

[ind]

Citation :

Publié par Touful Khan

Cela dépendra fortement du contexte de l'entreprise.
J'en connais pas mal qui seraient ok avec ce fonctionnement si c'est leur service qui gagne un jour et le service d'en face qui se tape les externalités négatives.

Je bosse pas dans ce genre de cadre.

On conçoit, on exploite et on assume.

C'est du luxe dans les grandes entreprises.

[Christobale]

Citation :

Publié par ind

En tout cas l IA pour cracher de la ligne de code c'est ok.

Et encore, il faut pas trop en demander.

J'avais tenté d'utiliser ChatGPT pour m'aider à aller plus vite pour faire mes scripts de mod sur CK3.

En fin de compte j'ai perdu plus de temps qu'autre chose, il balançait connerie sur connerie, je les voyais car je connais bien le langage. Il inventait des fonctions qui n'existent pas, et quand je lui précisais, 3 prompts plus tard il les remettait.

J'ai fini par tout faire à la main.

[ind]

Claude 3.5 et 4 sont les plus performants sur ça mais sur de la "niche" y a plus personne.

C'est le problème que j'ai par rapport a certains trucs vu qu on fait notre propre distribution kubernetes dans les faits...
On utilise des sous couches open source de truc propriétaire donc peu documenté.

Y a une règle quant tu trouve peu d informations, de code d intégration( ou logiciel) sur le net.

L IA va te raconter de la merde.

Pareil quant il y a bcp de couche virtu, de distribution.
Tu trouve bcp de code sur le net qui passe totalement a côté donc l IA te les ressorts.

Par contre, pour faire une api ou un site web monolithe, un Tetris.
L IA le fait largement a ta place, tu n'a plus qu a "durcir" le code pour le rendre fiable (test, supervision et sécurité).

Bref tout les trucs que tu confie a un junior pour progresser par étape.

On risque d avoir une phénomène ou des seniors seront appelé a prix d or en pompier.
Avec une pénurie de dev/ops confirmé a moyen terme.
Du moins sur du web, jeux vidéo etc..

Et pour l embarqué, y a peu d impact pour l instant, c'est trop "tendu" pour laisser une IA générer du code.

[Christobale]

Et puis bon pour avoir des seniors, il faut avant tout des juniors