[znog]

Citation :

Publié par Jet

L'alliance entre Mistral et Microsoft met fin à l'illusion de l'indépendance technologique européenne (latribune.fr)

Pour en revenir à l'article de La Tribune

Citation :

En attendant, la Commission européenne, sous sa casquette d'autorité de la concurrence, a indiqué qu'elle allait examiner l'investissement du géant américain dans Mistral. L'entreprise de Satya Nadella se retrouve désormais au capital de deux (Mistral et OpenAI) des cinq entreprises (avec Google, Meta et Anthropic) les plus avancées dans la création de très grands modèles de langages. Cet examen pourrait déboucher sur une enquête pour pratiques anti-concurrentielles. Par ailleurs, Microsoft est depuis janvier sous le coup d'une procédure similaire pour son investissement de plus de 13 milliards de dollars dans OpenAI, qui lui a permis de s'octroyer 49% des parts de l'entreprise phare de l'IA générative.

[kéwa]

Citation :

Publié par znog

Mistral AI lance Le Chat, une alternative à ChatGPT

Je n'ai pas lu les conditions d'utilisation pour ses concurrents, mais celles de Mistral AI sont plutôt claires. Sauf à payer et faire un opt-out (donc oui par défaut), les données seront utilisées pour enrichir leur data, et entraîner leurs futur modèles.

Citation :

Mistral AI as Data Controller. The Customer authorizes Mistral AI to process the Prompts and the Outputs as Data Controller for the purpose of (a) monitoring abuse (b) for research purposes, and (c) to train the Models, only if the Customer subscribed to the Chat Services and did not opt-out of the Mistral AI Training Data, as provided for by Mistral AI’s Privacy Policy available on the Platform. If the Customer opted-out of the Mistral AI Training Data, the Customer Mistral AI will not use the Prompts and Outputs to train its Models. The Customer’s opt-out may only be effective for future Prompts and Outputs, as technical limitations inherent to the Chat Services may prevent Mistral AI from deleting all previously provided Prompts and Outputs from Mistral AI Training Data, even if the Customer has opted out. Mistral AI will inform the Data Subjects of such processing activities in its Privacy Policy.

Leur modération/censure semble sur le papier un peu plus souple que les autres, mais sans non plus être open bar. A voir sur la durée comment ça sera géré.
Pour le moment les quelques tests que j'ai vu donnaient des réponses comme pour le début de chatGPT. Il dit que c'est illégale ou autre, mais répond malgré tout si on le pousse un peu.

En tout cas, si on me propose un modèle proche de GPT4 gratuit contre des données d'entrainement, ça pourrait bien remplacer chatGPT dans l'usage que j'en fais. C'est à dire un assistant informatique/dev pour dégrossir le travail.

Message supprimé par son auteur.

[Moule²]

Citation :

Publié par znog

Pour tester, je lui ai demandé "Quelle est l'équation qui lie la puissance d'un courant et sa fréquence"

Et cette réponse là ?

Citation :

La puissance d'un courant électrique n'est pas directement liée à sa fréquence par une équation unique, car ces deux grandeurs décrivent des aspects différents de l'électricité. La puissance (P) est le taux auquel l'énergie est transférée ou convertie par unité de temps, tandis que la fréquence (f) est le nombre de cycles par seconde d'un signal périodique, comme un courant alternatif (AC), et est mesurée en hertz (Hz).

Cependant, pour un circuit électrique en courant alternatif, la puissance peut être calculée en utilisant la tension efficace (Vrms), le courant efficace (Irms), et le facteur de puissance (PF), qui est lié au déphasage entre la tension et le courant. L'équation de la puissance en courant alternatif est la suivante :

\[ P = V_{rms} \times I_{rms} \times PF \]

Le facteur de puissance est un nombre sans dimension compris entre 0 et 1 et dépend de la nature des charges dans le circuit (résistive, inductive ou capacitive). Pour un circuit purement résistif, le facteur de puissance est 1, car la tension et le courant sont en phase.

La fréquence du courant alternatif peut affecter la réactance inductive et capacitive dans le circuit, ce qui peut à son tour affecter le facteur de puissance et donc la puissance réactive consommée par le circuit. Mais il n'y a pas d'équation directe reliant la puissance et la fréquence sans prendre en compte d'autres facteurs du circuit.

Pour les circuits en courant continu (DC), la fréquence n'est pas applicable car le courant ne varie pas avec le temps, et la puissance est simplement le produit de la tension (V) par le courant (I) :

\[ P = V \times I \]

Dommage les "\times" au lieu de "*", visuellement pas fou du coup

[znog]

Citation :

Publié par Moule²

Et cette réponse là ?



Dommage les "\times" au lieu de "*", visuellement pas fou du coup

moi j'ai eu un joli

Pmoy = Ueff * Ieff * cos(φ)

(dans mon quote)


mais il ne faut pas se leurrer c'est un modèle de langage, pas un modèle adapté aux équations de la physique

...donc sur le fond, un LLM n'a aucune fiabilité assurée sur des équations. Il ne les interprète que comme n'importe quel texte.

[Aloïsius]

Il y a des modèles "mixtes" en développement de mémoire, capable de tenir compte de règles mathématiques ou physiques. Pour l'instant, ça reste des outils spécialisés destinés aux chercheurs, mais ça viendra certainement dans le grand public un jour ou l'autre.

[kermo]

Citation :

Publié par Moule²

Dommage les "\times" au lieu de "*", visuellement pas fou du coup

"\times" est la façon classique d'écrire une multiplication en Latex. J'imagine que c'est là qu'il est allé pompé ses connaissances en physique.

Hors de Latex on devrait utiliser un simple "x" dans du texte brut. L'astérisque "*" vient surtout de l'usage en programmation.

Concernant Mistral et Microsoft, intéressant ce rebondissement. Perso je me demande toujours quelle est la rentabilité de tous ces efforts en IA générative.

[SekYo]

Je pense que c'est très rentable pour nVidia pour l'instant

[Hellraise]

Citation :

Publié par kermo

Hors de Latex on devrait utiliser un simple "x" dans du texte brut. L'astérisque "*" vient surtout de l'usage en programmation.

X est plus lisible, mais apporte confusion s'il existe une variable x.
Du coup je trouve * plus adapté même si moins lisible.

[Anthodev]

Nouveau biais découvert dans les différents LLM, elles sont indirectement "racistes". Une nouvelle étude montre qu'en fonction du type de langage utilisé, les réponses changent de teinte. Par exemple en utilisant le "dialecte" Afro-américain, les LLM ont tendances à proposer des peines de justices plus lourdes quand on demande quelles sanctions devraient prises pour un crime par rapport à un prompt en "Anglais américain standard" :

Citation :

Source : https://garymarcus.substack.com/p/covert-racism-in-llms
Source du thread Twitter : https://twitter.com/vjhofmann/status...87418626576445

Il y a encore du boulot pour régler les biais au sein des modèles

[znog]

Citation :

Publié par Anthodev

Il y a encore du boulot pour régler les biais au sein des modèles

Les biais ne sont pas dans les modèles mais dans les données d'apprentissage, autrement dit dans la société qui les produit.

De même que les LLM chinois chanteront la gloire de Xi Jinping s'ils sont alimentés avec cela ... Par contre s'ils leur font apprendre les philosophes libéraux ça ne va pas être politiquement correct pour le parti

[Aloïsius]

Avec l'arrivée des IA, certains se sont dit que maîtriser l'art du prompt serait une compétence lucrative.
Plus pour longtemps : les IA sont meilleures que les humains pour façonner les bons prompts.
https://spectrum.ieee.org/prompt-engineering-is-dead


Bienvenus dans un futur ou des IA programmeront des IA afin qu'elles génèrent des contenus vidéos qui seront observés par d'autres IA sous la supervision d'IA qui alloueront les budgets publicitaires en fonction de ces dernières métriques.

[Timinou]

Il y a peu je suis tombé sur un extrait de vidéo qui montrait un gamin utilisant ChatGPT pour lui rédiger un discours, j'ai réalisé qu'en fait cette technologie risquait d'avoir un impact très important sur les jeunes générations. J'ai peur qu'elles perdent la capacité à structurer un texte mais aussi traduire une pensée à l'écrit.

[Attel Malagate]

Citation :

Publié par Timinou

Il y a peu je suis tombé sur un extrait de vidéo qui montrait un gamin utilisant ChatGPT pour lui rédiger un discours, j'ai réalisé qu'en fait cette technologie risquait d'avoir un impact très important sur les jeunes générations. J'ai peur qu'elles perdent la capacité à structurer un texte mais aussi traduire une pensée à l'écrit.

Ils l'ont déjà perdu

[Axxou]

Je vois dans les cours que je donnes à des enfants, qu'ils commencent de plus en plus à chercher la solution sur GPT avant même de réfléchir par eux même à la solution.
(Cours de scratch pour 12-15 ans).
Et pourtant, c'est dans un contexte où ils construisent leur propre univers sur ce logiciel. Maintenant j'ai imposé qu'ils ne l'utilisent qu'après m'avoir montré leur raisonnement, mais c'est pas évident de gérer cela.

[znog]

Citation :

Publié par Aloïsius

Avec l'arrivée des IA, certains se sont dit que maîtriser l'art du prompt serait une compétence lucrative.
Plus pour longtemps : les IA sont meilleures que les humains pour façonner les bons prompts.
https://spectrum.ieee.org/prompt-engineering-is-dead.

L'idée est de demander au modèle de fabriquer son propre prompt

Citation :

There is an alternative to the trial-and-error-style prompt engineering that yielded such inconsistent results: Ask the language model to devise its own optimal prompt. Recently, new tools have been developed to automate this process. Given a few examples and a quantitative success metric, these tools will iteratively find the optimal phrase to feed into the LLM.

(...)

in almost every case, this automatically generated prompt did better than the best prompt found through trial-and-error. And, the process was much faster

Cela me laisse perplexe

Citation :

The optimal prompts the algorithm spit out were so bizarre, no human is likely to have ever come up with them. “I literally could not believe some of the stuff that it generated,” Battle says. In one instance, the prompt was just an extended Star Trek reference:

“Command, we need you to plot a course through this turbulence and locate the source of the anomaly. Use all available data and your expertise to guide us through this challenging situation.”

À noter que l'ingénierie de prompt est en réalité loin de disparaître, elle est plutôt en train de s'élargir en LLMOps

Citation :

“I think there are going to be prompt engineers for quite some time, and data scientists,”

“It’s not just asking questions of the LLM and making sure that the answer looks good. But there’s a raft of things that prompt engineers really need to be able to do.”

(...)

many other considerations come into play when you’re making a commercial-grade product.

Challenges of making a commercial product include ensuring reliability—for example, failing gracefully when the model goes offline; adapting the model’s output to the appropriate format, since many use cases require outputs other than text; testing to make sure the AI assistant won’t do something harmful in even a small number of cases; and ensuring safety, privacy, and compliance.

Testing and compliance are particularly difficult, Henley says, as traditional software-development testing strategies are maladapted for nondeterministic LLMs.


To fulfill these myriad tasks, many large companies are heralding a new job title: Large Language Model Operations, or LLMOps, which includes prompt engineering in its life cycle but also entails all the other tasks needed to deploy the product.

Ce qui m'échappe un peu dans toute cette affaire c'est qu'il faut toujours un humain au bout pour juger de la qualité du résultat donc je ne vois pas comment on peut avoir un apprentissage sans une intervention humaine.

En gros on a toujours le problème de faire de l'ingénierie de prompt pour l'ingénierie de prompt ?

[Anthodev]

Citation :

Publié par znog

Les biais ne sont pas dans les modèles mais dans les données d'apprentissage, autrement dit dans la société qui les produit.

Elles sont dans les deux du coup, parce que justement si les boites ne corrigent pas les biais dans leur jeux de données (en mieux choisissant les sources), ça va évidemment se répercuter dans leur modèle et s'ils ne corrigent pas les biais dans le modèle (à défaut de mieux sélectionner les jeux de données), les biais vont se retrouver dans les réponses du modèle.

D'ailleurs à ce sujet, 90% des sites de news majeurs bloquent désormais les web crawlers des sociétés d'IA (pour le scrapping des données, en passant par un robots.txt qui généralement suivi même par les sociétés d'IA), cependant les sites d'extrême-droite eux laissent la porte grande ouverte (à dessein), ce qui fait que si les boites d'IA continuent de scrapper le web sans vérifier un peu ce qu'ils prennent, les biais vont se renforcer :

Citation :

As media companies haggle licensing deals with artificial intelligence powerhouses like OpenAI that are hungry for training data, they’re also throwing up a digital blockade. New data shows that over 88 percent of top-ranked news outlets in the US now block web crawlers used by artificial intelligence companies to collect training data for chatbots and other AI projects. One sector of the news business is a glaring outlier, though: Right-wing media lags far behind their liberal counterparts when it comes to bot-blocking.

Data collected in mid-January on 44 top news sites by Ontario-based AI detection startup Originality AI shows that almost all of them block AI web crawlers, including newspapers like The New York Times, The Washington Post, and The Guardian, general-interest magazines like The Atlantic, and special-interest sites like Bleacher Report. OpenAI’s GPTBot is the most widely-blocked crawler. But none of the top right-wing news outlets surveyed, including Fox News, the Daily Caller, and Breitbart, block any of the most prominent AI web scrapers, which also include Google’s AI data collection bot. Pundit Bari Weiss’ new website The Free Press also does not block AI scraping bots. [...]

Conservative leaders in the US (and also Elon Musk) have expressed concern that ChatGPT and other leading AI tools exhibit liberal or left-leaning political biases. At a recent hearing on AI, Senator Marsha Blackburn recited an AI-generated poem praising President Biden as evidence, claiming that generating a similar ode to Trump was impossible with ChatGPT. Right-leaning outlets might see their ideological foes’ decisions to block AI web crawlers as a unique opportunity to redress the balance.

David Rozado, a data scientist based in New Zealand who developed an AI model called RightWingGPT to explore bias he perceived in ChatGPT, says that’s a plausible-sounding strategy. “From a technical point of view, yes, a media company allowing its content to be included in AI training data should have some impact on the model parameters,” he says.

However, Jeremy Baum, an AI ethics researcher at UCLA, says he’s skeptical that right-wing sites declining to block AI scraping would have a measurable effect on the outputs of finished AI systems such as chatbots. That’s in part because of the sheer volume of older material AI companies have already collected from mainstream news outlets before they started blocking AI crawlers, and also because AI companies tend to hire liberal-leaning employees. [...]

OpenAI spokesperson Kayla Wood says that in pursuit of AI models that “deeply represent all cultures, industries, ideologies, and languages” the company uses broad collections of training data. “Any one sector—including news—and any single news site is a tiny slice of the overall training data, and does not have a measurable effect on the model’s intended learning and output,” she says.

Source : https://www.wired.com/story/most-new...welcomes-them/

Après comme je l'avais indiqué sur un post plus haut, l'effet peut être plus insidieux que ce qu'ils mesurent (comme la différence des réponses en fonction d'un dialecte utilisé). Il faut qu'ils soient très prudent sur le sujet.

[Jet]

Un article intéressant sur les progrès de l'IA pour coder des applications

Cognition AI est un assistant de codage soutenu par Peter Thiel - Bloomberg

L'auteur a pu utiliser Devin de la société Cognition AI composée essentiellement de médaillés d'or du codage sportif, et créer des applications web de zéro en quelques minutes simplement en langage naturel, comme le jeu Pong par exemple.

Devin possède aussi la qualité de rester "concentrer" sur ses tâches, là où de nombreux autres chatbot ont tendance à se "disperser" (ce que j'ai pu constater moi-même avec chatGPT)

Un autre concurrent sérieux également est évoqué, Magic AI, mais eux ne sont pas encore capable de montrer quelque chose, ce qui impressionne avec Cognition AI est la vitesse à laquelle ils ont développé leur produit, le fait d'avoir des champions du codage doit aider aussi.


De gauche à droite : les fondateurs Hao, Wu et Yan

[Jyharl]

Citation :

Publié par Timinou

J'ai peur qu'elles perdent la capacité à structurer un texte mais aussi traduire une pensée à l'écrit.

Je dirai que ça dépend pour quoi ce sera utilisé.

Perso je m'en sers au taf comme je bosserai avec un stagiaire.

Je dois d'abord expliquer le contexte puis expliquer très précisément ce que je veux (donc traduire une pensée en texte).

Pas plus tard qu'hier je m'en suis servi pour créer une case study pour des candidats sur un job pour lequel je recrute. Ça impliquait de générer un fichier xls rempli de données suivant une certaine logique. Mais pour obtenir un résultat cohérent, il fallait bien que mon prompt soit super clair et détaillé sur ce que je voulais.

D'ailleurs, j'avais pas réalisé avant hier que Chat GPT 4 pouvait générer de la data et l'exporter en xls. Trop bien.

[Hellraise]

Est ce que tu as essayé copilot? Ma boîte a donné le feu vert pour qu'on puisse l'utiliser, mais mes quelques essais sont pathétiques : affirmations fausse, blabla tes généraliste, caveat, etc...

[Pitit Flo -TMP]

Citation :

Publié par Jet

Devin possède aussi la qualité de rester "concentrer" sur ses tâches, là où de nombreux autres chatbot ont tendance à se "disperser" (ce que j'ai pu constater moi-même avec chatGPT)

Tu entends quoi par rester concentré et se disperser ?

[Ron Jetevois]

Citation :

Publié par Pitit Flo -TMP

Tu entends quoi par rester concentré et se disperser ?

Plus ta discussion est longue, plus l'IA va avoir tendance à avoir ce qu'on appelle des hallucinations.

Les hallucinations c'est ceci :

Citation :

Dans le domaine de l'intelligence artificielle, une hallucination est une réponse fausse ou trompeuse qui est présentée comme un fait certain

https://fr.m.wikipedia.org/wiki/Hall...e_artificielle)

[Hellraise]

Citation :

Publié par Ron Jetevois

Plus ta discussion est longue, plus l'IA va avoir tendance à avoir ce qu'on appelle des hallucinations.

Parfois elle hallucine directement. Et il faut des efforts pour lui faire admettre l'erreur (oui je sais, elle ne raisonne pas et donc n'admet rien, just predit le mot suivant)

[Ron Jetevois]

Citation :

Publié par Hellraise

Parfois elle hallucine directement. Et il faut des efforts pour lui faire admettre l'erreur (oui je sais, elle ne raisonne pas et donc n'admet rien, just predit le mot suivant)

J'ai découvert il y a quelques semaines qu'il faut littéralement l'engueuler et lui parler sèchement pour lui faire corriger ses erreurs.

En mode "non mais tu te fous de ma gueule ? Tu n'as rien vérifié avant de répondre. Tu me corriges ça, c'est un ordre."

[Hellraise]

Lol.
Et si elle a raison et que tout l'engueules, elle change d'avis?