Nouvelles

Apr 24, 2024

L’IA « s’aggrave » ¦ L’IA « perdra des emplois en Inde » (ce n’est probablement pas le cas ¦ Ne le fera probablement pas)

Par : Richi Jennings le 20 juillet 2023 Bienvenue dans The Long View, où nous parcourons l'actualité de la semaine et la réduisons à l'essentiel. Voyons ce qui compte vraiment. Cette semaine, une énigme : sur le

Par : Richi Jennings le 20 juillet 2023

Bienvenue dans The Long View, où nous parcourons l'actualité de la semaine et la réduisons à l'essentiel. Travaillonsce qui compte vraiment.

Cette semaine, une énigme : d’une part, les chercheurs disent que ChatGPT est en train de perdre l’intrigue ; et de l’autre, nous entendons dire que les emplois de codage externalisés en Inde seront remplacés par l’IA.

Premier point cette semaine : les chercheurs affirment que le LLM d'OpenAI donne des résultats bien moins bons qu'il y a quelques mois. Il produit notammentcode plus buggé.

Les examinateurs de la recherche soulignent des problèmes méthodologiques liés à l’étude. Mais le plus gros problème pourrait être queL’IA « ouverte » est tout sauf.

Benj Edwards :Une étude affirme que ChatGPT perd de sa capacité

« Laissé trébucher dans le noir » Des chercheurs de l'Université de Stanford et de l'Université de Californie à Berkeley ont [téléchargé une préimpression] article prétendant montrer des changements dans les résultats de GPT-4. … À l’aide de l’accès API, ils ont testé les versions de mars et juin 2023 de ces modèles sur des tâches telles que… la génération de code.…[Cela] alimente une croyance courante, mais non prouvée, selon laquelle le modèle de langage de l’IA s’est détérioré dans les tâches de codage et de composition au fil du temps. ces derniers mois. … Les théories populaires expliquant pourquoi incluent des modèles de « distillation » OpenAI pour réduire leur surcharge de calcul, … une formation pour réduire les résultats nuisibles, [et] des théories du complot telles qu'OpenAI réduisant les capacités de codage de GPT-4 afin que davantage de personnes paient pour GitHub Copilot.… Pendant ce temps, OpenAI a toujours nié toute affirmation selon laquelle GPT-4 aurait diminué ses capacités. [Mais] avec un modèle de boîte noire fermée comme GPT-4, les chercheurs trébuchent dans le noir en essayant de définir les propriétés d'un système qui peut avoir des composants inconnus supplémentaires, tels que des filtres de sécurité, ou les huit « mélanges » récemment évoqués. modèles d’experts travaillant de concert.

Katyanna Quach :Les LLM deviennent de plus en plus bêtes

"Se méfier" L'équipe… a examiné les capacités de codage des deux modèles… sur une liste de 50 défis de programmation faciles tirés de l'ensemble LeetCode. Une réponse contenant du code sans bug qui donne la bonne réponse est considérée comme du code directement exécutable. Le nombre de scripts directement exécutables générés par GPT-4 est passé de 52 % à 10 % au cours de la même période.…[Ils] avertissent les développeurs de tester périodiquement le comportement des modèles au cas où des ajustements et des modifications auraient des effets d'entraînement ailleurs. dans les applications et les services qui en dépendent. … Les entreprises qui s'appuient sur des logiciels comme les technologies d'OpenAI pour alimenter leurs produits et services… devraient se méfier de la façon dont leurs comportements peuvent changer au fil du temps.

C'est définitivement de pire en pire en matière de codage, pense r3trohack3r :

Pendant le programme d'accès anticipé, [j'ai confié] régulièrement des tâches de programmation [à] GPT-4. [Mais] le GPT-4 que j'utilise maintenant ressemble à l'ombre du GPT-4 que j'utilisais [à l'époque]. GPT-4, à l'époque, portait dirbuster vers C multithread conforme POSIX par son nom uniquement. Cela nécessitait trois invites.… La plupart des tâches de programmation que je lui ai confiées pouvaient se frayer un chemin avec un peu de conseils. … Maintenant, cela ne sert à rien pour m'aider dans les tâches de programmation, au-delà des problèmes insignifiants.

Que GPT perde ou non l’intrigue, Simon Willison souligne le plus gros problème :

Honnêtement, le manque de notes de version et de transparence est peut-être le problème le plus important ici. Comment sommes-nous censés créer des logiciels fiables sur une plate-forme qui évolue de manière totalement non documentée et mystérieuse tous les quelques mois ?

Ne croyez pas le battage médiatique sur le « traitement du langage naturel », déclare Matthew Slyman :

OpenAI/ChatGPT n'est qu'un des nombreux systèmes IA NLP. Leurs produits sont bons, mais de meilleurs systèmes existent. Élargir vos horizons! Ces systèmes sont en développement depuis environ 10 ans (contre environ 70 ans de recherche antérieure). Les progrès s’accélèrent… Toutes les quelques générations de technologie, nous verrons de nouvelles capacités émerger dans les systèmes d’IA/ML. Sinon, les progrès seront progressifs. Nous venons d’assister à un changement radical de ce type pour la PNL. Le dernier « changement radical » majeur remonte à 10 ans. [Mais] où sont toutes ces voitures autonomes qu'on nous avait promises ?… Non, ChatGPT ne rendra pas 90 % des emplois obsolètes d'ici 6 à 12 mois ! … La plupart des gens qui vendent des services sur les réseaux sociaux en tant qu'experts en IA/ML et « leaders d'opinion » sont des charlatans.