Aperçu GPT-5 : tout ce que nous savons jusqu'à présent sur le nouveau modèle OpenAI

Publié: 2024-03-20

Alors que la plupart d'entre nous continuent d'être impressionnés par ChatGPT et ses capacités en constante évolution, le PDG d'OpenAI, Sam Altman, a récemment semblé moins qu'impressionné par l'offre actuelle de son entreprise.

Plus précisément, il a déclaré que le cerveau de ChatGPT, le grand modèle de langage (LLM) connu sous le nom de GPT-4, était toujours « un peu nul ». Il a décrit le développement de GPT comme sur une « courbe exponentielle » qui offre actuellement une « lueur de quelque chose d'incroyable » mais qui sera bientôt jetée dans l'ombre par les capacités de GPT-5.

Dire que cela a enflammé Internet serait exagéré, mais cela a fait parler beaucoup de gens, et une grande partie de ces discussions tournent autour de ce à quoi s'attendre de GPT-5. Voici tout ce que nous savons jusqu'à présent, y compris toutes les dernières nouvelles de GPT-5 et certaines de nos propres prédictions.

Qu’est-ce que GPT-5 ?

GPT est un jargon IA abrégé pour « Transformateur génératif pré-entraîné ». Il s'agit d'un grand modèle de langage, ou LLM, développé par la centrale d'IA OpenAI qui sert de cadre au chatbot de l'entreprise, ChatGPT, l'un des meilleurs chatbots d'IA du marché.

Une autre façon de voir les choses est qu'un modèle GPT est le cerveau de ChatGPT, ou son moteur si vous préférez. GPT-5 sera la cinquième version complète d'un tel modèle par OpenAI.

Logo Surfshark Vous souhaitez naviguer sur le Web en privé ? Ou donner l'impression que vous êtes dans un autre pays ?
Obtenez un énorme 86 % de réduction sur Surfshark avec cette offre spéciale tech.co. Voir le bouton Offre

La première était une preuve de concept révélée dans un document de recherche en 2018, et la plus récente, GPT-4, a été rendue publique en 2023.

À l'heure actuelle, GPT-5 semble encore loin d'être publié, bien que le développement du nouveau modèle ait été confirmé et que sa formation soit en cours.

Le temps que cela prendra est une question sans réponse, car OpenAI pourrait prendre autant de temps qu'il le souhaite pour affiner ses capacités de base – ou essayer de publier la nouvelle version dès que possible pour rester en pole position dans la course aux armements de l'IA.

Aperçu GPT-5 : dernières nouvelles et à quoi s'attendre

En ce qui concerne la rumeur de sortie de GPT-5, le paysage actuel est principalement dominé par la spéculation, même s'il existe également une poignée de faits concrets que nous connaissons désormais.

Voici ce que nous pensons pouvoir voir de GPT-5, en conclusion avec la date à laquelle il pourrait réellement être publié.

Une fuite GPT-4.5 suggère une fenêtre de sortie pour juin 2024

Comme le démontre la version incrémentielle de GPT-3.5, qui a ouvert la voie à ChatGPT-4 lui-même, OpenAI semble adopter une stratégie de mise à jour incrémentielle qui verra GPT-4.5 publié avant GPT-5.

Cela signifie qu'avant d'arriver à ce que nous pourrions voir dans GPT-5, nous devons faire une pause pour considérer GPT-4.5.

En fait, une fenêtre de publication revendiquée pour GPT-4.5 a peut-être déjà été divulguée par OpenAI, si l’on en croit les détectives de la technologie Internet. Apparemment, le moteur de recherche Bing de Microsoft et DuckDuckGo ont indexé un article de blog OpenAI faisant référence à la disponibilité d'un modèle GPT-4.5 avec une « date limite de connaissance » de juin 2024.

Il s'ensuit que GPT-4.5 lui-même pourrait être publié vers l'été 2024, alors qu'OpenAI tente de suivre le rythme de ses nouveaux rivaux comme Claude 3 d'Anthropic , et ouvrant finalement la voie au lancement de GPT-5 fin 2024 ou à un moment donné en 2025. .

Le fait que vous pouvez désormais utiliser GPT-4 Turbo gratuitement dans Copilot ajoute encore plus de poids à la rumeur selon laquelle la sortie de GPT-4.5 pourrait être imminente, alors qu'auparavant, Copilot n'était que l'un des meilleurs moyens d'obtenir GPT-4 gratuitement. .

Ajoutez à cela l' événement Microsoft Surface de mars 2024 et vous aurez même un podium pour GPT-4.5 qui sera initialement dévoilé, étant donné que Microsoft est l'un des plus grands partenaires et investisseurs d'OpenAI et qu'il siège même au conseil d'administration de la société.

GPT-5 confirmé comme étant en cours de développement

Outre la probabilité que la sortie de GPT-4.5 par OpenAI approche, nous avons également maintenant confirmé que la société travaille effectivement sur GPT-5, de sorte que son LLM de nouvelle génération est en cours de développement au lieu d'être simplement un une chimère sur Internet.

Le PDG d'OpenAI, Sam Altman, l'a révélé début 2024, s'adressant à Bill Gates sur le podcast Unconfuse Me de l'icône de la technologie.

Attendez-vous à un bond majeur dans les paramètres GPT-5 par rapport à GPT-4

Maintenant, alors que nous approchons d'un territoire plus spéculatif et des rumeurs sur GPT-5, une autre chose que nous savons plus ou moins avec certitude est que GPT-5 offrira des spécifications d'apprentissage automatique considérablement améliorées par rapport à GPT-4.

Le principal problème sera probablement ses paramètres, où un bond massif est attendu car les capacités du GPT-5 dépassent largement tout ce dont les modèles précédents étaient capables. Nous ne savons pas exactement ce que cela sera, mais à titre d’idée, le passage des 175 milliards de paramètres de GPT-3 aux 1 500 milliards rapportés par GPT-4 représente une augmentation de 8 à 9 fois.

Il reste à voir si OpenAI peut ou non égaler cela, mais une loi de rendements décroissants pourrait émerger sur la base du fait que le saut 115x de GPT-2 à GPT-3 ne se répétera presque certainement jamais.

Si OpenAI peut s'approcher d'une augmentation de paramètres de 4 à 5 fois avec GPT-5, ce serait un accomplissement phénoménal, surtout si l'on considère que la dernière référence de l'industrie, Claude 3 Opus d'Anthropic, est un modèle de 2 000 milliards de paramètres, donc même doubler les paramètres de GPT-4 serait un exploit impressionnant.

Parce que nous parlons ici de milliers de milliards, l’impact de toute augmentation sera frappant. Il est également prudent de s'attendre à ce que GPT-5 ait une fenêtre de contexte plus large et une date limite de connaissances plus à jour, avec une chance extérieure qu'il puisse même traiter certaines informations (telles que les sources de médias sociaux) en temps réel.

Sora et la multimodalité au premier plan du GPT-5

Même si les gens sont enthousiasmés par le lancement apparemment imminent de GPT-4.5, le générateur de texte en vidéo récemment annoncé par OpenAI, baptisé Sora, suscite encore plus d'intérêt.

Sora est la dernière salve dans la quête d'OpenAI pour intégrer dès maintenant une véritable multimodalité dans ses produits, ChatGPT Plus (le niveau payant du chatbot, coûtant 20 $ par mois) offre une intégration avec le générateur d'images AI DALL-E d'OpenAI. Il vous permet de créer des images IA « originales » simplement en saisissant une invite de texte dans ChatGPT.

Avec Sora, vous pourrez faire la même chose, sauf que vous obtiendrez une sortie vidéo à la place. Les premières démonstrations des pouvoirs de Sora ont plongé Internet dans une frénésie, et même après plus de 10 ans à voir la « prochaine grande chose » de la technologie aller et venir, je dois dire que c'est extrêmement impressionnant.

Il y a toutes les chances que Sora puisse faire son chemin vers la version bêta publique ou la disponibilité de ChatGPT Plus avant même la sortie de GPT-5, mais même si tel est le cas, il sera plus grand et meilleur que jamais lorsque le LLM de nouvelle génération d'OpenAI atterrira enfin.

Capture d'écran de la vidéo de Sora montrant une femme marchant dans Tokyo la nuit

GPT-5 pourrait inaugurer l’ère du projet Q* d’AGI

Bien sûr, dans toute discussion sur GPT-5, il est impossible d'ignorer le fait qu'en coulisses, OpenAI travaille non seulement au développement de sa suite actuelle de produits d'IA, mais également à la création d'une nouvelle génération d'intelligence artificielle générale (AGI). ) technologies actuellement baptisées Projet Q* .

AGI est le terme donné lorsque l’IA devient « superintelligente » ou acquiert la capacité d’apprendre, de raisonner et de prendre des décisions avec des niveaux de cognition humains. Cela signifie essentiellement que les systèmes AGI sont capables de fonctionner de manière totalement indépendante des informations apprises, se rapprochant ainsi du statut d'êtres sensibles.

Alors que les technologies d'IA actuelles ne semblent pas pouvoir s'empêcher d'halluciner des informations ou de générer une étrange image raciste de japes, il s'agit d'une perspective pour le moins extrêmement controversée et à laquelle de nombreux acteurs de l'industrie s'opposent pour des raisons éthiques.

Néanmoins, OpenAI est l'un de ses principaux partisans et avec la prochaine version majeure de GPT, GPT-5, il y a une chance que nous en apprenions davantage sur ses objectifs ultimes pour la superintelligence du projet Q* AGI, voire que nous voyions un produit fini, selon Altman. propres déclarations.

GPT-6 également « confirmé » par OpenAI

Pourquoi simplement prendre de l’avance sur nous-mêmes alors que nous pouvons prendre une longueur d’avance sur nous-mêmes ? Dans une autre déclaration, remontant cette fois à un événement Y Combinator en septembre dernier, le PDG d'OpenAI, Sam Altman, a fait référence au développement non seulement de GPT-5 mais également de son successeur, GPT-6.

Il a déclaré que les deux étaient encore loin d’être libérés ; tous deux visaient une plus grande fiabilité à moindre coût ; et comme nous venons de le laisser entendre ci-dessus, les deux ne pourraient pas être classés comme produits AGI.

Prédictions de publication potentielle de GPT-5

Sur la base de ce que nous avons entendu et de ce que nous avons vu dans le passé, nous pourrions supposer que GPT-5 pourrait être publié en novembre 2024 lors du prochain OpenAI DevDay à San Francisco.

C'est à ce moment-là que nous avons découvert GPT-4 Turbo – la version la plus récente et la plus puissante de GPT-4 – et si GPT-4.5 est effectivement dévoilé cet été, alors DevDay 2024 pourrait nous donner un premier aperçu de GPT-5.

Cela, ou GPT-4.5 Turbo, pourrait être révélé au public lors du DevDay 2024, ouvrant la voie au lancement de GPT-5 en 2025 , ce qui correspondrait aux récents commentaires du PDG d'OpenAI, Sam Altman.

Dans une interview accordée en mars 2024 au podcast Lex Freidman, Altman a déclaré que la « réponse honnête » est qu'il ne sait pas quand GPT-5 sera prêt, affirmant que son entreprise a « beaucoup d'autres choses importantes à publier » avant son prochain. mise à jour majeure du LLM.

« Beaucoup » fait probablement référence à la fois à Sora et à GPT-4.5, mais nous devrons attendre et voir.

Ailleurs, un rapport de Business Insider de mars dernier indiquait que des sources anonymes avaient informé la publication que GPT-5 arriverait mi-2024, donc personne ne peut vraiment deviner à ce stade.

Historique et chronologie des versions du modèle GPT

Pour avoir une idée du moment où GPT-5 pourrait être lancé, il est utile de vérifier quand les anciens modèles GPT ont été publiés. Voici un aperçu de l'historique du modèle GPT d'OpenAI.

GPT-1

Le GPT original a été dévoilé en juin 2018 , mais uniquement à titre de preuve de concept constituant un élément clé du document de recherche d'OpenAI « Améliorer la compréhension du langage grâce à la pré-formation générative ».

Le modèle de 117 millions de paramètres n'a pas été rendu public et il faudra encore quelques années avant qu'OpenAI dispose d'un modèle qu'ils seraient heureux d'inclure dans un produit destiné au consommateur.

GPT-2

La deuxième version fondamentale de GPT a été révélée pour la première fois en février 2019 , avant d'être entièrement publiée en novembre de la même année. Capable de générer, résumer, traduire et raisonner des textes de base, il a été salué comme une percée dans son domaine.

Le modèle de 1,5 milliard de paramètres a été pré-entraîné sur un ensemble de données de huit millions de pages Web, devenant ainsi la première version GPT accessible au public, bien que son utilisation soit en grande partie expérimentale et limitée à la communauté de l'apprentissage automatique.

Google Tag 3

GPT-3 a représenté une autre avancée majeure pour OpenAI et a été publié en juin 2020 . Le modèle à 175 milliards de paramètres était désormais capable de produire un texte que de nombreux critiques estimaient impossible à distinguer de celui écrit par des humains.

Alors qu'il reste encore quelques années avant la sortie de ChatGPT, le dernier effort d'OpenAI a fait parler tout le monde dans le monde de la technologie, tandis que The Guardian a même publié un article entier écrit par GPT-3 pour démontrer ses capacités jusqu'ici inconcevables.

GPT-3.5

Sorti en mars 2022 , GPT-3.5 était le fondement sur lequel ChatGPT a été construit. Il était basé sur le même transformateur de paramètres de 175 milliards que GPT-3, mais a été affiné et formé sur les données jusqu'en juin 2021.

L'annonce de GPT-3.5 a été suivie de près en novembre 2022 par le lancement de ChatGPT. Le reste, comme on dit, appartient à l'histoire.

GPT-4

Comme vous le diront tous ceux qui ont utilisé ChatGPT dans ses premières incarnations, le chatbot IA désormais préféré au monde était aussi manifestement défectueux qu'extrêmement impressionnant. Dévoilé en mars 2023 , GPT-4 était la tentative d'OpenAI de résoudre ce problème.

De l'aveu même d'Altman, c'est encore un travail en cours, mais GPT-4 a été une avancée époustouflante pour la technologie de l'IA qui est désormais suffisamment performante pour être largement utilisée non seulement par les étudiants paresseux, mais aussi par les grandes entreprises dans le cadre de leur Opérations quotidiennes.

Bien que le nombre réel de paramètres GPT-4 n'ait pas été confirmé par OpenAI, il est généralement estimé qu'il se situe aux alentours de 1 500 milliards .