GPT-5 プレビュー: 新しい OpenAI モデルについてこれまでにわかっていることすべて

公開: 2024-03-20

私たちのほとんどはChatGPTとその進化し続ける機能に畏敬の念を抱き続けていますが、OpenAI CEO のサムアルトマン氏は最近、自社の現在のサービスにはそれほど感銘を受けていないようです。

より具体的には、ChatGPT の頭脳である GPT-4 として知られる大規模言語モデル (LLM) は依然として「ちょっとひどい」と彼は述べています。同氏は、GPT の開発は「指数関数的曲線」に沿っており、現在は「何か素晴らしいものの片鱗」を見せているが、間もなく GPT-5 の機能によって影に落とされるだろうと述べた。

これがインターネットを炎上させたというのは誇張かもしれませんが、多くの人々が話題にしており、その話題の多くは GPT-5 に何を期待するかを中心に展開しています。最新の GPT-5 ニュースと私たち自身の予測の一部を含め、これまでにわかっているすべてをここに示します。

GPT-5とは何ですか?

GPT は、 AI 専門用語で「Generative pre-trained Transformer」を略したものです。これは、AI 大手 OpenAI によって開発された大規模言語モデル (LLM) であり、同社のチャットボットである ChatGPT (最高の AI チャットボットの 1 つ) のフレームワークとして機能します。

別の考え方として、GPT モデルは ChatGPT の頭脳、または必要に応じてそのエンジンであると考えることもできます。 GPT-5 は、OpenAI によるこのようなモデルの 5 番目の完全リリースになります。

サーフシャークのロゴウェブをプライベートに閲覧したいですか? それとも別の国にいるかのように見えますか？
この特別な tech.co オファーを利用して、Surfshark を 86% オフで手に入れましょう。

最初のものは 2018 年に研究論文で明らかにされた概念実証であり、最新のものである GPT-4 は 2023 年に一般公開されました。

現時点では、GPT-5 のリリースはまだ先のようですが、新しいモデルの開発が確認され、訓練が進行中であることがわかっています。

これにどのくらいの時間がかかるかは答えのない質問です。OpenAI がその基本機能を改良したい場合、または AI 軍拡競争でポールポジションを維持するためにできるだけ早く新しいバージョンをリリースしようとする場合、どれだけの時間がかかる可能性があるためです。

GPT-5 プレビュー: 最新ニュースと期待されること

GPT-5 のリリースの噂に関しては、現在の状況は主に憶測によって支配されていますが、現在わかっている確かな事実もいくつかあります。

ここでは、GPT-5 から何が分かると考えられ、実際にいつリリースされるのかを結論付けます。

GPT-4.5 リークは 2024 年 6 月のリリース時期を示唆

ChatGPT-4 自体への道を開いた GPT-3.5 の増分リリースで示されているように、OpenAI は、GPT-5 よりも前に GPT-4.5 がリリースされる増分更新戦略を採用しているようです。

これは、GPT-5 で何が見られるかを説明する前に、立ち止まって GPT-4.5 について検討する必要があることを意味します。

実際、インターネット技術探偵の情報を信じるなら、主張されている GPT-4.5 のリリース時期はすでに OpenAI によってリークされている可能性があります。どうやら、Microsoft の Bing と DuckDuckGo の両方の検索エンジンが、2024 年 6 月の「知識の締め切り日」を持つ GPT-4.5 モデルの入手可能性に言及する OpenAI ブログ投稿をインデックスに登録したようです。

OpenAI がAnthropic の Claude 3のような新たにリリースされるライバルに追いつくことを目指しており、最終的には GPT-5 が 2024 年末か 2025 年のどこかの時点でリリースされる道を切り開くため、GPT-4.5 自体は 24 年夏頃にリリースされる可能性があるということになります。。

GPT-4.5 のリリースが差し迫っている可能性があるという噂にさらに重みを加えるのは、以前はCopilot が GPT-4 を無料で入手する最良の方法の 1 つでしかなかったのに対し、現在は Copilot でGPT-4 Turbo を無料で使用できるという事実です。。

2024 年 3 月の Microsoft Surface イベントに投入すると、Microsoft が OpenAI の最大のパートナー、投資家の 1 つであり、さらに同社の取締役会のメンバーでもあることを考えると、GPT-4.5 のキャットウォークが最初に公開されることもあります。

アヒルアヒルゴーワンに載ってます pic.twitter.com/7Jw45v8ybr

— マシュー (@Matthew35342706) 2024 年 3 月 12 日

GPT-5が開発中であることが確認された

OpenAI による GPT-4.5 のリリースが近づいている可能性が高いだけでなく、同社が実際に GPT-5 に取り組んでいることも確認されました。そのため、その次世代 LLM は単なる開発中ではなく、実際に開発中です。インターネットの夢。

OpenAI CEOのサム・アルトマン氏は、2024年の初めにテクノロジー界のアイコンであるUnconfuse Meポッドキャストでビル・ゲイツ氏と対談し、同様のことを明らかにした。

GPT-4 と比較して GPT-5 パラメータの大幅な飛躍が期待される

さて、より投機的な領域と GPT-5 の噂に近づくにつれて、多かれ少なかれ確かにわかっているもう 1 つのことは、GPT-5 は GPT-4 と比較して大幅に強化された機械学習仕様を提供するということです。

GPT-5 の能力は以前のモデルの能力を大幅に超えているため、大きな飛躍が期待されるパラメータである可能性が高くなります。これが正確にどうなるかはわかりませんが、一例として、GPT-3 の 1,750 億パラメータから GPT-4 の報告されている 1.5 兆パラメータへの増加は 8 ～ 9 倍です。

OpenAI がそれに匹敵するかどうかはまだわかりませんが、GPT-2 から GPT-3 への 115 倍の飛躍はほぼ確実に繰り返されないという事実に基づいて、利益逓減の法則が現れている可能性があります。

OpenAI が GPT-5 でパラメータの 4 ～ 5 倍の増加に近づくことができれば、特に最新の業界ベンチマークである Anthropic の Claude 3 Opus が 2 兆のパラメータモデルであることを考えると、それは驚異的な成果となるでしょう。 GPT-4は素晴らしい偉業となるだろう。

ここでは数兆単位で話しているため、増加の影響は目を引くものになるでしょう。また、GPT-5 には、より大きなコンテキストウィンドウと、より最新の知識の終了日が設定されると予想することも安全です。外部の可能性があれば、特定の情報 (ソーシャルメディアソースなど) をリアルタイムで処理できる可能性もあります。

GPT-5の最前線におけるソラとマルチモダリティ

GPT-4.5 のリリースが差し迫っているように見えることに人々が興奮しているのと同じくらい、OpenAI が最近発表した、 Soraと呼ばれるテキストをビデオに変換するジェネレーターに対する関心もさらに高まっています。

Sora は、現在自社の製品に真のマルチモダリティを組み込むという OpenAI の探求における最新の一斉攻撃であり、ChatGPT Plus (チャットボットの有料層、月額 20 ドル) は、OpenAI の DALL-E AI 画像ジェネレーターとの統合を提供します。 ChatGPTにテキストプロンプトを入力するだけで、「オリジナル」のAI画像を作成できます。

Sora を使用すると、同じことができますが、代わりにビデオ出力が得られるだけです。ソラの力の初期の発揮はインターネットを熱狂させました。テクノロジーの「次の大きなもの」が現れては消えていくのを 10 年以上見てきたにもかかわらず、これは非常に印象的だと言わざるを得ません。

GPT-5 がリリースされる前に、Sora がパブリックベータ版または ChatGPT Plus で利用可能になる可能性は十分にありますが、たとえそうであったとしても、OpenAI の次世代 LLM が最終的に登場するときには、これまでよりも大きく、より優れたものになるでしょう。

GPT-5 は AGI のプロジェクト Q* 時代の到来をもたらす可能性がある

もちろん、GPT-5 を議論する際に、OpenAI が舞台裏で現在の一連の AI 製品の開発だけでなく、新しい種類の汎用人工知能 (AGI) の開発にも取り組んでいるという事実を無視することはできません。 ) テクノロジーは現在プロジェクト Q*と呼ばれています。

AGI は、AI が「超知能」になる、つまり人間の認知レベルで学習、推論、意思決定を行う能力を獲得したときに付けられる用語です。これは基本的に、AGI システムが学習した情報から完全に独立して動作できることを意味し、それによって感覚を持つ存在に一歩近づきます。

現在の AI テクノロジーが幻覚情報を生成したり、日本人に対する奇妙な人種差別的なイメージを生成したりすることを止めることができないように見える場合、これは控えめに言っても非常に物議を醸す見通しであり、業界内の多くの人が倫理的な理由から反対しています。

それにもかかわらず、OpenAI はその主な支持者の 1 つであり、次の GPT メジャーリリースである GPT-5 では、アルトマン氏によると、完成品は見られないにしても、プロジェクト Q* AGI スーパーインテリジェンスに対するその最終的な目的についてさらに学ぶ可能性があります。自身の発言。

GPT-6もOpenAIによって「確認」された

自分より完全に先を行くことができるのに、なぜ自分より先を行くのでしょうか? 今度は昨年9月のY Combinatorイベントに遡る別の声明の中で、OpenAIのCEOであるサム・アルトマン氏はGPT-5だけでなく、その後継であるGPT-6の開発についても言及した。

彼は、どちらもリリースに関してはまだ先のことだと述べた。どちらも低コストでより高い信頼性を目指していました。そして、上で示唆したように、どちらも AGI 製品として分類されるには至りません。

AIを組み込む？以下は、@ycombinator の @OpenAI での @sama による包括的な講演からの貴重な講演です。
同窓会の週末:
構築の初期段階から得た最も重要な教訓:
長期的に考えると遠くまで行けます。オープン AI は [多くの] ピボットを経験しました。ロボットアームから… pic.twitter.com/ikDJ2CcS4F
— イバ・マスード (@IbaMasood) 2023年9月24日

GPT-5 の潜在的な放出予測

私たちが聞いたことや過去に見たことに基づいて、 GPT-5 は 2024 年 11 月にサンフランシスコで開催される次回の OpenAI DevDay でリリースされる可能性があると推測します。

そのとき、私たちは GPT-4 Turbo (GPT-4 の最新かつ最も強力なバージョン) を初めて紹介しました。そして、GPT-4.5 が実際にこの夏発表されるのであれば、2024 年の DevDay で GPT-5 を初めて見ることができるでしょう。

それか、GPT-4.5 Turbo が DevDay 2024 で世間の注目を集め、 2025 年に GPT-5 が発売される道が開かれる可能性があり、これは OpenAI CEO の Sam Altman 氏の最近のコメントと一致するでしょう。

2024年3月のレックス・フリードマン・ポッドキャストとのインタビューでアルトマン氏は、GPT-5がいつ完成するか分からないというのが「正直な答え」だと述べ、次のGPT-5までに自社には「他にリリースすべき重要なものがたくさんある」と述べた。 LLM のメジャーアップデート。

「たくさん」というのはおそらくSoraとGPT-4.5の両方を指していると思われますが、様子を見る必要があります。

また、今年 3 月の Business Insider のレポートでは、GPT-5 が 2024 年半ばに登場すると匿名の情報筋が同誌に密告したと報じられており、現段階ではそれは誰にも推測の余地はありません。

GPT モデルのリリース履歴とタイムライン

GPT-5 がいつ発売されるかを知るには、過去の GPT モデルがいつ発売されたかを調べると役立ちます。 OpenAI の GPT モデルの歴史の概要は次のとおりです。

GPT-1

オリジナルの GPT は2018 年 6 月に発表されましたが、これは OpenAI の研究論文「生成的事前トレーニングによる言語理解を向上させる」の重要な部分を形成する概念実証としてのみ発表されました。

1 億 1,700 万のパラメータモデルは一般公開されず、OpenAI が消費者向け製品に喜んで組み込むモデルを得るにはまだ数年かかりました。

GPT-2

2 番目の基本的な GPT リリースは2019 年 2 月に初めて公開され、その後、同年 11 月に完全にリリースされました。基本的なテキストの生成、要約、翻訳、推論が可能であり、この分野での画期的な進歩として歓迎されました。

15 億のパラメーターモデルは、 800 万の Web ページのデータセットで事前トレーニングされ、初の一般公開された GPT リリースとなりましたが、その使用は主に実験的なものであり、機械学習コミュニティに限定されていました。

GPT3

GPT-3 は OpenAI のさらなる大きな前進を表し、 2020 年 6 月にリリースされました。 1,750 億のパラメータモデルは、多くの査読者が人間が書いたものと区別できないと判断したテキストを生成できるようになりました。

ChatGPT のリリースまでまだ数年あるにもかかわらず、OpenAI の最新の取り組みは技術界の誰もが話題にし、ガーディアン紙は GPT-3 のこれまで考えられない能力を実証するために書かれた記事全体を掲載しました。

GPT-3.5

2022 年 3 月にリリースされた GPT-3.5 は、ChatGPT が構築された基盤でした。 GPT-3 と同じ1,750 億のパラメーター変換器に基づいていますが、2021 年 6 月までのデータに基づいて微調整され、トレーニングされました。

GPT-3.5 の発表の直後、2022 年 11 月に ChatGPT が発表されました。 彼らが言うように、残りは歴史です。

GPT-4

ChatGPT を初期の形で使用した人なら誰でも言うように、現在世界で人気の AI チャットボットには、非常に印象的であったのと同じくらい明らかに欠陥がありました。 2023 年 3 月に公開された GPT-4 は、それを修正する OpenAI の試みでした。

アルトマン自身の認めによると、まだ開発中の段階だが、GPT-4 は AI テクノロジーにとって驚くべき進歩であり、今では怠け者の大学生だけでなく、大手企業でも企業活動の一環として広く使用されるほど優れたものとなっている。日々の業務。

GPT-4 パラメーターの実際の数は OpenAI によって未確認のままですが、一般に1 兆 5,000 億程度であると理解されています。