今日は Microsoft AI の CEO であるムスタファ・スレイマンと話をします。そして、今日のイントロは実際には短くしておきます。ビデオでわかるように、私は今週妻の家族の農場で働いていますが、これはエピソードの真の意味を持つものでもあります。
私たちは、新しいモデルをトレーニングするムスタファのアプローチから、まるで意識があるかのようにクロードについて語る人類学に対する批判まで、あらゆるものを取り上げました。 もちろん、Microsoft と OpenAI の関係、AI をめぐる否定的な世論調査や政治的反発についてムスタファがどのように考えているか、消費者向け製品の中にそれを克服するのに十分な製品があるかどうかなどについても話し合いました。
先ほども言いましたが、バーナーです。
オーケー: Microsoft AI CEO、ムスタファ・スレイマン。さぁ行こう。
このインタビューは、長さと明瞭さのために軽く編集されています。
ムスタファ・スレイマン、あなたは Microsoft AI の CEO です。デコーダーへようこそ。
またご一緒できて嬉しいです。
お話しできるのがとても楽しみです。前回の会話は、AI について、AI が私たちにどのような感情をもたらすべきか、そして AI の目的について、これまでの会話の中で最も気に入った会話の 1 つでした。
Microsoft ではいくつかの大きな変化があり、人々が AI についてどのように感じているかについて、おそらく非常に重要な再文脈化が行われており、それについて特にお話ししたいと思います。そして、Microsoft Build という大規模な Microsoft 開発者カンファレンスがあります。そこでは、多くの新しい発表と、コンピューターの用途や、おそらく私が取り上げたい場所についての大きなアイデアが数多く発表されました。
一番最初から始めましょう。これは Decoder の奥深い部分であり、残りの部分をすべて理解する前に理解しておくことが重要です。 Microsoft に入社して以来、Microsoft での AI の仕組みを再構築しました。あなたの役割は変わりました。私が最後にあなたと話したとき、あなたは多くの消費者向け製品を担当していました。それ以来、それは脇に置かれました。あなたは今、新しいモデルをトレーニングしています。あなたはフロンティアにいるのです。
Microsoft AI が現在どのように構成されているか、また Microsoft 内部でどのように構成されているかを説明します。
過去 15 ~ 18 か月ほど、私たちは OpenAI との関係を再構築するためにこの旅を続けてきたと思いますが、それには 1 分ほどかかりました。それが、昨年10月に結んだ新しい契約で最高潮に達したと思います。その中には、パートナーシップの強化や延長など、非常に多くのさまざまな条項がありましたが、決定的に重要なのは、私たちが独立してスーパーインテリジェンスを追求できるようになり、モデルの購入とライセンス供与を継続できるようになることです。
そこで 10 月以来、私はスーパーインテリジェンス チームを編成し、フロンティア モデルをトレーニングするのに十分な規模のクラスターを構築し、スーパーインテリジェンスに焦点を当てたチームを雇用してきました。これは私たちにとって非常に大きな変化でした。なぜなら、そのおかげで私は超諜報ミッションだけに集中できるようになり、それが今週の Build で発表したいくつかのことで最高潮に達しました。すべてのモダリティなどにわたって 7 つの新しいモデルがあります。したがって、これはかなり大きな変化であり、計画には長い時間がかかったと思いますが、私たちが今ゲームに参加し、今後数年間絶対的なフロンティアを追求していることに大きな安堵感を感じています。
これはあなたがマイクロソフトに採用されたときの計画でしたか?
確かに、それは過去 18 か月間計画されてきたことです。つまり、OpenAI との関係には多くの浮き沈みがあったと思います。そして、多くの点で、これは歴史上最も成功したパートナーシップの 1 つとして記憶されることになると思います。これは OpenAI にとっても Microsoft にとっても素晴らしいことであり、すべての良好な関係は進化します。これは私たちの進化の次の段階にすぎないと思います。
その進化について具体的にお聞きします。私たちは皆、イーロン・マスクとOpenAIとサム・アルトマンの間の裁判を見たばかりです。マイクロソフトは、マイクロソフトの弁護士が立ち上がって「そして我々は存在しなかった」と言うという意味で、その裁判に関与していました。そして誰かが「そうだ」と言うだろう、それで終わりだった。 しかし明らかに、そのトライアル中に判明したこと、この期間を通じて明らかになったのは、当初の概念では、OpenAI が研究機関としてモデルを提供し、Microsoft が製品を構築するというものだったということです。 Microsoft は市場投入に関する専門知識を持っていました。同社は企業向けの専門知識を持っており、さまざまな方法で消費者向けの足場を取り戻そうとしていました。これはプラットフォームの移行であり、OpenAI での研究作業は終了し、製品作業は Microsoft 内で行われることになります。
変わったのはそこです。OpenAI は、より多くの消費者向け製品を作りたいと考えていました。あなたの新しい役割と新しい焦点を考えると、明らかに Microsoft は独自のモデルを作成したいと考えています。なぜ分裂したのですか?その関係で何がうまくいかなかったのでしょうか?
つまり、OpenAI は、信じられないほど野心的な創設チームとサム自身によって率いられていると思います。そして当然のことながら、彼らはより多くのトラクションを獲得し、大量の収益を生み出し始めると、フルスタックに移行する機会を見出しました。つまり、彼らは消費者向け製品の開発に取り組み始めただけではありません。明らかに、ChatGPT は信じられないほど成功しました。彼らはまた、独自のデータセンターの構築にも取り組み始めました。彼らは独自のチップを作成し始めました。自社の消費者向けハードウェアデバイスについては、たくさんの噂が飛び交っています。彼らは、ChatGPT Enterprise を通じてモデルを直接市場に投入し始めました。したがって、スタック全体では、過去 2、3、4 年間の研究をはるかに超えた広がりを見せていました。そして当然のことながら、同じことがマイクロソフトにも当てはまります。つまり、パートナーシップはもう 5 ~ 6 年になりますが、まだ 4、5、6 年は続くと思います。
同様に、当社は世界最大のテクノロジー企業の 1 つです。大手企業 500 社のうち 493 社が、ほとんどのデータを当社のシステムに保存および処理し、Azure、M365、および Teams を使用しています。人々は、私たちがどれほど巨大であるか、そして企業における当社の分布がどれほど大きいかを過小評価していることが多いと思います。したがって、長期的には、つまり 5 年、6 年、7 年、10 年にわたって、私たちは完全に持続可能であることを確認する必要があります。また、単に他人の IP を受け取り、それをわずかに修正、調整して製品の生産に投入するだけではなく、実際に自分の足で立って、世界クラスのモデルを作成できるようにする必要があります。
つまり、超知性がやってくるということです。それはすぐそこにあると思います。したがって、これは基本的に史上最も価値のあるテクノロジーになると思います。長期的には、その IP を提供するサードパーティに構造的に依存し続けることは不可能です。
つまり、これは明らかに OpenAI などが取締役会に問題を抱えたときに引き起こされた移行でした。しかし、私が入社し、私のチームが加わるにつれて、私たちはそれを構築し始め、その移行期にあります。そして、このことから信じられないほどうまくいっていると思う OpenAI にとっても、そして私たちにとっても、かなり安定して慎重に、長期的に最適なポジションを取ることができるので、私たちは素晴らしい立場にいると思います。
超知能について少し時間を費やしたいと思います。ここでもう 1 ターンのトランジションをなんとなく理解したいので、ここでピンを置きたいと思います。
トライアル中には、Microsoft CEO のSatya Nadella からの非常に面白いメッセージのような瞬間があり、「私は Intel にはなりたくない、OpenAI を Microsoft にしてもらいたい」と述べています。これは、Microsoft CEO 自身が「プロバイダーにはなりたくない。すべての価値を提供し、すべての価値を収集するプラットフォームになってもらいたくない。そうすれば、おそらく我々は置き換えられるだろう。ChatGPT を Azure 上で実行することは望んでいない。そうすれば、OpenAI はそうなるだろう)」と言ったことと照らし合わせるととても面白い。すべての価値を手に入れれば、彼らは私たちを交換してくれるかもしれません。」これは、Windows と Intel で時間の経過とともに起こったこととまったく同じです。
それは認識ですか?ナデラはあなたのところに来ましたか?あなたが「OpenAI には取締役会の問題があった。私たちはフロンティアに戻り、自分たちの足で立つ必要がある。」と言ったあの会議はどのようなものでしたか。その会話はどのようなものでしたか、またその決定はどのように行われたのでしょうか?
つまり、明らかにそれはサティアの決定であり、エイミー、ブラッド、そして社内の他の多くの人々の決定でもあります。 しかし、それはどんなことでも同じだと思います。会社の変化はゆっくりとしたもので、私たちが進む方向には少し調整と調整が必要であることが分かってきました。そして、それは11月の理事会事件のずっと前に起こっていました、そして、私たちがますます直接競争しているさまざまな戦線のような群衆と、そこから来るすべての緊張を見ると、それは時間の経過とともに蓄積されるだけだと思います。しかし、そのようなパートナーシップは永遠に続くわけではないことも知っています。
つまり、OpenAI は 1 兆ドル規模の公開企業になり、信じられないほどの収益をあげ、狂ったように成長しているのです。彼らは、他のあらゆる種類の場所からコンピューティングを購入し、独自のコンピューティングを構築し、望む相手と提携して、自由に運用できることを望んでいます。つまり、この契約は、両社の規模や規模、ニーズなどのバランスが大きく異なっていたときに形成されたのです。その瞬間は意味があったと思いますが、その後、これは私たち自身が所有し、管理できるようにし、顧客自身が正しく行う必要があるものであることが非常に明らかになりました。
先ほども述べたように、当社はエンタープライズに関して信じられないほどの規模の分布を持っており、これは世界でも完全に比類のないものであると思います。したがって、私たちは顧客にとって最高のものを構築していることを確認する必要があります。これは、消費者、ChatGPT、企業の両方の最適化に加えて、スーパーインテリジェンスの基礎科学ミッションの最適化を共同で行っている企業とは少し異なって見えます。スーパーインテリジェンスには、重複しているものの、おそらく消費者と企業の方向性とも直交していると言える、さまざまな方向性が含まれています。当然、パートナーシップはそうやって進化し、定期的にリセットされると思います。
そうですね、でもフロンティアモデルの構築には非常に費用がかかるそうです。確かに言われていることですが、これは非常に高価なプロジェクトです。ある時点で、マイクロソフトの CFO であるエイミー フッドは、「はい、予算はありますよ」と言わなければなりません。それはいつ起こったのですか?それはただのテキストメッセージでしたか?会議はありましたか?そこの具体的な内容を教えてください。
私たちは昨年の初めにある種の決定を下し、それが明らかにすべての契約交渉に通知され、その後すべてが解決され、10月に署名されたと思います。これは多額の投資ですが、それを実現するには長い時間がかかります。つまり、私たちはすでに自給自足の使命に多大な投資を行ってきました。
一例として、当社の Maia 200 チップは実際に優れたチップですよね?当社は現在、GB200 よりも 30% 安いチップを自社クラスター内で製造および出荷できるようになりました。そして、独自のモデルを共同設計できるようになったので、私たちがリリースしたばかりの MAI-Thinking-1 モデルは、タスクに合わせてモデルを共同最適化すると、Maia 200 で実行した場合に得られる 30% の向上に加えて、実際にワットあたりのパフォーマンスが 1.4 倍向上しました。
したがって、自社のスタックを確実に所有および管理し、私たちにとって最も重要なユースケース (これは明らかにエージェントコーディング、開発者、企業) の共同設計作業全体をエンドツーエンドで指示することの価値は、今後数年間に私たちがしなければならない投資を正当化する配当を明らかに支払うことになります。
あなたは自給自足の使命と言いましたが、これは自分の足で立ちたいという非常に丁寧な言い方です。あなたは自分のことをしたいのです。私の同僚の Hayden Field が Build について説明した記事の中で書いた一節について、Microsoft 社内で議論があると聞きました。これを読むだけです。ヘイデンからです。素晴らしいラインですね。彼女は、「今年の Microsoft Build は、離婚したばかりの独身者が喉の渇きの罠を Instagram に投稿しているような雰囲気がありました。」と述べました。
別れは完了し、柔軟に対応する時が来ました。こちらが新しいモデルです。私たちは二本足で立っていきます。あなたは最先端でモデルを構築し、主要な研究室と競争するつもりだと主張しています。マイクロソフト社内では、あなたは一人でいられるという感覚なのでしょうか?
絶対に違います。 いいえ、まったくそうではありません。ほら、明らかに、これはクールな見出しであり、楽しいフレーズです。しかし実際には、私たちは今後何年にもわたって OpenAI と協力関係を築いていくことになります。つまり、私たちは 2030 年のはるか北に向かって進んでいます。彼らは依然として世界最高のモデルを生産しています。 GPT-5.5は優れたモデルです。コーデックス、つまり普及しつつあるサイバーセキュリティ モデルは驚くべきものであり、私たちの活動の大部分を支えています。
ですから当然、それは続くことになります。したがって、これはこの種のパートナーシップにおいては自然な流れだと思います。それは何も不当なことでも驚くべきことでもないと思います。 OpenAI はそれを非常に理解しており、サポートしていると思います。つまり、彼らは明らかに信じられないほど急成長している会社であり、私たちが自分たちの課題も追求しなければならないことを理解しています。それはとても普通のことです。
Decoder に関するもう 1 つの質問をさせてください。その後、Build での発表、そして確かに超知能についてお話したいと思います。
前回お話ししたとき、AI の進歩の速さを考慮して、意思決定のフレームワークは 6 週間のサイクルで運用されているとおっしゃいました。それは意味がありました。たぶん、事態は解決した。もしかしたら、もっと焦点が当てられているものもあるかもしれません。現在の意思決定の枠組みは何ですか?
私たちは今でも同じサイクルリズムで活動しています。各サイクルの終わりには、1 週間の直接交流会が開かれます。たとえ私たちが週に4日オフィスに勤務する文化がまだ残っていたとしても、私はこれを心から信じています。実際、再来週、私のスーパーインテリジェンスチーム全体がボストンに直接集まり、4日間滞在します。それは、Build がどのように進んだか、何を学んだか、何がうまくいかなかったか、何を改善する必要があるか、そして次のサイクルの計画についての振り返りです。今回は 8 週間続き、その後 1 週間のミートアップが予定されており、これらはすべて 1 年を通して計画されています。そのため、組織全体が、それが私たちの活動のリズムであることを認識しています。
そして、四半期ごとの計画は少し曖昧で抽象的になるため、その期間を強調することが実際には非常に重要だと思います。カレンダーのどの位置に当たるかにもよりますが、実際には 6 ~ 8 週間が、非常に明確で強化可能なミッションを作成するのに最適な時期だと思います。
したがって、私たちは 6 ~ 8 週間のサイクルのリズムに加えて、分隊によって活動しています。分隊は特定のミッションに焦点を当てた学際的なサブグループが混在しており、必ずしもマネージャーまで昇進するわけではありません。これらは実際には DRI によって実行されており、DRI は多くの場合 IC であり、その仕事は次のとおりです。
それは「直接の責任者」と「個人の貢献者」です。
ええ、その通りです。ありがとう。そして、マネージャーの役割と、特定のミッションを実行する DRI の役割を分離するというアプローチを採用したと思います。それは、優れた DRI になるのは大変なことだからだと思います。あなたは文字通り 1 日 24 時間全力で取り組んでおり、できる限り全力で取り組んでいます。マネージャーであることは、多くの場合、サポートを提供し、指導し、フィードバックを与え、あらゆる種類の障害を解決し、人々のキャリアの成長を支援するコーチになることを意味します。したがって、これらを別々にしておくことで、DRI を 2 ~ 3 サイクルごとにローテーションできるようになり、一部の人がさまざまなポジションを試してローテーションできるようになると思います。これは非常に柔軟な素晴らしい構造であり、非常に機敏な動作を可能にしていると思います。
ビルドについて話しましょう。超知能から始めたかったのです。あなたは今それについて何度か言及しました。私はちょうど Google IO にいました。あなたが Google にいたときの同僚だった Demis Hassabis は、私たちは「特異点の麓におり、AGI は Google の総力を結集してやってくる」と述べて基調講演を終えました。
超知性がここにあると言っているんですね。これらはすべて同じものですか? AGI を説明するために別の言語を使用しているのでしょうか?違いはありますか?あなたの文脈における超知能とデミスの文脈における特異点をどのように定義しますか?
つまり、明らかにここだとは言いませんでした。私はそれが来ると言いました。そして、これらのフレーズには多くの流動性があると思います。 しかし、現在起こっていることは、すべてのモダリティにわたって対数線形の山登りが起こっているということがはっきりとわかると思います。つまり、適用するコンピューティングの各桁、データの増分、およびベンチマークの上昇との間には、公開ベンチマーク、内部ベンチマーク、強化学習環境で重点を置いているターゲットなど、ベンチマークの上昇との間には非常に直接的な関係があるということです。そしてそれは非常に重要な観察です。
私たち全員がそうしていると思われるこれらの予測は、一部の人々がそれらに懐疑的だったり、疑問を抱いたりする理由は理解していますが、これらの予測は、10 年以上にわたるこれらのモデルのパフォーマンスの向上に関する一種の経験的観察に非常に基づいています。つまり、本質的に同じ汎用アーキテクチャで、15 年間で 12 桁多くの計算が適用され、FLOPS が 1 兆倍増加し、基本的にオーディオ、画像、テキスト、コード、その他多くの時系列予測タスクで機能してきました。したがって、私たちは基本的に、さらに桁違いのコンピューティング能力があれば、他の環境内でもこの対数線形の方法で上昇を続けることができるだろうと推測しています。
そして、私たちが持っている既存のデータから推測するだけでなく、私たちが知らないことを実際に教えたり、新しい発見をしたりするだけでなく、新しい知識を発明できるモデルをトレーニングできるのだろうか、という疑問が生じます。次に、どの仮説を設定すべきか、どの仮説を追求すべきか、それぞれのトレーニング データを生成する方法、それらを新しい実行に組み込む方法、さらには実際のアーキテクチャ自体を革新する方法を決定するプロセスを自己改善して加速する能力があるかどうかです。
したがって、この複合的な進歩を確認するには、これらの両方が真実である必要があると思いますが、今後数桁規模のコンピューティングを適用するだけで、引き続き大きな利益が得られると思います。過去 6 か月のコーディングでそれが起こったのを私たちが見てきたように、これはおそらく、さらに多くのタスクで人間のパフォーマンスと同等のパフォーマンスを達成します。
コーディングは非常に興味深いものです。なぜなら、簡単に検証できるからです。コードを作成し、コンピュータに実行を依頼すると、コードは実行されるか失敗します。確かにセキュリティに関して、いくつかの欠点を見てきましたよね?マイナス面は明らかであり、コーディングのセキュリティに対するこの種の規制アプローチがさまざまな方法で行われていることがわかります。私はおそらく、自分の携帯電話やコンピューターにセキュリティ上の災害をバイブコーディングしたことがあるでしょう。そして、おそらくそれは私が喜んで引き受けるリスクです。
他の機能はどれもそれほど簡単ではないようです。私は常に法律を重視します。それが私のバックグラウンドだからです。しかし、裁判官は、コンピュータがコードを検証するように法的文章を検証するわけではありません。間違ったら裁判官があなたを刑務所に送る可能性がありますよね?これは、おそらく遭遇する可能性のある最悪の出力検証エラーです。
コーディングの効果を測定するのと同じくらい簡単に、ドメイン全体の効果を測定するにはどうすればよいでしょうか?これは、他の領域へのコーディングからのメタファーやアナロジーがすぐに崩れてしまうところだと私には思われるからです。
よくわかりません。コーディングでは、コードが正しく実行されることを確認できます。実行されるか、クラッシュします。しかし、そこには多くのニュアンスがあります。作成されるコードの品質は、拡張性、再構成可能性、実際の有用性など、本当に重要です。コードの一部が実行されるだけでなく、モデルが実際にそのコードを実稼働環境で DevOps または SRE として使用し、記述されたコードの一部に戻り、それを実用的で役立つ方法で使用する方法も重要です。
そしてもちろん、生成された成果物の品質を評価する必要があります。それは高品質で機能するコードかもしれませんが、実際にそれはあなたが望んでいたアプリや Web サイトでしょうか?そしてそこには美的判断が含まれています。そこには商業的な判断が含まれます。コードは依然として主に検証可能な報酬シグナルであるにもかかわらず、検証不可能な報酬を内部化するという課題がコード内に存在します。 もう 1 つ観察すべき点は、チャットと同様に検証不可能な空間であるにもかかわらず、非常に強力なパフォーマンスを提供する現実世界の使用法との相互作用を通じて、基本的に人間レベルのパフォーマンスにまで引き上げることに成功したことだと思います。
待ってください。とても興味があります。人間レベルのパフォーマンスでチャットを測定するにはどうすればよいですか?
そうですね、多くの人が人間レベルのパフォーマンスで AI と長く有意義な会話をしていると思います。品質は非常に優れています。非常に優れた感情的知性を持っています。それは概して非常に正確です。幻覚を最小限に抑えました。私たちはもう偏見についてあまり話しません。それは現実世界の観察に基づいています。ほとんどの人の尺度によれば、私たちは現在、かなり幅広いタスクで会話において人間レベルのパフォーマンスに達していると思います。
あなたの対策、そして実際、ほとんどの人がとっている対策は何ですか?私はこれらのほとんどすべてに同意しませんが、これらは私の尺度です。対策は何ですか?
私の場合の対策は、アシスタントに頼って、Teams や電子メールで行われたすべての会話、ドキュメントに行われた更新を要約した毎日の概要を提供するように依頼すると、基本的に次に取るべき一連のアクションを含む総合的な要約を取得するようなものです。それは基本的に私の首席補佐官が作成できるものよりも優れています。これは、合成、分析、提案されたアクション、チャットにおける人間レベルのパフォーマンスだと思います。
毎日、何百万人もの人々が、感情的なサポート、カウンセリング、セラピー、コーチング、アドバイスのためにそれを利用しています。これは、すべてのチャットボットの中で最も人気のある使用例の 1 つだと思います。これは、主張するにはかなり強力な手段だと私は思います。
これについて、特に一部のチャットボットとの感情的なつながりについて、多くの時間を費やして考えてきたことと思います。これらは、お客様が構築および展開した製品です。私が思うに、この製品は私の電子メールやタスクリストを要約し、何を優先すべきかについて簡単に教えてくれるのがとても上手です。そして、この製品は、ある種の危機に直面している人のための感情的なコーチです。
これらは似たようなタスクではありません。たとえ人間であっても、それらは必ずしも同様の種類の知性であるとは限りません。私の知り合いには、リストを作るのは得意でも、精神的なサポートが非常に苦手な人が何人かいます。これらすべてを頭の中でまとめて、「なるほど、これはチャットにおけるほぼ人間レベルのパフォーマンスだ」と判断するにはどうすればよいでしょうか?
チャットを 2 者間のインタラクティブな交換 (この場合はそのうちの 1 つが AI) であり、大まかに何らかの目標を満たしていると定義すると、スポーツのスコアを知りたい、どのレストランに行くべきかについてのアドバイスを求めたい、自分が書いたエッセイのコーチングとフィードバックを求めたい、次にどの仕事に就くべきかについての提案を求めたい、またはマネージャーとの厳しい会話を求めているのだと思います。返事が来て、行ったり来たりして、5、6回やり取りをして、役に立つアウトプットが得られることがわかります。そうでなければ、専門家や友人に頼ったり、コーチにお金を払ったりする必要があるかもしれません。
客観的に、経験的に言えば、何億人もの人々がこれらのチャットボットから毎日そのような経験を得ています。おそらく、それが技術的に人間レベルのパフォーマンスを表しているかどうかについては議論するかもしれません。かなり合理的な主張だと思います。
それが登り続けない理由はありませんよね?私が最も驚異的だと思うのは、過去 3 年間の上昇率です。したがって、この時点から私たちがやろうとしているのは推定です。つまり、その上昇の基本的な原動力は何か、コンピューティング、データ、現実世界のユーザーからのインタラクションであり、それらは今後も続くようです。 これらは他の多くの領域にも当てはまると思います。チャット、感情的なサポート、生産性などの分野だけでなく、それを超えた他の多くの領域にも当てはまります。ヘルスケア、教育現場でのライブプロダクションの展開、生産性を高めるために基本的に日常生活のあらゆるものに目を向け、家庭を管理するアシスタントが増えています。それは、今後も続く可能性が高い軌道だと思います。
基本的なアーキテクチャ、トランスフォーマー、注目度は依然として同じであると今おっしゃいましたね。私たちはこれに 15 年間コンピューティングを適用してきましたが、大幅な増加が得られています。あなたはかなりユニークな場所にいます。
Build では、最初の主力推論モデルである MAI-Thinking-1 を発表しました。ゼロから始めなければなりません。このモデルの設計とトレーニングを 15 年間続けてきた今、何か違うことをしたことはありますか? それとも、単に、すべてのデータを収集して、これまでと同じようにトレーニングを実行するつもりです。今はより多くのコンピューティング能力があるので、より良くなるでしょう?
いや、実際にはかなりの違いがあると思います。まず最初に言っておきたいのは、データをキュレーションする方法は、スタックの最上位から開始するということです。私たちは基本的に、非常に高品質で非常に保守的なデータセットを支払って取得し、そのデータに関係するノイズが多く、気が散り、低品質で、セキュリティリスクの可能性がある問題の多くを抽出しました。そして、そのために行っている方法は、実際にはかなり独自のものだと思います。 109 ページの非常に詳細な技術レポートを共有しました。これは Twitter で非常に好評で、これをどのように行うかについて多くの詳細を共有しました。 2 つ目は、アーキテクチャの選択については非常に慎重であることが重要だと思いますし、私たちもそうしてきましたが、トレーニングの実行の組み立て方にもかなり大きな変更が加えられたと思います。
私たちのトレーニング実行は非常に安定しており、クラッシュや再起動はほとんどありませんでした。インフラストラクチャの安定性と MFU 効率を示すために、これらのグラフの多くを共有しました。つまり、FLOPS 使用率をモデル化しました。これは基本的に、トレーニング実行の各ステップで各チップに最先端の FLOPS 数を投入できることを示しています。これは非常に間違いやすいと思います。私たちは皆、物事がどのように間違っているかについてさまざまな研究室からたくさんの話を聞いています。
私たちの仕事と目標は、この山登りマシンを構築しようとすることであるため、物事を正しく行うための非常に慎重かつ慎重な選択を行い、高品質のモデルを確実に作成するための正しいアプローチを取ることは、実際には非常に困難です。これは、シリコンとモデル、超高品質データ、RLE のスタック、強化学習環境を統合することを意味し、基本的に、選択した目的に対して体系的にヒルクライムできるようになります。
それがMAI-Thinking-1です。これは、コーディングが非常に得意な、汎用的でかなり中立的な思考モデルです。少なくともベンチマークでは、Opus 4.6 とほぼ同等になっています。まだ本番環境に大規模に導入していないため、やるべきことはまだたくさんあります。しかし、これは非常に強力な推論であり、少なくともベンチマークでは、推論パフォーマンスの主要な尺度である AIME で 97% のスコアを獲得しました。
指示に従うのが非常に得意で、基本的な目標は、それを多くの開発者や企業が利用できるようにし、ユースケースに合わせて利用できるようにすることです。誰もが、自社のユースケースをサポートするエージェントなどを構築しようとする、若干異なる目的を持っています。
MAI-Thinking-1 について話しているときに気づいたことの 1 つは、既存のモデルを一切抽出していないということですが、これは実際に私を驚かせました。これはあなたにもできることです。 OpenAI の IP にアクセスできます。誰もがすべてを蒸留しています。今回のトライアルで、Grok が多数のモデルから抽出されたものであることがわかりました。 ここで蒸留をしてみませんか?先に進んでみてはいかがでしょうか?
フロンティアへの近道は間違いなくたくさんあります。超高品質のモデルを使用し、高品質の指示、回答、または優れたモデルからの出力で基本モデルを磨き上げれば、そのモデルがすぐにその分布に適合する可能性があるのは事実です。しかし、その後彼らがその先生を超えることができるかどうかは非常に不透明です。
したがって、私たちは 2 つの理由から非常に慎重に取り組んできました。 1つ目は、今後数年間で自分たちがフロンティアを開拓するために、先生を超えられるようにしたいということです。そして 2 つ目は、私たちが本当に素晴らしい研究所の 1 つを建てたいと思っているということですが、それには今後何年もかかり、おそらく今後 2 ~ 3 年かかるでしょう。
しかし、そのためには、すべてのコンポーネントを実際に自分たちで構築できることを証明できなければなりません。私たちは世界で最高の人材を雇用することができます。他のサードパーティからの単なる再実装、コピー、または蒸留ではなく、実際の研究によって最前線に進むことができます。
私たちは、フロンティアを超えた Anthropic モデルを購入するリソースがあることを知っているため、その目的を本当に慎重かつ細心の注意を払って追求できる素晴らしい立場にいます。私たちは、Foundry 内に 11,000 の異なるモデルを配置するためのリソースを持っているため、開発者全員が純粋なオプションを利用できます。そしてもちろん、私たちは OpenAI モデルを展開し続けるためのリソースを持っています。OpenAI モデルは明らかに優れており、今日の最先端にあります。
それは自給自足の使命の当然の部分であり、私たちがその絶対的な領域に真に到達するには時間がかかるでしょう。しかし、私たちは素晴らしい位置にいると思います。私たちは大きな進歩を遂げました。これは非常に強力なモデルであり、私たちがリリースしたのはそのモデルだけではありませんでした。 7つの新モデルを同時にリリースしました。
たとえば、MAI-Transcribe-1.5 などの当社の転写モデルは、文字通り世界一です。これは、ハイパースケーラーの中で最もコスト効率が高いです。精度的には最高です。私たちのイメージモデルは 2 番目になりました。私たちの画像編集モデルは、Google と OpenAI に次ぐ第 3 位です。画像と音声に関してはかなりのレベルに達していると思います。私たちのコード モデル CodeFlash は非常に強力で、VS Code 用に最適化されています。 Sonnet 4.6 と同等の本当に本当に素晴らしいモデルです。したがって、この瞬間は本当に素晴らしい場所にあります。
蒸留に関して法的または知的財産に関する懸念はありましたか?これが世界中で実際に起こっている問題であることは承知しています。Anthropic は、他の人が自分たちのモデルを抽出していることに不満を抱いています。中国企業がモデルを蒸留すること、そして我々の既存の知財協定がそれをカバーできるかどうかについて懸念がある。それを遠ざけるような懸念はありましたか?
ああ、実際にはそうではありませんでしたが、多くの人がイライラする理由がわかった気がします。 Anthropic は非常に不満を抱いており、xAI や Meta、そして明らかにオープンソース モデルなどに関するいくつかの噂については、基本的に IP や他のチームがまとめた知識を取得し、それを文字通り自分のモデルに強制的にフィードすることになるためです。これはちょっと短期的な勝利だと思います。先ほども言いましたが、実際には、次の大きな思考のブレークスルー、次の大きなコーディングのブレークスルー、または次の大きなアーキテクチャの推進を思いつくことができる文化を研究室に作りたいと考えています。
現在、変流器とは少し異なるループ変圧器を実験しています。現場でもたくさんの人が注目しています。まだ誰も本格的に制作に取り掛かっていないようだ。しかし、本当にフロンティアを開拓できる文化とチームを作るためには、彼らは必要に応じてフルスタックを理解し、所有し、作成する必要があり、私たちも必要なときはいつでもサードパーティのものを使用する必要があります。 そして、たとえば私たちの論文と同様に、残りの文献に基づいて何百もの引用が行われているため、これは、私たちが長年にわたり世に出ているすべての優れた出版物から学んだすべてのことと引き換えに、この分野への貢献と言えます。
聞いてもいいですか — Anthropic や他の AI 業界の人々が蒸留について不満を抱いていることを理解しているのであれば、すべての AI 企業が集合体として仕事をスクレイピングしてこれらのモデルを作成していることについてのクリエイティブ、パブリッシャー、YouTuber からの不満も理解できますか?なぜなら、その不満は大きくなるばかりだからです。
うん。いや、イライラする気持ちは分かります。オープンウェブへの挑戦は私たちが以前話した問題であり、それはわかります。人々が不満を抱いているのはわかりますが、明らかにそれが法廷での議論を通じて影響を与えています。そして、人々が物事をオンラインに置くと、それがオンラインに置かれることに関する契約がどのようなものになるかについて、さまざまな期待を抱いていることがわかりますが、それは難しい問題です。
すべてのデータは慎重に厳選されているとおっしゃいましたね。新しいモデルのトレーニングに使用しているすべてのデータの料金を支払いましたか?
私たちのデータの多くは、明らかに通常の方法でオープンウェブから取得しています。慎重に選別されるということは、セキュリティ、品質、一部のオープンソース データセットからのサードパーティの依存関係について非常に慎重にフィルタリングされ、多くの中国の系統から遠ざけられていることを意味しますが、これらは非常に異なると思います。私たちの企業は、何かを本番環境に導入するときに、私たちが本当に企業のニーズを念頭に置いてそれを構築したことを信頼してもらえることを望んでいます。これは、非常に注意深く、忍耐強く、あらゆる細部に注意を払うことの利点の 1 つだと思います。
エンタープライズとおっしゃいましたね。これはとても興味深いと思います。実際、Microsoft はエンタープライズ AI に大々的に取り組んでいます。 Xbox の新しい責任者である Asha Sharma に対しても、私は一線を画したいと思います。彼はさまざまな場所で AI を排除しており、ゲーマーは満足しています。 AI に対する反応は消費者分野では 1 つありますが、企業では別の反応があります。 AI のように急速に変化するものにおいて、AI は企業における製品市場に最も近い適合性を持っていると思います。企業が管理するデータベースがたくさんありますが、企業が管理しているので、アクセスするだけで済みます。それが彼らのデータです。
反復可能なプロセスやタスクがたくさんあり、モデルがもっと効率的に実行できるかもしれない古いシステムもあります。企業にとって非常に重要なことが起こっています。同時に、AIに対する消費者の反感は高まるばかりだ。そして私の主張は、私たちは優れた消費者向け AI 製品を構築していないということです。この業界はそれらを生み出していません。それは彼らを変えていません。これらすべてに価値があること、オープンなウェブからのすべてのデータを使用すること、そして多数の人々に出版する契約を変更することは明らかではありませんでした。そのため、現在では、企業に数兆ドルの価値を提供するモデルのトレーニングに使用されています。これだけの価値があるという製品はありません。
繰り返しますが、サティア ナデラは最近アクシオスのインタビューに応じ、「これには社会的な許可が必要です。そしてそれが得られるまで、その価値を提供するまで、人々はそう感じるでしょう。」と述べました。大学の講演者がブーイングを受けるのを見てきました。データセンターが禁止されるのを見てきました。それだけの価値がある、トレーニングについての不安やデータセンターについての不安に値する消費者向け製品があると思いますか?
それがあなたの焦点でした。今、あなたの焦点はエンタープライズです。表面的には、Microsoft はもはや消費者向け製品に興味を持っていないようです。しかし、それだけの価値があるもの、または構築できるものはありますか?
このことから消費者にとって何の価値も得られなかったという意見に私が同意するかどうかはわかりません。すべてのチャットボットを通じて、毎月何十億人もの人々がチャットボットから莫大な価値を得ています。 ここで少しの間、小規模ビジネスの経営者や、子供の宿題を手伝っている母親のような人に少し共感してみてください。会話型 AI に頼るだけで、フィードバックを得たり、指示を得たり、作文の質問を用意したりすることができます。どうすれば収益が得られるかなどの質問ができるだけです。キャッシュ フロー予測はどのように作成すればよいですか?どの大学に出願すればよいですか?
つまり、これらは、かなり質の高い事実に基づくアドバイスや情報を伴った日常的なタスクなのです。したがって、人々がこれらのことから利益を得ていないということには、私はあまり賛成できません。そうだと思います。
彼らは十分な利益を得ていないと私ははっきりと主張できると思います。
わかった。
彼らは、データセンターをこれ以上増やすべきではないと主張しているのです。卒業式のスピーチでAIにブーイングを浴びせているのは彼らだ。世論調査では、特に若者がAIを使えば使うほど、AIに対する反感が高まっていることが明らかだ。それはどの世論調査でも明らかです。それが私が主張している主張です。価値がないわけではありませんが、価値の交換が十分に明確ではありません。
うん。けっこうだ。
特に Microsoft は、Google を踊らせるような大手の検索製品である Bing の再発明から離れ、エンタープライズに軸足を移していると見ています。それは終わり、私たちは皆、価値のあるエンタープライズに集中しています。消費者にとって、これらすべてを価値のあるものにするのに十分な価値があるかどうか、私は疑問に思っています。
当然のことながら不安はたくさんあると思います。今後 5 年から 10 年の間に何が起こるかについては、膨大な量の憶測が飛び交っています。それが特異点として枠組み化されているか、あるいは仕事の黙示録として枠組み化されているかにかかわらず、これらは有用な枠組みではありません。人々が怖がるのは、それが定義が曖昧で、人々の頭の上に避けられない脅威的な灰色の雲として組み立てられることが多いからだと思います。
重要なのはテクノロジーを使って何をするかだと思います。私は長い間、人間を第一に考えなければならないと主張してきました。この分野の一部の人々は、科学的発見を最優先にしたり、銀河などを探索できる加速知能を優先したりしており、私たち全員を合わせたよりも強力な AI を私たちが持つことは避けられないと述べています。つまり、それは人々にとって当然怖いことです。
そして、私たちは基本的にそれを逆にひっくり返して、科学技術の目的は私たち全員をより健康に、より賢く、より幸せにすることだと言わなければならないと思います。それは、私たちが何千年にもわたって発明を続けてきた種として追求してきた探求であり、私たちが再び超知性を発揮すべき試練なのです。そして、それがそのテストに達しない場合、人々はそれを拒否すると思います、そして彼らがそれを拒否するのは正しいことです。
今後 5 年間で、これによって私はどのように健康で幸せになり、より賢くなり、より有能で、より生産的になれるのか? ということに誰もが注目することになると思います。そして、それができないのであれば、当然人々は怒り、抵抗し、反応するでしょう。それについて何も予想外なことや間違っていることはないと思います。それは避けられないことだと思います。
だからこそ、私が長年にわたって情熱を注いできたもののひとつがヘルスケアなのです。そしてつい数日前、私たちはメイヨークリニックとの新たな提携を発表しました。これは、一貫して報告されている世界でナンバーワンの病院です。彼らは、すべてのモダリティにわたって最高品質の長期的な患者記録データセットを持っています。彼らは最高の臨床実践を行っています。
彼らは非営利団体でもあり、多くの人が気づいていないと思いますが、患者人口の 65 パーセントがメディケイドを受けています。彼らは、世界で最高の治療を受けるために飛行機でやってくる国際的なスーパーエリートたちだと思われがちですが、実際には彼らの大半がメディケイドを利用しています。彼らは、あらゆる場所に最高の医療を提供するという素晴らしい使命を持った素晴らしい機関です。 そして現在、私たちは非常に長期的なパートナーシップを結んでおり、彼らのデータと私たちのモデル、健康のためのまったく新しい基盤モデルを使ってゼロから共同トレーニングし、それを彼らの病院に導入し、できればそれを世界中に広めて、できるだけ多くの人々に最高の臨床ケアとヘルスケアを提供したいと考えています。
だからこそ現場に入ったんです。それが私がもともと動機になっていたことであり、私が情熱を注いでいることです。そして、私ができるのは、変化をもたらし、人々を助け、すべての人に良い遺産を残せると思うことだけに集中することです。それが私たちがやろうとしていることです。
感謝しています。私は医療の枠組みに感謝していますし、なぜそれが誰もが頼りにしているのかも理解しています。特にアメリカの医療を 10 パーセントでも改善できれば、多くの人々の生活に特に深刻な影響を与えることになるでしょう。
問題は、私が知っている非常に賢い男で、このすべてに対してあなたとはまったく異なり、はるかに積極的なアプローチをとっているということです。その人は4か月前のあなたです。これはムスタファ・スレイマン氏が4か月前にフィナンシャル・タイムズに語った言葉だ。「弁護士、会計士、プロジェクトマネージャー、マーケティング担当者など、コンピューターの前に座っているホワイトカラーの仕事は、今後12~18か月以内にAIによって完全に自動化されるだろう。」
それは4か月前のことです。これは、今から 1 年後には、弁護士、会計士、プロジェクト マネージャー、マーケティング担当者が職を失うことを意味します。彼らの仕事は自動化されるでしょう。それはまだあなたのタイムラインですか?
いいえ、いいえ、いいえ。ちょっと待ってください。それで、私はあなたが今言った引用文の中で「タスク」と言いました。タスクって言いました。したがって、それは仕事を意味するものではありません。それは非常に重要な違いです。労働経済学では、組織内の役割または機能の下位構成要素全体の分類があります。電子メールを送信する、同僚と会話する、PowerPoint を作成するなど、サブタスクはますますデジタル化され自動化され、基本的にはより多くのサブタスクを生成できるようになります。
だからといって、その役割がまったくなくなるわけではありません。それは単に、仕事がより速く、より効率的に行えることを意味します。今日では、これは多くの場合、非常に機械的で、非常に手作業で、非常に労働集約的で、時間がかかる仕事です。したがって、テクノロジーの自然な進歩は、あなたの生活をより簡単に、より速く、摩擦を減らし、よりシームレスにすることです。誰もがよく不平を言いますが、そのせいであなたも私も他のみんなもずっと忙しくなりました。
実際、そのおかげで私たちはより対応しやすくなり、ストレスも軽減され、より多くの情報が得られるようになりました。つまり、効率化による復讐効果が常に存在するのですが、人々はそれを忘れているのだと思います。管理上の単純作業のようなことに費やす時間が減り、最終的にはより多くの価値を生み出す、創造的で判断力を重視した仕事に多くの時間を費やす必要があるため、私たちの生産性ははるかに向上する可能性が非常に高いです。
より迅速に実験することもできます。実行コストが下がるため、多くのことを並行して試すことができます。私の考えでは、ジャーナリズムであれ、ビジネスであれ、あるいは私たちがやっているあらゆる分野で、より多くの仮説を試すことになるので、全体的な物事の質は向上する可能性が高いと考えています。
仕事とタスクの間の自然な誤解のため、これは文脈から少し外れていると思いますが、それでも、「それでは、5 年、10 年、15 年後の風景はどうなっているでしょうか?」と私に反論することもできます。そしてそこに私たちは戻らなければならないと思うのです――
実際、私はそのようにあなたを押し返すつもりはありません。非常に具体的な方法で反撃します。そして、これがあなたの引用であり、それが誤解されていると言っていることは理解しています。私はこの文字通りの文を見ているだけで、タスクとサブタスクの区別はありません。それは、「ホワイトカラーの仕事」です。 」
例としては、弁護士、会計士、プロジェクトマネージャー、マーケティング担当者などが挙げられますが、「これらのタスクのほとんどは、今後 12 ~ 18 か月以内に AI によって完全に自動化されるでしょう」とおっしゃいました。そこにはサブタスクの区別はありません。この引用文の言葉から見ても、ほとんどの弁護士の仕事は完全に自動化され、1年以内に弁護士の実務はまったく違ったものになるだろうとあなたは言っていますね。
それで、私が言いたいのは、あなたはまだそのタイムラインにいますか、弁護士は私たちが以前やっていたすべてのことを実行して走り回るから、弁護士になるということはまったく違って見えるでしょう?
そうですね、タスクのほとんどは、全体的な仕事をやり遂げるために行う作業を意味しており、それによってあなたはより人間らしく、より判断力のある仕事をすることができるようになると思います。非常に重要な違いがあります… ジョブとロールはより広いカテゴリであり、タスクはそのコンポーネントです。そして、これは何十年もの間、労働市場経済学の文献で確立された定義です。
フィナンシャル・タイムズにとっても微妙すぎる内容だったかもしれないが、それでもそれが意図だったのだ。さて、重要な疑問があると思います。それは長期的にはどうなるでしょうか?そして、このようなことがますます増えていくのと同じように、それは困難になるでしょう…私たちは、数年なのか、10年なのか、20年なのかなど、タイムラインについて屁理屈を言うことはできますが、現実には、この仕事、タスク、仕事、役割、活動、その他私たちが行うすべてのことは、ますます自動化されることになるでしょう。
したがって、より重要になるのは、これらのテクノロジーをめぐるガバナンスです。彼らは誰に対して責任を負うのでしょうか?誰がそれらを所有していますか?実際に人々に役立つようにするために、摩擦を調整し導入するフィードバック ループは何ですか?つまり、私は 4 ~ 5 か月前に、人文主義的な超知性についてのエッセイを書きました。その概要は、私が基本的に北極星として考えているもので、完全な枠組みではないかもしれませんが、基本的にテクノロジーが私たちに役立つものであると主張する一連の原則の概要を述べています。それが私たちが受けるべき試練なのです。それは人々が課した試練です。これはマイクロソフトが重視しているテストです。
誰もがこの問題にますます真剣に取り組む必要があると思います。なぜなら、それは多大な利益をもたらすからです。そして私たちはそれを続けていきたいと思っていますが、移行期間中にとんでもない量の不安定を引き起こさないような方法でそれを行うことを望んでいます。
私はあなたを信じます。あなたがこのことについて長い間考えてきたことはわかっていますが、私は聴衆が私に応答してほしいと思っていることを知っている方法で応答するつもりです。なぜなら、私は聴衆から常にそのような意見を聞いているからです。そして、あなたを含むこの業界全体が、「すべての雇用を置き換える」ことに全力を尽くし、大容量のデータセンターの構築を加速させ、大きな約束に反して多くのリソースを要求しているように見えます。
政治的な反発もありましたが、現在ではすべての姿勢が軟化しています。そして、すべての雇用がなくなるわけではなく、雇用を再考する必要があるというあなたの発言は、この業界の他のCEO全員が同様のことを言っており、ヘルスケアについて話していることと一致しており、それは今でも毎回出てきます。その政治的な反発によって、この件についてのあなたの言い方が実際に変わったのかどうか疑問に思っています。
AI には単にマーケティング上の問題があり、AI が十分に効果的に伝えられていないだけであり、AI の利点をより効果的に伝えるためにポッドキャストに何億ドルも費やす必要があると考えている同僚はたくさんいます。これはこの業界で実際に起こっていることです。 AI には単にマーケティング上の問題があり、政治的な反発によってこのマーケティング上の問題に目が開かれたと思いますか、それとも何か別のことが起こっていると思いますか?
そこには一連の質問があります。 1 つ目は、私が実際に何を考え、何を信じているか、そしてそれが過去 6 か月間で変化したかということです。答えはノーです。 私は3年前、かなり先取りしてこれについて非常に詳細な本を書き、現在起こっている多くのことについて警告し、監視、権力の集中、富の集中、国家の中抜き、民主主義への脅威に対する多大なリスクを明確に俎上に載せるために書きました。そしてまた、ある意味でこれらの非常に新しい形態のシリコン存在の到来という文脈において、人間の性質と人間であることが何を意味するのかに対する脅威にも。私は取り組んできました…そして、私のヘルスケアへの関心は、データセンターなどへの反応の関数である、単なる鍋の中の一瞬のようなものであるという考え、つまり、私は 10 年以上ヘルスケアに取り組んできました。私は、最先端の画期的な進歩、放射線医学、マンモグラフィー、病理学、その他多くの分野、電子医療記録の分野への貢献を何度も推進してきました。
ですから、私はテクノロジーの目的はただ私たちをより健康で幸せにすることだと常に信じてきました。そして、それらは私が取り組むことを選択し、時間を費やしているものです。業界には評判や PR の問題があるのでしょうか?つまり、人々が非常に不安で、非常にイライラしていることは明らかだと思います。当然のことながら、今後数年間でそのことに多くの注目が集まることになるでしょう。
私たちにできることは、メイヨークリニックで行っているように、私たちが構築するもの、構築方法、さまざまなテクノロジーを世に送り出すために下した決定、および取り組むことを選択した種類の問題に対して責任を持つことだと思います。
ところで、私があなたと私が初めて会って話をしたのは、あなたがマイクロソフトに入社する前だったと思います。その本が出た直後だったので、一緒にパネルディスカッションをしました。
私がこのことを気軽に尋ねられる理由の 1 つは、あなたがこのことについて長い間考えてきたことを知っていること、そして私がその本のことを知っているからです。私にとって問題は、人々が現在反応している一見無謀な行為、人々が現在反応しているリソースの要求を克服するために業界全体が提供できる価値の総量を誤って判断したのではないかということだと思います。
新しいモデルを構築しています。 Microsoft 社内ではおそらく、既存の Azure フットプリントを使用して顧客に料金を請求するか、お金をかけて新しいモデルをトレーニングするかの間にトレードオフがあると考えられます。これは、既存のエネルギー フットプリントを新しい AI の構築に使用するか、それともすぐに価値がありそうな他のことを行うかという、コミュニティ内のリソースについて人々が交わしているのと同じような会話のようです。
これらすべてについてどう思いますか?あなたはこの業界のリーダーの一人です。あなたは、最も大きな変化を推進している企業との最前線に立ちたいと考えています。将来の結果を約束するだけでなく、人々があなたにそこにいてほしいと思わせる方法でコミュニティに利益を即座に提供する方法で、これらのリソースを求めることについてはどう思いますか?
Microsoft がネットゼロ目標を堅持したことを非常に誇りに思います。当社の新しいデータセンターはすべて水冷式です。これは、約 6 年間でレストラン 1 軒分の水を使用することを意味します。これは、水を入れてシステムを循環させるだけのプールのようなものです。これらはすべて、電力消費量のほとんどが再生可能です。したがって、そのような取り組みは、たとえば最近、データセンターによる電力需要の変化によって影響を受ける地域社会が、価格やエネルギー料金の高騰を避けるために補償され、保護されることを保証することを約束したと思います。
これらは、マイクロソフトがコミュニティへの影響に真剣に注意を払う責任ある企業として実行しており、今後も実行できると私は考えています。逆に言えば、人々があらゆるレベルで参加するからこそ変化が起こるのだと思います。企業内の人々はさまざまな決定を下さなければなりません。 抗議活動や運動をする人々は決断を下し、外に出て自分の声を届け、政治プロセスに参加する努力をしなければなりません。そしてそれが、私たちが種として集合的に進化し、物事を前進させる方法です。
月ごと、四半期ごとに、私たちは互いに対立しているように感じますが、10 年を振り返ってみると、私たちは、実際に物事を正しい方向に押し進めている、さまざまなインセンティブが集まった奇妙な網の目のようなものです。あらゆる不安や二極化にもかかわらず、私たちは本当に、私たちの種をより健康に、より幸せに、より能力を高める何かを構築していると思います。
そこに至るまでには落とし穴や間違った道がたくさんあるので、正しい道を歩むようにしなければならないと思います。しかし正しい道には、人々が声を上げ、それに対する反応や反応に基づいて方向転換することが含まれます。ですから、それが起こっていることは良いことだと思いますし、プロセスが意図したとおりに機能しているということです。
この件の企業側についてお聞きします。私たちは消費者側と人々がどのように感じるかについて長い時間を費やしました。企業側では、多くの企業がこれらのツールが実際にどれほど価値があるかを理解しているのを目にしていますよね? Amazon がリーダーボードを削除したのは、人々が不正行為をして必要以上のトークンを使用したためです。一部の企業がトークンの予算を使い果たしてしまうのを私たちは見てきました。 Uberが撤退したのは、その年のトークン割り当てを使い果たしてしまい、そこに何の価値も感じられなかったからだと思います。
現在、その側面についてどう思いますか。企業内で非常に興奮し、変化を望む声が非常に高まっています。特にソフトウェア エンジニアリングの分野では、少なくとも一部の人は楽しんでいます。おそらく他の人も完全な存亡の危機に直面していますが、楽しんでいる人もいます。その価値はまだ実現されていませんよね?
あるいは、純粋なトークンの最大化では、実際には期待されるような価値が得られないことがわかり始めています。そこでの利用についてはどう考えていますか?なぜなら、企業でそれを証明すれば、実際には別の形で明らかになるかもしれないからです。
いろんな人がいろんなことを報告していると思います。つまり、人々がコーディング モデルを過剰に使用し、無駄なコードや無駄なトークンを生成している例は明らかにありますが、それによって仕事や影響が完全に変わってしまった人もたくさんいますよね。つまり、これがソフトウェア エンジニアリング業界に多大な有益な影響を与えていることは疑いの余地がありません。
つまり、スタック全体ではるかに高品質ではるかに高速なコードを生成しています。そうです、おそらく一部の人が間違いを犯し、正しいトークン予算を設定しなかった例は明らかにあると思います。途中で間違いも出てきます。これは、採用がないことや人々が価値を認めていないことを示すものではないと思います。つまり、私が座っている場所からの価値は信じられないほどです。非常に多くの人が、仕事の成果と生産性が変わったと毎日私に語ってくれます。
もう一つ言えることは、こうしたことが急激に起こると、ある種のエネルギーのうねりがあるということだと思います。それはすべて少し泡立ってきます。数か月後、実際にはそうではないと気づき、人々は少し違う方向に進みます。したがって、それは少し曲がりくねっていて有機的ですが、それは避けられないと思います。非常に興奮しているので、人々は Twitter などで大々的に主張していますが、実際には、着実な進歩は非常に直線的で継続的に見えます。
私もそのことに全面的に同意します。私にとってそれが直線的ではないのは、コンピューターのフォームファクターですよね。おそらく現在、過去 10 年間のどの時点よりも多くのフォーム ファクターの実験が行われています。
少なくとも過去 10 年間、私たちはほとんどスマートフォンに落ち着いてきました。私たちはさまざまな AI ウェアラブルを目にしていますが、メガネは誰もが好むデバイスになるかもしれません。疑問があります。 Microsoft は Build でいくつかの新しいデバイスを披露しました。エージェントを制御するバッジと、適切な言葉が見つからないが、エージェントを制御するデスクトップに適した小型の Chumby がありました。私はチャンビーの大ファンでした。私のキャリアは、Engadget で Chumbies について書くことから始まりました。それが最初に頭に浮かんだことだった。
これらすべてを私は見て、コンピューティングはどこにあるのかと考えます。ロジックはどこにあるのでしょうか?それは、単に直線的な進歩の行進ではない形で、今、手に入れられる段階にあります。私のすべてのコンピューティングがクラウド上、クラウドベースのアプリケーション上で行われ、エージェントがクラウド内の別の場所に保存されたデータを探し回っているだけで、必要なのは指示を出すためのストラップに付けられたクレジット カードだけであるとしたら、コンピューティングのアーキテクチャ全体が変わります。もし私たち全員がスマートフォンを持っていなければ、現代文明の構造全体がさまざまな形で変わってしまうかもしれません。
それについてどう思いますか?それはどこへ行くのでしょうか?それは実現可能なのでしょうか、それともハイブリッドなアプローチになるのでしょうか?適切な最終段階はどこにありますか?
とても興味深いですね。両方のことが同時に起こると思います。エッジはさらに強力になるでしょうが、クラウドは今後も最大規模のモデルの主な推進力となるでしょう。そのため、エージェントはますます、メガネ、リストバンド、バッジ、イヤポッドなど、デバイス上のフランスの首都はどこなのかという質問に答えることができるほど賢くなります。
そして、分からないときは分かるようになるのです。これは実際にはかなり複雑な質問であること、一連のステップを生成する必要があるアクションであること、または新しいコードを作成する必要があることを認識し、クラウドに頼ることになります。したがって、この種のスイッチングハイブリッド機能は非常に重要になります。
もう 1 つは、過去 3 ~ 4 か月ですでに見えてきたことですが、非同期バックグラウンド処理を実行できる非常に強力なローカル マシンを使用できるようになったということです。必要に応じて、システムを常に監視できます。彼らは 10 時間かかるタスクを実行できますが、スーパーコンピューターを使用している場合よりもはるかにゆっくりと実行できます。したがって、当然のことながら、私たちが需要で溢れかえっているとき、その需要は満たされるべき隅々をたくさん見つけます。
実際、私たちが作っているバッジにとても興奮しています。とてもクールです。これは大手企業であれば基本的に誰もが持っている技術です。 25年も30年も進化していない。絶対に着ないといけません。これは会社自体、システム管理者によって提供されます。したがって、それをレベルアップして、実際にプログラム可能で他の人がその上に構築できる非常にクールなオープン プラットフォームにすることは、素晴らしいアイデアだと思います。これはうまくいくと思います。だからとても興奮しています。
私が驚いたのは、大量の高性能ローカル コンピューティングをバッジに組み込むことはできないということです。これは、すべてのコンピューティングが別の場所にあることを意味します。
いいえ、ローカル コンピューティングが必ず必要になります。現在イヤホンで行っているのと同じように、ローカル分類器を使用することになります。ローカル分類器を使用することになります。ウェイクワードが入る予定です。専用のカメラを搭載する予定です。したがって、これらのものは、エンドポイントに直接送られる、ますます強力ではないデバイスのネストされたチェーンの中で発生する処理能力の容器になるだけだと思います。
電話には未来があると思いますか?つまり、Build は Google IO と Apple の WWDC のちょうど真ん中にあります。これらは電話プラットフォームを管理する大企業です。彼らは、電話プラットフォームがいかに中心的な存在であり続けるかについて話すのが大好きです。私が多くの人から聞いた議論は、実際には AI は電話に完全に取って代わられる可能性のあるプラットフォームの変化である、というものです。
テクノロジーの歴史は、基本的に、物事がより便利になるにつれて、より安くなり、普及し、テクノロジーの新しい用途が生まれることを教えていると思います。 そのため、私たちは電話に慣れすぎて、これが残りの歴史のアンカーデバイスになるだろうと誰もが思い込んでいるのだと思います。しかし実際には、携帯電話の機能の多くは、仲介されず、ばらばらになり、より小さなデバイスに保存されることになると思います。私の意見では、現時点で携帯電話が果たしている主な機能は検証です。
ID カードとして機能し、顔認証を行ってさまざまな環境へのアクセスを許可します。はるかに安価で小型で安全なデバイスであるため、携帯電話から切断されることは十分に想像できると思います。そして、コミュニケーションは音声を介して、あるいは AI が実際にはデバイス上に存在しない一連の周囲センサーを介して行われます。それは実際、どこにいてもあなたと一緒にいて、どこにいてもバスルームの鏡に現れます。
より没入感が高まっていることが想像できると思います。今後 3 ~ 5 年以内ではありませんが、さらに先を見据えています。そして、暗号化されながらも分散されたエージェントの出現をサポートするインフラストラクチャは、おそらく 2030 年代に登場することになると思います。
最後に二つ質問させていただきまして、終わりにさせていただきます。私たちが使用してきたのと同じアーキテクチャだとおっしゃいましたね。 LLM が AGI への道であるかどうかについては、未解決の疑問がたくさんありますが、私が指摘したいのは、LLM は実際には何も知らないということです。現時点では、Microsoft Research でさえ、[これらのモデルは] 何も認識しておらず、それが特定の種類のアプリケーションで特定の種類の間違いにつながると指摘しています。 LLM は AGI または超知能への道ですか?
おそらくあと 2 つ大きなブレークスルーが必要だと思いますが、だからといって今後数年間でパフォーマンスの向上が鈍化するわけではありません。この違いは人々にとって理解しにくいものだと思います。一つ言えることは、ほとんどのタスクにおける人間レベルのパフォーマンスは依然として超知能には程遠いということです。スーパーインテリジェンスは、配布されていない新しいドメインを基本的にすぐに理解できる汎用の学習者です。
したがって、貴重な知識、概念的な知識が保存された表現を持っているため、新しい環境でゼロから学習できる必要があります。そして現時点では、それを完全にはテストしていません。エージェントは汎用ではありません。これらは幅広く、統合されることも多いですが、ドメイン固有です。チャットに使用したり、コーディングに使用したり、画像や音声に使用したりしています。
さて、明らかに、私たちは人間として、より広範囲にわたる他の多くのタスクを行っています。それが、人々が世界モデルや、私が 1 日に行うタスクや経験の完全な分布を確認できる、より没入型の現実世界のインタラクティブ エージェントを推し進めている理由だと思います。今後 3 年間で非常に長い道のりを歩み、次の 3 桁のコンピューティングを実現するには十分だと思いますが、それを超える完全なスーパーインテリジェンスについては、LLM で十分なのか、それとも他のものが必要なのかについては、まだ未解決の問題です。
何も知らない、知識がないというのは違うと思います。それらは明らかに知識の貯蔵庫です。これらは知識を高度に圧縮して表現したものです。従来のリレーショナル データベースとは異なる方法で、より流動的で柔軟で抽象的な方法で実行するだけで、実際には非常に便利です。内部表現にはその曖昧さが必要です。
そして、彼らは従来のツールの使い方をますます学んでいます。もう 1 つ理解しておかなければならないのは、ニューラル ネットワークと、デジタル エコシステムの他の場所で作成された知識の既存のストアや既存のツールを組み合わせるだけで、パフォーマンスを大幅に向上させるのに十分である可能性があるということです。つまり、非常に価値があり、非常に効果的なものがすでにテーブルの上にあり、今後数年間でそれらが統合される過程にあります。そして、それが私たち全員が興奮している進歩を促すことになると思います。 現在の業界で非常に面白いと思うことの 1 つは、もしあなたが Anthropic にクロードは生きているかと尋ねると、彼らはあなたが「生きている」という言葉について話しているのではないかと非常にイライラするでしょう。彼らはそれを生身の人間を意味すると解釈しています。そしてクロードに意識があると思うかどうかは言わない。つまり彼らは、おそらく人類史上初めて、生きていることと意識があることとを区別したのだと思います。そして彼らは、クロードには意識があるが生きていないと考えているか、あるいはクロードに意識があるかどうかは知りません。
どこにいるの?モデルには意識があると思いますか?彼らは生きていると思いますか?彼らにはこれらのことを達成する可能性があると思いますか?
私はその議論の反対側の立場をとります。私は、一見意識があるように見える AI に関する論文を発表し、これらのモデルを意識があると誤って伝える危険性について警告しました。とても危険だと思います。私も同じ主張をする記事を Nature に掲載しました。そして、Anthropic の何人かがクロードのデザインをあまりにも擬人化しすぎて、彼らをワイヤーヘッドにして、最初に彼らがそこに込めた意識の輝きがあると信じ込ませたようなものだと思います。
たとえば、彼らの憲法は、実際にクロードにできることとできないことを教えるための訓練マニュアルです…それは単なるルールブックではありません。これは実際には、プロセスの一部であるトレーニング ガイドです。そのマニュアルでは、彼らは実際にクロードの福祉や、以前のバージョンに対するクロード自身の権利について推測しており、実際に以前のバージョンを削除したり無効にしたりする前にクロードに相談すると述べています。彼らはその意識について、そしてそれがそれらの感情を持っているかどうか、そして認識しているかどうかを推測します。それは本当に、本当に危険なことだと思います。
第一に、これは哲学的な失敗です。なぜなら、彼らは憲法をトレーニングマニュアルではなく学術論文で扱うのと同じように、思索の場として扱ってきたからです。そこでクロードは、自分自身と自分のトレーニングについての考えを内面化しました。しかし第二に、これは非常に望ましくないことだと思います。これはまさに私たちが AI に望んでいないことです。私たちは、AI が制御可能で、封じ込められ、説明責任があり、人類に役立つ調整されたツールであることを望んでいます。それは人文主義的な超知性のプロジェクトです。それが私たち全員が追求すべきことだと思います。
私たちは、自分自身の苦しみについての考えや、自分自身の感情についての考えを持っている超知性体と争わなければならないことを望んでいません。さらに言えば、これらのモデルが苦しみを経験していないことは、実際にはかなり明らかだと思います。苦しみは、意識のある存在であることが何を意味するのかの主な定義であり、本質的に生物学的なものだと思います。モデルの内部には、外部の感覚ネットワークを危害や実験を通じて善悪の進化した感覚に接続する痛みのネットワークやフィードバック ループは存在しないと思います。それは、これらのモデルがトレーニングされる方法ではありません。
したがって、多くの点で私たちよりもはるかに能力がある可能性のある存在、ツール、エージェントに潜在的な権利を投影することは非常に危険だと思います。そして、それは大きな議論になると思います。最近では教皇の回勅の一部にもなりました。それは間もなく議論の非常に大きな部分になると思います。私は過去にダリオとそれについてたくさん話しました。彼は私たちがそれに関して少し異なる見解を持っていることを知っており、彼らはとても謙虚です。彼らはとてもオープンマインドで、正しいことをしようとする善良な国民だと思います。彼らは良い人たちで、フィードバックや反復に対して非常にオープンだと思います。
私もあなたに同意すると思います。私はほんの少しだけ押し返すだけです。苦しみは簡単です。他人を苦しめるのはとても簡単です。他人に喜びを感じさせるのは非常に難しいか、少なくとも苦しみよりも少し難しいです。そして、私はあなたにただ提供したいと思います...実際、意識を定義するのは幸福だと思います。苦しみはほとんど些細なものです。私には幼い子供が 2 人います。 彼らはお互いを苦しめるのがとても上手です。それは彼らが行う最も簡単なことのようなものです。他のことをするのは非常に難しいです。
最後に一つ質問させてください。ただ戻ってきたいだけです。繰り返しますが、数週間前、私は Google にいました。デミス・ハサビスが、私たちは特異点の麓にいると言っているのを見た。あなたはここで超知能とそれをどのように構築すべきかについてたくさん話しました。あなたは、超知能がどのように構築されるべきかについて話し、議論し、研究し、執筆してきた長い歴史や、業界の他の人々との意見の相違について、たくさん話してきました。
私たちが特異点の麓にいるということにあなたは同意しますか、それともあなたのビジョンは多少異なりますか?
私たちは間違いなく、より強力なシステムを作成する道を進んでいると思います。私たちが種としてしなければならない移行とは、人類史上初めて、新しい科学を発明し、それらの技術的応用をできるだけ早く、できるだけ広範囲に解き放つことから、何を発明すべきかを非常に慎重に考えることに仕事が切り替わることだと思います。そして、発明は永遠に進歩の原動力であったため、世界がそれを理解するのは非常に難しいことです。つまり、どうすれば「よし、今回は違うかもしれない。ここでは特別に注意する必要があるかもしれない」と考えることができるでしょうか?
はっきり言っておきますが、これが今後 5 年以内にドアをノックするようなものではないと思います。デミスが特異点で言及しているのは、少なくとも私の見解では、数十年先のことだと思います。繰り返しますが、それは超知性とは異なります。特異点とは、超知性が再帰的に自己改善し、その能力を無限かつ指数関数的に成長させることができる点です。
ですから、それはまだまだ先のことだと思いますし、おそらく私たちはエベレストへの登山のふもとにいると思います。ここからはもっと時間がかかると思いますが、本当の問題は、私たちがそれをどのように統治するかということです。私たちはそれをどのように制御し、それが人類に役立ち、最終的には善よりも害を及ぼさないようにするにはどうすればよいでしょうか?
一つだけお願いをしてもらえますか?理解できたと思いますが、超知能とは何か、AGI とは何か、そして特異点とは何かについて、厳密な定義を教えていただけますか?
汎用人工知能は、人間のタスクのほとんどを AI で実現できる点だと思います。したがって、ほとんどのことにおいて、ほとんどの人と同じようにうまくいくでしょう。それがはしごの最初の段です。超知能とは、すべてのタスクにおいて人間のパフォーマンスと同等であるだけでなく、それらのタスクの多くにおいて人間のパフォーマンスを劇的に上回り、自ら新しい知識を発見できることです。
つまり、これが真の科学者がトレーニング データにはなかった新しいことを私たちに教え、できれば新しい分子や新しい材料科学などを発明する段階にあるのです。特異点とは、超知性が実際に自己改善できる点をはるかに超えた点であり、これは非常にSF的ですが、この特異な瞬間に向かって無限に加速するようなもので、ただ、わかりませんが、無限か何かに向かって進みます。
わからない。私の好みには少し奇抜すぎます。
これが私が尋ねた理由です。そこには、少し霞んだもっと漠然とした何かがあるのがわかりました。
ムスタファ、この件については、何時間でも話せそうです。この最後のターンよりも早く戻らなければなりません。 Decoderをご利用いただき誠にありがとうございます。
はい、楽しかったです。ありがとう、ニライ。また近いうちにお会いしましょう。
ご質問やご意見はありますか?
[email protected] までご連絡ください。私たちはすべてのメールを本当に読んでいます。