Sogar Nvidias Automobilchef kämpft mit Nvidia um Rechenleistung
⚡ Kurzzusammenfassung
Heute spreche ich mit Xinzhou Wu, dem Leiter der Automobilabteilung bei Nvidia.
Heute spreche ich mit Xinzhou Wu, dem Leiter der Automobilabteilung bei Nvidia.
Nvidia ist wegen des KI-Booms offensichtlich ständig in den Nachrichten – es ist eines der wertvollsten Unternehmen der Welt, weil die KI-Branche nicht genug von den GPUs des Unternehmens bekommen kann.
Aber auch für die Autoindustrie ist Nvidia ein wichtiger Zulieferer. Chips sind schon seit Jahren in Autos verbaut, und Xinzhou war maßgeblich am Aufbau eines kompletten autonomen Fahrsystems beteiligt, das Autohersteller einfach nutzen können. Es ist beispielsweise bereits in neueren Mercedes-Elektrofahrzeugen vorhanden, wie Sie ihn mehrmals erwähnen hören.
Deshalb wollte ich unbedingt seine Sicht darauf erfahren, wie die Automobilindustrie den großen Übergang zu selbstfahrenden Elektrofahrzeugen bewältigt. Das ist das Ziel, von dem Ihnen jeder Automobilhersteller und Zulieferer erzählen wird, dass es im Jahr 2026 vielleicht weiter entfernt erscheint als je zuvor. Der Einführungszyklus von Elektrofahrzeugen ist in den Vereinigten Staaten völlig aus der Bahn geraten, das autonome Fahren scheint für immer in der Versuchung zu stecken, die letzten 20 Prozent der Probleme zu lösen, und Autos selbst werden immer teurer, obwohl die Verbraucher den Druck der Inflation und steigender Energiepreise auf breiter Front spüren.
Sie werden Xinzhou sagen hören, dass es tatsächlich erstaunliche Fortschritte bei der Neuerfindung der grundlegenden Natur des Autos selbst gegeben hat – etwas, das die Branche das „softwaredefinierte Fahrzeug“ nennt, das von nur einer Handvoll leistungsstarker Computer anstelle von Dutzenden oder sogar Hunderten unabhängiger elektronischer Steuergeräte oder ECUs gesteuert wird. Wenn Sie ein Decoder-Hörer sind, haben Sie schon so viele Automobilhersteller über die Notwendigkeit gehört, sich von Steuergeräten zu verabschieden. Xinzhou sagt, dieser Moment sei im Grunde da.
Wir haben viel über die chinesische Automobilindustrie gesprochen und darüber, wie sie sich im Grunde einen Vorsprung verschaffen konnte, weil sie begonnen hat, auf Architekturen und Plattformen für Elektrofahrzeuge aufzubauen, anstatt einen Übergang weg von Benzinautos und all diesen Steuergeräten bewältigen zu müssen. Xinzhou hat früher bei einem chinesischen Originalgerätehersteller (OEM) gearbeitet, daher verfügt er dort über einiges an Einblick.
Wir haben auch über die Arbeit bei Nvidia selbst gesprochen. Es ist ein einzigartiges Unternehmen mit einer einzigartigen Führungskraft in Jensen Huang, und Xinzhou sagte, dass seine bisherigen drei Jahre dort eine schnelle Lernerfahrung gewesen seien. Er scheute nicht davor zurück, mit dem boomenden KI-Geschäft des Unternehmens um Ressourcen und Kapazitäten konkurrieren zu müssen. Seine Beschreibung dessen, was diese Argumente gewinnt, insbesondere wenn seine Kunden so langsam und kostenscheu sind wie die Autohersteller, war faszinierend.
Natürlich mussten wir über KI diskutieren und darüber, wie Nvidias Ansatz zur Autonomie das, was Xinzhou den „klassischen“ Stack nennt, mit der Fähigkeit von Reasoning-Modellen zum Betrieb des Autos vereint. Da steckt viel dahinter, darunter auch die Idee, dass man ein KI-Modell hat, das buchstäblich mit sich selbst spricht, um herauszufinden, wie man sein Auto fährt, was ich sowohl unglaublich interessant als auch unglaublich lustig finde.
Und natürlich kann man in den USA nicht über Elektroautos oder Fahrzeugautonomie sprechen, ohne über Elon Musk und Tesla zu sprechen. Deshalb habe ich Xinzhou ziemlich direkt gefragt, ob Teslas vollständig autonomes Fahren tatsächlich das leisten kann, was Elon behauptet, ohne den Einsatz von Lidar. Sagen Sie es mir, wenn Sie glauben, dass seine Antwort Bestand hat.
Okay: Xinzhou Wu, Leiter Automotive bei Nvidia. Auf geht's.
Dieses Interview wurde aus Gründen der Länge und Klarheit leicht bearbeitet.
Xinzhou Wu, Sie sind Leiter Automotive bei Nvidia. Willkommen bei Decoder.
Danke, dass du mich hast.
Ich freue mich wirklich darauf, mit Ihnen zu sprechen. Es fühlt sich an, als ob die Natur eines Autos zur Disposition steht. Es fühlt sich an, als befände sich die Automobilindustrie in einer Phase massiver Neuausrichtung, fast so, als gäbe es ein Gefühl dafür, wo das Auto als Produkt mehrere Jahre lang landen würde, und das liegt an den Schwierigkeiten bei der Umstellung auf Elektrofahrzeuge und an den Handelskriegsschwierigkeiten zwischen den USA und China.
Das alles scheint chaotischer zu sein als je zuvor. Viele Autohersteller ziehen sich zurück, und es scheint, als ob Sie durch Ihre Position bei Nvidia einen ziemlich umfassenden Überblick über die Entwicklungen in der Automobilindustrie haben, da Sie so viele der großen Autohersteller in praktisch jedem Land beliefern.
Also fangen wir einfach dort an. Wie beurteilen Sie den Stand der Automobilindustrie auf diesem langen, kurvenreichen Weg zur Autonomie und Elektrifizierung?
Das ist eine ausgezeichnete Frage. Ich arbeite seit wahrscheinlich 15 Jahren in der Automobilbranche, angefangen bei meiner Karriere bei Qualcomm. Ich leitete eine Zeit lang das Automotive-Team von Qualcomm. Und natürlich haben wir den Ausdruck „softwaredefiniertes Fahrzeug“ gehört. Im Moment geht es mit der KI-Technologie in die nächste Phase, die wir im Wesentlichen als „KI-definiertes Fahrzeug“ bezeichnen.
Mit diesen massiven technologischen Innovationen hat sich die Automobilindustrie im letzten Jahrzehnt ziemlich schnell verändert. Wie Sie wissen, habe ich auch fünf Jahre lang für einen chinesischen OEM gearbeitet und dessen Team für autonomes Fahren geleitet.
Jetzt bin ich bei Nvidia. Was ich im Laufe meiner 15-jährigen Karriere gesehen habe, ist die Gelegenheit, diesen massiven Wandel mitzuerleben. Das Auto hat sich, sagen wir mal, überwiegend mechanisch und zusätzlich elektrisch, zu einigen Dingen entwickelt, deren Leistungsfähigkeit wir durch Over-the-Air-Software (OTA) ziemlich schnell verbessern können. Wir nennen das die Ära des „softwaredefinierten Fahrzeugs“. Da sich die Technologie nun in Richtung generativer KI weiterentwickelt, verwenden wir KI, um den Großteil der Software im Auto neu zu schreiben. Das nennen wir das „KI-definierte Fahrzeug“.
Dies hat einerseits auch das Entwicklungstempo der Fahrzeugfähigkeit beschleunigt. Und andererseits hat es auch die Art und Weise verändert, wie wir „Fahrzeug“ definieren. KI wirkt sich auf allen Ebenen auf die gesamte Branche aus. Es ist wirklich spannend zu sehen, wie sich die Welt von hier aus mit diesen neuen technologischen Innovationen weiterentwickeln wird.
Lassen Sie mich einige Begriffe auseinandernehmen. Ich höre sie oft von Autoherstellern, die gerne auf die Messe kommen und mir erzählen, was mit den Autos passieren wird. Aber ich denke, dass einige dieser Begriffe etwas unscharf sind.
Sie sagten also „softwaredefiniertes Fahrzeug“. Das ist ein ziemlich unscharfer Begriff. Meiner Meinung nach besteht die Idee darin, dass wir alle Steuergeräte in einem Auto loswerden, die derzeit viele, viele verschiedene Systeme steuern. Und wir werden all diese Komponenten in vielleicht einem oder zwei großen Rechenzentren in einem Auto zentralisieren. Tesla ist dafür sehr berühmt. Darauf hat Rivian eine große Wette abgeschlossen. Wassym Bensaid von Rivian war gerade in der Show und hat darüber gesprochen.
Andere alteingesessene Autohersteller haben versucht, dies zu tun. Wir hatten GM in der Show. Sie sagten: „Sehen Sie, das müssen wir nicht tun. Uns geht es gut. Wir machen es auf unsere Art.“ Ford hat versucht, dies im großen Stil zu erreichen. Sie mussten eine Skunkworks gründen und eine völlig neue Art der Herstellung eines Autos entwickeln, auf das sie sehr stolz sind. Uns wurde gesagt, dass aus diesem Projekt bald ein Lastwagen hervorgehen wird.
Ich glaube nicht, dass die Branche dort angekommen ist. Das ist im Grunde das, was ich sage. Die Startup-Automobilhersteller kamen an den Punkt, an dem sie behaupten konnten, ein softwaredefiniertes Fahrzeug zu haben, bei dem ein oder zwei große Computer im Auto jedes System steuerten. Den alten Autoherstellern ist es größtenteils noch nicht gelungen.
Ich werde das mit einem Sternchen versehen. Vielleicht wird Ford mit diesem neuen Lkw Erfolg haben, aber wir wissen es noch nicht. Glauben Sie, dass die Branche im Großen und Ganzen zu softwaredefinierten Fahrzeugen übergehen wird, oder glauben Sie, dass die alten Automobilhersteller dort bleiben werden, wo sie sind?
100 %. Ich hatte die Gelegenheit, mitzuerleben, was in China von 2018 bis 2023 passierte. Die gesamte Branche hat diesen massiven Wandel in nur fünf Jahren durchgemacht. Dort müssen sich nicht nur die neuen, sondern auch die alten Automobilhersteller anpassen. Jeder stellt sich auf eine einzige zentrale Rechenarchitektur ein, denn so kann man im Wettbewerb bestehen.
Auch im Rest der Welt haben wir unsere Partner durch die Zusammenarbeit bei autonomen Fahrzeugen (AV) von Drive and Drive, zum Beispiel mit unserem Partner Mercedes. Ihre aktuelle Generation ist eine wesentliche computerbasierte Architektur. Es wird in all ihren Fahrzeugen zu finden sein. Bei den anderen Basis-OEMs arbeiten wir mit allen zusammen und versuchen, ihnen dabei zu helfen, die Architektur auf einen Ein- oder Zwei-Computer-Weg umzustellen oder zu aktualisieren, denn es wird Infotainment geben, es wird grundlegendes Fahren oder erweiterte Fahrerassistenzsysteme (ADAS) und Steuergeräte geben. Aber ich denke, die Welt bewegt sich tatsächlich ziemlich schnell in diese Richtung.
Einige von ihnen werden offensichtlich langsamer sein. Einige von ihnen werden schneller sein. Das liegt in der Natur dieses Geschäfts. Aber ich habe keinen Zweifel daran, dass sich die Welt grundsätzlich in diese Richtung entwickelt.
Ich bin wirklich neugierig auf deine Geschichte. Sie haben bei XPeng gearbeitet, einem chinesischen Autohersteller. Da ich hier in den Vereinigten Staaten sitze und seit langem ein Autofan bin, habe ich das Gefühl, dass die chinesischen Automobilhersteller einen ziemlich einzigartigen Vorteil hatten, da sie keine großen globalen Automobilhersteller waren. Sie operierten nicht in großem Umfang. Die Elektrifizierung kam. Tesla hat in China offensichtlich eine Reihe von Kapazitäten zur Herstellung von Autos aufgebaut. Wir alle wissen, wie das chinesische Produktionsökosystem funktioniert, und sie mussten neu starten. Sie konnten eine Reihe von Autos als Elektroautos konstruieren, ganz ohne Neuanfang, im Grunde so, wie es die Start-up-Automobilhersteller in den Vereinigten Staaten machten, und auf einer völlig neuen Grundlage weltweit wettbewerbsfähige Autos bauen, ohne sich um eine Menge Dinge kümmern zu müssen, um die sich alteingesessene amerikanische Autohersteller kümmern müssten. Und dann hat die chinesische Regierung das alles offensichtlich massiv subventioniert.
Du hast dort gearbeitet. War das Ihre Erfahrung? Ist es im Grunde so gelaufen, dass sie neu anfangen konnten?
Ich denke, das ist nur eine Seite davon. Sie haben auf jeden Fall weniger Hinterlassenschaften und weniger Belastungen, um die sie sich Sorgen machen müssen, und das ist ein Vorteil. Was ich aber auch sehe, ist, dass sich nicht nur die neuen OEMs, sondern auch die Global Player dort auf das chinesische Tempo einstellen müssen. Zumindest nach dem, was ich dort erfahren habe, fahren alle in diesem Tempo. Auch hier möchten Sie konkurrenzfähig sein.
Aber wie Sie sagten, die Welle ... Softwaredefinierte Fahrzeuge gibt es schon seit langem und Tesla ist derjenige, der sie wirklich zur Serienreife bringt. Ich bin mir nicht sicher, ob es die ersten sind, aber auf jeden Fall im größten Ausmaß. Ich habe keinen Zweifel daran, dass auch die OEMs im Rest der Welt folgen werden.
Ich denke, dass das jetzt jeder OEM tun muss, denn das ist die Art und Weise, wie man konkurriert, das ist es, was man tun muss, um zu überleben. Autonomie wird für alle OEMs fast zu einer Notwendigkeit in ihren Fahrzeugen. Wir alle glauben an diese Zukunft. Und der einzige Weg dorthin ist: Erstens gibt es die von mir beschriebene Architektur, die Software-Upgrades ermöglicht, ohne viele, viele diskrete Steuergeräte zu haben. Eigentlich habe ich in letzter Zeit keine Leute gehört, die dagegen argumentierten. Vielleicht haben Sie etwas anderes gehört, aber ich denke, das ist ein notwendiger Schritt für alle. In diesem Stadium ist es fast wie ein Tischpfahl für die Architektur der nächsten Generation. Natürlich sprechen wir mit vielen OEMs, aber dies ist ein Konsens, auf den sich die Branche zubewegt.
Ich bin gespannt auf den Weg dorthin, denn ich stimme Ihnen zu, dass viele, viele Menschen gesagt haben, dass dies der Endzustand ist und alles ermöglicht, was als nächstes kommt. Es fühlt sich einfach so an, als wäre der Weg dorthin viel holpriger gewesen, als die Branche erwartet hatte. Ein Teil davon ist, ich weiß nicht, dass die Trump-Administration Elektrofahrzeuge nicht mag. Die Verkäufe von Elektrofahrzeugen und die Steuergutschriften hier sind also weggefallen, und vielleicht sind die Verkäufe von Elektrofahrzeugen in die Höhe geschossen, weil die Nachfrage vorgezogen wurde und vielleicht jetzt jeder ein Benzinauto haben möchte. Und vielleicht ist das alles schwieriger, wenn Sie keine riesige Batterie haben, die alle diese Systeme dauerhaft mit Strom versorgen kann, und Sie tatsächlich den Motor starten müssen, um alle diese Systeme mit Strom zu versorgen, anstatt eine 12-Volt-Batterie zu haben.
Oder vielleicht liegt es daran, dass die chinesischen Autohersteller so wettbewerbsfähig sind und so subventioniert sind, dass die Kosten dafür für die alten Autohersteller schwer zu stemmen sind, weil sie sich um die alte Infrastruktur und die Händlernetzwerke in den Vereinigten Staaten kümmern müssen, und wir werden uns damit einfach zurückhalten. Irgendetwas an dem Weg zu diesem vereinbarten zukünftigen Zustand des Autos scheint schwieriger zu sein, als ich dachte oder irgendjemand in der Show in den letzten fünf Jahren gesagt hat, dass es so sein würde. Ich bin neugierig, aus Ihrer Sicht. Sie sind der Lieferant, Sie versuchen, die Vision zu verkaufen, Sie versuchen, die Chips in alle Autos zu stecken. Was hat diesen Weg aus Ihrer Sicht erschwert?
Nun, Sie haben einiges gesagt.
Die Autoindustrie ist sehr schwer. Es umfasst riesige Lieferketten und viele Unternehmen, viele Mitarbeiter. Und um eine Änderung in der Architektur vorzunehmen, muss man jedes Mal, wenn man ein Auto auf den Markt bringt, es 10 bis 15 Jahre lang unterstützen. Nvidia verpflichtet sich als Zulieferer auch gegenüber seinen Kunden zu einer ähnlichen Verpflichtung hinsichtlich der von uns gelieferten Technologie, einschließlich Chipsätzen, anderen Plattformen und unserer AV-Technologie. Wir werden die Verpflichtung haben, die gleiche Generation 10 bis 15 Jahre lang zu unterstützen, auch für die aktuelle Chipgeneration. Wenn man es aus der Perspektive eines Silicon-Valley-Anbieters betrachtet, ist es fast verrückt. Aber das liegt in der Natur des Autogeschäfts. Es liegt in der Natur des Geschäfts, dass es die Dinge etwas verlangsamen wird. Und das ist eine Sache.
Die andere Sache ist, dass sich die Technologie so schnell verändert und sich, sagen wir, vom Automobil, wie wir es vorher kannten, und vom softwaredefinierten Fahrzeug bis zum KI-definierten Fahrzeug so sehr unterscheidet, durch einen anderen Talentpool gehen muss, um das Unternehmen richtig aufzustellen und sich an diese neue Welle technologischer Innovationen anzupassen. Deshalb kann Nvidia einspringen und helfen. Weil wir glauben, dass die Technologie Fortschritte macht – wir reden hier natürlich hauptsächlich über das autonome Fahrzeug. Die Technologie erreicht einen Reifegrad. Wir werden diese Technologie in die Massenproduktion bringen und ein Lieferant kann hinzukommen.
Aus diesem Grund stellen wir nicht nur die AV-Technologie bereit, sondern auch die gesamte Plattform, angefangen beim Chip bis hin zu Betriebssystemen, einem Open-Source-Modell und dem, was wir Halos nennen, dem Sicherheitsbetriebssystem, das dem OEM hilft, sich schneller an diese neue Welt anzupassen.
Es liegt in der Natur des Geschäfts, dass nicht jeder mit der gleichen Geschwindigkeit laufen kann. Aufgrund der Schwere dieser Branche wird es also sicherlich einige Zeit dauern, bis alle ans Ziel kommen. Aber auch hier besteht meine Aufgabe bei Nvidia darin, allen dabei zu helfen, alles zu erreichen, was sich autonom bewegt, und so schnell wie möglich zu dieser Vision zu gelangen.
Lassen Sie mich jetzt nach Ihrer Rolle bei Nvidia fragen, denn ich denke, das bringt uns zu den Decoder-Fragen. Ich denke, jeder, der die Show hört, ist wahrscheinlich sehr vertraut mit dem Trend, den Nvidia in Sachen KI eingeschlagen hat. Es ist eines der wertvollsten Unternehmen der Welt. Jede GPU, die Nvidia herstellen kann, wird berücksichtigt. Wie viele Menschen arbeiten bei Nvidia Automotive?
Wir haben tatsächlich ein ziemlich großes Team, im Automobilteam sind es etwa tausende. Da wir an der gesamten Plattform arbeiten, gibt es Hardware, Software, Modell und Infrastruktur. Es ist ein ziemlich großes Team. Nvidia hat auch viele Dinge, die wir von den anderen Teams nutzen können. Ich bin mir zum Beispiel ziemlich sicher, dass Sie von Cosmos und Nemotron gehört haben. Dies sind unsere grundlegenden Open-Source-Grundmodelle. Auch von ihrer Seite profitieren wir stark von der Arbeit.
Wie ist Ihr Team organisiert? Sie haben erwähnt, dass Sie über Hardware, Software und Modelle verfügen. Ist das die Grundstruktur des Teams oder ist es anders organisiert?
Ja. Nun, auf der technischen Seite haben wir natürlich ein Produkt, wir haben eine Strategie, wir haben etwas hinter den Kulissen. Manchmal nennen wir sie unbesungene Helden. Das Kartenteam zum Beispiel, das für L3, L4, die Autonomiepfade auf hoher Ebene, immer noch sehr kritisch ist. Und die Dateninfrastruktur.
Die wörtlichen Navigationskarten, das ist es, worüber Sie sprechen.
Nun, es gibt auch eine HD-Karte. Grob gesagt teile ich mein Team so auf. Ja. Und ist das dann alles global? Ist das hauptsächlich in den Vereinigten Staaten? Wo befindet sich das?
Hauptsächlich in den Vereinigten Staaten, aber wir sind auch in China und Europa vertreten. Offensichtlich bauen wir ein globales Produkt, eine globale Plattform auf, also brauchen wir überall ein Support-Team.
Sie haben erwähnt, dass Sie sich auf einige der Basismodelle verlassen, die Nvidia im weiteren Sinne entwickelt hat. Wie ist Ihr Team innerhalb von Nvidia strukturiert? Passt es in die KI-Strategie? Ist es getrennt? Bist du isolierter? Wie soll das gehen?
Oh, das ist eine tolle Frage. Bei Nvidia haben wir beispielsweise ein zentrales Hardware-Team, das für die Hardware-Roadmap unserer GPU, der CPU, die gesamte Chipsatz-Strategie und die Produktisierung verantwortlich ist. Wir haben auch ein zentralisiertes Software-Team. Das Automotive-Team ist eine separate Organisation, die viel stärker auf die Automobilindustrie ausgerichtet ist und deren Aufgabe es ist, die Automotive-Plattform aufzubauen, um die Arbeit unseres Hardware-Teams und des Software-Teams zu nutzen und sich an die Automotive-Branche anzupassen. Wir haben auch das Modelteam.
Nvidia hat auch eine Kultur virtueller Teams. Zum Beispiel unser Open-Source-Modell für Nemotron und Cosmos, sie alle sitzen unserem Forschungsteam, dem Software-Team und dem Hardware-Team gegenüber. Aber es sind virtuelle Teams, die an diesen Open-Source-Grundlagenmodellen arbeiten. Wir können diese Arbeit nutzen und dann in der Automobilorganisation ein Modell aufbauen, um der AV-Branche zu helfen, über ein leistungsstarkes Open-Source-Modell zu verfügen, an dem sie arbeiten kann.
Wie ich bereits sagte, wird im Grunde jede GPU, die Nvidia herstellen kann, in irgendeiner Weise berücksichtigt. Das liegt in der Natur der KI-Branche im Moment. Sie werden irgendwo in eine Neocloud gehen. Müssen Sie um Ressourcen und Aufmerksamkeit gegen das Unternehmen kämpfen, das mit der Geschwindigkeit und dem Umfang wächst, in dem es wächst?
Ja, ob Sie es glauben oder nicht. [Lacht] Sogar Nvidia verfügt über einen begrenzten Vorrat an GPUs für die Datenverarbeitung. Wir haben eine interne Priorität, und ich arbeite im Grunde fast wöchentlich mit meinen Kollegen zusammen, um zu entscheiden, wie ich die verschiedenen Rechenressourcen, manchmal für Schulungen, manchmal für Tests, oder Ressourcen für einen anderen Arbeitsstrang im Unternehmen reservieren möchte. Und manchmal brauchen wir Jensen [Huang, CEO von Nvidia], um zu helfen, aber ja.
Wie soll das gehen? Wie sieht diese Debatte aus? Handelt es sich um eine ROI-Debatte? „Wenn wir so viel Geld reinstecken, bekommen wir so viel Geld von unseren Kunden heraus“? Handelt es sich um eine Debatte über die Marktgröße? Was sind die Parameter des Gesprächs?
Es ist alles das oben Genannte, wie Sie sich vorstellen können. Der Umsatz ist natürlich wichtig, aber auch Nvidia ist, wie Sie wissen, ein sehr strategisches Unternehmen. Wir schätzen das, was Jensen manchmal das Null-Billionen-Dollar-Geschäft nennt. Wir suchen nach neuen Möglichkeiten, die ständig ein Billionen-Dollar-Geschäft schaffen können. Daher müssen wir innerhalb der Unternehmen strategische Prioritäten für die neue Richtung festlegen, in die wir gehen. Sie wissen wahrscheinlich auch, dass wir kein Marktanteilsunternehmen sind. Es ist eine Balance zwischen dem, was im Grunde jetzt Geld bringt, und dem, was die Zukunft schaffen kann, was dem Unternehmen in der Zukunft Chancen bieten kann.
Nvidia ist ein sehr einzigartig geführtes Unternehmen. Wie Sie bereits erwähnt haben, ist Jensen in alles involviert. Ich habe ein Interview mit ihm gesehen, in dem er sagte, dass er keine Einzelgespräche führt. Er trifft sich einfach mit allen auf einmal und alle besprechen es einfach. Wie ist das?
Ich bin seit drei Jahren bei Nvidia. Ehrlich gesagt ist es sehr einzigartig. Und es sind offensichtlich nicht alle auf einmal. Es sind verschiedene Gruppen. Wir alle haben ein technisches Strategieprodukt, einen anderen Teil der Geschäftsbewertungen mit Jensen. Für mich ist es tatsächlich eine super spannende Erfahrung, von seinem strategischen Denken zu lernen und wie er über ein Produkt denkt, wie er über eine Strategie denkt. Er ist auch technisch einzigartig tiefgreifend. Es ist auch eine ziemlich inspirierende Erfahrung zu sehen, wie sehr er technisch auf dem Laufenden bleibt. Ich würde sagen, es ist eine einmalige Erfahrung und Gelegenheit für mich, von Jensen lernen zu können. Wenn Sie die Möglichkeit zur Autonomie, insbesondere in der Zukunft, beschreiben, scheint das die große Chance zu sein. „Wir werden die Rechenleistung von Nvidia und die Leistungsfähigkeit der KI auf Autos übertragen und sie selbst fahren lassen.“ Wie sieht dieses Erlösmodell aus? Sieht es so aus, als würden Sie nur Chips und Software an Autohersteller verkaufen? Sieht es so aus, als ob Verbraucher ein Abonnement bezahlen und ein Teil davon an Sie zurückfließt? Woher kommen die Billionen Dollar?
Das ist auch eine ausgezeichnete Frage. Im Moment sind wir fest davon überzeugt, dass alles, was sich bewegt, autonom sein wird. Jeder Kilometer, den das Auto künftig zurücklegt, wird autonom sein. Wenn man es sich anschaut, fahren wir von all den Autos 13 Billionen Meilen pro Jahr. Derzeit ist der Anteil der autonomen Meilen an der gesamten gefahrenen Kilometerleistung wahrscheinlich vernachlässigbar. Ich denke, es sind 0,006 % oder so ähnlich. Das ist also die Chance, die sich uns bietet. Nvidia ist der Ansicht, dass wir dem Ökosystem so schnell wie möglich helfen werden, indem wir alle grundlegenden Technologieteile wieder bereitstellen, angefangen von Chips über Betriebssysteme bis hin zu dem, was wir Halos nennen. Das Halos-Betriebssystem ist wirklich wichtig, weil es nicht nur das SDK und die APIs für die Entwicklung von Modellen auf unserer Hardware bereitstellt, sondern auch die Sicherheitsvorkehrungen für Entwickler, um ein Modell darauf zu erstellen.
Wir definieren auch das, was wir Hyperion nennen, als Hardwareplattform. Dabei handelt es sich um eine serienreife Plattform, die die Computerressourcen, die Steuergeräte und auch die Sensorsuite umfasst. Wir halten es für notwendig, ein anderes Maß an Autonomie zu erreichen. Darüber hinaus stellen wir Alpamayo zur Verfügung, ein Open-Source-Modell, das wir trainiert haben. Es ist nicht nur in der Modellarchitektur Open Source, sondern auch in den Parametern und Daten, die Sie zur Feinabstimmung des Modells auf unserer Plattform verwenden können. Darüber hinaus stellen wir auch die gesamte erforderliche Infrastruktur zur Verfügung. Beispielsweise ist Simulation derzeit für die Entwicklung von AV sehr wichtig. Wir sagen normalerweise, dass das AV-Problem zu einem Drei-Computer-Problem wird. Es gibt den Trainingscomputer, es gibt den Simulationscomputer und dann gibt es den Inferenzcomputer im Auto. All diese Technologieteile möchten wir dem Ökosystem auf einer Plattform namens Nvidia Drive zur Verfügung stellen, damit die Leute diese Technologie auf unserer Plattform entwickeln können.
Wir hoffen, dass wir in Zukunft einen Prozentsatz der Einnahmen erzielen können, die das Ökosystem aus jedem autonom gefahrenen Kilometer erzielen kann. Hier kann die Billionen-Dollar-Chance entstehen.
Also Umsatz pro Meile. Das klingt nach den Kernkennzahlen, die Sie verfolgen. Woher kommt der Umsatz pro Meile für einen Benutzer? Muss ich ein Abonnement bezahlen, wenn ich Auto fahre? Oder glauben Sie, dass es überall Robotertaxis gibt und diese pro Fahrt monetarisiert werden? Woher kommt der Umsatz pro Meile und wie steigt diese Zahl?
Das ist richtig. Nun, ich denke, die Welt wird beide Modelle annehmen. Eine davon ist Robotaxis. Wie Sie sehen, gibt es in China, in den USA und auf der ganzen Welt einige erfolgreiche Unternehmen. Wir werden hoffentlich noch mehr sehen, die diesen Weg einschlagen. Wir verfügen über eine Taxi-ähnliche Flotte, mit der Sie ohne Fahrer im Auto von Ort A nach Ort B gelangen können.
Ich denke auch, dass die Passagierflotte noch lange bestehen bleiben wird, weil es viele Menschen gibt, die während der Reise immer noch einen privaten Raum bevorzugen. Es ist so, als ob viele Menschen immer noch lieber ein eigenes Haus besitzen als eine Wohnung zu mieten. Dahinter steckt auch eine Ökonomie. Wir glauben, dass beide Modelle Erfolg haben werden. Aus diesem Grund arbeiten wir sowohl mit den Robotaxi-Unternehmen als auch mit den anderen OEMs sowie den AV-Software-Entwicklerunternehmen zusammen, um ihnen durch die Lieferung verschiedener Technologieteile von Nvidia zu helfen.
Eine der interessanten Dynamiken, zumindest im Bereich der Elektrifizierung, war in den letzten fünf Jahren, dass alte Autohersteller erkannten, dass sie zu Versicherungs- und Finanzierungsunternehmen geworden waren und ihre Zulieferer die Autos herstellten. Sie hatten die Kontrolle über das Autodesign weitgehend verloren. Die Hauptzulieferer der großen Automobilhersteller waren in vielerlei Hinsicht für große Teilsysteme der Autos verantwortlich. Als sie ein Over-the-Air-Update durchführen wollten, mussten sie mit 15 verschiedenen Lieferanten sprechen, um dies zu erreichen. Ich habe diese Beschwerde Dutzende Male in der Show gehört. Und sie alle erkannten irgendwie: „Wir müssen die Technik des Autos zurückerobern. Wir müssen die Plattform des Autos viel stärker unter Kontrolle haben.“
Es hört sich so an, als ob Nvidia aus verschiedenen Gründen in der Autonomie eine Chance sieht, zum Hauptlieferanten für eine Vielzahl von Autoherstellern zu werden. Das ist offensichtlich die Absicht, denn sie denken: „Wir müssen die Kontrolle über das Auto übernehmen.“ Tesla verwendet zwar Nvidia-Chips, ist aber sehr stolz darauf, dass sie jede Zeile dieses Codes geschrieben haben, und das ist ihre Plattform, und sie haben ihre Technologiewetten abgeschlossen. Rivian, ich denke, Wassym ist sehr stolz darauf, dass er dieses Plattformunternehmen leitet und diese Plattform aufbauen wird. RJ [Scaringe, CEO von Rivian] ist sicherlich sehr stolz darauf, dass Rivian ein solches Unternehmen ist.
Welche Dynamik herrscht dort? Denn es sieht so aus, als ob nicht jeder Automobilhersteller die Technologiewette einhalten und in der Hoffnung, dass sich die Einnahmen auszahlen, in die Zukunft investieren kann. Sie brauchen einen Anbieter wie Nvidia, der mit einer fertigen Plattform und einem Geschäftsmodell auf den Markt kommt. Fällt das jetzt eher zu Ihren Gunsten? Sind wir aus diesem Wald herausgekommen oder liegt es noch in der Luft?
Ich denke, das Schöne am Nvidia-Geschäftsmodell im Automobilbereich ist, dass unsere Plattform völlig offen ist. Wir bieten mehrere Serviceebenen an und richten uns danach, was OEM- oder Robotikunternehmen benötigen. Sie können auswählen, was sie mit uns bis zu welcher Ebene für, wie Sie erwähnt haben, Tesla zusammenarbeiten möchten. Einige OEMs sind so fähig. Sie wollen sogar ihre eigene Schlussfolgerung für die Lackierung des Autos entwickeln. Selbst dafür geht es uns gut. Wir werden weiterhin mit ihnen zusammenarbeiten. Tatsächlich arbeiten wir mit Tesla und vielen OEMs zusammen, die ihren eigenen Inferenzchip nutzen, indem sie mit ihnen in der Cloud zusammenarbeiten. Wir versuchen sogar, bei der Optimierung ihrer Modelle zu helfen. Mit verschiedenen OEMs haben wir unterschiedliche Kooperationen, da wir immer noch den Simulationsrechner und die Trainingsberechnung in der Infrastruktur haben, mit der wir mit ihnen arbeiten.
Einige OEMs wünschen sich eine schlüsselfertigere Lösung. Wir arbeiten auch sehr gerne mit ihnen zusammen. In diesem Fall werden wir den ganzen Weg gehen. Wir arbeiten wie ein Tier eins oder Tier 1,5, nur um Hand in Hand zu gehen. Das sind unsere Fahrer-AV-Partner, zum Beispiel Mercedes. Wir arbeiten sehr eng mit ihnen zusammen, um die von ihnen gewünschten Produkte zu definieren und dann auch unseren Treiber-AV-Stack so anzupassen, dass er nahtlos in ihrem Fahrzeug funktioniert. Die Ingenieure beider Seiten arbeiten sehr eng zusammen, um eine optimale Anpassung an die Mercedes-Design-DNA und das Kundenerlebnis zu gewährleisten, das sie bieten möchten.
Das ist wirklich wichtig für uns. Wir wählen nicht per se Gewinner aus. Wir versuchen, OEMs basierend auf ihren Fähigkeiten auf verschiedenen Ebenen zu helfen. Die Offenheit ist für unser Kooperationsmodell mit OEMs sehr wichtig.
Einer der Gründe, warum ich so neugierig darauf bin, ist, dass Sie Trainingsmodelle erwähnt haben. Sie haben in anderen Interviews erwähnt, dass Sie synthetische Daten verwenden, um Autonomie auf unterschiedliche Weise zu trainieren. Ich bin sehr neugierig darauf. Es fällt mir einfach auf, wenn ich mir die Branche ansehe. Waymo hat diesen gigantischen Vorsprung bei den autonom gefahrenen Kilometern, und darauf sind sie sehr stolz, und das hat dazu beigetragen, dass ihre Autos in den Märkten, in denen sie tätig sind, genauso erfolgreich sind wie sie. Tesla hat auch einen riesigen Vorsprung, weil sie an den tatsächlich gefahrenen Autos trainieren. Nicht jeder Autohersteller kann herausfinden, wie er eine Milliarde autonom gefahrener Meilen erreicht.
Das ist richtig. Ja.
Sie müssen sich auf Dritte verlassen, um zumindest den Status quo zu erreichen, wenn nicht sogar darüber hinaus. Es fühlt sich an, als ob Nvidia da sitzt und bereit ist, dieser Dritte zu sein. Ist das ein wichtiger Verkaufsargument für die Autohersteller? „Sie können unsere Technologie einfach in jeder gewünschten offenen Kapazität kaufen und wir bringen Sie schnell in einen wettbewerbsfähigen Zustand“?
Ich würde sagen, dass dies der einzige überzeugende Punkt für OEMs ist, mit Nvidia im Hyperion-Ökosystem, im Drive-Ökosystem, zusammenzuarbeiten. Denn eines der entscheidenden Dinge für Hyperion ist die Rechenarchitektur, und auch die Sensorarchitektur ist der Datenaustausch. Für alle, die sich engagieren und Nvidia Drive-Partner werden, teilen wir Daten über unser bestehendes Programm, mit dem wir Millionen Stunden an Daten sammeln. Durch die verschiedenen Autoprogramme sammeln wir auch diese Daten von verschiedenen OEMs. Und dann können wir zunächst einmal ein Modell erstellen, das mit all diesen Daten trainiert wird. Wir stellen sicher, dass zumindest die in unseren verschiedenen Fahrzeugprogrammen gesammelten Daten mit dem OEM geteilt werden. Das ist Nummer eins. Zweitens: In der neuen Ära sind wir fest davon überzeugt, dass es sich bei der Datenverarbeitung auch um Daten handelt. Wie Sie bereits erwähnt haben, gibt es viele synthetische Daten.
Es gibt Neurorekonstruktionsdaten, die wir NuRec nennen. Dabei handelt es sich um eine sehr wichtige Technologie und Simulation, bei der wir die Daten vor Ort sammeln, aber manchmal können wir mithilfe der Neurorekonstruktion die Daten verfälschen, um den Hintergrund oder die Flugbahn des Autos zu ändern. Wir können viele Varianten derselben Daten generieren. Für all diese Daten ist ein Computer erforderlich, um diese zig Millionen Datenpunkte zu generieren. Wir können es mit allen teilen, die sich in unserem Ökosystem engagieren. Auf diese Weise können wir gemeinsam mit allen Akteuren, die sich am Drive-Ökosystem beteiligt haben, die Datenlücke schließen, was sehr wichtig ist.
Das sind also synthetische Daten, oder? Sie werden eine Reihe realer Fahrbeispiele sammeln. Sie werden es in einen Simulator einbauen. Der Simulator verwischt dann die Daten. Ich glaube, das Beispiel, das ich von Ihnen gehört habe, ist, dass ein Fußgänger herausgekommen ist, und wir können den Fußgänger einfach verzögern und die Person später herauskommen lassen, und das Auto muss darauf reagieren, als ob es real wäre.
Das ist richtig.
Und Sie werden eine Menge Training mit vielen verschiedenen Variationen derselben Daten durchführen. Das fasziniert mich. Ich verstehe, warum sich alle Autohersteller darauf einlassen würden. Warum sollten sie sich auf den Datenaustausch einlassen? Ist es nur die Erkenntnis, dass sie gemeinsam eine bessere Chance haben, aufzuholen? Liegt es daran, dass sie das Geld einfach nicht bezahlen wollen? Ist es billiger? Warum sollten sie sich mit ihren Konkurrenten an einer solchen Datenaustauschvereinbarung beteiligen?
Beides ist absolut wahr. Tatsächlich sind die Kosteneinsparungen enorm. Die Datenerfassung für den Betrieb einer riesigen Flotte ist für jeden, der das tun möchte, ein großer Kapitalaufwand. Es ist auch repetitiv. Wenn Sie beispielsweise finden, was wir auf der Drive-Plattform oder im Drive-Ökosystem anbieten, kann das unseren Kunden viel Aufwand und Geld ersparen.
Das interessiert mich, weil die Idee darin besteht, dass man Dinge trainiert und dann ein Modell im Auto hat und wir ein KI-definiertes Auto haben. Der klassische Ansatz zum autonomen Fahren bestand darin, dass wir immer mehr Daten auf das Problem werfen, und irgendwann weiß das Auto, wie es alles macht, es hat alle Straßen kartiert und alles im Griff. Ich habe einen Cadillac EV und Super Cruise funktioniert auf kartierten Straßen. Letztendlich besteht die Wette darin, dass sie immer mehr Straßen und immer mehr Dinge kartieren und das Auto leistungsfähiger wird.
Nvidias Ansatz scheint darin zu bestehen, dass das Auto intelligent genug ist, um alles zu tun, mit oder ohne Karten. Und das erfordert einen anderen Ansatz bei der Datenerfassung, einen anderen Ansatz bei der Berechnung und dann natürlich einen größeren Einsatz auf KI. Ist diese Spaltung real? Hast du gerade diesen Sprung geschafft? Ist das die Zukunft der Plattform, oder stecken Sie in der Mitte?
Der Ansatz, den wir derzeit für das verwenden, was wir L2+ nennen, ist im Wesentlichen kartenlos. Wie Sie richtig gesagt haben, benötigt das Modell definitiv mehr Daten und um mehr Eckfälle abzudecken. Und das Modell wird auch während wir sprechen immer größer, für diese Generation, für die nächste Generation. Wir werden ein viel größeres Modell mit mehr Parametern verwenden. Auch hier werden Stiftungsmodelle eine große Rolle spielen. Um dieses Modell sehr leistungsfähig zu machen, sind mehr Daten sehr, sehr wichtig. Andererseits kann aber auch der Trend helfen, ein Basismodell zu verwenden, das bereits mit Internetdaten trainiert wurde. Aus diesem Grund habe ich mehrmals den Zusammenhang mit den Gründungsmodellbemühungen von Nvidia hervorgehoben.
Mit dem Argumentationsmodell und dem Grundlagenmodell können wir die Perspektive des Grenzmodells nutzen und das Internet nutzen, um Daten zu skalieren, um dem Fahrzeug zu helfen, besser zu verallgemeinern, auch ohne die fahrzeugspezifischen Daten. Dies ist die Hauptrichtung, auf die wir setzen, hin zu einem höheren Grad an Autonomie, insbesondere Level 4. Dies ist einer der Hauptarbeitsthemen, auf die wir uns derzeit konzentrieren.
Zurück zum OEM: Ich denke, dass wir unseren Kunden das bieten können, was wir durch unsere Zusammenarbeit mit dem bestehenden Engagement aufgebaut haben, und unsere enorme Fähigkeit zur Datengenerierung mithilfe synthetischer Datensätze und Neurorekonstruktion sowie die Fähigkeit des Basismodells, das auf allgemeineren Daten trainiert wird, aber dem Modell hilft, besser zu schlussfolgern und besser zu verallgemeinern.
Ich habe das Gefühl, ich muss jetzt nach der Sicherheit fragen. Ich bin mir sicher, dass es komplizierter ist, aber Sie sprechen von einem Basismodell, das auf autonomem Fahren basiert. Und alles, was ich im Kopf habe, ist, dass sich ChatGPT bei mir dafür entschuldigt, dass es einen Fehler gemacht hat, als das Auto einen Unfall hatte, oder eine dieser schrecklich langen Latenzschleifen, in denen das Modell in die falsche Richtung geht und es merkt. Und dann kann man sich die Gedankenkette ansehen und es kommt einem so vor: Oh, es ist völlig falsch. Es fühlt sich so schlecht an, wie Anthropic glaubt, dass es Claude schlecht geht. Nichts davon scheint mit der Echtzeitcharakteristik des Autofahrens vereinbar zu sein. Wie überbrücken Sie diese Lücke? Latenz, die Notwendigkeit, eines dieser großen Modelle im Hintergrund zu haben, die Art von Argumentationstendenzen, mit denen die Modelle fortfahren können. Wie ist das mit dem Autofahren vereinbar?
Sicherheit ist uns und der AV-Branche sehr wichtig. Lassen Sie mich Ihre Frage beantworten, indem ich verschiedene Ebenen unseres Angebots betrachte. Das Thema Sicherheit ist für die Automobilindustrie offensichtlich nichts Neues und wir haben ein sehr ausgefeiltes Entwicklungsprotokoll und auch ein Validierungsprotokoll entwickelt, um nachweisen zu können, dass die Software sicher ist. Das nennt sich ISO 26262. Tatsächlich entwickeln wir unsere Software auf Hardware- und Betriebssystemebene (OS) sowie die Software auf Anwendungsebene nach den höchsten Sicherheitsstandards, was sehr wichtig und entscheidend ist, um irgendetwas zum Fahren des Autos einsetzen zu können. Das ist Nummer eins.
Zweitens verfolgen wir einen etwas anderen Ansatz als einige der Akteure in diesem Bereich. Wir haben sogar für unsere L2++- oder ADAS-Funktion einen redundanten Stack. Davon abgesehen handelt es sich um das End-to-End-Modell, bei dem es sich grundsätzlich um Pixel-In-Trajectory-Out handelt. Wir haben auch einen klassischen Stack, der auf der Grundlage dieses uns bekannten Sicherheitsstandards weiter entwickelt ist. Im Grunde ist es eine Komponente. Es handelt sich um einen Stapel mit vielen Komponenten, und jede Komponente kann mithilfe dieses bekannten Standards überprüft werden. Das nenne ich einen klassischen Stack. Und wenn zwei Stacks parallel laufen, verhält sich der klassische Stack wie das, was wir manchmal „Big Brother“ nennen, aber im Grunde ist er eine Sicherheitsleitplanke. Es versucht, alle Flugbahnen des End-to-End-Modells zu überprüfen und anhand des bekannten Sicherheitsstandards zu überprüfen, ob es in jedem Frame sicher ist.
Das ist ein sehr wichtiges Konzept, das wir haben. Und nicht nur ein Konzept, sondern auch die Umsetzung, die wir in unserem Stack haben. Wir nehmen L4, das für die Autonomie auf höherer Ebene so entscheidend sein wird. Dies ist auch die Grundlage unseres L4-Stacks, bei dem wir über vollständige Redundanz verfügen, nicht nur als Sensorsatz, sondern auch als Softwarearchitektursatz. Dieser zweite Punkt dient der Beantwortung Ihrer Sicherheitsfrage. Drittens versuchen wir bei der Entwicklung des Modells auch, dass das Modell die Halluzination so weit wie möglich reduziert. Der Weg dorthin führt über eine umfassende Validierung. Für jedes Modell, das wir veröffentlichen, erstellen wir umfangreiche Simulationstestdaten. Derzeit planen wir, jeden Tag fünf Millionen Tests in unserem Programm durchzuführen.
Ungefähr jeden Tag haben wir eine 10. Iteration des Modells, das End-to-End-Modell. Wir führen eine wirklich umfangreiche Validierung durch, um sicherzustellen, dass das Modell in all diesen Szenarien – Sie können sich das wie jedes getestete Testszenario vorstellen – die richtige Flugbahn generiert. Das ist auch für uns sehr wichtig. Das ist es, was wir tun, um sicherzustellen, dass unser Produkt sicher ist.
Lassen Sie mich Ihnen eine wirklich dumme Frage stellen, die mich wirklich interessiert. Sie haben viel über das Modell und die Funktionsweise des Autos gesprochen. Und ja, der klassische Stapel ist die Sicherheitsleitplanke. Ist das Modell eine sprachliche Argumentation wie jedes andere Modell? Sitzt es dort im Hintergrund und sagt: „Ich sehe ein Stoppschild. Was soll ich tun? Ich halte besser an. Ich werde auf die Bremse treten“, so wie irgendein allgemeines Modell im Hintergrund sprachlich argumentiert?
Die kurze Antwort lautet: Ja. In unserem Modell der nächsten Generation, das wir in der nächsten Fahrzeuggeneration einsetzen werden … Da die aktuelle Generation über einen mehr oder weniger begrenzten Computer verfügt, basiert die nächste Generation auf SOAR. Wir werden das Modell mit eingebetteter Sprache trainieren lassen. Es ist sehr wichtig, durch Sprache argumentieren zu können. Sie können auch mit dem Model chatten. Sie können das Modell fragen, was es gerade tut, und dann beispielsweise auch ein Modell bitten, schneller oder langsamer zu werden und einen Spurwechsel vorzunehmen.
Während es buchstäblich fährt, sagt es sich: „Ich sehe da drüben ein Auto. Ich muss die Spur wechseln, um mich auf die Ausfahrt vorzubereiten, die in ein paar Meilen kommt.“ Und das geschieht in der Sprache, um das Auto zu bedienen?
Ich denke, es ist eine Kombination verschiedener Dinge. Die Sprache bettet das Modell bereits ein, aber das visuelle Signal ist, wie Sie wissen, auch sehr wichtig.
Ich möchte sagen, dass es sich um ein Multimodell handelt, aber die Sprache ist ein Teil davon. Wie Sie wissen, handelt es sich bei dem Modell um eine Blackbox. Wir wissen nicht genau, was es genau tut, aber Sie können danach fragen und dann wird das Modell antworten, was es zu tun versucht.
Ich habe gerade die Vision eines Chatbot-Modells, das ausrastet, während es mit 55 Meilen pro Stunde über die Autobahn rast.
Tatsächlich hat GTC Taiwan ein Video veröffentlicht, das zeigte, dass das Model ständig redet. Es kann ziemlich nervig sein, wenn Sie wirklich versuchen, alles zu hören, worüber das Modell nachdenken möchte.
Wie groß ist die Latenz? Offensichtlich stellen Sie die Systeme bereit, es muss funktionieren, aber gibt es einen Versuch, die Latenz zu reduzieren? Ich habe das Gefühl, dass die Sprache im Vergleich zu dem, was man zum Autofahren tun muss, von Natur aus langsam ist. Ich denke nicht in Sprachen, wenn ich Auto fahre.
100 %. Deshalb habe ich gesagt, dass es sich um ein Multimodell handelt. Es ist jedoch äußerst wichtig, die End-to-End-Latenz zu reduzieren. Tatsächlich ist das einer der Hauptvorteile des Einsatzes, nämlich das Fahren des Autos mit einem Modell. Denn wenn man darüber nachdenkt, der alte Stack oder der klassische Stack, der aus mehreren Komponenten besteht, dauert es normalerweise mehrere hundert Millisekunden. Da es sich bei einem Modell jedoch nur um die Inferenzzeit handelt, ist es von der Eingabe, also Pixel und Flugbahn, getrennt. Sie können die Latenz natürlich reduzieren, abhängig von der Leistungsfähigkeit Ihres Computers. Aber selbst in der aktuellen Generation steuern wir es auf 100 Millisekunden, was ziemlich schnell ist.
Was das sprachliche Denken angeht, wenn Sie darüber nachdenken, dann ist das doch das menschliche Gehirn, oder? Wenn Sie darüber nachdenken, würde ich sagen, dass die Informationsrate bereits abstrahiert ist. Die Informationsrate ist nicht besonders hoch. Und wir nutzen die Internetdaten, um diese Art der sprachbasierten Denkfähigkeit zu trainieren. Ich denke, die Latenz ist gut unter Kontrolle, lassen Sie es mich so sagen. Und noch einmal: Sie steuern das Auto nicht nur mit der Sprache. Das ist, wie gesagt, eine Schlüsselsache. Normalerweise ist der Argumentationsteil meiner Meinung nach langsamer. Auch hier wissen wir nicht genau, was das Modell tut, aber der Pixelanteil bestimmt die grundlegende augenblickliche Reaktion des Fahrzeugs.
Ja. Wenn Sie Anthropic fragen, werden sie Ihnen sagen, dass Claude Gefühle und Emotionen hat und Angst bekommen kann.
Uh-huh.
Denken Sie darüber nach? Glaubst du, dass deine Models Emotionen haben, wenn sie das Auto fahren?
Wir nutzen die Leitplanke, um sicherzustellen, dass es nicht zu launisch wird.
[Lacht] Ich bin nur neugierig. Ich meine, wie Sie sagten, wir wissen nicht, wie die Modelle funktionieren. Ich habe buchstäblich die Vorstellung, dass das Model sagt: „Oh mein Gott, ich fahre so schnell.“ Aber vielleicht wird das klassische System das reduzieren.
Ja. Ja.
Läuft das alles lokal im Auto?
Nein, nein, nein, nein. All dies wird offline validiert. Aber der zweite Teil mit dem Sicherheitsgeländer, wenn wir zwei Stapel parallel laufen lassen, das liegt definitiv am Auto. Und im Auto vergleichen wir in jedem Frame, der Software in unserem ADAS-Steuergerät, die Trajektorie sowohl des klassischen Stapels als auch des End-to-End-Modells, um sicherzustellen, dass das Modell eine sichere Basistrajektorie ausgibt.
Benötigen die Autos bei Ihrem Ansatz also eine schnelle Konnektivität, um autonom zu sein?
Nicht unbedingt, aber wir benötigen eine gewisse Konnektivität, um Navigationsinformationen und einige Karteninformationen zu erhalten. Bei den meisten davon handelt es sich um Navigationskarten. Um also nicht nur der Modellseite und auch dem klassischen Stack zu helfen, verwenden wir einige der Navigationskarteninformationen, um die Welt besser zu verstehen.
Ich frage nur, weil ich ausführlich über die Einführung von 5G-Netzen berichtet habe und alle Telekommunikationsunternehmen mir versprochen haben, dass 5G autonome Autos ermöglichen würde. Und es scheint, als ob Ihr Ansatz derjenige ist, der sich in dieser Hinsicht am stärksten auf Netzwerke mit geringer Latenz stützt.
Das ist nicht falsch, aber andererseits muss das Auto auch im völligen toten Winkel autonom fahren. Niedrige Echtzeitlatenz, ich würde sagen, Inhaltsabhängigkeit hat diese Abhängigkeit in der Cloud. Zumindest für die ADAS-Anwendung – L2+ nennen wir sie –, die überall funktionieren soll, ist der Aufbau dieser Abhängigkeit keine gute Idee.
Ja. Wenn Sie Level 4 und Level 5 erreichen, besteht eine Konnektivitätsabhängigkeit.
Das ist richtig. Ja. Ja.
Was passiert, wenn die Konnektivität bei Autonomiestufe 4 verloren geht? Was passiert, wenn Sie Level 5 erreicht haben, kein Lenkrad mehr haben und die Verbindung unterbrochen wird?
In Level 4 kann man sich Konnektivität als eine Art Sensor vorstellen. Die grundsätzliche Fahrfähigkeit kann davon nicht stark abhängig sein. Und eines der Kernkonzepte bei der Entwicklung der Level-4-Technologie ist die Sensorredundanz. Das gilt nicht nur für GPS, sondern auch für Kamera, Radar und alles, was Sie sehen. Für jeden einzelnen Fehlerpunkt muss das Auto sicher fahren können. Es ist, als ob Sie plötzlich Ihr GPS verloren hätten, das Auto aber eine lokale Wahrnehmung hat und in der Lage sein muss, an einen sicheren Punkt zu gelangen und anzuhalten. Das ist eine Mindestanforderung, die ein L4-System erfüllen muss. Dies ist das grundlegende L4-Prinzip, um ein solches System entwickeln zu können.
Ich bin sehr gespannt, wo sich alle Sensorstapel im Auto befinden, wie viel Rechenleistung im Auto steckt und wie viel RAM wir in Zeiten steigender RAM-Preise in Autos einbauen müssen. Das alles scheint eine Menge zusätzlicher Kosten für Autos zu sein, die immer teurer werden und gegen die sich die Verbraucher, zumindest in den Vereinigten Staaten, in vielerlei Hinsicht auflehnen.
Das ist richtig.
Ich kann mir den Traffic unserer eigenen Website ansehen; Jeder möchte für 25.000 US-Dollar einen Slate-Truck kaufen, der nicht einmal ein Radio hat. Das ist nur eine Batterie auf Rädern. Das ist das ganze Auto. Es hat nicht einmal eine Lackierung. Wir verzichten jetzt auf Lackierungen an den Autos, um die Kosten niedrig zu halten. Sie sprechen von viel Rechenleistung im Auto, viel Konnektivität, vielleicht einer Menge RAM, um die Modelle zu laden.
Das ist richtig. Wie läuft das ab? Bringt Sie das mehr zum Robotaxi-Modell oder glauben Sie, dass die Leute einfach teure selbstfahrende Autos kaufen werden?
Der Bau autonomer Autos erfordert auf jeden Fall viel Hardware, aber der andere Trend besteht darin, dass die Hardwarekosten mit zunehmender Reife der Technologie ziemlich schnell sinken. Zum Beispiel Radar. Selbst in meiner Karriere habe ich erlebt, dass die Radarpreise innerhalb von 15 Jahren wahrscheinlich um mindestens das Vier- oder Fünffache gesunken sind, weil das Volumen immer größer wurde als die Kosten. Ich habe auch den Preisverfall bei Kamerasensoren beobachtet. Es gibt mehr Wettbewerber und die Konkurrenz führt zu niedrigeren Preisen, wenn das Volumen größer wird. Der Skaleneffekt ist bei ADAS derzeit definitiv vorhanden und alle Komponenten werden viel ausgereifter und auf ein gewisses Maß an Massentauglichkeit gebracht.
Wie Sie wissen, wächst der Computer so rasant. Wir haben vor einiger Zeit über das Mooresche Gesetz in der Halbleiterindustrie gesprochen, aber im Segment des autonomen Fahrens ist der Computerbedarf in einem wirklich erstaunlichen Tempo gewachsen. Grob gesagt sprechen wir von etwa 10 Mal alle zwei Jahre. Es ist verrückt. Und gerade jetzt, mit dem Erfolg von KI und natürlich Nvidia, werden wir in der Lage sein, Autos diese Art von enormer Rechenleistung zu einem erschwinglichen Preis zur Verfügung zu stellen.
In der Cloud oder im Auto?
Im Auto.
Ich habe Sie vorhin gefragt, wie es um den Kampf um Trainingskapazitäten geht. Müssen Sie auch um Fertigungskapazitäten kämpfen?
Ach ja.
Weil diese Kosten für alle steigen.
Ja natürlich. Ja.
Ich bin neugierig, es ist die Nachfrage von Nvidia, die die Kosten für alle in die Höhe treibt. Wie bekommt man also Fab-Kapazität, wenn die anderen Abteilungen bei Nvidia bereit sind, jeden Preis zu zahlen, den irgendjemand verlangt?
Nun, es ist die gleiche Antwort, die ich Ihnen gegeben habe. Ich weiß nicht, ob ich noch mehr dazu sagen kann, denn wir sind ein so strategisches Unternehmen und auch unser Automobilgeschäft läuft gut, aber natürlich nicht so schnell wie unser Rechenzentrumsgeschäft. Aber wir glauben fest an die AV-Zukunft – auch Jensen selbst. Wir investieren weiterhin in diese Technologie und in diese Zukunft, nicht nur durch die Bereitstellung interner Rechenleistung, sondern auch durch Fab-Kapazität. Das ist definitiv eines der Dinge, die wir untersuchen.
Tatsächlich muss höchstwahrscheinlich sogar der Chippreis steigen, da die Nachfrage nach jedem Chip, den sich jeder schnappen kann, groß ist. Die positive Seite ist, dass die Technologie wirklich [gut] wird. Ich habe über die Chipseite gesprochen und auch ein wenig über die Sensorseite. Ich habe über Hyperion gesprochen, eine produktreife Plattform, die auf Rechenleistung und Sensorik basiert. Wir versuchen also wirklich, ein Gleichgewicht zwischen den Kosten und dem, was wir tun können, herzustellen. Wir betrachten das, was wir als ausreichend notwendigen Sensorsatz bezeichnen, um ein hohes Maß an Autonomie zu erreichen.
Bei Hyperion 10 bieten wir beispielsweise tatsächlich zwei Versionen an. Eine davon ist eine Basis, die hauptsächlich aus Kameras besteht: 10 Kameras, drei Radargeräte, kein Lidar. Es handelt sich um eine sehr kostengünstige Möglichkeit, ein Fahrzeug vom Typ L2++ ADAS zu bauen. Und auf der anderen Seite gibt es für das High-End das, was wir Hyperion High nennen: Wir stellen den erforderlichen Sensorsatz bereit, der meiner Meinung nach über 14 Kameras, drei Lidars und sieben Radare verfügt, um über genügend Sensorredundanz zu verfügen, um L4 antreiben zu können.
Sie benötigen auch Steuergeräte-Redundanz. Sie brauchen unsere nächste Generation – genauer gesagt die SOAR-basierte Computerplattform der aktuellen Generation. Stellen Sie sich vor, Sie hätten ein Auto, das wirklich selbstständig fahren kann. Wir glauben, dass wir mit diesem Sensorsatz und dieser Computerarchitektur ein Maß an Autonomie erreichen können, das die Kosten rechtfertigt.
Der Mindestsensorsatz für die Autonomie wird heftig diskutiert. Es wird schon lange heftig darüber diskutiert. Ich denke, dass die Aussage von Elon Musk, dass er vor langer Zeit dachte, Lidar sei ein lokales Maximum, der Beginn dieser Debatte war. Diese Debatte wurde in keiner Weise, Form oder Form zum Erliegen gebracht. Glauben Sie, dass Level 4 Lidar erfordert?
Die kurze Antwort lautet: Ja. Wir glauben, dass Lidar der wichtige Sensor ist, der die Sicherheit und Redundanz bietet, die für die Autonomie der Stufe 4 erforderlich sind. Andererseits ist es schwierig zu sagen, dass es zu 100 % notwendig ist. Wir glauben, dass dies ein sehr machbarer Weg ist, der auf der High-Sensor-Konfiguration des Hyperion 10 basiert, um sowohl eine wirklich hohe Stadt- als auch Autobahntauglichkeit der Stufe 4 zu erreichen. Andererseits können Menschen theoretisch mit großem Einsatz beweisen, dass Lidar möglicherweise nicht notwendig ist. Aber es wird im Wesentlichen mit der ODD-Beschränkung einhergehen.
Entschuldigung, was ist die ODD-Beschränkung?
Die Operational Design Domain (ODD) ist grundsätzlich eine anwendbare Domäne. Sie können die Technologie einsetzen. Wir haben hierzu eine ganze Menge Analysen durchgeführt. Basierend auf unserem aktuellen Verständnis und dem Framework, das wir für diese Analyse verwenden, sind wir davon überzeugt, dass es für den Einsatz dieser L4-Technologie in allen ODDs, von denen unsere Kunden profitieren können, viel besser ist, Lidar zu haben, als es nicht zu haben.
Wenn Sie sich ansehen, wo Tesla mit dem völlig autonomen Fahren und seinen Fahrzeugen und seinem absoluten Engagement für ein visionsbasiertes System steht, glauben Sie, dass sie Ihnen derzeit voraus sind? Glauben Sie, dass sie gleichberechtigt sind? Glaubst du, sie stehen hinter dir?
Es gibt zwei Antwortebenen auf diese Frage. Bei der grundlegenden L2++-Technologie ist Elon wahrscheinlich allen voraus. Er hatte schon vor langer Zeit eine Abteilung und hält seit langem an der Vision fest, die Technologie in einer riesigen Flotte zu entwickeln und zu testen. Niemand würde bestreiten, dass Elon allen anderen auf dem ADAS-Markt voraus ist und im Grunde genommen alle ein Aufholspiel spielen. Und wir freuen uns eigentlich sehr, dass Elon so erfolgreich ist. Offensichtlich ist Elon auch für uns ein großer Kunde, sowohl für SpaceX als auch für Tesla auf der GPU-Computerseite. Wir unterstützen ihn und sein Team, damit sie erfolgreich sind.
Für Level 4 ist es meiner Meinung nach offener. Es gibt etablierte und bewährte Anbieter wie Waymo, die ihren Kunden mit den von ihnen verwendeten Methoden bereits dazu verhelfen, den L4 wirklich zu erleben. Tesla versucht wohl immer noch, den Weg dorthin zu finden. Wir versuchen nicht, Gewinner auszuwählen, sondern wir versuchen, allen dabei zu helfen, diese Technologie entwickeln zu können. Unsere Mission besteht darin, dem AV-Ökosystem die Vision zu vermitteln, dass jede Meile und alles, was sich bewegt, autonom sein wird. Eine solche Vision wird Wirklichkeit.
Haben Sie Gespräche mit Tesla-Führungskräften über den Einsatz von Lidar geführt? Es scheint ohne Grund seltsam religiös, vor allem, wenn die Kosten sinken, wie Sie sagen. Irgendwann, wenn die bessere Technologielösung vorhanden ist, hat man das Gefühl, dass jeder sie einfach nutzen sollte. Haben Sie diese Gespräche geführt?
Na ja, eigentlich nein, nicht ich selbst. Mein Team hat es auf jeden Fall. Ich freue mich auf das Gespräch mit ihnen. Vieles davon ist nur grundlegende Wissenschaft und Argumentation. Es ist auch gut, ihre Ansichten zu hören.
Abschließen möchte ich, indem ich über etwas spreche, über das Sie vielleicht am wenigsten Kontrolle haben. Die Modelle werden immer besser, Nvidia wird weiterhin Chips herstellen, vielleicht werden die Kunden weiterhin autonomes Fahren fordern. Das alles fühlt sich an, als hätte man es im Griff.
Aber der Automobilmarkt, die Vorreiterrolle des Automobilmarktes, findet in China statt. Ich denke, da können wir uns einfach einigen. US-Verbraucher öffnen TikTok und sehen Auto-Influencer, die über BYD-Fahrzeuge sprechen, und beschweren sich in den Kommentaren, dass sie diese Autos nicht bekommen können. Ich habe mir ein Video von einem Buick angesehen, der in China ist. Es ist ein Buick-Elektrofahrzeug, das man in den USA nicht bekommen kann, und US-Kunden sind wütend darüber, dass Buick in China bessere Autos herstellt als hier.
Es gibt viele Handelshemmnisse zwischen den USA und China. Nvidia befindet sich in vielerlei Hinsicht mitten in diesem Kampf, sei es durch Zölle auf den Import von Autokomponenten oder durch buchstäbliche Beschränkungen, welche Chips verkauft werden dürfen und wohin die Einnahmen aus diesen Chips fließen. Wie spielt das Handelschaos zwischen den USA und China eine Rolle, wenn Sie versuchen, den Automarkt voranzutreiben? Denken Sie darüber nach? Ist es etwas, das die Branche bremst? Ist es etwas, das Sie durchsetzen können?
Nun, ich glaube ganz sicher, dass die politischen Entscheidungsträger ihre Argumentation und Begründung haben, um die Politik so zu gestalten, wie wir sie jetzt sehen. Als Nvidia sind wir ein offener Ökosystem-Player. Wir haben immer noch viele Kunden in China. Wir versuchen zu helfen … Beispielsweise liefern wir immer noch Inferenzchips für Autos, weil diese immer noch unter der Schwelle dessen liegen, was GPUs auf dem chinesischen Markt verkaufen dürfen. Wir arbeiten auch mit allen chinesischen OEMs zusammen. Eigentlich natürlich nicht alle, aber einige von ihnen, um auf der Infrastrukturseite durch die Bereitstellung von Simulationstools zu helfen. Wir arbeiten mit ihnen an den Open-Source-Modellen Cosmos und Alpamayo. Einerseits können wir ihnen helfen, ihre Modelle zu verbessern. Andererseits können wir auch von der Konkurrenz auf dem chinesischen Markt lernen.
Wir arbeiten auch sehr eng mit den übrigen OEMs der Welt zusammen und versuchen, alle Nvidia-Plattformen und auf verschiedenen Ebenen an verschiedene OEMs zu liefern, um ihnen ebenfalls zum Erfolg zu verhelfen. Auch hier gilt: Wir wählen keine Gewinner aus und versuchen, mit jedem zusammenzuarbeiten. Die Mission ist super klar und wir versuchen, diese Vision so weit wie möglich Wirklichkeit werden zu lassen.
Wenn Sie über den Datenaustausch zwischen OEMs sprechen, um die Modelle besser zu trainieren und sie leistungsfähiger zu machen, gibt es dann regulatorische Hindernisse oder Wettbewerbshindernisse zwischen dem Datenaustausch zwischen chinesischen OEMs und amerikanischen und europäischen OEMs?
Ach ja, natürlich. Nicht nur in China, sondern auch in anderen Regionen gelten Einschränkungen. Beispielsweise gibt es in Europa bestimmte Vorschriften bezüglich Daten. Wir halten uns an alle örtlichen Vorschriften, um sicherzustellen, dass wir den Anforderungen verschiedener Regionen entsprechen.
Bedeutet das, dass regionale Varianten der Modelle unterschiedliche Fähigkeiten haben oder in verschiedenen Dingen besser sind? Denn wenn die Eingabedaten unterschiedlich sind, scheint es, dass möglicherweise auch die Ausgabe unterschiedlich ist.
Absolut. Zunächst einmal versuchen wir, das Serienmodell nicht so weit wie möglich abzuspalten, aber es wird grundlegende regionale Unterschiede geben. Das Modell verhält sich je nach Eingabe in verschiedenen Regionen unterschiedlich. Einige der Dinge sind das, was wir ländercodiert nennen. Offensichtlich sind die Regeln in verschiedenen Regionen, beispielsweise in Europa, im Vergleich zu den USA recht unterschiedlich. Es sind einige Anpassungen erforderlich und auch einige Parameter sind unterschiedlich. Ja, es ist eine recht interessante Reise, die Technologie in verschiedene Teile der Welt zu übertragen.
Glauben Sie, dass China aufgrund der unterschiedlichen Regulierungsansätze, der unterschiedlichen Datenansätze, der unterschiedlichen Eingabedaten, der unterschiedlichen Konfiguration der OEMs und ihrer Investitionsbereitschaft sowie der unterschiedlichen Subventionen der Regierungen zuerst Stufe 4 als Mainstream-Selbstfahrerlebnis erreichen wird? Denn wenn ich es mir ansehen müsste, würde ich wetten, dass das autonome Fahren der Stufe 4 in China weitaus früher stattfinden wird, als es in den Vereinigten Staaten als Mainstream-Erfahrung eintritt.
Ich glaube eigentlich nicht, dass das stimmt. Wie Sie wissen, bietet Waymo bereits jedem ein L4-Erlebnis, zumindest in bestimmten ODDs in San Francisco, und sie skalieren ziemlich schnell. China ist offensichtlich ein viel dynamischerer Wettbewerbsmarkt und es gibt dort eine ganze Reihe von Akteuren. Aber meiner Erfahrung nach haben sie alle die Reife von Waymo, zumindest in San Francisco. Wir versuchen, jedem im Ökosystem zu helfen.
Aus OEM-Sicht ist es eine andere Wettbewerbslandschaft, aber selbst auf OEM-Seite denke ich, dass verschiedene Regionen unterschiedliche Arten von ... Nun, einerseits sind chinesische Straßen im Vergleich zu US-Straßen auch viel anspruchsvoller. Und Level 4 würde ich manchmal als Zero-Pne-Spiel bezeichnen. Entweder du hast es oder du hast es nicht. Ich glaube, dass der Einzige, der wirklich bewiesen hat, dass L4 bei jedem Kunden ohne Fahrer in einer Stadtregion sicher und ohne Einschränkungen eingesetzt werden kann, derzeit noch in den USA oder in China liegt.
Ja, das ist Waymo. Ich denke, Waymo wird sich sehr geschmeichelt fühlen, wenn sie hören, dass sie ein Mainstream-Erlebnis sind. Ich akzeptiere, dass Waymo für einige Menschen in San Francisco ein Mainstream-Erlebnis ist. Ich denke, für die überwiegende Mehrheit der Amerikaner ist dies noch nicht der Fall. Und das ist die große Wende, oder?
Wann kann ein Waymo im Schnee funktionieren? Wann werden sie in Chicago eingesetzt?
Und in New York City.
Als jemand, der schon lange in Chicago war, bin ich sehr gespannt, wie das in Chicago und New York City läuft. Die Frage, die ich habe, ist, ob sich das Mainstream-Erlebnis so anfühlt, als würde man einfach ein Auto kaufen, und ADAS der Stufe 2 ist mittlerweile so etwas wie eine Massenware in Autos. Level 4 wird ein Standardprodukt in Autos sein. Du drückst den Knopf und er fährt selbstständig los. Wie weit sind wir Ihrer Meinung nach davon entfernt?
Das ist genau meine Mission: Ich möchte der Branche dabei helfen, dorthin zu gelangen. Ich würde sagen, wenn ich eine Zeitspanne angeben muss, würde ich nicht fünf Jahre sagen, sondern weniger als fünf Jahre.
Das ist eine kühne Vorhersage. Ich denke, wir werden es dabei belassen, denn wir sind im richtigen Moment. Du warst wirklich großartig, Xinzhou. Ich freue mich darauf, wieder mit Ihnen zu sprechen. Wir werden Sie vor fünf Jahren zurückrufen, um diese Vorhersage zu überprüfen. Aber was sollten wir als nächstes von Nvidia erwarten?
Es gibt einiges, was wir planen. Zunächst werden wir bis Ende dieses Jahres unsere Technologie auf der ADAS-Seite in allen Mercedes-Fahrzeugen und auch bei einigen anderen Partnern in den gesamten Vereinigten Staaten einführen. In den nächsten Jahren werden wir versuchen, diese Technologie auch im Rest der Welt einzuführen. Mittlerweile arbeiten wir auch eng mit unseren Partnern zusammen, zum Beispiel Uber. Wir haben angekündigt, dass wir bei GTC versuchen, unseren L4-Service in den nächsten Jahren einzuführen. Es ist super aufregend.
Darüber hinaus sind wir wiederum ein Ökosystem-Player. Wir arbeiten mit fast allen OEMs zusammen. Derzeit würde ich sagen, dass 80 % der Massenproduktions-OEMs im Hyperion-Ökosystem von Nvidia für L4 angesiedelt sind. Wir bauen diese Zukunft mit allen auf. Hoffentlich werden Sie irgendwann weitere spannende Ankündigungen von uns sehen.
Nun, wie ich schon sagte, wir müssen dich bald wieder haben. Vielen Dank, dass Sie bei Decoder dabei sind.
Danke, dass du mich hast, Nilay. Es ist sehr schön, mit Ihnen zu plaudern.
Fragen oder Kommentare? Kontaktieren Sie uns unter [email protected]. Wir lesen wirklich jede E-Mail!
← Zurück