Kurzfassung: Diese spezialisierten Chips, Inferentia und Trainium, bieten AWS-Kunden eine Alternative zum Training ihrer umfangreichen Sprachmodelle auf Nvidia GPUs, die immer schwieriger und teurer in der Beschaffung werden.Erst im April kündigte Amazon seine eigene Modellfamilie namens Titan an, sowie einen Service namens Bedrock, um Entwicklern bei der Verbesserung von Software mit generativer KI zu helfen.Wie schnell können diese Unternehmen sich bewegen, um diese generativen KI-Anwendungen zu entwickeln, wird dadurch bestimmt, dass sie zuerst auf die Daten zugreifen, die sie in AWS haben, und die von uns bereitgestellten Rechen- und maschinellen Lernwerkzeuge verwenden', erklärte Mai-Lan Tomsen Bukovec, VP of Technology bei AWS.„Wir glauben nicht, dass ein Modell die Welt beherrschen wird, und wir möchten, dass unsere Kunden die modernsten Modelle von mehreren Anbietern haben, weil sie das richtige Werkzeug für den richtigen Job auswählen werden', sagte Sivasubramanian.
In einem unscheinbaren Bürogebäude in Austin, Texas, entwerfen einige Amazon-Mitarbeiter in zwei kleinen Räumen zwei Typen von Mikrochips für die Schulung und Beschleunigung von generativem KI. Diese spezialisierten Chips, Inferentia und Trainium, bieten AWS-Kunden eine Alternative zum Training ihrer umfangreichen Sprachmodelle auf Nvidia GPUs, die immer schwieriger und teurer in der Beschaffung werden.
„Die gesamte Welt möchte mehr Chips für generative KI haben, sei es GPUs oder Amazons eigene von uns entworfene Chips“, sagte der CEO von Amazon Web Services, Adam Selipsky, in einem Interview mit CNBC im Juni. „Ich glaube, dass wir besser als jeder andere auf der Erde aufgestellt sind, um die Kapazitäten bereitzustellen, die unsere Kunden insgesamt wünschen.“
Andere Unternehmen haben jedoch schneller reagiert und mehr investiert, um von dem Boom der generativen KI zu profitieren. Als OpenAI im November ChatGPT startete, erhielt Microsoft breite Aufmerksamkeit für das Hosting des viralen Chatbots und investierte angeblich 13 Milliarden Dollar in OpenAI. Schon im Februar hat Microsoft die generativen KI-Modelle in seine eigenen Produkte, wie Bing, integriert.
Im selben Monat startete Google sein eigenes großes Sprachmodell namens Bard und investierte dann 300 Millionen Dollar in den OpenAI-Rivalen Anthropic.
Erst im April kündigte Amazon seine eigene Modellfamilie namens Titan an, sowie einen Service namens Bedrock, um Entwicklern bei der Verbesserung von Software mit generativer KI zu helfen.
„Amazon ist es nicht gewohnt, Märkten hinterherzulaufen. Sie sind es gewohnt, Märkte zu schaffen. Und ich denke, zum ersten Mal seit langer Zeit fühlen sie sich in die Defensive gedrängt und versuchen, aufzuholen“, sagte Chirag Dekate, VP-Analyst bei Gartner.
Meta hat kürzlich sein eigenes LLM, Llama 2, vorgestellt. Das Open-Source-Rivalenmodell von ChatGPT steht nun zum Testen auf Microsofts Azure Public Cloud zur Verfügung.
Chips als echte Differenzierung
Langfristig, so Dekate, könnten Amazons spezialisierte Siliziumchips ihm im Bereich der generativen KI einen Vorteil verschaffen.
„Ich glaube, die wahre Differenzierung sind die technischen Fähigkeiten, die sie einsetzen“, sagte er. „Denn raten Sie mal? Microsoft hat weder Trainium noch Inferentia.“
AWS hat die Produktion von kundenspezifischem Silizium bereits 2013 leise begonnen mit einer spezialisierten Hardware namens Nitro. Wie Amazon CNBC mitteilte, ist Nitro jetzt der am meisten produzierte AWS-Chip, mit über 20 Millionen im Einsatz.
2015 kaufte Amazon das israelische Chip-Startup Annapurna Labs. 2018 brachte Amazon dann seinen auf ARM basierenden Server-Chip, Graviton, heraus – ein Rivale zu x86-CPUs von Giganten wie AMD und Intel.
„Wahrscheinlich sind hoch einstellig bis vielleicht 10% der gesamten Serververkäufe ARM-basiert, und ein Großteil davon wird von Amazon sein. In Bezug auf CPUs haben sie es ziemlich gut gemacht“, so Stacy Rasgon, Senior Analystin bei Bernstein Research.
2018 stellte Amazon auch seine KI-zentrierten Chips vor, zwei Jahre nachdem Google seine erste Tensor-Prozessoreinheit, TPU, angekündigt hatte. Microsoft hat bisher noch nicht den Athena-KI-Chip angekündigt, an dem es angeblich in Zusammenarbeit mit AMD arbeitet.
CNBC erhielt eine Backstage-Tour durch Amazons Chip-Labor in Austin, Texas, wo Trainium und Inferentia entwickelt und getestet werden. VP of Product, Matt Wood, erklärte, wofür beide Chips gedacht sind.
„Das maschinelle Lernen gliedert sich in diese beiden unterschiedlichen Phasen. So trainieren Sie die maschinellen Lernmodelle und dann führen Sie Inference gegen diese trainierten Modelle durch“, sagte Wood. „Trainium bietet gegenüber jeder anderen Methode des Trainings von maschinellen Lernmodellen auf AWS eine Leistungssteigerung von etwa 50% in Bezug auf das Preis-Leistungs-Verhältnis.“
Trainium kam erstmals 2021 auf den Markt, nach der Veröffentlichung von Inferentia 2019, das sich jetzt in der zweiten Generation befindet.
Doch bisher sind Nvidias GPUs immer noch die erste Wahl, wenn es um das Training von Modellen geht. Im Juli startete AWS neue KI-Beschleunigungshardware, die von Nvidia H100s angetrieben wird.
„Nvidia-Chips verfügen über ein massives Software-Ökosystem, das in den letzten 15 Jahren um sie herum aufgebaut wurde, das sonst niemand hat“, sagte Rasgon. „Der große Gewinner bei KI ist derzeit Nvidia.“
Nutzung der Cloud-Dominanz
Allerdings ist Amazons Cloud-Dominanz ein großer Unterscheidungsfaktor.
„Amazon muss keine Schlagzeilen gewinnen. Sie haben bereits eine sehr starke Cloud-Basis. Alles, was sie tun müssen, ist herauszufinden, wie sie ihre bestehenden Kunden befähigen können, mit generativer KI Wert zu schaffen“, sagte Dekate.
Wenn man sich zwischen Amazon, Google und Microsoft für generative KI entscheidet, gibt es Millionen von AWS-Kunden, die sich möglicherweise zu Amazon hingezogen fühlen, weil sie bereits vertraut sind und dort andere Anwendungen betreiben und ihre Daten speichern.
„Es ist eine Frage der Geschwindigkeit. Wie schnell können diese Unternehmen sich bewegen, um diese generativen KI-Anwendungen zu entwickeln, wird dadurch bestimmt, dass sie zuerst auf die Daten zugreifen, die sie in AWS haben, und die von uns bereitgestellten Rechen- und maschinellen Lernwerkzeuge verwenden“, erklärte Mai-Lan Tomsen Bukovec, VP of Technology bei AWS.
AWS ist der weltweit größte Anbieter von Cloud-Computing-Diensten, mit einem Marktanteil von 40% im Jahr 2022 laut dem Technologiebranchenforscher Gartner. Obwohl das Betriebsergebnis drei Quartale in Folge im Jahresvergleich zurückgegangen ist, machte AWS immer noch 70% von Amazons gesamtem Betriebsergebnis von 7,7 Milliarden Dollar im zweiten Quartal aus. Die Betriebsmargen von AWS waren historisch gesehen weit größer als die von Google Cloud.
AWS verfügt auch über ein wachsendes Portfolio von Entwicklertools, die sich auf generative KI konzentrieren.
„Drehen wir die Uhr zurück, noch bevor es ChatGPT gab. Es ist nicht so, dass wir nach dem Vorfall plötzlich in Eile geraten sind und einen Plan ausgearbeitet haben, denn man kann einen Chip nicht so schnell entwerfen, geschweige denn kann man einen Bedrock-Service in nur 2 bis 3 Monaten bauen“, sagte Swami Sivasubramanian, AWS’ VP of Database, Analytics und Machine Learning.
Bedrock gibt AWS-Kunden Zugang zu großen Sprachmodellen, die von Anthropic, Stability AI, AI21 Labs und Amazons eigenem Titan erstellt wurden.
„Wir glauben nicht, dass ein Modell die Welt beherrschen wird, und wir möchten, dass unsere Kunden die modernsten Modelle von mehreren Anbietern haben, weil sie das richtige Werkzeug für den richtigen Job auswählen werden“, sagte Sivasubramanian.
Eines von Amazons neuesten KI-Angeboten ist AWS HealthScribe, ein im Juli vorgestellter Service, der Ärzten hilft, mit generativer KI Besuchszusammenfassungen für Patienten zu erstellen. Amazon bietet auch SageMaker, eine zentrale Anlaufstelle für maschinelles Lernen, die Algorithmen, Modelle und mehr bietet.
Ein weiteres wichtiges Tool ist der CodeWhisperer, mit dem Entwickler laut Amazon durchschnittlich 57% schneller Aufgaben erledigen können. Letztes Jahr meldete Microsoft auch Produktivitätssteigerungen durch seinen Codierungsbegleiter, GitHub Copilot.
Im Juni kündigte AWS ein 100 Millionen Dollar schweres Innovationszentrum für generative KI an.
„Wir haben so viele Kunden, die sagen: 'Ich möchte generative KI machen', aber sie wissen nicht unbedingt, was das für sie im Kontext ihres eigenen Geschäfts bedeutet. Deshalb werden wir Lösungsarchitekten, Ingenieure, Strategen und Datenwissenschaftler einbringen, um mit ihnen direkt zusammenzuarbeiten“, sagte AWS-CEO Selipsky.
Obwohl AWS bisher hauptsächlich auf Tools statt auf den Aufbau eines Konkurrenten zu ChatGPT gesetzt hat, zeigt eine kürzlich durchgesickerte interne E-Mail, dass Amazon-CEO Andy Jassy direkt ein neues zentrales Team beaufsichtigt, das umfangreiche Sprachmodelle entwickelt.
Im Telefonkonferenzgespräch zum zweiten Quartal sagte Jassy, dass ein "sehr signifikanter Betrag" des AWS-Geschäfts nun von KI und den mehr als 20 von ihr angebotenen maschinellen Lernservices angetrieben wird. Zu den Kundenbeispielen gehören Philips, 3M, Old Mutual und HSBC.
Das explosive Wachstum der KI hat zu einer Flut von Sicherheitsbedenken von Unternehmen geführt, die befürchten, dass Mitarbeiter proprietäre Informationen in die Trainingsdaten einfügen, die von öffentlichen großen Sprachmodellen verwendet werden.
„Ich kann Ihnen nicht sagen, wie viele Fortune-500-Unternehmen ich gesprochen habe, die ChatGPT verboten haben. Mit unserem Ansatz zur generativen KI und unserem Bedrock-Service wird alles, was Sie tun, jedes Modell, das Sie über Bedrock verwenden, in Ihrer eigenen isolierten virtuellen privaten Cloud-Umgebung sein. Es wird verschlüsselt sein, es wird dieselben AWS-Zugriffskontrollen haben“, sagte Selipsky.
Derzeit beschleunigt Amazon seinen Vorstoß in die generative KI und sagte CNBC, dass „über 100.000“ Kunden heute maschinelles Lernen auf AWS nutzen. Obwohl dies nur ein kleiner Prozentsatz der Millionen von AWS-Kunden ist, sagen Analysten, dass sich das ändern könnte.
„Was wir nicht sehen, ist, dass Unternehmen sagen: 'Oh, warte mal, Microsoft ist so weit vorne bei der generativen KI, lasst uns alles zu Microsoft verlagern'. Wenn Sie bereits ein Amazon-Kunde sind, stehen die Chancen gut, dass Sie das Amazon-Ökosystem ausgiebig erkunden werden“, sagte Dekate.
