«Das könnte ein wichtiger Moment in der KI-Forschung sein»
Der Start des chinesischen KI-Chatbots Deepseek sorgte vor zwei Wochen für Schlagzeilen und schüttelte die Finanzmärkte und die Technologiebranche durch. Reza Kakooee, KI-Forscher an der Hochschule für Informatik FHNW und Experte für Reinforcement Learning, erläutert die Gründe für den Erfolg von Deepseek und was dies für die Zukunft der KI-Forschung bedeutet. Er ruft zu verstärkten Anstrengungen der Akteure in der Schweiz auf, in der KI aufzuholen.
Reza Kakooee, Wissenschaftlicher Mitarbeiter am Institut für Data Science der Hochschule für Informatik FHNW, Bild. FHNW
Reza, Deepseek hat eine Menge Aufruhr verursacht. Die Medien berichteten weltweit, Deepseeks Website brach unter dem Ansturm zusammen und die Aktien von Unternehmen, die bisher vom KI-Boom profitierten, wie der Chiphersteller Nvidia stürzten ein. Was ist passiert?
Deepseek ist ein Chatbot, der von einem chinesischen Unternehmen eingeführt wurde. Er basiert auf einem grossen Sprachmodell, das bereits im Dezember 2024 veröffentlicht wurde. Vor zwei Wochen erschien der Chatbot und ein wissenschaftlicher Artikel, in dem Deepseek seine Methodik erläuterte.
Ist die grosse Aufregung um Deepseek berechtigt oder ist es nur ein kurzer Hype?
Es fühlt sich an wie eine grosse Entwicklung für die KI-Forschung. Es gibt mehrere Aspekte an Deepseek, die die KI-Community und auch mich überraschten. Während DeepSeeks Ansatz aktuelle KI-Forschungstrends aufnimmt, wurden das Training mit neuen Mitteln effizienter gemacht. Trotz der geringeren Ressourcen ist die Leistung vergleichbar mit der der westlichen Konkurrenz.
Was macht Deepseek anders als andere?
Das Besondere an Deepseek ist, dass es etablierte Entwicklungstechniken in der KI-Forschung nutzt, diese aber effizienter kombiniert.
Laut dem Artikel ist es Deepseek gelungen, das Modell mit viel weniger Ressourcen zu trainieren als die Wettbewerber. Es ist eine Abkehr vom «Scaling law», gemäss dem nur mit immer mehr Rechenleistung und Daten besser KI-Modelle entstehen können. Deepseek zeigt, dass mit neuen Algorithmen und optimiertem Training eine bessere Leistung mit weniger Rechenressourcen erzielt werden kann. Deepseek behauptet, nur etwa 2000 KI-Chips für das Training seines neuesten Modells verwendet zu haben, obwohl einige behaupten, sie hätten etwa 50 000. Dies wäre immer noch viel billiger als die Kosten, die OpenAI für seine GPT-basierten Modelle entstehen.
Deepseek kann dadurch seine Dienste zu deutlich niedrigeren Kosten als seine Wettbewerber anbieten. Während OpenAI für sein O1-Modell 60 Dollar pro Million Output-Token berechnet, kostet Deepseeks Argumentationsmodell nur etwa zwei Dollar; das ist 30-mal weniger. Dies ist jedoch die aktuelle Preisgestaltung, und OpenAI könnte seine Preise für zukünftige Modelle senken. Im Allgemeinen neigen die Kosten für KI, wie bei jeder anderen Technologie, dazu, mit der Zeit zu sinken. OpenAI hat ihre früheren Modelle zu einem höheren Preis trainiert, aber vielleicht ist dies der Preis dafür, als Erster innovativ zu sein.
«KI-Modelle werden für zukünftige Entwicklungen in der Wirtschaft und im täglichen Leben von entscheidender Bedeutung sein, und in der Schweiz brauchen wir eigene KI-Modelle, die gut mit unseren kulturellen Werten übereinstimmen.»
Wie hat Deepseek diese hohe Effizienz erreicht?
Die grossen KI-Modelle von OpenAI oder Anthropic werden normalerweise in drei Stufen trainiert. Nachdem das Modell auf grossen Datensätzen trainiert und mit Daten von guter Qualität verfeinert wurde, bewerten Menschen im nächsten Schritt des «Reinforcement Learnings» die Antworten des Modells, sodass das Modell lernt, was gute Antworten sind. Aber menschliche Arbeit ist im Vergleich zur Rechenleistung kostspielig und erfordert zusätzliche Modelle, was die Trainingskosten erhöht.
Deepseek hatte eine überraschend einfache Lösung, um diesen letzten Schritt für ihr Argumentationsmodell zu überspringen. Anstatt Antworten auf Fragen wie «Wie ist es, auf dem Mond zu leben?» zu generieren, die von Menschen bewertet werden müssen, generierte Deepseek Antworten auf Fragen, die automatisch gelöst werden konnten. So musste die KI beispielsweise einen bestimmten Code schreiben. Die Gültigkeit dieses Codes kann von einem Programm geprüft und die Antworten entsprechend eingestuft werden, ob der Code korrekt ist.
Was bedeutet das für zukünftige Entwicklungen in der KI?
Eine weitere Überraschung für mich war, dass Deepseek sein Modell Open Source veröffentlichte, gemeinsam mit einem Artikel, der die Methoden detailliert beschreibt. So kann jeder sehen, wie das Modell trainiert wurde, wie es funktioniert, und jeder kann es für seinen eigenen Gebrauch herunterladen.
Aus diesen beiden Gründen – der Effizienz und der einfachen Verfügbarkeit von Deepseek – könnte sich dies als entscheidender Moment in der KI herausstellen. Wir werden weniger Ressourcen benötigen, um bessere KI-Modelle zu betreiben, was wahrscheinlich zu einer stärkeren Einführung von KI führen wird.
Dies wird jedoch nicht bedeuten, dass weniger Ressourcen für KI ausgegeben werden. Nach dem Jevon-Paradox kann eine Steigerung der Effizienz zu einem noch höheren Ressourcenverbrauch führen, vor allem weil neue Anwendungen für KI möglich sind, die bisher zu teuer waren.
Welche neuen Anwendungsbereiche von KI werden sich nun eröffnen?
Für kleinere Teams wird es interessant, vorhandene Large Language Models an den eigenen Gebrauch anzupassen, indem sie sie mit ihren eigenen Daten trainieren. Wir an der Hochschule für Informatik der FHNW beispielsweise können Unternehmen dabei helfen, massgeschneiderte KI-Modelle zu erstellen, abgestimmt auf den Schweizer Markt, das Unternehmen und reale Anwendungsfälle.
Wie sollten Schweizer Unternehmen und Entscheider auf Deepseek reagieren?
Deepseek hat gezeigt, dass es möglich ist, die grossen US-Unternehmen mit weniger Ressourcen einzuholen. Aber es wirft für die Schweiz oder Europa eine grosse Frage auf: Warum konnte ein Schweizer oder ein europäisches Unternehmen nicht mit einer solchen Innovation aufwarten, obwohl es offensichtlich mehr Ressourcen hat? KI-Modelle werden für zukünftige Entwicklungen in der Wirtschaft und im täglichen Leben von entscheidender Bedeutung sein, und in der Schweiz brauchen wir eigene KI-Modelle, die gut mit unseren kulturellen Werten übereinstimmen. Dies erfordert ein engagiertes Team von KI-Talenten, das mindestens die nächsten zwei bis drei Jahre daran arbeitet, die Lücke zu anderen Wettbewerbern zu schliessen.
