Bekannte Werte

  • Apple 352,78 $ −0,98 %
  • Microsoft 517,99 $ −1,12 %
  • Nvidia 156,14 $ −4,12 %
  • Amazon 257,75 $ −3,34 %
  • Alphabet 283,72 $ −4,07 %
  • Meta 626,41 $ −2,38 %

Zum Thema

  • Tesla 379,74 $ −2,69 %
  • AMD 504,28 $ −5,58 %
  • TSMC 373,45 $ −6,34 %
  • ASML 1.273,60 € −2,53 %
  • Siemens 272,55 € ±0,00 %
  • ABB 68,70 CHF −0,75 %
KI

Open-Source-Durchbruch senkt die Rechenkosten großer KI-Modelle um 60 Prozent

Von

Bild: Tyler via Unsplash

Große Sprachmodelle zu betreiben ist teuer, vor allem wegen der Rechenleistung. Eine neue Open-Source-Entwicklung verspricht hier einen deutlichen Sprung nach vorn.

Das Wichtigste in 30 Sekunden

  • Eine Open-Source-Zusammenarbeit hat am 10. November 2026 neue Effizienzverfahren veröffentlicht
  • Die Verfahren senken die Inferenzkosten großer Sprachmodelle um bis zu 60 Prozent
  • Die Qualität der Modellausgaben soll dabei nicht leiden

Was passiert ist

Eine Open-Source-Initiative hat Verfahren veröffentlicht, mit denen sich die sogenannten Inferenzkosten, also die Rechenkosten beim tatsächlichen Betrieb eines bereits trainierten KI-Modells, um bis zu 60 Prozent senken lassen. Entscheidend dabei ist, dass die Qualität der Modellausgaben laut den Entwicklerinnen und Entwicklern nicht spürbar leidet.

Inferenzkosten sind für viele Anwendungen inzwischen der größere Kostenfaktor im Vergleich zum einmaligen Training eines Modells, da ein Modell im Dauerbetrieb millionenfach Anfragen beantworten kann. Eine Senkung in dieser Größenordnung könnte es kleineren Unternehmen und einzelnen Entwicklerinnen und Entwicklern leichter machen, leistungsfähige KI-Modelle überhaupt wirtschaftlich zu betreiben, statt auf die immer gleichen großen Cloud-Anbieter angewiesen zu sein.

Warum das wichtig ist

Günstigere Inferenz bedeutet potenziell günstigere KI-Anwendungen für alle, von Entwicklerinnen und Entwicklern bis zu Endnutzerinnen und Endnutzern. Für die Maker-Szene ist das besonders interessant, da es eigene, lokal betriebene KI-Projekte auf günstigerer Hardware realistischer macht.

Quellen

Lesezeit: etwa 2 Minuten

Bild: Tyler via Unsplash

Schreiben Sie einen Kommentar