Training und Fine-Tuning und Betrieb Größer ist nicht gleich besser: KI-Modelle differenziert auswählen

Schaut man sich die hinter solchen Tools stehenden Large Language Models an, kennt die Entwicklung nur eine Richtung – immer größer. Mehr Parameter und Trainingsdaten sorgen für ein besseres Sprachverständnis und wachsendes Wissen, sodass leicht der Eindruck entstehen kann, bei generativer KI käme es allein auf die Größe der Sprachmodelle an.

Ganz so einfach ist es allerdings nicht, denn mit der Modellgröße nimmt auch der Bedarf an Rechenleistung und damit der Stromverbrauch zu – und das sowohl beim Training und Fine-Tuning als auch beim anschließenden Betrieb der KI. Zudem bringen die Verbesserungen des Modells oft keinen oder nur einen geringen geschäftlichen Nutzen, sodass sich die Investitionen in leistungsstärkere Hardware und zusätzlichen Strom kaum auszahlen.

Überdimensionierung verlangsamt Projekte

Vielen Unternehmen ist nicht bewusst, dass sie mit kleineren Modellen und weniger Daten oft besser beraten wären. Sie glauben, sie müssten ein möglichst großes Modell wählen und mit möglichst vielen Informationen füttern, um die besten Ergebnisse zu erhalten. Daher schaffen sie entweder überdimensionierte Hardware an oder verzögern ihre KI-Initiativen, weil sie die Kosten scheuen.

In beiden Fällen wäre eine vorherige Beratung durch einen erfahrenen IT-Dienstleister sinnvoll, der bei der Auswahl geeigneter Modelle, Trainingsdaten und Systeme unterstützt. Schließlich kommt es in den meisten Anwendungsfällen gar nicht so sehr auf das extrem breite Allgemeinwissen von Large Language Models an, sondern eher auf unternehmens- oder fachspezifisches Know-how. Dieses Know-how können Unternehmen einem kleineren, idealerweise schon mit Spezialwissen vortrainierten Modell mittels Fine-Tuning beibringen oder via Retrieval Augmented Generation (RAG) zum Nachschlagen zur Verfügung stellen.

Geschickt ausgewählte Datensätze und Dokumente sorgen dafür, dass das Modell beim Fine-Tuning nicht mit nutzlosen Informationen überfrachtet wird und die Hardware-Anforderungen überschaubar bleiben. Gerade anfangs, in der Experimentierphase, reicht oft eine leistungsstarke Workstation, auch wenn diese vielleicht ein paar Stunden länger als ein richtiger KI-Server benötigt. Ein solcher lässt sich später immer noch anschaffen, wenn die Experimente erfolgversprechend waren und die Pläne für den Einsatz im Tagesgeschäft konkret werden. Setzen Unternehmen dann auf validierte Designs, die bewährte Hardware- und Software-Komponenten in der optimalen Konfiguration zusammenführen, sparen sie sich aufwendige Integrationen und Tests und können sich darauf verlassen, dass die Systeme gut skalieren und bei Bedarf mitwachsen.

Tipp: Auf kleinen Projekten schrittweise aufbauen

Überhaupt sollten Unternehmen beim KI-Einstieg nicht gleich den ganz großen Wurf versuchen, sondern sich zunächst auf kleinere Projekte fokussieren – etwa ein Tool, das lange E-Mail-Konversationen zusammenfasst oder bei Support-Anfragen die benötigten Informationen aus technischen Dokumenten zusammensucht. Selbst wenn diese Tools nur eine überschaubare Zeitersparnis bringen, summiert sich das bei regelmäßiger Nutzung rasch auf und hilft den Mitarbeitern enorm. Zudem lassen sich entsprechende Initiativen deutlich schneller, kostengünstiger und risikoärmer umsetzen als Mega-Projekte, sodass Erfolgserlebnisse nicht lange auf sich warten lassen.

Solche nützlichen Tools, die auf kleinen Modellen basieren, laufen in der Regel problemlos auf Standardrechnern – zumal diese inzwischen meist mit speziellen Komponenten wie NPUs für die Verarbeitung natürlicher Sprache oder für Bildanalysen ausgestattet sind und KI-Berechnungen sehr effizient durchführen können. Damit lohnt der Griff zum kleineren Modell gleich doppelt, sei es durch das ressourcenschonende Training und Fine-Tuning der Modelle oder durch das flotte Ausführen der GenAI-Anwendungen.

Natürlich gibt es auch Anwendungsfälle, die nach Large Language Models mit mehreren hundert Milliarden Parametern und einem Fine-Tuning mit riesigen internen Datenmengen verlangen. Doch die können Unternehmen auch später angehen, wenn sie Erfahrungen in kleineren Projekten gesammelt haben. Bei denen geht es im Grunde vor allem darum, Modell und Trainingsdaten so auszuwählen, dass sie umfangreich genug sind, um die gewünschten Ergebnisse zu liefern – aber eben auch nicht größer, um die Kosten nicht unnötig in die Höhe zu treiben.