LLM

Was ein LLM ist

LLM steht für Large Language Model, also ein großes Sprachmodell. Es ist ein neuronales Netz, das auf sehr viel Text trainiert wurde und die Wahrscheinlichkeit des nächsten Textbausteins vorhersagt. Ein Satz wird deshalb nicht nachgeschlagen, sondern Stück für Stück berechnet. Das erklärt die wichtigste Eigenschaft dieser Systeme: Sie formulieren flüssig und überzeugend, ohne eine Datenbank mit Fakten zu besitzen.

Die Bausteine heißen Token, also Wortteile, nicht Wörter. Ein Token ist je nach Sprache etwa drei bis vier Zeichen lang. Rechenleistung und Kosten werden in Token gemessen, deshalb ist die Länge von Eingabe und Antwort ein direkter Kostenfaktor.

Wie daraus brauchbare Ergebnisse werden

Die Modelle antworten nicht auf Basis gespeicherter Dokumente, sondern auf Basis von Mustern. Für Aufgaben, die Genauigkeit brauchen, wird deshalb ein zweiter Baustein ergänzt. Beim Verfahren RAG werden passende Textstellen aus eigenen Quellen gesucht und dem Modell mitgegeben, damit die Antwort auf diesen Stellen beruht. Auch Werkzeugaufrufe gehören dazu: Das Modell darf eine Funktion auslösen, etwa eine Bestellung nachschlagen, und rechnet das Ergebnis in die Antwort ein.

Wie viel Text das Modell gleichzeitig berücksichtigen kann, beschreibt das Kontextfenster. Es ist die Obergrenze für Eingabe und Ausgabe zusammen und damit der begrenzende Faktor bei langen Produktdaten oder Verträgen.

Warum es halluziniert

• Muster statt Wissen: Fehlt eine Angabe, wird sie nicht als fehlend gemeldet, sondern plausibel ergänzt.
• Veralteter Stand: Ein Modell kennt nur, was bis zum Trainingszeitpunkt öffentlich war.
• Überzeugender Ton: Die Antwort klingt auch dann sicher, wenn sie falsch ist. Das ist die eigentliche Gefahr im Betrieb.
• Keine Quellenangabe: Ohne RAG oder Werkzeuge kann das Modell nicht belegen, woher eine Angabe stammt.

Was daraus für den Shop folgt

Sprachmodelle eignen sich gut für Formulierungen, Zusammenfassungen, Übersetzungen und Umformulierungen von vorhandenem Material. Sie eignen sich nicht als Quelle für Preise, Bestände, Lieferzeiten oder rechtliche Aussagen. Die praktische Regel lautet deshalb, dem Modell die Fakten mitzugeben und die Entscheidung beim Menschen zu lassen. Wer Texte aus einem Modell veröffentlicht, braucht eine Prüfstufe, und für jeden Absatz braucht es eine zuständige Person.

Häufige Fragen

• Denkt ein Sprachmodell? Es berechnet Wahrscheinlichkeiten. Das Ergebnis wirkt gedacht, ist aber Statistik.
• Sind meine Eingaben geheim? Nur wenn der Anbieter das vertraglich zusichert, und nur bei einem Tarif, der das Training mit den Daten ausschließt.
• Kann ich das Modell mit eigenen Daten füttern? Ja, über RAG ohne Training, über Feinabstimmung mit Training. Für die meisten Shops ist RAG der schnellere und günstigere Weg.