Bevor es losgeht: dieselben Wörter
Wer täglich mit KI-Werkzeugen arbeitet, darf hier auf Durchzug schalten — für euch ist das Wiederholung.
Fast jeder Einstiegsfehler in Modul 1 lässt sich auf ein missverstandenes Grundwort zurückführen. Eine Viertelstunde, die sich auszahlt.
Von außen nach innen immer spezifischer: LLM steckt in ML, ML in KI. Kurzdefinitionen im Glossar am Kapitelende.
Bevor das Modell rechnet, wird euer Prompt aufbereitet: ein Tokenizer zerlegt ihn deterministisch in Tokens, jedes Token wird zu einem Vektor (Embedding) und belegt einen Slot im Kontextfenster.
Tokenizer-Beispiel — ganze Wörter zerfallen in Teil-Tokens:
Slot 0 im Kontextfenster ist der System-Prompt — den tippst nicht du. Den setzt Claude Code unsichtbar davor, bei jedem Aufruf.
Der Input ist das Kontextfenster als Folge von Vektoren (je Token einer). Diese laufen durch N Transformer-Schichten — je Self-Attention + Feed-Forward + Residual, wiederholt pro Token.
Das Modell berechnet über sein ganzes Vokabular eine Wahrscheinlichkeitsverteilung fürs nächste Token — bedingt durch alle Tokens im Kontextfenster: P(nächstes Token | Kontext).
Der Transformer liefert Token für Token (Folie zuvor), jedes angehängt und neu durchlaufen — bis ein Stopp-Token kommt. Dann schließt sich der Kreis von „Vom Prompt…": die Tokens werden zu Text und gehen zurück an dich.
Ein Aufruf zerfällt in zwei Phasen mit völlig anderem Kosten-Profil: den Kontext einlesen (Prefill) und die Antwort schreiben (Decode).
Wie: Das Modell liest den ganzen Prompt (alle Slots) auf einmal — die Transformer-Schichten verarbeiten alle Tokens gleichzeitig.
Ergebnis: der KV-Cache (Key-Value-Cache) — die im Speicher abgelegte „Verständnis-Matrix" des gesamten Kontexts.
Profil: schnell und ressourcenschonend.
Wie: der autoregressive Loop (Folie zuvor) — auf Basis des KV-Cache entsteht ein Token, wird angehängt, dann von vorn.
Flaschenhals: nicht parallelisierbar — Token 2 braucht zwingend Token 1.
Profil: langsam (man sieht den Text „tippen") und teuer (belegt den Grafikprozessor, die GPU).
Weil die API stateless ist, schickt Claude Code bei jedem Schritt den ganzen Kontext neu. Ohne Caching liefe der Prefill jedes Mal komplett.
Turn 1: [20k statische Tokens] + Frage Prefill über ~20.050 Tokens.
Turn 2: [dieselben 20k] + Antwort Prefill läuft erneut über alle 20k.
Agentische Loops (Grep Read Edit) wären so zu langsam und zu teuer.
Anthropic legt den KV-Cache des Prefix ab (API-Standard ~5 Min, optional 1 Std; was Claude Code nutzt: Modul 3).
Turn 2: die API erkennt den Prefix-Block Cache Hit.
Die Lese-Phase für die 20k Tokens entfällt — nur die wenigen neuen Tokens werden gelesen. Cache-Treffer sind rund 90 % günstiger als frischer Input.
Eure Eingabe an das Modell — Frage, Auftrag, Kontext. Das, was ihr tippt.
Die vom Modell erzeugte Fortsetzung — Text, Code, ein Plan.
Eine Antwort, die überzeugend klingt, aber falsch ist — eine erfundene Methode, eine erfundene Quelle.
Standard-Patterns sitzen perfekt — Singleton, REST-Controller, Stream-API. Millionenfach gesehen.
Dein projektspezifischer Code, interne Konventionen, private Repos — nie gesehen.
Alles nach dem Cut-off (neue Framework-Versionen, geänderte APIs) — unbekannt, wird geraten.
Ein Essay muss ein Mensch bewerten. Code hat eine objektive Wahrheit: er kompiliert — oder nicht. Tests sind grün — oder rot. Das nutzt das Fine-Tuning.
javac + Unit-Tests aus.Milliarden Compiler-Feedback-Schleifen — das Netz verinnerlicht Java-Syntax & -Muster.
Kein Compiler. Code entsteht rein statistisch, Token für Token — ungeprüft, ob er kompiliert.
Bringt die Schleife zurück an den Arbeitsplatz: mvn test echter javac-Fehler korrigiert bis grün.
Es sucht nicht live im Netz. Es antwortet aus dem, was es beim Training gelesen hat (Stichtag!) — sofern ihm keine Werkzeuge etwas anderes geben.
Es ruft nichts exakt ab. Es rekonstruiert plausibel — deshalb kann dieselbe Frage unterschiedlich beantwortet werden.
Gleiche Eingabe heißt nicht gleiche Ausgabe. Es ist nicht deterministisch — anders als jeder Code, den ihr kennt.
Es versteht Code nicht strukturell (kein AST — Abstract Syntax Tree) und führt ihn nicht aus. Ob etwas kompiliert, weiß es nicht — dafür braucht es echte Werkzeuge (gleich mehr).
Versteht den AST: Typen, Symbole, Struktur. Kompiliert — und weiß, ob der Code korrekt ist.
Sieht nur einen Strom aus Text-Tokens. Kein AST, keine Typprüfung. Es sagt plausiblen Text voraus — ob er kompiliert, weiß es nicht.
Beide Problem-Achsen kombiniert — Wissen (Y) und Größe (X) — ergeben vier Felder — jedes mit einem anderen Werkzeug.
Souveräner Ton ist kein Genauigkeits-Signal.
Erfindung sitzt im Konkreten (Zahlen, APIs, Zitate).
Kann die eigene Sicherheit nicht kalibrieren.
Software > Kontextfenster — nie alles sichtbar.
Ausgaben sind Entwürfe — verifizieren.
Nicht jede Aufgabe ist gleich riskant.
Ohne erdende Werkzeuge bleibt es Raten.
Teile & herrsche — fokussierte Scheiben.
Die Wurzelprobleme lassen sich nicht wegtrainieren — aber Produkt-Features und Standards erden das Modell an der Realität.
Holt aktuelle Informationen zur Laufzeit, statt aus dem Trainings-Gedächtnis zu antworten.
kontert: Cut-off & veraltetes WissenRAG (Retrieval-Augmented Generation) legt passende Dokumente in den Kontext. MCP (Model Context Protocol) ist der offene Standard zu echten Datenquellen.
kontert: Erfinden statt BelegenDas Modell ruft echte Werkzeuge auf (Compiler, Tests, Dateien) und liest deren Ergebnis — Feedback statt Statistik.
kontert: kann Sicherheit nicht kalibrierenDas Produkt sagt, bis wann das Wissen reicht — man weiß, wann Skepsis und Nachschlagen nötig sind.
kontert: falsche SicherheitOrdnet jede Aufgabe in die Wissens-Matrix ein (Quadrant Q1–Q4) und nennt das passende Werkzeug plus einen Satz Begründung:
(a) Standard-RegEx für E-Mail-Validierung schreiben · (b) einen Handler mit unserer internen Billing-Bibliothek bauen · (c) Library X ist letzte Woche in Version 5 erschienen — Breaking Changes prüfen · (d) Logging-Bibliothek im gesamten Repo austauschen · (e) DSGVO-Löschkonzept quer durch alle unsere Services umsetzen
Dauer ca. 10 Minuten · Partnerarbeit · hier ist Pause — die Auflösung folgt auf der nächsten Folie, nicht vorblättern
Die beiden Achsen genügen, um fast jede KI-Aufgabe einzuordnen — und das Werkzeug folgt aus dem Quadranten.
| Aufgabe | Quadrant | Werkzeug | Achsen-Begründung |
|---|---|---|---|
| (a) Standard-RegEx | Q1 | direktes Prompting | allgemein, vor Cut-off, klein |
| (b) interne Billing-Bibliothek | Q3 | Kontext / RAG · MCP | Firmenwissen — steht in keinem Training |
| (c) Library X v5, letzte Woche | Q3 | Web-Suche | öffentlich, aber nach Cut-off |
| (d) Logging-Lib im ganzen Repo | Q2 | großes Kontextfenster · agentische Loops | allgemeines Wissen, aber groß |
| (e) DSGVO quer durch alle Services | Q4 | MCP-Ökosystem · RAG · Multi-Agent | spezifisch und groß — der schwerste Fall |
Modell- & Trainings-Begriffe: nächste Folie.
Alle Begriffe fließen ins Gesamt-Glossar am Kursende ein (alle Module).
Alle Rechte vorbehalten
Diese Schulungsunterlagen sind urheberrechtlich geschützt. Vervielfältigung, Weitergabe oder kommerzielle Nutzung — auch in Auszügen — nur mit ausdrücklicher schriftlicher Genehmigung der CGS IT Solutions GmbH.
cgsit-claude-training · Kapitel 0.2 · LLM-Grundlagen · v0.11.5