Student Lifecycle

💡 Das "Gedächtnis" des Bots

Der Context Window ist wie das Kurzzeitgedächtnis des Bots. Er zeigt an, wie viel von den 32.000 verfügbaren Tokens bereits genutzt wird.

🔢 Was sind Tokens?

Tokens sind die "Gedächtnis-Einheiten" eines LLMs (Large Language Models). Ein Token entspricht ungefähr 4 Zeichen. Der Satz "Hallo Welt" sind etwa 3 Tokens.

📊 Was wird gezählt?

• Deine Fragen – Jede Nachricht verbraucht Tokens
• Bot-Antworten – Die Antworten des Bots
• Knowledge Base Daten – Da der Bot bei jeder Frage die gesamte Wissensdatenbank mitliest, startet der Zähler bereits bei einem hohen Grundwert.
• System-Instruktionen – Die Anweisungen, wie der Bot sich verhalten soll

⚠️ Was passiert bei 100% oder zu vielen Nachrichten?

Wenn das Gedächtnis voll ist oder die Konversation zu lang wird, muss der Bot "vergessen" – ältere Nachrichten werden aus dem Gedächtnis entfernt, um Platz für neue zu schaffen. Das stellt sicher, dass der Bot schnell und präzise antwortet!