Ein Token ist eine kleine Texteinheit, die ein KI-Modell verarbeitet.
Prompts werden intern in Tokens zerlegt, damit die KI sie verstehen kann.
Zu viele Tokens können:
abgeschnitten werden
Promptteile ignorieren
Performance beeinflussen
Kurz gesagt:
Tokens sind die kleinen Spracheinheiten, mit denen KI-Modelle Prompts verarbeiten.