Context Window.
The maximum number of tokens an LLM can "see" at once. When the window fills up, the model starts forgetting or the conversation gets compacted.
Context window is the maximum number of tokens an LLM can process at once. GPT-3 had 4K, GPT-4 reached 128K, Claude 3.5+ runs at 200K, and Gemini 1.5 hits 1M-2M tokens. A bigger context window isn't always better: cost and latency rise, the model's attention fragments (lost in the middle), and the risk of context rot grows. Good context engineering gives the model only what it needs, not however much fits.
Bir LLM'in tek seferde "görebildiği" maksimum token sayısı. Pencere dolduğunda model unutmaya başlar veya konuşma sıkıştırılır.
Context window, bir LLM'in tek seferde işleyebildiği maksimum token sayısıdır. GPT-3'te 4K, GPT-4'te 128K, Claude 3.5+ 200K, Gemini 1.5'te 1M-2M token seviyesine çıktı. Daha büyük context window her zaman daha iyi değildir: maliyet ve latency artar, model dikkati dağılır (lost in the middle), context rot riski büyür. İyi context engineering, mevcut window'u doldurmak yerine ne kadar gerekiyorsa o kadarını verir.