Attention.

Modelin bir token üretirken girdideki diğer token'lara ne kadar ağırlık vereceğini hesaplayan mekanizma. Transformer'ın kalbidir.

The mechanism that computes how much weight to give other tokens in the input when producing the next one. The heart of the Transformer.