Temperatura, Top-P y Top-K: Los mandos de la IA

Cuando el modelo predice la siguiente palabra, obtiene un abanico probabilístico de opciones. La Temperatura actúa como un ecualizador de estas probabilidades.

- Temperatura Baja (0.1 - 0.3): Las opciones altamente probables se fortalecen. Es ideal para tareas deterministas como escribir código o resumir artículos.
- Temperatura Alta (0.7 - 1.0): Las opciones menos probables ganan peso estadístico. Perfecto para el brainstorming, escritura creativa o poesía.

En lugar de simplemente jugar con probabilidades escaladas, el hiperparámetro Top-P suma secuencialmente la masa de probabilidad estricta. Si fijamos Top-P en 0.90, la red evalúa tokens de mayor a menor hasta que las probabilidades sumen el 90%.

Esto significa que frente a contextos obvios, el modelo restringe sus opciones a solo un par de palabras. Frente a contextos ambiguos, el abanico crece y elige entre muchas opciones aleatoriamente pero con sentido gramatical.

Mientras Top-P es dinámico, Top-K es rígido. Si definimos Top-K en 40, en cada paso el modelo descartará todas las posibles palabras salvo las 40 más probables del diccionario. A diferencia de P, no importa si el token número 41 tenía una probabilidad similar al 40; el modelo instaura una métrica invariable de corte absoluto.

Saber cuándo usar Temperatura versus Top-P es vital. Generalmente se recomienda modificar uno u otro, no ambos a la vez.