Costos de entrenamiento LLM: cronología económica 2018-2024
Inversión computacional documentada en el desarrollo de arquitecturas transformer
Entrenar LLM modernos consume recursos que pocas organizaciones pueden costear.
2018: GPT-1 y BERT
GPT-1 costó aproximadamente 40,000 USD en compute. BERT original requirió 4 días en 64 TPUv2. Accesible para equipos de investigación universitarios.
2019: GPT-2
Escaló a 1.5 mil millones de parámetros. Entrenamiento estimado en 250,000 USD. Comenzó consolidación hacia laboratorios grandes.
2020: GPT-3
175 mil millones de parámetros. Costos estimados entre 4-12 millones USD. Requirió infraestructura custom de Microsoft Azure.
2022-2024: Modelos actuales
PaLM de Google: estimado 17 millones USD. GPT-4: cifras no públicas pero probablemente 50-100 millones. Llama 3 requirió clusters con miles de GPUs H100.
Barrera de entrada real
El fine-tuning cuesta 50,000-500,000 USD dependiendo del dataset. Entrenar desde cero requiere capital de venture o presupuestos corporativos masivos.
Estas cifras excluyen costos de ingeniería, datos, y experimentación fallida.