Durante los últimos meses he tenido la oportunidad de conversar sobre inteligencia artificial con personas de entidades públicas y empresas privadas.
Y hay una preocupación que se repite.
No necesariamente es miedo a la inteligencia artificial.
Es miedo a no saber cuánto va a costar.
Cuando hablamos de una licencia de software tradicional normalmente tenemos alguna referencia. Sabemos cuánto cuesta por usuario, por servidor, por año o por capacidad contratada.
Con la inteligencia artificial la conversación cambia.
Aparecen tokens, créditos, consumo de modelos, llamadas a servicios, almacenamiento, búsquedas, procesamiento y una cantidad de componentes que hacen mucho más difícil responder una pregunta que cualquier gerente termina haciendo:
¿Cuánto me va a costar esto cuando lo ponga en producción?
Y considero que esa pregunta está empezando a cambiar nuevamente la forma en que debemos pensar la infraestructura.
El problema no es cuánto cuesta una pregunta
Cuando utilizamos herramientas de inteligencia artificial como usuarios finales normalmente no pensamos en la infraestructura que existe detrás.
Pagamos una suscripción y utilizamos el servicio.
Pero cuando una organización empieza a construir sus propias soluciones, la situación es diferente.
Un agente no necesariamente recibe una pregunta y genera una respuesta.
Puede recibir una solicitud, consultar documentos, buscar información, llamar una herramienta, revisar el resultado, volver a consultar el modelo y finalmente ejecutar una acción.
Entonces una interacción del usuario puede terminar generando varias operaciones.
Y cada una consume recursos.
Por eso considero que uno de los errores que podemos cometer al presupuestar proyectos de IA es calcular solamente cuánto cuesta utilizar el modelo.
El costo del modelo no necesariamente es el costo del agente.
La OCDE puso algunos números sobre la mesa
En mayo de 2026 la OCDE publicó Benefits of AI openness, un documento en el que analiza, entre otros temas, cuándo puede resultar económicamente conveniente utilizar modelos abiertos sobre infraestructura privada frente al consumo de modelos mediante API.
El ejercicio no pretende establecer una regla universal. Son escenarios construidos bajo determinados supuestos de consumo, capacidad y costos.
Pero los números permiten dimensionar el problema.
La OCDE plantea cuatro escenarios.
Una carga pequeña, con menos de 100 millones de tokens mensuales.
Una carga media, con 1.000 millones.
Una carga grande, con 10.000 millones.
Y una carga muy grande, con 50.000 millones de tokens mensuales.
Para 1.000 millones de tokens al mes, el ejercicio de la OCDE estima aproximadamente US$8.000 mensuales en consumo de API bajo sus supuestos.
Escenario ilustrativo de la OCDE, no una regla universal de costos.Estamos hablando de aproximadamente US$96.000 al año solamente en consumo de la API.
Y a partir de allí la pregunta cambia.
Si una organización sabe que durante varios años va a consumir grandes cantidades de procesamiento, ¿siempre tiene sentido seguir pagando cada vez que utiliza el modelo?
No necesariamente.
Pero tampoco significa que comprar servidores sea automáticamente más barato.
Open source no significa IA gratis
Este punto me parece fundamental.
A veces hablamos de modelos open source como si eliminar el pago por tokens significara eliminar el costo.
No es así.
Si ejecuto un modelo abierto sobre mi propia infraestructura sigo necesitando procesamiento, memoria, almacenamiento, red, energía, soporte y personas que administren esa plataforma.
La diferencia está en cómo pago por esa capacidad.
En un modelo basado en API, buena parte del costo está asociado al consumo.
Uso más, pago más.
En infraestructura propia hago una inversión para disponer de determinada capacidad y después intento aprovecharla durante su vida útil.
La OCDE incorpora precisamente estos elementos en su comparación: equipos, instalación, electricidad, espacio de datacenter, conectividad, soporte de ingeniería, seguros y depreciación.
Para una carga pequeña estima una infraestructura basada en una GPU L4.
Para 1.000 millones de tokens mensuales utiliza como referencia una H100.
Para 10.000 millones estima entre dos y tres H100.
Y para 50.000 millones, ocho H100.
No significa que esas sean configuraciones universales. El mismo estudio advierte que la capacidad depende del modelo utilizado y de diferentes factores de eficiencia.
Pero el resultado económico sí muestra algo interesante.
Para cargas inferiores a 100 millones de tokens mensuales, la OCDE no encuentra una ventaja económica clara en instalar infraestructura propia.
Para el escenario medio, el punto en el cual la infraestructura privada empieza a resultar más económica aparece aproximadamente después de 30 meses.
Para una carga de 10.000 millones de tokens mensuales, ese punto se reduce aproximadamente a dos meses.
Y para 50.000 millones, a cerca de un mes.
La conclusión no debería ser que debemos comprar servidores.
La conclusión debería ser mucho más sencilla:
cuando el consumo crece, tenemos que volver a hacer cuentas.
Durante años la nube simplificó esa decisión
Buena parte de la transformación hacia cloud tuvo una lógica fácil de entender.
En lugar de comprar infraestructura para después administrarla, podía consumir capacidad cuando la necesitara.
Pasábamos de grandes inversiones iniciales a costos asociados al uso.
Y ese modelo sigue teniendo enormes ventajas.
El problema es que la IA introduce cargas que pueden crecer de una manera diferente.
Un agente utilizado ocasionalmente por diez personas probablemente tenga poco sentido sobre una infraestructura dedicada.
Pero pensemos en otro escenario.
Una organización despliega agentes para consultar documentos, analizar contratos, atender ciudadanos, revisar procesos internos o apoyar a cientos de funcionarios.
Cada usuario realiza varias solicitudes al día.
Cada solicitud puede generar varias consultas al modelo.
Y cada agente puede además consultar documentos y utilizar otras herramientas.
Lo que inicialmente parecía un pequeño consumo empieza a convertirse en una carga permanente.
En ese momento deja de ser suficiente preguntar cuánto cuesta el token.
Tenemos que preguntar cuánto cuesta operar el servicio completo.
Y aquí vuelve a aparecer el datacenter
No creo que estemos ante el fin de la nube.
Tampoco creo que todas las organizaciones deban comprar servidores con GPU.
Sería reemplazar una moda por otra.
Lo que sí considero es que los modelos abiertos están colocando nuevamente la infraestructura propia dentro de las alternativas que un arquitecto debe evaluar.
Y eso es diferente.
La misma OCDE muestra que para cargas pequeñas las API pueden continuar siendo más eficientes.
También existe una posibilidad intermedia: alquilar capacidad de procesamiento sin necesariamente comprarla.
Entonces ya no tenemos solamente dos opciones.
Podemos consumir un modelo como servicio.
Podemos alquilar capacidad de procesamiento.
Podemos ejecutar modelos abiertos sobre infraestructura propia.
Y seguramente muchas organizaciones terminarán combinando estas alternativas.
En Colombia esta discusión tiene todavía más sentido
El CONPES 4144, que establece la Política Nacional de Inteligencia Artificial, incluye entre sus objetivos fortalecer la infraestructura tecnológica y la disponibilidad e intercambio de datos necesarios para desarrollar y adoptar sistemas de IA.
No es un asunto menor.
Colombia ya está reconociendo que desarrollar y adoptar inteligencia artificial requiere capacidad tecnológica además de modelos y aplicaciones.
Posteriormente, Minciencias abrió la convocatoria Colombia Inteligente: Infraestructura para el desarrollo de la inteligencia artificial, con recursos disponibles por $630.000 millones.
Su propósito es precisamente impulsar infraestructura y capacidades nacionales para investigación, desarrollo e innovación en inteligencia artificial.
Es decir, mientras buena parte de la conversación cotidiana sigue concentrada en cuál modelo es mejor, en Colombia ya estamos empezando a discutir capacidad de procesamiento, infraestructura y soberanía tecnológica.
Y considero que ambas conversaciones van a terminar encontrándose.
Porque el agente necesita mucho más que inteligencia
NIST publicó en febrero de 2026 un documento dedicado a un problema que será cada vez más importante: la identidad y autorización de los agentes de IA.
Tiene sentido.
Si un agente solamente responde una pregunta, el riesgo es relativamente limitado.
Pero si puede consultar información, utilizar herramientas, entrar a aplicaciones o ejecutar acciones, necesitamos saber quién es, qué puede consultar y hasta dónde puede actuar.
Entonces empiezan a aparecer componentes que normalmente no incluimos cuando alguien dice:
“vamos a implementar un agente”.
Datos.
Identidades.
Permisos.
Aplicaciones.
Almacenamiento.
Integraciones.
Seguridad.
Procesamiento.
Monitoreo.
Infraestructura.
Y personas que mantengan todo funcionando.
Por eso la IA empresarial está dejando de ser solamente una discusión sobre modelos.
Se está convirtiendo en una discusión sobre arquitectura.
Incluso la energía empieza a entrar en la conversación
El Lawrence Berkeley National Laboratory publicó en junio de 2026 una actualización de su estudio sobre consumo energético de centros de datos en Estados Unidos.
Su escenario de referencia estima que hacia 2030 los centros de datos podrían representar aproximadamente el 11,8 % del consumo eléctrico de ese país, con escenarios que se mueven entre 9,5 % y 15,3 %.
No utilizo este dato para decir que Colombia tendrá el mismo comportamiento.
No tenemos evidencia suficiente para afirmarlo.
Lo importante es otra cosa.
Una tecnología que normalmente vemos como software está empezando a producir decisiones sobre infraestructura física, capacidad de procesamiento y energía.
Y eso cambia el nivel en el cual debemos analizarla.
Entonces, ¿la IA nos hará volver al datacenter?
Mi respuesta es: depende.
Y probablemente esa sea la respuesta correcta desde arquitectura.
Si tengo poco consumo, una API puede resultar mucho más eficiente que comprar infraestructura.
Si tengo cargas variables, probablemente también.
Si necesito capacidades que solamente encuentro en determinados modelos comerciales, tendrá sentido pagarlas.
Pero si tengo cargas permanentes, altos volúmenes de inferencia, información sensible o agentes trabajando continuamente, ejecutar modelos abiertos sobre infraestructura controlada por la organización empieza a ser una alternativa que merece ser calculada.
No asumida.
Calculada.
Porque open source no necesariamente hace más barata la inteligencia artificial.
Lo que hace es permitirnos cambiar su estructura de costos.
Y ahí considero que está ocurriendo algo que no estamos mirando suficientemente.
Estamos regresando al TCO
Durante algún tiempo pareció que muchas decisiones de infraestructura podían resumirse en mover cargas hacia servicios administrados y pagar por consumo.
La IA nos está obligando nuevamente a mirar utilización, capacidad, crecimiento, depreciación, operación y costo total.
No porque el datacenter haya ganado.
Ni porque la nube haya perdido.
Sino porque apareció una nueva carga de trabajo cuyo comportamiento económico todavía estamos aprendiendo a entender.
Por eso, antes de decidir dónde implementar un agente, considero que deberíamos responder algunas preguntas.
¿Cuántas veces será utilizado?
¿Cuánto procesamiento puede generar cada interacción?
¿El consumo será estable o variable?
¿Qué información utilizará?
¿Qué acciones podrá ejecutar?
¿Qué nivel de disponibilidad necesita?
¿Durante cuánto tiempo esperamos operar el servicio?
¿Y cuánto cuesta realmente mantenerlo funcionando?
Después podremos decidir si esa carga debe estar en una API, en cloud, sobre capacidad de procesamiento alquilada o nuevamente dentro de nuestra propia infraestructura.
Quizás la discusión que viene no sea cloud contra datacenter.
Puede ser algo bastante más interesante:
qué cargas de inteligencia artificial tiene sentido comprar como servicio y cuáles tiene sentido operar nosotros mismos.
Después de varios años hablando de modelos, la inteligencia artificial nos está haciendo volver a una conversación conocida.
Arquitectura.
Y esta vez el modelo es solamente uno de sus componentes.
Referencias
- OCDE. Benefits of AI openness: OECD discussion paper for the G7. OECD Publishing, París, 2026. DOI: 10.1787/746e8c9a-en.
- National Institute of Standards and Technology (NIST), National Cybersecurity Center of Excellence. Accelerating the Adoption of Software and Artificial Intelligence Agent Identity and Authorization. 2026.
- Departamento Nacional de Planeación. CONPES 4144 — Política Nacional de Inteligencia Artificial. Colombia, 2025.
- Ministerio de Ciencia, Tecnología e Innovación. Convocatoria Colombia Inteligente: Infraestructura para el desarrollo de la inteligencia artificial. Convocatoria 46.
- Lawrence Berkeley National Laboratory. United States Data Center Energy Usage Report: 2025 Update. 2026.