La inteligencia artificial dejó de ser promesa para convertirse en una presión diaria: clientes que esperan respuestas inmediatas, áreas que exigen automatización y una dirección que pide resultados tangibles sin comprometer la seguridad. Muchas empresas en Colombia iniciaron pilotos de IA, pero siguen atrapadas entre costos, regulaciones y una arquitectura tecnológica que no conversa. La pregunta ya no es “si” vamos a usar IA, sino “cómo” vamos a hacerlo bien: con modelos que infieran en tiempo real, con una nube híbrida que equilibre control y escalabilidad, y con soberanía de datos que respete la regulación local y los contratos con nuestros clientes. Esa es la discusión que lideran hoy los referentes del sector y que, desde TODO EN UNO.NET, venimos acompañando desde la práctica. Este blog pone orden, prioriza decisiones y aterriza rutas posibles para que su empresa avance con claridad, seguridad y resultados.
👉 LEE NUESTRO BLOG para tomar decisiones informadas y funcionales.
El anuncio de Red Hat Summit: Connect Bogotá confirma una tendencia que venimos observando en consultorías: las compañías que obtienen valor real de la IA están moviendo el foco hacia la inferencia de modelos, orquestada sobre nube híbrida y con criterios firmes de soberanía de datos. El 6 de noviembre, este encuentro en el Hotel W reunirá a líderes para discutir estrategias prácticas de adopción sustentable de IA y el rol del open source como catalizador de rapidez, seguridad y eficiencia. La propia nota de ITSitio resume con precisión el momento: hay inversión, pero escasea la estrategia; hay pilotos, pero faltan rutas para pasar de la prueba a la operación estable. En cifras citadas allí, un estudio de Harvard Business Review patrocinado por Red Hat destaca barreras como falta de estrategia (45%), carencia de talento (42%) y esfuerzos desorganizados (39%), temas que vemos a diario en terreno con equipos que “hacen de todo”, pero sin una hoja de ruta clara.
Desde la experiencia de más de tres décadas, la primera conversación que sostengo con la alta dirección no es técnica: es operacional. ¿Dónde duele hoy? ¿Tiempo de respuesta? ¿Costos de cómputo? ¿Riesgos regulatorios? La inferencia es, en el día a día, la pieza que convierte modelos en decisiones: clasificar un ticket, recomendar un paso contable, detectar una anomalía en nómina, priorizar un caso de atención o validar un documento. Si el entrenamiento es “la escuela”, la inferencia es “el trabajo real”. Por eso, que Red Hat situe la inferencia como punto de partida no es marketing: es pragmatismo. La plataforma Red Hat AI incorpora AI Inference Server y OpenShift AI para servir modelos con throughput alto y latencia baja en cualquier acelerador —y, lo que nos importa a los colombianos, en cualquier entorno: on-premise, nubes públicas o edge, manteniendo políticas de seguridad y cumplimiento consistentes.
Cuando una gerencia me pregunta “¿por qué nube híbrida y no solo pública?”, la respuesta es simple: porque la regulación, los contratos y la realidad operativa rara vez son binarios. En Colombia convivimos con datos sensibles, históricos tributarios, expedientes laborales y archivos clínicos que exigen gobierno y trazabilidad. La nube híbrida permite poner la inferencia cerca del dato y del usuario, mantener controles locales donde corresponde, y escalar en la nube para picos o nuevas capacidades, sin rehacer el andamiaje. No se trata de “dividir” por capricho, sino de ubicar por riesgo, latencia, costo y regulación. Red Hat OpenShift AI habilita ese patrón: un plano de control consistente para entrenar, servir y monitorear modelos, con MLOps integrados y políticas que viajan con el artefacto, no con el data center. Es el tipo de “pegamento” que reduce fricción entre tecnología y cumplimiento.
El otro eje que ya es ineludible en la conversación directiva es la soberanía de datos. No basta con “localizar” información; la soberanía implica control operativo y jurídico sobre dónde se procesa, quién accede, bajo qué leyes y con qué mecanismos de auditoría. Gartner proyecta que para 2027, el 70% de las empresas que adopten GenAI citarán la sostenibilidad y la soberanía digital como criterios decisivos al elegir servicios de IA en la nube. Esto ya está tensionando decisiones en Europa y Latinoamérica, donde la selección de proveedor pasa por cláusulas de jurisdicción, retención y portabilidad, más allá de la pura eficiencia técnica. Si su empresa está evaluando agentes, RAG o analítica con modelos fundacionales, el momento de anclar soberanía es ahora: definir regiones, planes de continuidad, llaves KMS, residencia, logging y rutas de salida para evitar lock-in.
En la práctica colombiana, todo esto se traduce en un triángulo funcional: negocio, riesgo y arquitectura. Del lado de negocio, la inferencia debe entregarnos tiempos de respuesta y calidad en indicadores que importan: SLA de atención, porcentaje de clasificación correcta, ahorro de horas hombre, detección temprana de errores contables o de nómina, reducción de reprocesos y reclamaciones. En riesgo, debemos formalizar gobernanza de datos (fuente, calidad, retención, legalidad), trazabilidad y excepciones (qué hace el humano cuando el modelo duda). Y en arquitectura, necesitamos un plano híbrido que tenga observabilidad, serving económico para cargas variables y una política clara de costo por inferencia. Allí es donde plataformas como Red Hat AI Inference Server aportan: throughput alto basado en motores como vLLM, soporte multiacelerador y despliegues consistentes entre on-prem y nube.
La evidencia internacional refuerza esta ruta. En el propio circuito de Summit: Connect en la región se ha insistido en que el problema no es “hacer más IA”, sino organizar la casa: estrategia primero, talento y procesos después, y tecnología al servicio de esa intención. Las estadísticas divulgadas en coberturas recientes repiten el patrón: ausencia de estrategia, falta de talento y desorganización interna actúan como frenos. Nos pasa todos los días: áreas entusiasmadas que montan pilotos aislados mientras legal, riesgos y TI apagan incendios. El resultado es un ecosistema frágil, donde cada nueva pieza incrementa la deuda técnica y el riesgo reputacional. La corrección es conocida: priorizar casos de uso, construir un mapa de datos confiable y definir un ciclo de vida del modelo que incluya monitoreo, evaluación y retiro.
En ese contexto, ¿cómo avanza una empresa colombiana con poco margen para equivocarse? Comenzamos por diagnóstico funcional: localizar cuellos de botella donde la inferencia genera valor inmediato. Segundo, alinear compliance con arquitectura: si el caso toca datos sensibles, se ejecuta on-prem o en nube soberana; si es marketing o analítica no sensible, puede ir a nube pública con controles. Tercero, economía de inferencia: cada decisión debe tener un costo objetivo por mil llamadas, con límites, rate limiting y calidad medida en producción. Cuarto, talento y procesos: entrenar a los equipos, definir handoffs humano-IA, y documentar excepciones. Quinto, observabilidad: telemetría, registros y auditorías en tiempo real para explicar decisiones, revertir errores y aprender del uso.
En paralelo, aterrizamos un tablero de riesgos por línea de negocio: tributario-contable, gestión del dato personal, continuidad operativa, ciberseguridad y cumplimiento sectorial. En tributario-contable, por ejemplo, un modelo de clasificación de soportes debe operar con reglas de negocio explícitas y evidencia almacenada para cada inferencia; ante una revisión de la DIAN, la empresa necesita reproducibilidad. En dato personal, las autorizaciones, finalidades y tiempos de retención delimitan qué se puede inferir y dónde. En continuidad, definimos modos degradados: si el servicio de inferencia falla, el proceso no se detiene. Y en ciberseguridad, aplicamos principio de mínimo privilegio, segmentación de redes y cifrado de extremo a extremo. Es aquí donde la nube híbrida despliega su fortaleza: acercar el cómputo al dato crítico y ampliar en la nube cuando la carga sube.
Traigo a la mesa dos contrastes útiles para directivos. En salud, la latencia y la privacidad imponen que ciertas inferencias vivan en el perímetro hospitalario (edge), conectadas a historiales y equipos médicos; la nube pública soporta analítica agregada, entrenamiento o evaluación offline. En servicios financieros, el scoring transaccional o la detección de fraude requieren latencias muy bajas y estricta residencia; el componente generativo para interacción con clientes, en cambio, puede operar en nube con máscaras y registros anónimos. La virtud de OpenShift AI y su ecosistema es ofrecer un patrón coherente para ambos mundos sin rehacer el modelo operativo cada trimestre.
Ahora, hablemos de gobernanza y soberanía con madurez. La soberanía no se resuelve con una casilla de “región Colombia” o “Latam”; exige pruebas de que el proveedor no puede acceder a sus datos sin autorización, gestión de claves en manos del cliente, logs inmutables, acuerdos de procesamiento, evaluaciones de impacto y, donde aplique, encriptación con llaves propias. En Europa, la presión por nubes soberanas escaló al punto de impulsar ecosistemas con operadores locales, justo por las tensiones entre legislación extraterritorial y protección de datos. Ese péndulo llegará con más fuerza a nuestra región a medida que la IA toque procesos críticos. Por eso, recomiendo que cada comité de IA incorpore un control de soberanía en su checklist: ¿quién tiene las llaves?, ¿dónde corre la inferencia?, ¿qué jurisdicción aplica si hay requerimientos?
Vuelvo a los fundamentos: si la inferencia es la decisión en tiempo real, el ciclo de vida es el seguro contra sesgos, drift y fallas. Aquí Red Hat AI Inference Server aporta una ruta técnica: servir modelos con motores como vLLM, optimizados para rendimiento, multiparadigma y con despliegue consistente en entornos heterogéneos. Para el CFO esto se traduce en previsibilidad de costos y elasticidad; para el CISO, en controles que no dependen del capricho de cada nube; para operaciones, en tiempos de respuesta medibles. En organizaciones donde la variabilidad es la regla —retail, logística, atención ciudadana—, esa elasticidad es la diferencia entre una prueba bonita y una capacidad productiva.
Colombia no es una burbuja. Compartimos desafíos globales: déficit de talento, cultura de adopción, calidad de datos, integración con legados, seguridad y ROI. La literatura reciente lo subraya: sin estrategia y entrenamiento, la IA se convierte en otro silo. Nuestro enfoque con clientes es formación aplicada y transferencia de capacidades: que los equipos entiendan las herramientas, los límites y, sobre todo, los criterios de éxito. No buscamos “deslumbrar” con demos, sino documentar cómo un caso pasa de la pizarra a un SLA cumplido. Cuando marketing, jurídico, contabilidad y TI conversan en el mismo tablero, la IA deja de ser promesa y se vuelve proceso.
Llegados a este punto, el lector quizá se pregunte por el primer paso. Propongo un itinerario probado: iniciar con un caso de inferencia acotado que tenga datos limpios, impacto claro y bajo riesgo legal; instrumentar telemetría desde el día uno; definir criterios de salida si el modelo no rinde; y establecer un ritmo de mejora quincenal con responsables y métricas. Paralelamente, el área legal ajusta contratos y políticas para la nueva realidad: tratamiento de datos, términos con proveedores, controles de acceso y régimen sancionatorio interno por uso indebido. Y sistemas prepara el terreno para híbrido: conectividad segura, gestión de secretos, CI/CD de modelos y catálogos de features.
En el primer tercio del recorrido, conviene hacer una pausa y alinear decisiones con un acompañamiento experto que reduzca fricción y acelere resultados. Si este es su caso, agendemos una conversación de diagnóstico inicial y priorización de casos de uso con foco en inferencia, arquitectura híbrida y soberanía de datos.
Quiero subrayar un matiz que suele pasar desapercibido: soberanía también es portabilidad. Las decisiones de hoy no pueden encadenarlo para siempre a un proveedor. Recomendamos diseñar con estándares abiertos, containers reproducibles y artefactos versionados que puedan moverse entre on-prem y nubes sin reingeniería. La inversión más inteligente es la que preserva su opción de futuro. Si mañana una regulación exige residencia estricta o si el negocio demanda llevar la inferencia al borde (sucursales, plantas, puntos de venta), su arquitectura debe responder sin dramas. En esa línea, las herramientas open source con soporte empresarial ofrecen un equilibrio virtuoso: innovación rápida con respaldo y hoja de ruta pública.
Para evitar la trampa del “demo perpetuo”, la medición debe ser tozuda. Proponga al comité directivo un set corto de métricas por caso: precisión, latencia P95, costo por 1.000 inferencias, tasa de intervención humana, tasa de reclamaciones, ahorro de horas, impacto en NPS o en recuperación de cartera. No todo se mueve a la vez; lo esencial es evidenciar mejora sostenida. Cuando la organización ve números, el escepticismo cede y la inversión se alinea con resultados. Esa es mi lucha de toda la vida: transformar la tecnología en funcionalidad que el cliente reconoce, paga y recomienda.
Miremos, por un instante, más allá del titular. Lo que llama la atención del Summit: Connect no es solo el despliegue de producto; es el enfoque cultural: open source como forma de trabajar entre áreas, colaboración como antídoto al silo y práctica por encima del discurso. Empresas que logran este giro son las que convierten la IA en parte de su cultura operativa: documentan, comparten, miden y ajustan. Cuando esto sucede, el talento se queda, los proveedores suman y el aprendizaje compuesto hace lo suyo.
Si su organización está en el cruce de caminos —multiplica pruebas y no aterriza resultados—, este es el momento de compactar decisiones: inferencia priorizada por valor, nube híbrida por control y escalabilidad, y soberanía por continuidad y cumplimiento. No es una moda: es la infraestructura de la próxima década. Y se construye hoy con pasos medibles, equipos formados y un socio que transforme incertidumbre en ruta.
En el último tramo del acompañamiento, me gusta sentarme con los equipos y dibujar la foto completa: dónde estamos, qué duele y qué podemos liberar en 90 días. La ansiedad por “hacerlo todo” suele jugarnos en contra; por eso, invito a escoger un solo caso de alto impacto donde la inferencia desbloquee una mejora visible para clientes o colaboradores. Mientras tanto, operaciones y seguridad consolidan la nube híbrida como autopista común, y jurídico asegura que la soberanía quede por escrito en contratos y prácticas. He aprendido que la transformación real ocurre cuando el lenguaje técnico se vuelve cotidiano y las personas sienten que la tecnología les quita peso y les da claridad. Desde TODO EN UNO.NET acompañamos con análisis, diseño y ejecución, paso a paso, midiendo lo que importa y enseñando a operar los sistemas que quedan. Cuando la conversación cambia de “herramienta” a “funcionalidad”, el paisaje se ordena: finanzas deja de ver gastos y empieza a ver retorno; riesgos deja de apagar incendios y comienza a prevenir; talento deja de resistir y comienza a aprender. Esa es la esencia de nuestro trabajo: convertir ideas en resultados sostenibles, con transparencia, ética y foco humano. Si usted siente que su empresa está lista para ese salto, aquí me tiene para recorrerlo con seriedad, método y compromiso.
¿Listo para transformar tu empresa con tecnología funcional?