Cuando una empresa dice "queremos implementar inteligencia artificial", casi siempre está imaginando la última capa: un asistente que responde por texto o por voz. Lo que no se ve es que ese asistente es la punta de un stack de siete capas, y que el 80% del costo, del riesgo y del tiempo de implementación vive en las seis capas de abajo.
En SUMāTO llevamos 9 años integrando tecnología en Latinoamérica, y el patrón se repite: los proyectos de IA no fracasan en el modelo — fracasan en la infraestructura, en los datos o en la integración. Por eso hacemos aquí el ejercicio completo de arquitectura: si hoy tuviéramos que construir un asistente de IA empresarial con voz desde cero, ¿qué capas necesitaríamos, cómo funciona cada una por dentro, y qué servicios oficiales de qué fabricantes usaríamos?
Este es el mapa. Cada capa incluye su definición técnica, sus componentes internos, las métricas con las que se mide y las referencias a la documentación oficial de los fabricantes.
Capa 7 — Presentación TTS, canales de voz y texto
Capa 6 — Interacción STT/ASR, endpointing, VAD
Capa 5 — Orquestación Agentes, RAG, function calling, guardrails
Capa 4 — Modelo LLM: inferencia, contexto, fine-tuning
Capa 3 — Datos Ingesta, chunking, embeddings, BD vectorial
Capa 2 — Plataforma Kubernetes, APIs, LLMOps, observabilidad
Capa 1 — Infraestructura GPU, red, almacenamiento
─────────────────────────────────────────────────────
Transversal Seguridad, gobierno, cumplimiento
Cada capa resuelve un problema distinto, se contrata con proveedores distintos, se mide con métricas distintas y falla de formas distintas. Vamos una por una.
Definición. Es la base de cómputo, red y almacenamiento sobre la que corre el resto del stack. La diferencia con la infraestructura de TI tradicional es una sola palabra: cómputo acelerado. Un LLM en inferencia ejecuta miles de millones de multiplicaciones de matrices por cada token generado; esa carga de trabajo es masivamente paralela y las CPUs convencionales no la sirven a latencia útil. Por eso el hardware de referencia son GPUs de centro de datos (NVIDIA H100/H200/B200 y familia Blackwell) o aceleradores propietarios de nube (AWS Trainium/Inferentia, Google TPU).
Conceptos técnicos que definen esta capa:
Servicios oficiales que usaríamos:
| Necesidad | Servicio | Documentación oficial |
|---|---|---|
| Nube hiperescala con GPU | AWS EC2 (instancias P5/P6), AWS Inferentia | aws.amazon.com/ec2/instance-types |
| Nube hiperescala con GPU | Microsoft Azure (series ND/NC) | azure.microsoft.com/products/virtual-machines |
| Nube regional / residencia de datos | Huawei Cloud (Ascend) | huaweicloud.com |
| Plataforma de aceleración | NVIDIA (CUDA, TensorRT-LLM, NIM) | developer.nvidia.com |
La decisión de consultoría: casi ninguna empresa en LATAM debería comprar GPUs propias para empezar. El modelo correcto es consumir inferencia como servicio (capa 4) y reservar infraestructura dedicada solo cuando el volumen lo justifique — típicamente arriba de varios millones de interacciones mensuales, o cuando la regulación exija que los datos no salgan de un perímetro definido.
Definición. Es la capa de ingeniería que convierte infraestructura cruda en un entorno operable y auditable: contenedores, APIs, pipelines de despliegue y la disciplina de LLMOps — la extensión de MLOps a modelos de lenguaje, donde el artefacto a versionar ya no es solo el modelo sino también los prompts, las configuraciones de RAG y los conjuntos de evaluación.
Componentes internos:
Servicios oficiales que usaríamos: Amazon SageMaker AI o Azure Machine Learning para el ciclo de vida completo; Datadog o Grafana para observabilidad de plataforma.
La decisión de consultoría: esta capa es invisible para el negocio y por eso se subestima. Sin LLMOps, no hay forma de responder con datos la pregunta que el comité de dirección hará al mes tres: "¿el asistente está respondiendo bien, y mejor que el mes pasado?"
Definición. Es la capa que convierte el conocimiento de la empresa (documentos, políticas, catálogos, historiales de sistemas) en un formato consultable por el modelo. El mecanismo central es el embedding: una función que transforma texto en un vector de cientos o miles de dimensiones (típicamente 384 a 3,072) cuya posición en el espacio captura el significado. Dos textos que dicen lo mismo con palabras distintas quedan cerca; la búsqueda deja de ser por palabras clave y pasa a ser búsqueda semántica.
El pipeline completo, paso a paso:
Métricas de esta capa: recall@k (¿el fragmento correcto está entre los k recuperados?), precisión de la recuperación, y frescura del índice.
La decisión de consultoría: aquí se define la calidad real del asistente. Un LLM de última generación con datos mal segmentados responde peor que un modelo promedio con un pipeline de recuperación bien afinado. Es la inversión de mayor retorno por peso invertido en todo el stack, y por eso una base de analítica de datos ordenada es el prerrequisito real de cualquier proyecto de IA.
Definición. El LLM (Large Language Model) es un modelo de lenguaje basado en la arquitectura Transformer, preentrenado sobre billones de tokens de texto para una tarea aparentemente simple — predecir el siguiente token — de la que emergen capacidades de comprensión, razonamiento y generación. Tres conceptos definen su comportamiento en producción:
Los tres mecanismos de adaptación al negocio, en orden creciente de costo:
Servicios oficiales que usaríamos:
| Modalidad | Servicio | Documentación oficial |
|---|---|---|
| API directa del laboratorio | Anthropic Claude | docs.claude.com |
| API directa del laboratorio | OpenAI GPT | developers.openai.com/api/docs |
| API directa del laboratorio | Google Gemini | ai.google.dev |
| Plataforma multi-modelo gestionada | Amazon Bedrock — modelos de múltiples proveedores intercambiables sin reescribir código | docs.aws.amazon.com/bedrock |
| Plataforma multi-modelo gestionada | Microsoft Foundry — catálogo amplio de modelos con gobernanza Azure | learn.microsoft.com/azure/foundry |
| Modelos abiertos autoalojados | Meta Llama, Mistral, vía Hugging Face | llama.com · docs.mistral.ai · huggingface.co |
El trade-off central: API gestionada = máxima calidad y cero operación, pagando por token y aceptando que los datos transitan por el proveedor (con los controles contractuales y técnicos que eso exige). Modelo abierto autoalojado = control y residencia total de datos, a cambio de operar las capas 1 y 2 completas. Las plataformas multi-modelo (Bedrock, Foundry) son el punto medio pragmático: un solo contrato, varios modelos, gobernanza centralizada.
La decisión de consultoría: la pregunta correcta no es "¿cuál es el mejor modelo?" sino "¿cuál es el mejor modelo para este caso de uso, a este costo por interacción, con estos requisitos de datos?". Por eso el diseño correcto es agnóstico al modelo: una capa de abstracción que permita cambiar de proveedor sin reescribir el sistema. Los precios y capacidades de los LLMs cambian cada trimestre; la arquitectura no debería.
Definición. Un LLM solo genera texto. La capa de orquestación lo convierte en un agente: un sistema que razona en pasos, consulta fuentes, ejecuta acciones en sistemas externos y mantiene el hilo de una conversación de principio a fin. Es la capa donde la IA deja de responder y empieza a operar.
Componentes internos:
Frameworks y servicios oficiales: LangChain / LangGraph como framework de orquestación de código abierto; Amazon Bedrock Agents y los servicios de agentes de Microsoft Foundry como opción gestionada; Model Context Protocol (MCP), el estándar abierto impulsado por Anthropic para conectar agentes con herramientas y fuentes de datos de forma interoperable.
Aquí aparece una decisión de arquitectura relevante: existen plataformas de agente cognitivo (AI Agent) empaquetadas que resuelven esta capa — y buena parte de las capas 3 y 4 — como producto, con el ciclo autónomo completo: automatizar, decidir, mejorar. Como integradores agnósticos, en SUMāTO evaluamos con cada cliente cuándo tiene sentido construir la orquestación a medida sobre frameworks abiertos y cuándo conviene implementar una plataforma que ya traiga ese ciclo listo para conectarse a la operación.
Definición. Cuando el canal es voz, antes del LLM hay un paso crítico: STT (Speech-to-Text), también llamado ASR (Automatic Speech Recognition) — la tecnología que convierte la señal de audio en texto. Los sistemas modernos son modelos neuronales end-to-end entrenados sobre cientos de miles de horas de audio, y su calidad se mide en WER (Word Error Rate): el porcentaje de palabras insertadas, borradas o sustituidas respecto a la transcripción correcta.
Componentes internos de un STT de producción:
Servicios oficiales que usaríamos:
| Servicio | Fortaleza | Documentación oficial |
|---|---|---|
| Amazon Transcribe | Integración nativa con el stack AWS, streaming y batch | aws.amazon.com/transcribe |
| Azure AI Speech | Suite completa de voz (STT+TTS), modelos personalizables | azure.microsoft.com/products/ai-services/ai-speech |
| Deepgram (Nova-3, Flux) | Latencia y exactitud líderes para agentes de voz en tiempo real | developers.deepgram.com |
| OpenAI (Whisper y modelos de transcripción) | Excelente en español; Whisper disponible además como código abierto autoalojable | developers.openai.com/api/docs · github.com/openai/whisper |
| Google Cloud Speech-to-Text | Cobertura amplia de idiomas y variantes regionales | cloud.google.com/speech-to-text |
| ElevenLabs Scribe | STT en tiempo real de baja latencia, 90+ idiomas | elevenlabs.io/docs |
La decisión de consultoría: el STT es donde los proyectos de voz en LATAM se caen en silencio. Un WER de 15% en el acento y el dominio del cliente significa que una de cada siete palabras llega corrupta al LLM — y ningún modelo, por bueno que sea, razona bien sobre una entrada corrupta. La regla de SUMāTO: el STT se elige con un benchmark propio sobre audio real de la operación del cliente (llamadas reales, acento real, ruido real), nunca con el WER del sitio del fabricante, que está medido en condiciones de laboratorio.
Definición. Es la capa que el usuario finalmente percibe. En texto, es la entrega por el canal (web, WhatsApp, aplicación). En voz, es TTS (Text-to-Speech): la síntesis neuronal que convierte la respuesta del LLM en voz con prosodia, pausas y entonación naturales. Los modelos actuales generan la forma de onda directamente con arquitecturas neuronales generativas, y la diferencia con la "voz de robot" de hace una década es categórica.
Componentes internos y métricas:
Servicios oficiales que usaríamos:
| Servicio | Fortaleza | Documentación oficial |
|---|---|---|
| ElevenLabs | Calidad expresiva y clonación de voz líderes; modelos de baja latencia para tiempo real | elevenlabs.io/docs |
| Amazon Polly | Costo-eficiencia y escala, voces neuronales en español | aws.amazon.com/polly |
| Azure AI Speech | Voces neuronales personalizables (Custom Neural Voice) | azure.microsoft.com/products/ai-services/ai-speech |
| Google Cloud Text-to-Speech | Catálogo amplio multilingüe | cloud.google.com/text-to-speech |
| OpenAI TTS | Síntesis con control por prompt, integrada al ecosistema OpenAI | developers.openai.com/api/docs/guides/text-to-speech |
Y aquí cierra el stack: la capa de canales — especialmente la telefónica — es lo que resuelve una plataforma de contact center omnicanal con IA: enrutamiento, telefonía, WhatsApp y la transferencia a agente humano cuando la conversación lo requiere. La arquitectura completa — un agente cognitivo como cerebro y una plataforma de canales como sistema de contacto — es el ejemplo concreto de cómo estas siete capas se materializan sobre la operación real del cliente.
Hasta aquí describimos la arquitectura en cascada: STT → LLM → TTS, tres modelos encadenados. Es la arquitectura dominante en producción porque cada eslabón se elige, se mide y se reemplaza por separado — el diseño agnóstico que recomendamos.
Pero existe una segunda arquitectura emergente: los modelos speech-to-speech nativos, que procesan audio de entrada y generan audio de salida directamente, sin pasar por texto intermedio. La Realtime API de OpenAI es la referencia comercial: modelos multimodales nativos que escuchan, razonan y hablan en una sola sesión por WebRTC o WebSocket, con detección de turno integrada y function calling durante la conversación. La promesa: menor latencia total y preservación de señales que el texto pierde — tono, emoción, titubeos.
Nuestra lectura de consultoría:
| Criterio | Cascada (STT→LLM→TTS) | Speech-to-speech nativo |
|---|---|---|
| Control por componente | Total: cada pieza se elige y audita | Bajo: un solo proveedor, caja más cerrada |
| Auditoría y cumplimiento | Transcripción textual completa como evidencia | Trazabilidad en construcción |
| Latencia | Buena con streaming bien hecho (~800 ms) | Potencialmente superior |
| RAG y conocimiento propio | Maduro | En maduración |
| Lock-in | Bajo por diseño | Alto |
Para operaciones reguladas — banca, salud, seguros, gobierno — la cascada sigue siendo la recomendación por auditabilidad y control. El speech-to-speech nativo vale un piloto en casos de experiencia premium donde la latencia lo es todo. Es exactamente el tipo de decisión de arquitectura que evaluamos caso por caso.
Ninguna de las siete capas anteriores va a producción sin esta. Definición: el conjunto de controles técnicos y organizacionales que garantizan que el asistente maneja datos personales conforme a la regulación aplicable (en México, la LFPDPPP; en la región, marcos equivalentes; para clientes con operación europea, el AI Act como referencia de clasificación de riesgo), que las conversaciones están cifradas y auditadas, y que existe trazabilidad de cada decisión automatizada.
Componentes mínimos:
| Capa | Pregunta que responde | Métrica clave | Servicios de referencia |
|---|---|---|---|
| 1. Infraestructura | ¿Dónde corre? | Latencia, costo/hora GPU | AWS, Azure, Huawei Cloud, NVIDIA |
| 2. Plataforma | ¿Cómo se opera y mide? | Uptime, throughput, evals | Kubernetes, SageMaker, vLLM, LangSmith |
| 3. Datos | ¿Qué sabe de mi empresa? | Recall@k, frescura | Pinecone, OpenSearch, Titan/Cohere Embed |
| 4. Modelo (LLM) | ¿Cómo razona y genera? | Calidad, costo/token | Claude, GPT, Gemini, Bedrock, Foundry, Llama |
| 5. Orquestación | ¿Cómo actúa? | Tasa de resolución | LangGraph, Bedrock Agents, MCP |
| 6. Interacción (STT) | ¿Cómo me entiende? | WER, latencia streaming | Transcribe, Deepgram, Whisper, Azure Speech |
| 7. Presentación (TTS) | ¿Cómo responde? | TTFB, MOS | ElevenLabs, Polly, Azure Speech, Google TTS |
| Transversal | ¿Es seguro y cumple? | Hallazgos, trazabilidad | KMS, Purview, Fortinet, NIST AI RMF |
Todas las piezas de este stack existen como servicio, están documentadas públicamente por sus fabricantes y se contratan con tarjeta de crédito. Lo que no se contrata con tarjeta de crédito es el criterio para elegirlas, conectarlas y gobernarlas.
Y aquí conviene decir algo con franqueza: hoy hay una sobreoferta de "expertos en IA" sobre una tecnología en la que todos estamos aprendiendo — laboratorios, fabricantes, integradores y clientes por igual. Los modelos cambian cada trimestre, las mejores prácticas se están escribiendo en tiempo real, y buena parte de las arquitecturas que hoy se proponen nacen del ensayo y error. Eso no es un defecto del mercado: es la naturaleza de una tecnología en plena curva de maduración. El defecto está en disfrazar el experimento de certeza.
La buena noticia es que, desde la consultoría, el procedimiento para adoptar tecnología en un ambiente corporativo no ha cambiado en lo esencial en los últimos años — y es precisamente lo que protege a la empresa cuando la tecnología sí cambia cada trimestre:
1. Entendimiento del negocio antes que la tecnología. El proceso arranca en el problema, no en el modelo: qué proceso duele, cuánto cuesta ese dolor, qué resultado medible lo resolvería. Un caso de uso sin línea base cuantificada no es un caso de uso; es una demo esperando presupuesto.
2. Análisis riguroso del proveedor. Casos de éxito verificables — con clientes a los que se les puede llamar —, salud financiera del fabricante, roadmap público, documentación oficial (por eso este artículo la cita capa por capa) y modelo de soporte. Un proveedor que no puede mostrar referencias comparables a tu industria y tu escala todavía está experimentando; puede ser un socio válido para un piloto, no para el core de la operación.
3. Demos y pruebas de concepto con alcance controlado. Ver la tecnología funcionando sobre un escenario propio, con criterios de salida definidos antes de empezar: qué exactitud, qué latencia, qué costo por interacción convierten el piloto en proyecto — y qué resultados lo cancelan. Un piloto sin criterio de cancelación no es un piloto; es una compra disfrazada.
4. Validación de calidad antes de implementar. Benchmark con datos reales de la operación (el WER con el acento real, el recall con los documentos reales), pruebas de seguridad, validación de cumplimiento regulatorio y evaluación de la experiencia con usuarios reales. En IA esta etapa pesa más que nunca, porque los modelos son probabilísticos: no basta con que funcione en la demo; hay que medir con qué frecuencia y en qué condiciones deja de funcionar.
5. Implementación gradual con gobierno desde el día uno. Despliegue por fases, con humano en el circuito, métricas de operación y un comité que revisa el comportamiento del sistema — no al final del proyecto, sino durante toda su vida.
Y dos reglas que no admiten excepción, porque los errores en estos puntos no se corrigen con una nueva versión del modelo:
Ese es el trabajo de un integrador agnóstico: aplicar una metodología probada a una tecnología que está madurando, sin conflicto de interés por vender una pieza en particular. En SUMāTO no fabricamos ninguna de estas piezas, y precisamente por eso podemos elegir la mejor para cada capa y cada cliente — la nube correcta, el modelo correcto, el STT que sí entiende el acento de tu operación, y la plataforma —sea a medida sobre frameworks abiertos o empaquetada— que convierte el stack en resultados operativos. Nuestro método — Consultoría → Diseño → Procesos → Gobierno — es exactamente la secuencia anterior, sistematizada.
¿Quiere adoptar IA con método y no con moda? El punto de partida es nuestro Diagnóstico 360°: en 90 días entendemos su negocio, mapeamos su arquitectura actual contra este stack, evaluamos proveedores con criterios objetivos y entregamos la ruta de implementación priorizada por valor y factibilidad — con los datos de su empresa protegidos en cada paso.
¿Cuántas capas tiene realmente un asistente de IA empresarial?
Siete capas funcionales más una transversal de seguridad y gobierno: infraestructura, plataforma, datos, modelo (LLM), orquestación, interacción (STT) y presentación (TTS). El asistente que el usuario percibe es solo la última; el 80% del costo, del riesgo y del tiempo de implementación vive en las capas inferiores.
¿Qué diferencia hay entre RAG y fine-tuning?
RAG hace que el modelo consulte el conocimiento de la empresa antes de responder, sin reentrenar nada, y reduce alucinaciones porque ancla la generación en fuentes citables. El fine-tuning reentrena parcialmente el modelo con datos propios y solo se justifica en tareas muy repetitivas, con formato de salida estricto o vocabulario muy especializado — después de agotar prompt engineering y RAG.
¿Conviene la arquitectura en cascada (STT→LLM→TTS) o speech-to-speech nativo?
Para operaciones reguladas —banca, salud, seguros, gobierno— la cascada sigue siendo la recomendación: cada componente se elige, se audita y se reemplaza por separado, y la transcripción textual sirve como evidencia. El speech-to-speech nativo ofrece menor latencia y vale un piloto en experiencias premium, pero implica más lock-in y una trazabilidad aún en construcción.
¿Cómo se elige el motor de STT para español en Latinoamérica?
Con un benchmark propio sobre audio real de la operación: llamadas reales, acento real, ruido real y audio telefónico a 8 kHz. Nunca con el WER publicado por el fabricante, medido en laboratorio. Un WER de 15% significa que una de cada siete palabras llega corrupta al LLM, y ningún modelo razona bien sobre una entrada corrupta.