En los últimos años, la evolución de la inteligencia artificial (IA) generativa ha conducido a la creación de una nueva generación de asistentes conversacionales. Estos sofisticados sistemas, impulsados por modelos de base, facilitan interacciones en tiempo real, ya sea a través de texto o voz, ofreciendo respuestas naturales a las consultas humanas. Las aplicaciones de estos asistentes abarcan desde el servicio al cliente y la atención médica, hasta la educación y la productividad en el ámbito personal y profesional.
La forma en que estos asistentes operan suele implicar su integración directa en dispositivos de uso cotidiano como smartphones, tabletas o computadoras. Esto permite un procesamiento local rápido de las entradas de texto o voz. No obstante, los modelos responsables de la comprensión del lenguaje y la generación de respuestas se alojan generalmente en la nube, utilizando potentes unidades de procesamiento gráfico (GPUs).
El proceso estándar de interacción implica que el dispositivo del cliente procese inicialmente la entrada localmente, especialmente en el caso del reconocimiento de voz. Luego, la entrada se transmite de manera segura a los modelos en la nube. Estos modelos analizan el contenido y generan una
respuesta que se devuelve al dispositivo del cliente. Este sistema busca equilibrar las capacidades de procesamiento en la nube con la velocidad y facilidad de uso en el dispositivo local.