Asistente de Voice AI para Pacientes de Medicare

El Desafío

Una startup de salud necesitaba un compañero centrado en la voz que los pacientes mayores pudieran usar de verdad en una tablet junto a la cama, sin menús, sin teclear y sin jerga. Tenía que sentirse cálido y paciente, responder con la rapidez suficiente para sostener una conversación natural, ayudar con rutinas diarias como medicamentos y recordatorios, y ser operable y observable en toda una flota de dispositivos desplegados en campo.

La Solución

Construimos el asistente sobre el framework LiveKit Agents como un pipeline de voz en tiempo real: speech-to-text por streaming con AssemblyAI, un modelo de razonamiento OpenAI GPT-4.1 y voz de Cartesia, con detección de actividad de voz Silero VAD y un detector de turnos basado en transformer ajustado para un habla más lenta y suave. Un protocolo de comandos con el backend como autoridad mantiene la voz sincronizada con una interfaz táctil de tipografía grande, de modo que un paciente puede hablar o tocar y ambos caminos se comportan de forma idéntica. El asistente gestiona los registros de toma de medicamentos, recordatorios hablados, clima, noticias, trivia y juegos de palabras, y búsqueda web sensible a la ubicación, y recuerda datos duraderos (familia, salud, preferencias) mediante una capa de memoria a largo plazo. Diseñamos la latencia de forma deliberada (precalentamiento de workers, carga de memoria paralelizada y escrituras fuera de la ruta crítica) e instrumentamos todo con trazado de Langfuse, monitoreo de Sentry y una suite de evaluación con LLM juez que califica empatía y claridad, no solo las llamadas a herramientas. Una capa de autenticación de dispositivos, telemetría de red por dispositivo y administración remota lo hacen operable a escala de flota.

Resultados

• Funciona en producción en tablets tipo kiosco con observabilidad de extremo a extremo en cada llamada
• Verdadera interfaz multimodal de voz y toque diseñada para la accesibilidad de personas mayores
• Seis habilidades de voz (medicamentos, recordatorios, clima, noticias, trivia, juegos de palabras) más búsqueda web
• Mejoras medibles de capacidad de respuesta gracias a un trabajo de latencia focalizado (por ejemplo, una reducción de ~58% en la pausa entre turnos de juego)
• 96 pruebas unitarias de backend más una suite de evaluación conversacional de 32 escenarios que califica empatía y claridad

Tecnologías Utilizadas