Asistente de Voz con IA para Pacientes de Medicare

El Desafío

Una empresa de salud necesitaba desarrollar un dispositivo asistente para pacientes de Medicare—similar a Alexa pero construido específicamente para salud. El dispositivo necesitaba coordinar cuidados, proporcionar entretenimiento y permitir interacciones de voz naturales para usuarios mayores en iPads. El desafío era construir un MVP listo para producción que pudiera manejar conversaciones de voz en tiempo real con baja latencia siendo accesible para personas mayores.

La Solución

Construimos un asistente de cuidados habilitado por voz usando LiveKit Agents para procesamiento de voz en tiempo real, con Deepgram para speech-to-text y Cartesia para text-to-speech con sonido natural. El frontend corre como una app web Next.js optimizada para iPads, soportando interacciones táctiles y de voz. El backend Python orquesta el pipeline de IA e integra con sistemas de salud. Integramos Langfuse para observabilidad completa del pipeline de voz—rastreando cada conversación, midiendo latencia en cada paso y monitoreando costos. LiveKit aceleró significativamente nuestro desarrollo—las abstracciones bien diseñadas del framework y la excelente documentación nos permitieron desplegar la primera versión funcional para clientes en solo 2 semanas. Durante el desarrollo, nos involucramos con la comunidad LiveKit: abriendo issues, pidiendo soporte e incluso contribuyendo de vuelta al repositorio. La comunidad y los contribuidores principales fueron receptivos y serviciales, haciendo la integración fluida.

Resultados

• Primer MVP funcional desplegado a clientes en 2 semanas
• Latencia de respuesta de voz inferior a 500ms lograda
• Interfaz multimodal táctil y de voz para accesibilidad
• Juegos interactivos para compromiso del paciente
• Observabilidad completa del pipeline con trazado Langfuse

Tecnologías Utilizadas