עוזר קולי AI למטופלי Medicare

The Challenge

חברת בריאות נדרשה לפתח מכשיר עוזר למטופלי Medicare—דומה ל-Alexa אבל בנוי במיוחד לבריאות. המכשיר נדרש לתאם טיפול, לספק בידור ולאפשר אינטראקציות קוליות טבעיות למשתמשים קשישים על iPads. האתגר היה לבנות MVP מוכן לייצור שיכול להתמודד עם שיחות קוליות בזמן אמת עם השהיה נמוכה תוך נגישות לקשישים.

The Solution

בנינו עוזר טיפול מופעל קול באמצעות LiveKit Agents לעיבוד קול בזמן אמת, עם Deepgram ל-speech-to-text ו-Cartesia ל-text-to-speech בצליל טבעי. הפרונטאנד רץ כאפליקציית Next.js מותאמת ל-iPads, תומך באינטראקציות מגע וקול. הבקאנד ב-Python מתזמר את צינור ה-AI ומשתלב עם מערכות בריאות. שילבנו Langfuse לצפייה מלאה בצינור הקולי—מעקב אחר כל שיחה, מדידת השהיה בכל שלב וניטור עלויות. LiveKit האיץ משמעותית את הפיתוח שלנו—ההפשטות המתוכננות היטב של הפריימוורק והתיעוד המצוין אפשרו לנו לפרוס את הגרסה העובדת הראשונה ללקוחות תוך שבועיים בלבד. לאורך הפיתוח, התקשרנו עם קהילת LiveKit: פתחנו issues, ביקשנו תמיכה ואף תרמנו בחזרה לריפוזיטורי. הקהילה והתורמים המרכזיים היו קשובים ומועילים, מה שהפך את האינטגרציה לחלקה.

Results

• MVP עובד ראשון נפרס ללקוחות תוך שבועיים
• השהיית תגובה קולית מתחת ל-500ms הושגה
• ממשק מולטימודאלי מגע וקול לנגישות
• משחקים אינטראקטיביים למעורבות מטופלים
• צפייה מלאה בצינור עם מעקב Langfuse

Technologies Used