עוזר voice AI למטופלי Medicare

The Challenge

סטארטאפ בתחום הבריאות נדרש למלווה מבוסס-קול שמטופלים קשישים יוכלו באמת להשתמש בו על טאבלט ליד המיטה, ללא תפריטים, הקלדה או ז'רגון. הוא היה צריך להרגיש חם וסבלני, להגיב מהר מספיק כדי לקיים שיחה טבעית, לסייע בשגרות יומיות כמו תרופות ותזכורות, ולהיות ניתן לתפעול ולצפייה על פני צי מכשירים בשטח.

The Solution

בנינו את העוזר על גבי הפריימוורק LiveKit Agents כצינור קול בזמן אמת: speech-to-text בזרימה של AssemblyAI, מודל reasoning של OpenAI GPT-4.1, ודיבור של Cartesia, עם זיהוי פעילות קולית של Silero VAD ומזהה תורות מבוסס transformer שכוונן לדיבור איטי ועדין יותר. פרוטוקול פקודות שה-backend הוא הסמכות בו שומר על סנכרון בין הקול לבין ממשק מגע בגופן גדול, כך שמטופל יכול לדבר או להקיש, ושני המסלולים מתנהגים באופן זהה. העוזר מטפל בתיעוד נטילת תרופות, תזכורות מדוברות, מזג אוויר, חדשות, טריוויה ומשחקי מילים, וחיפוש אינטרנט מודע-מיקום, וזוכר עובדות מתמשכות (משפחה, בריאות, העדפות) דרך שכבת זיכרון לטווח ארוך. תכננו את ההשהיה במכוון (חימום מקדים של workers, טעינת זיכרון במקביל, וכתיבות מחוץ לנתיב הקריטי) והצטיידנו במכשור מלא עם מעקב Langfuse, ניטור Sentry, וחבילת הערכה של LLM-judge שמדרגת אמפתיה ובהירות, לא רק קריאות לכלים. שכבת אימות מכשירים, טלמטריית רשת לכל מכשיר, וניהול מרחוק הופכים אותו לניתן לתפעול בקנה מידה של צי.

Results

• פועל בייצור על טאבלטים במצב קיוסק עם צפייה מקצה לקצה בכל שיחה
• ממשק multimodal אמיתי של קול-ומגע שתוכנן לנגישות קשישים
• שש מיומנויות קוליות (תרופות, תזכורות, מזג אוויר, חדשות, טריוויה, משחקי מילים) בתוספת חיפוש אינטרנט
• שיפורי תגובתיות מדודים מעבודת השהיה ממוקדת (למשל, פער תור-משחק קצר בכ-58%)
• 96 בדיקות יחידה ב-backend בתוספת חבילת הערכה שיחתית בת 32 תרחישים המדרגת אמפתיה ובהירות

Technologies Used