The Challenge
פלטפורמה גדולה לשיווק מלאי רכב רצתה לתת לאלפי סוכנויות רכב עוזר שיחתי אחד: כזה שיכול לענות על שאלות בשפה טבעית לגבי המלאי החי שלהן, להסביר מושגי תמחור וסיכון באופן עקבי, לדרג ולנסח מחדש מודעות רכב, ולשפר את תמונות המודעות, מבלי לחשוף אי פעם את הנתונים של סוכנות אחת לאחרת או להמציא מספרים.
The Solution
בנינו עוזר בזרימה (streaming) על גבי פריימוורק pipeline מותאם אישית ומוקלד במלואו, במקום ספריית סוכנים מדף, כך שכל שלב ניתן לבדיקה, מתועד ומוערך באופן עצמאי. שכבת אחזור מעגנת את התשובות בבסיס ידע אצור באמצעות embeddings של Amazon Titan ב-Postgres/pgvector, מסונן לפי סוג מסמך, תגיות ופרסונת משתמש. נתב כוונות (intent router) מפנה כל שאלה לכלי הנכון: שאלות ותשובות מעוגנות באחזור, המרת שפה טבעית ל-SQL מעל BigQuery (עם ולידציה מוגבלת לסוכנות ותקרות עלות כך שאף סוכנות לא יכולה לקרוא את הנתונים של אחרת), ניתוח דף רכב חי באמצעות crawler headless עמיד, או שירות תמונות מבוסס GPU שמפלח תמונות עם Segment Anything, מסיר רקעים ומוסיף תגי מאפיינים באמצעות מודל ראייה. תשובות ללא עיגון מחזירות fallback בטוח במקום ניחוש, וכל שלב לא-דטרמיניסטי מדורג על ידי LLM judge ב-Langfuse בתוספת חבילת בדיקות איכות-אחזור לא מקוונת.
Results
- הועלה לייצור על Kubernetes בצי מכונות CPU ו-GPU עם אספקת GitOps
- בידוד multi-tenant נוקשה: ולידציית SQL מוגבלת לסוכנות חוסמת גישה לנתונים בין סוכנויות
- RAG מעוגן עם fallback נגד הזיות במקום תשובות מומצאות
- הערכה רציפה: LLM-as-judge ב-Langfuse בתוספת חבילת אחזור לא מקוונת של DeepEval