חיבור מודלי שפה ו-RAG לעסק GPT, Claude ו-Gemini שעונים מתוך המסמכים שלכם

RAG הוא שילוב של חיפוש ושל מודל שפה: לפני שהמודל עונה, המערכת מוצאת במסמכים שלכם את הקטעים הרלוונטיים ומעבירה אותם אליו יחד עם השאלה. ChatGPT רגיל לא מכיר את הנהלים, המחירונים והחוזים שלכם, ולכן הוא ינחש או יענה בכלליות. עם RAG התשובה מבוססת על המקור, אפשר לראות ממה היא נלקחה, ומעדכנים את הידע בהחלפת מסמך ולא באימון מחדש של מודל. זו הדרך הנפוצה ביותר לחבר מודל שפה למידע ארגוני. ההקמה הראשונה קלה יחסית, והשיפור המתמשך הוא מה שמבדיל בין הדגמה לכלי עבודה.

כן, אבל עברית דורשת בדיקה ולא הנחה. מודלי השפה הגדולים מבינים עברית היטב, אך החיפוש שמביא להם את הקטע הנכון רגיש לכתיב, לראשי תיבות, לסריקות לא ברורות ולטבלאות. לכן אנחנו בוחרים את שיטת החיפוש ואת המודל אחרי שמריצים שאלות אמיתיות על המסמכים שלכם, ובודקים גם שאלות בניסוח שונה. אם חלק מהמסמכים הם תמונות סרוקות, מוסיפים שלב של זיהוי טקסט, ומסמנים מראש מסמכים שאי אפשר לקרוא באיכות מספקת. בבדיקת ההיתכנות נראה לכם בפועל איך המערכת מתמודדת עם הקבצים הכי בעייתיים שלכם.

אי אפשר להבטיח אפס טעויות, אבל אפשר להקטין אותן מאוד ולהפוך אותן לנראות. העוזר מקבל הוראה לענות רק מתוך הקטעים שנמצאו, מציג את המקור בכל תשובה, ואומר שלא מצא כשאין מידע. לפני ההשקה מריצים סט שאלות קבוע ובודקים ידנית את התוצאות, כולל שאלות שהתשובה עליהן לא קיימת במסמכים. אחרי ההשקה שומרים שאלות שנכשלו, ומשתמשים בהן לשיפור. בנושאים רגישים אפשר להוסיף אישור אנושי לפני שהתשובה יוצאת ללקוח. המטרה היא עוזר שאפשר לסמוך עליו, ושיודע להודות בגבולות הידע שלו.

זה נקבע באפיון. אפשר להשתמש בממשק עסקי של ספק גדול, שבו תנאי השימוש קובעים אם המידע משמש לאימון, ואפשר לשלוח למודל רק את הקטעים הדרושים לשאלה ולא את המאגר כולו. כשהמידע לא יכול לצאת מהארגון, מפעילים מודל פתוח על שרת שבשליטתכם. כל אפשרות כזו נבחרת לפי רגישות המידע, ובמקרים של מידע אישי נדרשת בדיקה של תנאי הספק. אנחנו מכינים לכם תיאור כתוב של זרימת המידע, שאפשר להעביר ליועץ הפרטיות. כך אפשר להחליט על בסיס מסמך ברור ולא על בסיס הבטחות כלליות של ספק.

תיקון 13 לחוק הגנת הפרטיות הרחיב את החובות של גופים שמחזיקים מידע אישי, ולכן הפרטיות נכנסת לאפיון כבר בהתחלה. בפועל אנחנו עובדים לפי מינימום מידע: לא מכניסים למאגר של העוזר מסמכים שאין בהם צורך, מגבילים גישה לפי תפקיד, מתעדים שימוש ומאפשרים מחיקה של מסמך מהאינדקס. איננו נותנים ייעוץ משפטי. אם יש לכם מאגר רגיש, נתאר במדויק מה נאסף, איפה נשמר ולמי יש גישה, כדי שהיועץ שלכם יוכל לקבוע אם נדרשים צעדים נוספים. הנושא נבחן יחד איתכם בתחילת הפרויקט, ולא נדחה לשלב ההשקה.

אב-טיפוס על מאגר מסמכים אחד ושאלות אמיתיות אפשר להציג לרוב בתוך מספר שבועות, תלוי באיכות המסמכים ובמספר המערכות שמתחברות. בסוף מקבלים עוזר שעובד בערוץ שבו הצוות כבר נמצא, את קוד החיבור והאינדקס, סט בדיקה שמראה את רמת הדיוק, ומסמך שמסביר איך מוסיפים ומעדכנים מסמכים. הקוד שייך לכם. אחרי ההשקה אפשר להשאיר אצלנו ניטור ושיפור שוטף, או לקבל הדרכה ולהפעיל לבד. בשיחה הראשונה נבדוק יחד מה הסיכוי שהמסמכים שלכם מתאימים לזה, ואם לא, נגיד את זה בגלוי ולא נמשיך.