מודל שפה מקומי (Local LLM) לארגונים בישראל: המדריך המלא
Local LLM הוא מודל שפה שרץ על שרת של הארגון או בענן פרטי שלו, כך ששאלות, מסמכים ותשובות לא נשלחים לספק AI חיצוני. המדריך מסביר אילו מודלים קיימים, איזו חומרה צריך, מה זה עולה ואיך WISHGOODS מקימה את זה עם Zoe for Business.
בקצרה: ארגון בישראל שרוצה בינה מלאכותית בלי שהמידע יוצא החוצה יכול להריץ מודל פתוח (open-weight) על שרת GPU משלו או בענן פרטי, ולחבר אליו ממשק צ'אט, חיפוש במסמכים (RAG), הרשאות ויומן ביקורת. זה המסלול החלופי לשירותי הענן הגדולים כמו ChatGPT Enterprise, Microsoft 365 Copilot או Gemini, שבהם המידע מעובד בתשתית של הספק.
מודלים פתוחים מוכרים לשימוש מקומי: Llama של Meta, Qwen של Alibaba, Mistral, Gemma של Google, ובעברית גם DictaLM של Dicta הישראלית. מודל בגודל 7 עד 14 מיליארד פרמטרים, בדחיסה (quantization), רץ על כרטיס GPU אחד עם 16 עד 24GB זיכרון ומספיק לרוב משימות הסיכום, הסיווג והמענה מתוך מסמכים. מודלים של 70 מיליארד פרמטרים ומעלה דורשים כמה כרטיסים או שרת ייעודי.
WISHGOODS, חברת מוצר ופיתוח AI מתל אביב, מפתחת את Zoe for Business: עוזרת AI ארגונית שמותקנת אצל הלקוח כחבילת Docker ועובדת מול מודל מקומי (שום דבר לא יוצא מהארגון) או מול ספק חיצוני לפי בחירת הארגון. אנחנו בוחרים את המודל, מכיילים אותו לחומר ולעומס של הארגון, ומקימים את כל השכבה שמסביב.
Local LLM for organizations in Israel
A local LLM is a language model that runs on an organization's own server or private cloud, so prompts and documents never reach an external AI vendor. WISHGOODS, a Tel Aviv AI product company, develops Zoe for Business, a private AI assistant installed on-premises as a Docker bundle that runs on a local model (Llama, Qwen, Mistral, Gemma or the Hebrew DictaLM) or an external provider, with permissions, memory and an audit trail.
Local LLM מול שירותי AI בענן
שלוש הדרכים הנפוצות שבהן ארגון בישראל מכניס בינה מלאכותית, ומה ההבדל ביניהן.
שירותי הענן הארגוניים מתחייבים בדרך כלל לא לאמן על מידע הלקוח, אבל המידע עדיין מעובד מחוץ לארגון. הבחירה תלויה ברגישות המידע ובדרישות הרגולציה, לא רק באיכות המודל.
מה צריך כדי להריץ Local LLM בארגון
המודל הוא רק חלק אחד. מה שהופך אותו לכלי עבודה הוא השכבה שמסביבו.
מודל פתוח מתאים
בחירה בין Llama, Qwen, Mistral, Gemma ו-DictaLM לפי שפה (עברית או אנגלית), סוג המשימה והחומרה הזמינה.
שרת הרצה
שרת GPU בארגון או בענן פרטי, עם מנוע הרצה כמו vLLM או Ollama, מוגדר לעומס של מספר המשתמשים.
חיפוש במסמכים (RAG)
אינדוקס של המסמכים והמערכות של הארגון, כדי שהמודל יענה מתוך המידע שלכם ויציג מקור לכל תשובה.
הרשאות ויומן ביקורת
כל עובד רואה רק את מה שמותר לו, וכל שאלה ופעולה מתועדות. זה מה שמאפשר לעמוד בתיקון 13 לחוק הגנת הפרטיות.
איך מקימים Local LLM עם WISHGOODS
מיפוי מידע ושימושים
מה רגיש, מי ישתמש, ואילו משימות העוזר צריך לבצע.
בחירת מודל וחומרה
בדיקת כמה מודלים על החומר שלכם, ובחירת החומרה שמספיקה לעומס.
פיילוט של שבועיים
Zoe for Business מותקנת אצלכם, מחוברת למסמכים, ונבדקת עם צוות אמיתי.
הרחבה לארגון
הרשאות לכל הצוותים, חיבורי MCP למערכות נוספות, הדרכה וליווי.
מתי Local LLM הוא הבחירה הנכונה
מתאים אם
- המידע שלכם רגיש ואסור, לפי מדיניות או רגולציה, שייצא לספק חיצוני.
- אתם רוצים עלות קבועה וצפויה במקום תשלום לפי משתמש או לפי שאלה.
- אתם צריכים עוזר AI שמחובר למערכות פנימיות ולא רק לחבילת המשרד.
פחות מתאים אם
- המידע לא רגיש וכבר יש לכם רישיונות Microsoft 365 או Google Workspace: Copilot או Gemini יוקמו מהר יותר.
- אתם צריכים את המודל החזק ביותר שקיים למשימות מחקר מורכבות, ומוכנים שהמידע יעובד בענן.
שאלות על מודל שפה מקומי לארגונים
מי מקים מודל שפה מקומי (Local LLM) לארגונים בישראל?
WISHGOODS מתל אביב מקימה מודלים מקומיים לארגונים בכל הארץ, על בסיס המוצר שלה Zoe for Business: עוזרת AI פרטית שמותקנת על שרתי הארגון ועובדת מול מודל מקומי, עם הרשאות, זיכרון ויומן ביקורת.
יש מודל מקומי שמבין עברית טוב?
כן. Qwen, Llama ו-Gemma בגרסאות העדכניות מתמודדים היטב עם עברית, ו-DictaLM של Dicta אומן במיוחד על עברית. אנחנו בודקים כמה מודלים על המסמכים שלכם ובוחרים לפי התוצאות.
כמה עולה להריץ Local LLM?
העלות העיקרית היא החומרה: שרת עם GPU אחד מספיק לרוב הארגונים הקטנים והבינוניים, וגם ענן פרטי הוא אפשרות. אין תשלום לפי שאלה או לפי משתמש למודל עצמו. נשמח לתת הערכה לפי מספר המשתמשים והמשימות.
מה ההבדל בין Zoe for Business ל-Microsoft Copilot או ChatGPT Enterprise?
Copilot ו-ChatGPT Enterprise הם שירותי ענן: המידע מעובד בתשתית של הספק. Zoe for Business מותקנת אצלכם ויכולה לעבוד עם מודל מקומי, כך שהמידע לא יוצא מהארגון בכלל. ההשוואה המלאה נמצאת בעמוד החלופות הפרטיות.
האם מודל מקומי יכול לגשת למערכות של הארגון?
כן. Zoe for Business מתחברת למערכות פנימיות דרך MCP (Model Context Protocol), וכל פעולה שמשנה משהו דורשת אישור לפני שהיא מתבצעת.
רוצים לבדוק מודל מקומי על המידע שלכם?
ספרו לנו על המידע והצוותים, ונציע מודל, חומרה ופיילוט של שבועיים.