بسیاری از سازمان‌ها نمی‌توانند اسناد داخلی خود را به سرویس‌های ابری بفرستند. اجرای محلی مدل زبانی این مانع را برمی‌دارد: مدل روی زیرساخت سازمان اجرا می‌شود و داده از سازمان خارج نمی‌شود.
از مسئله تا مدل
گام اول انتخاب یک مسئلهٔ مشخص است؛ مثلاً پرسش‌وپاسخ روی آیین‌نامه‌ها یا خلاصه‌سازی قراردادها. سپس مدل مناسب انتخاب، کوانتیزه و با ابزارهایی مانند vLLM یا Ollama سرویس‌دهی می‌شود.
RAG و Fine-tune
برای اینکه پاسخ‌ها به دانش سازمان تکیه کنند، RAG به کار می‌رود: اسناد نمایه می‌شوند، در پایگاه دادهٔ برداری قرار می‌گیرند و مدل پیش از پاسخ، بخش‌های مرتبط را می‌خواند. اگر لحن یا اصطلاحات خاص لازم باشد، Fine-tune با روش‌هایی مانند LoRA اضافه می‌شود.
سنجش پایلوت
پایلوت باید معیار سنجش روشن داشته باشد؛ مثلاً درصد پاسخ‌های درست روی یک مجموعه پرسش واقعی. پس از دیدن نتیجه، دسترسی‌ها، ثبت رویداد و گسترش به واحدهای دیگر برنامه‌ریزی می‌شود.