انتخاب مدل برای پروژهٔ فارسی معمولاً با جدول‌های مقایسهٔ انگلیسی انجام می‌شود؛ اما خطاهای فارسی جنس دیگری دارند: نیم‌فاصله، اعداد، اصطلاحات اداری و جمله‌های طولانی.
مجموعهٔ آزمون خودتان را بسازید
صد تا دویست پرسش واقعی از دامنهٔ سازمان جمع کنید، پاسخ درست هر کدام را بنویسید و چند پرسش دشوار عمدی — مثل تاریخ شمسی یا مبالغ ریالی — اضافه کنید.
چهار معیار
درستی پاسخ، وفاداری به منبع (در RAG)، کیفیت زبان فارسی و رعایت دستورالعمل. هر معیار را جداگانه بسنجید تا بدانید Fine-tune کدام ضعف را باید رفع کند.
بعد از Fine-tune
همان مجموعهٔ آزمون را دوباره اجرا کنید. گزارش «پیش و پس از تنظیم» یکی از تحویل‌دادنی‌های پروژه‌های LLM سازمانی ماست، چون بدون آن نمی‌توان درباره ارزش Fine-tune قضاوت کرد.