یه گزارش پیشرفت بدم خدمتتون.

این چند روز یه مقدار با مدل‌هایی که دارم کار انجام دادم. لازم به ذکره که همه‌شون یه جورایی تحت خانواده qwen هستن. دو تا مدل general که tool callingشون خوبه رو هم اضافه کردم (qwen3.5:4b و qwen3:8b).

راستی اون مدلی که توهم می‌زد با خودش صحبت می‌کرد رو (با کمال تأسف) حذفش کردم کلا.

اینا همه مدل‌های قوی‌ای نیستن. احتمالا از عهده تسکای سخت هم خیلی خوب بر نمیان و قابل اعتماد نیستن. ولی در شرایط مناسب کارا هستن. مدل deepseek که reasoning داره خیلی خوب گاهی استدلال می‌کنه. اکثرشون فارسیشون بدک نیست، منو یاد gpt سه و خورده‌ای (که اگه درست خاطرم باشه در زمان با نخست‌وزیری دکتر مصدق منتشر شده بود) میندازن به این لحاظ. توانایی کد زنیشون هم جالبه. چندتا سوال متوسط که برای المپیاد فیزیک طرح کرده بودم (جدید بود کاملا) رو رو qwen3:8b تست کردم و خوب از پسشون بر اومد. در کل حیرت‌انگیزه با این حجم کم چه کارهایی می‌کنن. عملا فقط به اندازه یه بازی با گرافیک مدرن دارن از gpu کار میکشن!

تو عرصه راه انداختن agent تا حالا کار خاصی نکرده‌م، چون تسک مشخصی توی ذهنم نداشتم براشون. یه مشکل دیگه‌م هم این بوده که به تعداد بندگان خدا ابزار برای کارهای agentic هست. خیلیی زیادن و واقعا قضیه برام گیج‌کننده شده. این جا به نظرم جاییه که میتونم برای این آزمایش‌ها یه اهدافی تعریف کنم: این که مثلا با این امکانات سخت‌افزاری حداقلی، با مدل‌های بسیار محدود شده، نهایت قدرتی که میشه بهش رسید چیه؟ دارم قلقلک میشم که خودم یه agent system مطابق نیازهام برای همین امکانات محدود درست کنم.

مثلا مسائلی که باهاشون دست و پنچه میشه نرم کرد از این جنسه:

  • پنجره کانتکست کوچیک رو چجور میخوایم مدیریت کنیم؟ احتمالا راه حلش از جنس چند لایه کردن حافظه (حافظه کوتاه‌مدت و بلندمدت یا در حالت ایده‌آل با لایه‌های میانیه)

  • تقسیم‌بندی agentها چگونه باشه؟ احتمالا باید ایجنت برنامه‌ریز، ایجنت ریوویو کننده، ایجنت اجرا کننده، ایجنت تست کننده داشته باشیم.

  • چجوری میشه مسائل امنیتی (مثلا از جنس محدود کردن اینجنت به فولدر خاص و محدود کردن command‌هایی که میتونه اجرا کنه) رو مدیریت کرد؟ (این رو میدونم دغدغه @sah هم بوده اخیرن)

  • چطور میشه دسترسی به اینترنت یا داکیومنت‌های مورد نیاز رو به آسونی براشون فراهم کرد؟

  • مدل‌های کم‌حجم با قابلیت vision رو چجور می‌شه وارد بازی کرد؟

کلا فضای جالبیه حالا که دارم بهش فکر می‌کنم. یک همچین سیستمی اگه بتونه برای ساعت‌ها اجرا بشه، آیا می‌تونه از عهده تسک‌هایی که مدل‌های قوی‌تر تو زمان کمتر از پسشون بر میان بر بیاد؟

در نهایت فقط هم به «برنامه‌نویسی» فکر نمی‌کنم. یه همچین سیستمی قاعدتاً باید چندمنظوره باشه.

جواد طبا

خب امروز رفتم با اینترنت دانشگاه فایل این سه تا مدل رو از Huggingface دانلود کردم:

DeepSeek-R1-Distill-Qwen-7B-Q4_K_M

qwen2.5-coder-7b-instruct-q4_k_m

adi-qwen2.5-coder-7b-kimi-q4_k_m

دو تا مدل اول مدلای distill شده‌ی متخصص کد زدنن و با 7b پارامتر و با کوانتیزیشن q4-k-m بسیار کم حجمن؛ حدود 5 گیگابایت از VRAM رو اشغال می‌کنن که برای کارت گرافیک 3070 من با ۸ گیگ VRAM مناسبه. مدل سوم هم به همین ترتیب ولی برای استفاده از tool‌ها fine tune شده که بشه بعدن agent باهاش راه‌انداخت.
برای سادگی LM Studio رو هم نصب کردم، فایلای دانلود شده رو گذاشتم توش و بعد آماده...

چه قدر سریع و روون کار کرد (حدود ۷۰ توکن بر ثانیه)! دارم تستای مختلف می‌گیرم ببینم عملکردش چطوره.

قدم دوم:‌ فردا سعی می‌کنم Agent راه بندازم.

54
mohamad
Mo

@mohamad

۳ روز پیش

جالب بود.

4
1 لایک0 بازنشر0 نقل‌قول