یه گزارش پیشرفت بدم خدمتتون.
این چند روز یه مقدار با مدلهایی که دارم کار انجام دادم. لازم به ذکره که همهشون یه جورایی تحت خانواده qwen هستن. دو تا مدل general که tool callingشون خوبه رو هم اضافه کردم (qwen3.5:4b و qwen3:8b).
راستی اون مدلی که توهم میزد با خودش صحبت میکرد رو (با کمال تأسف) حذفش کرد…
خب امروز رفتم با اینترنت دانشگاه فایل این سه تا مدل رو از Huggingface دانلود کردم:
DeepSeek-R1-Distill-Qwen-7B-Q4_K_M
qwen2.5-coder-7b-instruct-q4_k_m
adi-qwen2.5-coder-7b-kimi-q4_k_m
دو تا مدل اول مدلای distill شدهی متخصص کد زدنن و با 7b پارامتر و با کوانتیزیشن q4-k-m بسیار کم حجمن؛ حدود 5 گیگابایت از VRAM رو اشغال میکنن که برای کارت گرافیک 3070 من با ۸ گیگ VRAM مناسبه. مدل سوم هم به همین ترتیب ولی برای استفاده از toolها fine tune شده که بشه بعدن agent باهاش راهانداخت.
برای سادگی LM Studio رو هم نصب کردم، فایلای دانلود شده رو گذاشتم توش و بعد آماده...
چه قدر سریع و روون کار کرد (حدود ۷۰ توکن بر ثانیه)! دارم تستای مختلف میگیرم ببینم عملکردش چطوره.
قدم دوم: فردا سعی میکنم Agent راه بندازم.
این مدل adi-qwen2.5-coder-7b-kimi-q4_k_m وقتی ازش یه سوال میپرسم، بعد این که جوابشو میده، خودش از طرف من از خودش تشکر میکنه، بعد خودش از زبان من از خودش follow-up question میپرسه و بعد شروع میکنه به سوالی که خودش از طرف من از خودش پرسیده جواب میده.
کاملا واقعیت رو گم کرده... فرق بین من و خودش براش…
خب امروز رفتم با اینترنت دانشگاه فایل این سه تا مدل رو از Huggingface دانلود کردم:
DeepSeek-R1-Distill-Qwen-7B-Q4_K_M
qwen2.5-coder-7b-instruct-q4_k_m
adi-qwen2.5-coder-7b-kimi-q4_k_m
دو تا مدل اول مدلای distill شدهی متخصص کد زدنن و با 7b پارامتر و با کوانتیزیشن q4-k-m بسیار کم حجمن؛ حدود 5 گیگابایت از VRAM رو اشغال میکنن که برای کارت گرافیک 3070 من با ۸ گیگ VRAM مناسبه. مدل سوم هم به همین ترتیب ولی برای استفاده از toolها fine tune شده که بشه بعدن agent باهاش راهانداخت.
برای سادگی LM Studio رو هم نصب کردم، فایلای دانلود شده رو گذاشتم توش و بعد آماده...
چه قدر سریع و روون کار کرد (حدود ۷۰ توکن بر ثانیه)! دارم تستای مختلف میگیرم ببینم عملکردش چطوره.
قدم دوم: فردا سعی میکنم Agent راه بندازم.
