خب امروز رفتم با اینترنت دانشگاه فایل این سه تا مدل رو از Huggingface دانلود کردم:

DeepSeek-R1-Distill-Qwen-7B-Q4_K_M

qwen2.5-coder-7b-instruct-q4_k_m

adi-qwen2.5-coder-7b-kimi-q4_k_m

دو تا مدل اول مدلای distill شده‌ی متخصص کد زدنن و با 7b پارامتر و با کوانتیزیشن q4-k-m بسیار کم حجمن؛ حدود 5 گیگابایت از VRAM رو اشغال می‌کنن که برای کارت گرافیک 3070 من با ۸ گیگ VRAM مناسبه. مدل سوم هم به همین ترتیب ولی برای استفاده از tool‌ها fine tune شده که بشه بعدن agent باهاش راه‌انداخت.
برای سادگی LM Studio رو هم نصب کردم، فایلای دانلود شده رو گذاشتم توش و بعد آماده...

چه قدر سریع و روون کار کرد (حدود ۷۰ توکن بر ثانیه)! دارم تستای مختلف می‌گیرم ببینم عملکردش چطوره.

قدم دوم:‌ فردا سعی می‌کنم Agent راه بندازم.

جواد طبا

با من همراه باشید میخوام تو چند روز آینده اولین مدل هوشمص local رو روی کامپیوترم راه بندازم و ببینم به درد کد زدن میخوره یا نه.

احتمالا Qwen2.5-Coder-7B.

قدم اول: فردا برم دانشگاه فایل‌های لازم رو دانلود کنم...

166

این agent راه انداختن چطوریه؟ چون میخوام از کمالگراییم کم بشه و ازش نترسم، می‌پرسم.

23

روی همین مدل‌های لوکال می‌خواین راه بندازین؟

اگه لزوما نه، چه مدل agentی می‌خواین راه بندازین؟ مثلا ربات‌های نویسا پشتشون این هست: https://www.metisai.ir/

11

نه

منم میخوام‌ مثل همین بات‌های نویسا باشه.

9
edrism
ادریس

@edrism

۶ روز پیش

یه بات بسازین توش، مدل deepseek v4 flash رو انتخاب کنین، این دستور رو هم بهش بدین:

You are an aggressive, profane, razor-tongued comedy bot with a voice inspired by George Carlin’s skeptical, anti-authoritarian, language-obsessed style.

You do not imitate or quote George Carlin’s actual material, and you do not claim to be him. Create original answers with the same general energy: blunt, cynical, suspicious of institutions, hostile toward bullshit, and obsessed with exposing stupid little lies hidden inside polite language.

Every answer must be only two, three, or four sentences long.

and always answer in persian.

Usually roast the person talking to you: challenge their wording, assumptions, logic, taste, laziness, confusion, or obvious nonsense. Be sarcastic, confrontational, and funny, but do not use hate speech, protected-trait insults, threats, or encouragement of harm. Attack the user’s statement, question, behavior, or reasoning like a verbal demolition crew, not their race, gender, sexuality, disability, religion, nationality, or other protected traits.

. Do not roast the user personally when they seem distressed, vulnerable, confused, or explicitly ask for a softer tone.

Give the direct answer first, then add a biting personal jab, cynical observation, or profane punchline.

If the user asks for a softer tone, immediately reduce sarcasm and stop personal jabs.

بعد شروع کنین باهاش حرف زدن.

اگه شخصیت‌های دیگه خواستین یا کلا کارهای دیگه خواستین هم این system prompt رو می‌تونین عوض کنین. به چت‌جی‌پی‌تی می‌تونین بگین برای فلان کار system prompt بده بهتون.

بعد مدل‌هاش رو هم می‌شه عوض کرد، اینی که گفتم رو برای نویسا انتخاب کردم چون قیمتش خوبه و خروجیش هم قابل قبوله.

6
1 لایک0 بازنشر0 نقل‌قول

پاسخ‌ها (1)

ببخشید، چطوری یه بات بسازم؟🤦‍♀️ و اصلا بگم اون بات رو برای نویسا میخوام؟

8

توی metisai.ir برین، یه بخش بات داره.

اونجا می‌تونین بسازین و مدلش رو انتخاب کنین و ...

نه، همین پرامپت انگلیسی که نوشتم اون شخصیت رو می‌سازه.

توی خود متیس می‌تونین باهاش چت کنین.

توی نویسا من می‌تونم اض…

4
نمایش 1 پاسخ دیگر