اخبار

اجرای مدل زبانی با CPU در ویندوز با HSTOCK AI HUB

فهرست مطالب
  1. اول یک کار سبک برای آزمایش انتخاب کنید
  2. ۱. HSTOCK AI HUB و موتور محلی را آماده کنید
  3. ۲. یک فایل GGUF سازگار انتخاب کنید
  4. ۳. اولین گفت‌وگو را با پاسخ قابل بررسی اجرا کنید
  5. ۴. مشخص کنید بار پردازش روی کدام بخش دستگاه است
  6. اگر مدل باز نشد یا پاسخ خیلی کند بود
  7. این مسیر چه زمانی برای کار شما کافی است؟

اگر کامپیوتر ویندوزی شما کارت گرافیک مجزا ندارد، می‌توانید گفت‌وگو با یک مدل زبانی محلی را روی پردازنده امتحان کنید. برای شروع، یک فایل مدل سازگار، یک موتور آماده و یک درخواست کوتاه انتخاب کنید. در نسخه‌هایی از HSTOCK AI HUB که این مسیر محلی را دارند، می‌توانید وضعیت موتور را بررسی کنید، مدل را انتخاب کنید و پاسخ را در همان رابط بخوانید.

هدف این تمرین گرفتن یک پاسخ درست از یک متن ساختگی است. زمان پاسخ، مصرف حافظه و دقت را روی دستگاه خودتان ثبت کنید تا بفهمید این مسیر برای کار روزمرهٔ شما مناسب است.

اول یک کار سبک برای آزمایش انتخاب کنید

خلاصه‌کردن دو خط، فهرست‌کردن سه کار یا استخراج تاریخ از یک متن کوتاه نقطهٔ شروع خوبی است. اگر همین درخواست ساده دیر جواب می‌گیرد یا سیستم کند می‌شود، بار اول سراغ فایل طولانی نروید. برای چنین آزمایش کوتاهی می‌توانید از کامپیوتر شخصی خودتان شروع کنید.

نام مدل و اندازهٔ فایل تنها بخشی از تصمیم هستند. ورودی طولانی، طول پاسخ و کارهای هم‌زمان هم روی تجربهٔ شما اثر دارند. برای شروع، مدل سبک‌تر سازگار را انتخاب کنید و ورودی را کوتاه نگه دارید.

۱. HSTOCK AI HUB و موتور محلی را آماده کنید

  1. برای دریافت برنامه، صفحهٔ دریافت نسخهٔ ۰٫۷۳٫۳۹ HSTOCK AI HUB را باز کنید. آماده‌کردن فایل‌ها، نصب و بررسی نسخه را از راهنمای دانلود هوش مصنوعی آفلاین برای ویندوز دنبال کنید.
  2. وضعیت موتور موردنظر را در بخش هوش مصنوعی آفلاین بررسی کنید. نام بخش‌ها بر پایهٔ نسخه‌های آرشیوی و بررسی کد پیش‌انتشار ۰٫۷۳٫۶۲ است. این مسیر به‌صورت عملی در نسخهٔ دانلودی ۰٫۷۳٫۳۹ تأیید نشده است. برای llama.cpp، دستور آماده‌سازی موتور و سازگاری ساخت آن را با پردازنده و ویندوز خود بررسی کنید.
  3. وقتی موتور آماده شد، سراغ مدل بروید. نصب برنامه، آماده‌کردن موتور و دریافت مدل سه مرحلهٔ جدا هستند. برای دریافت اولیهٔ فایل‌ها و بررسی شرایط فعال‌سازی، مستندات نسخهٔ نصب‌شده را بخوانید.
صفحهٔ آرشیوی موتورهای AI HUB با ردیف llama.cpp و وضعیت نصب‌نبودن
نمای واقعی نسخهٔ آرشیوی ۰٫۶۹٫۷. ردیف llama.cpp نشان می‌دهد در پروفایل این ثبت، موتور هنوز نصب نشده بود. زمان‌های روی کارت به بررسی وضعیت همان پروفایل مربوط‌اند.

۲. یک فایل GGUF سازگار انتخاب کنید

GGUF قالب فایل مدل است. هنگام انتخاب، نام مدل و گونهٔ آن را کامل ثبت کنید. برای بازکردن فایل، معماری مدل باید با موتور سازگار باشد. اگر فایل را قبلاً تهیه کرده‌اید، در نسخه‌ای که واردکردن مدل را پشتیبانی می‌کند از بخش مدل‌ها مسیر «افزودن مدل از دستگاه» را بررسی کنید. برای کاربرد تجاری، مجوز همان مدل و همان فایل را بخوانید.

اگر از قبل Ollama دارید، در AI HUB همان موتوری را انتخاب کنید که مدل را واقعاً فهرست می‌کند. راهنمای نصب Ollama و آماده‌سازی اولین مدل مسیر مستقل آن را هم توضیح می‌دهد. اگر انتخاب شما از خانوادهٔ Llama است، راهنمای اجرای Llama روی کامپیوتر به انتخاب نسخه کمک می‌کند.

بخش مدل‌های آرشیوی AI HUB و برچسب قابلیت اجرا با CPU روی کارت نمونه
نمای واقعی مدیریت مدل‌ها در نسخهٔ آرشیوی ۰٫۶۷٫۱. کارت نمونه، قالب GGUF و برچسب اجرای CPU را کنار اطلاعات مدل نشان می‌دهد. اعداد روی کارت، برآورد رابط برای همان نمونه‌اند.

۳. اولین گفت‌وگو را با پاسخ قابل بررسی اجرا کنید

در گفت‌وگوی تازه، موتور و نام کامل مدل را انتخاب کنید. اگر می‌خواهید اجرای کامل روی CPU را بسنجید، قبل از ارسال از نسخهٔ مخصوص CPU موتور یا تنظیم مستند اجرای بدون GPU استفاده کنید. در این آزمون وب و ابزارهای اختیاری را خاموش بگذارید. این متن ساختگی را برای مدل بفرستید.

لیلا سه‌شنبه ساعت ۱۰ جلسه دارد. گزارش را باید دوشنبه تا ساعت ۱۶ تحویل دهد. این دو کار را در دو خط و به ترتیب زمان بنویس.

پاسخ را با ورودی مقایسه کنید. تحویل گزارش باید قبل از جلسه بیاید و ساعت‌ها باید همان ۱۶ و ۱۰ بمانند. اگر مدل تاریخ یا ساعت می‌سازد، پاسخ را برای کار واقعی کنار بگذارید و کیفیت مدل را با دو تمرین کوتاه دیگر بررسی کنید.

برای مقایسهٔ دو مدل، متن، موتور و تنظیمات را ثابت نگه دارید و هر بار گفت‌وگوی تازه باز کنید. از لحظهٔ ارسال تا ظاهرشدن اولین متن و سپس تا پایان پاسخ زمان بگیرید. این مقایسه برای همین سیستم و همین کار معنا دارد.

۴. مشخص کنید بار پردازش روی کدام بخش دستگاه است

در Task Manager ویندوز، هم‌زمان با اجرای آزمون، مصرف پردازنده و حافظه را ببینید. ممکن است موتور در یک فرایند جدا از رابط برنامه اجرا شود. وضعیت پردازندهٔ گرافیکی را هم نگاه کنید، حتی اگر دستگاه تنها گرافیک یکپارچه دارد.

در گزارش موتور برای همان اجرا، دستگاه پردازش و هر نوع واگذاری کار به GPU، از جمله بارگذاری لایه‌های مدل، را بررسی کنید. نمودار مصرف دستگاه فقط نشانه‌ای کمکی است. اگر گزارش موتور مشخص نمی‌کند پردازش کجا انجام شده، نتیجه را «مسیر پردازش تأیید نشد» ثبت کنید. مستندات پروژهٔ llama.cpp مسیرهای پردازنده و پردازندهٔ گرافیکی را توضیح می‌دهد.

اگر مدل باز نشد یا پاسخ خیلی کند بود

نشانهاول این مورد را بررسی کنیدآزمون بعدی
مدل در فهرست ظاهر نمی‌شودنام فایل، کامل‌بودن آن و موتور انتخاب‌شدهببینید همان موتور مدل را شناسایی می‌کند و سپس فهرست رابط را دوباره بخوانید.
مدل هنگام بازشدن خطا می‌دهدسازگاری معماری مدل و حافظهٔ آزادیک مدل سبک‌تر سازگار را با ورودی کوتاه امتحان کنید.
شروع پاسخ دیر استآماده‌شدن مدل در اجرای اول، برنامه‌های باز و طول ورودیپس از آماده‌شدن مدل، دو اجرای تازه با ورودی یکسان ثبت کنید.
پاسخ عدد یا زمان را تغییر می‌دهددقت همان مدل روی متن کوتاه شمایک متن ساختگی دیگر با جواب معلوم امتحان کنید و موارد اشتباه را بشمارید.

این مسیر چه زمانی برای کار شما کافی است؟

برای یک نفر و چند درخواست کوتاه، مزیت AI HUB این است که بررسی موتور، انتخاب مدل و گفت‌وگو را کنار هم دارید. اگر پاسخ‌ها به‌موقع و قابل‌اعتمادند، همان آزمون را با متنی شبیه کار روزانه‌تان تکرار کنید. اجرای یک مدل محلی آماده می‌تواند بدون API پولی مدل انجام شود. هزینهٔ سرویس‌های اختیاری و شرایط مجوز مدل جداگانه بررسی می‌شوند.

برای چند کاربر هم‌زمان، اسناد بلند یا اجرای پیوسته، ابتدا اندازهٔ کار واقعی را ثبت کنید. تعداد کاربران، طول ورودی، حافظهٔ آزاد و زمان قابل‌قبول پاسخ، مبنای انتخاب دستگاه‌اند. اگر بعد از آزمون به زیرساخت سازمانی نیاز داشتید، دستهٔ خرید سرور HP را برای بررسی مدل‌ها و ظرفیت ارتقای آن‌ها ببینید.

اشتراک‌گذاری
این مقاله برایتان مفید بود؟
نویسنده armanchi
26 مقاله

دیدگاه‌ها

هنوز دیدگاهی ثبت نشده است. اولین نفر باشید.

دیدگاه خود را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دستیار هوشمند مشاور آنلاین HSTOCK
سلام! چطور می‌توانم کمک کنم؟
HSTOCK AI HUB

تماس با ما

پاسخگوی شما هستیم

یکی از راه های زیر را برای ارتباط انتخاب کنید

0
شما این محصولات را انتخاب کرده اید 0

بازگشت به فروشگاه