فهرست مطالب
اگر می‌خواهید مدل‌های هوش مصنوعی را آموزش بدهید یا اجرا کنید، کارت گرافیک مهم‌ترین قطعه‌ی سیستم شماست. اما «قوی‌ترین کارت» همیشه بهترین انتخاب نیست. انتخاب درست از کاری شروع می‌شود که قرار است انجام دهید، نه از جدول رتبه‌بندی بازی‌ها.
اول کارتان را مشخص کنید
پیش از نگاه کردن به مدل‌ها، به سه سؤال پاسخ دهید:
- آموزش یا استنتاج؟ آموزش مدل، به‌خصوص از صفر، چند برابر استنتاج (اجرای مدل آماده) حافظه و زمان می‌خواهد.
- اندازه‌ی مدل چقدر است؟ یک مدل زبانی ۷ میلیارد پارامتری با یک مدل ۷۰ میلیارد پارامتری در دو دنیای متفاوت سخت‌افزاری قرار دارند.
- چند کاربر هم‌زمان؟ سرویسی که به ده‌ها درخواست هم‌زمان پاسخ می‌دهد به حافظه و پهنای باند بیشتری نسبت به استفاده‌ی شخصی نیاز دارد.
حافظه‌ی گرافیکی، محدودیت اصلی
در بیشتر پروژه‌ها اولین دیواری که به آن می‌خورید حافظه‌ی گرافیکی (VRAM) است، نه سرعت پردازش. یک قاعده‌ی سرانگشتی ساده کمک می‌کند:
- در دقت ۱۶ بیتی (FP16 یا BF16) هر میلیارد پارامتر حدود ۲ گیگابایت حافظه می‌گیرد؛ پس یک مدل ۷ میلیاردی برای استنتاج حدود ۱۴ گیگابایت به‌علاوه‌ی فضای جانبی لازم دارد.
- با کوانتیزه‌کردن ۴ بیتی همین مدل در حدود ۴ تا ۵ گیگابایت جا می‌شود، با کمی افت کیفیت.
- برای آموزش کامل با بهینه‌ساز Adam، حافظه‌ی لازم معمولاً چند برابر استنتاج است، چون گرادیان‌ها و وضعیت بهینه‌ساز هم باید نگه داشته شوند.
اگر بین دو کارت مردد هستید، معمولاً کارتی با حافظه‌ی بیشتر انتخاب امن‌تری است تا کارتی کمی سریع‌تر با حافظه‌ی کمتر.
کارت مصرفی یا کارت دیتاسنتری؟
| ویژگی | کارت مصرفی (مثل RTX 4090) | کارت دیتاسنتری (مثل A100 و H100) |
|---|---|---|
| حافظه | تا ۲۴ گیگابایت | ۴۰ تا ۸۰ گیگابایت |
| خنک‌کاری | فن‌دار، برای کیس معمولی | بدون فن، برای جریان هوای سرور |
| اتصال چندکارتی | محدود | NVLink با پهنای باند بالا |
| مناسب برای | توسعه، آزمایش و استنتاج مدل‌های کوچک و متوسط | آموزش مدل‌های بزرگ و سرویس‌دهی سنگین |
کارت‌های دیتاسنتری بدون فن طراحی شده‌اند و در کیس معمولی به‌سرعت داغ می‌شوند؛ برای آن‌ها سرور و دیتاسنتر مناسب لازم است.
نرم‌افزار و اکوسیستم
بیشتر کتابخانه‌های یادگیری عمیق مثل PyTorch و TensorFlow بهترین پشتیبانی را از CUDA دارند. پیش از خرید، مطمئن شوید نسخه‌ی درایور و CUDA مورد نیاز پروژه‌تان روی کارت انتخابی پشتیبانی می‌شود. نسل معماری هم مهم است: نسل‌های جدیدتر از قالب‌های عددی کم‌دقت‌تر مثل FP8 پشتیبانی می‌کنند که سرعت آموزش و استنتاج را بالا می‌برد.
توان مصرفی و زیرساخت
یک کارت پرقدرت می‌تواند ۳۵۰ تا ۷۰۰ وات برق بکشد. منبع تغذیه، خنک‌کاری اتاق و هزینه‌ی برق را در محاسبه بیاورید. اگر چند کارت در یک سرور می‌خواهید، میزبانی در دیتاسنتر معمولاً از نگهداری در دفتر کار مطمئن‌تر است.
جمع‌بندی
۱. کار و اندازه‌ی مدل را مشخص کنید. ۲. حافظه‌ی لازم را با قاعده‌ی بالا تخمین بزنید. ۳. میان کارت مصرفی و دیتاسنتری بر اساس حافظه و زیرساخت تصمیم بگیرید. ۴. هزینه‌ی برق و میزبانی را فراموش نکنید.
در فروشگاه جی‌پی‌یوز می‌توانید کارت‌ها را بر اساس حافظه و نسل فیلتر کنید و با مقایسه‌ی کارت‌ها مشخصات را کنار هم ببینید.