انویدیا عملکرد پردازندههای گرافیکی H100 به دو برابر افزایش داد
انویدیا عملکرد پردازندههای گرافیکی H100 به دو برابر افزایش داد انویدیا با همکاری چند شرکت فناوری، بهروزرسانی منبع باز TensorRT-LLMرا ارائه کرده که قرار است عملکرد پردازندههای گرافیکی پرچمدار H100 Tensor Core را دو برابر کند. این بهروزرسانی که قرار است در هفتههای آینده منتشر شود عملکرد گرافیکی H100 را به هشت برابر A100 خواهد […]
انویدیا عملکرد پردازندههای گرافیکی H100 به دو برابر افزایش داد
انویدیا با همکاری چند شرکت فناوری، بهروزرسانی منبع باز TensorRT-LLMرا ارائه کرده که قرار است عملکرد پردازندههای گرافیکی پرچمدار H100 Tensor Core را دو برابر کند.
این بهروزرسانی که قرار است در هفتههای آینده منتشر شود عملکرد گرافیکی H100 را به هشت برابر A100 خواهد رساند، در حالیکه قبلا این عدد فقط چهار برابر بود. انویدیا این نرمافزار را روی GPT-J 6B تست کرده است.
از آنجائیکه پویایی مدلهای زبان بزرگ (LLM) ممکن است گروهبندی تقاضاها و اجرای موازی آنها را دشوار کند، برای حل این مشکل، انویدیا و شرکتهای همکارش سعی کردند TensorRT-LLM را مجهز به فناوری جدیدی به نام گروهبندی در پرواز کنند. این فناوری میتواند پروسه تولید متن را به وظایف متعددی تقسیمبندی کند.
TensorRT-LLM دارای یک کامپایلر یادگیری عمیق TensorRT است و از هستههای بهینهشده، فرایندهای پیشپردازش و پسپردازش و همچنین قابلیتهای multi-GPU و multi-node بهره میبرد.
TensorRT-LLM شامل نسخههای بهینهشده Llama 2 ،GPT-2 ،GPT-3 ،Falcon ،Mosaic MPT BLOOM و موارد دیگر میشود که همه آنها از طریق API پایتون قابل دسترس هستند.
این بهروزرسانی هماکنون در دسترس عموم قرار دارد و قرار است به زودی با پلتفرم Nvidia NeMo که بخشی از پروژه AI Enterprise انویدیا است ادغام شود.
هیچ دیدگاهی درج نشده - اولین نفر باشید