Nvidia tensorrt برای RTX باعث افزایش عملکرد 2x برای رایانه های رومیزی می شود ، که توسط همه GPU های RTX پشتیبانی می شود

شتاب Tensorrt AI NVIDIA اکنون در GPU های GeForce RTX در دسترس است و 2x عملکرد را از طریق DirectML ارائه می دهد.

NVIDIA افزایش شتاب AI 2x را بیش از DirectML با Tensorrt ارائه می دهد ، که در تمام GPU های RTX موجود است

امروز ، Nvidia اعلام می کند که Tensorrt را به سکوی RTX خود می آورد. با Tensorrt ، مصرف کنندگان عمومی که یک GPU RTX را اداره می کنند ، می توانند از طریق باکتری استنتاج بهینه شده ، عملکرد سریع تری کسب کنند.

با Tensorrt ، کاربران قادر خواهند بود تا در برنامه های AI در مقابل DirectML ، حداکثر ۲ برابر را مشاهده کنند. Tensorrt همچنین توسط Windows ML به صورت بومی پشتیبانی می شود و لازم به ذکر است که Tensorrt-LLM در حال حاضر در ویندوز موجود است.

پشته نرم افزار AI PC امروز به توسعه دهندگان نیاز دارد تا بین چارچوب هایی که از پشتیبانی سخت افزاری گسترده برخوردار هستند اما عملکرد کمتری دارند ، یا مسیرهای بهینه سازی شده که فقط انواع سخت افزار یا مدل های خاص را پوشش می دهند ، انتخاب کنند و به توسعه دهنده نیاز دارند تا چندین مسیر را حفظ کنند. چارچوب جدید استنتاج Windows ML برای حل این چالش ها ساخته شده است.

Windows ML در بالای زمان اجرا ONNX ساخته شده است و یکپارچه به یک لایه اجرا بهینه شده AI که توسط هر تولید کننده سخت افزار تهیه و نگهداری می شود ، متصل می شود. برای GEFORCE RTX GPU ، ویندوز ML به طور خودکار از Tensorrt برای RTX استفاده می کند – یک کتابخانه استنتاج بهینه شده برای کارایی بالا و استقرار سریع. در مقایسه با DirectML ، Tensorrt بیش از ۵۰ ٪ عملکرد سریعتر را برای بار کاری AI در رایانه های شخصی ارائه می دهد.

Windows ML همچنین کیفیت زندگی را برای توسعه دهنده ارائه می دهد. این می تواند به طور خودکار سخت افزار مناسب را برای اجرای هر ویژگی AI انتخاب کند و ارائه دهنده اجرای آن را برای آن سخت افزار بارگیری کند و نیاز به بسته بندی آن پرونده ها را در برنامه خود حذف کند. این به NVIDIA اجازه می دهد تا به محض آماده شدن ، آخرین بهینه سازی عملکرد Tensorrt را در اختیار کاربران قرار دهد. و از آنجا که در زمان اجرا ONNX ساخته شده است ، Windows ML با هر مدل ONNX کار می کند.

اما این فقط عملکردی نیست که جنبه اصلی Tensorrt برای RTX باشد. باکتری جدید امکان اندازه پرونده های کتابخانه کوچکتر ۸ برابر را فراهم می کند و همچنین با بهینه سازی های فقط در هر GPU همراه است. Tensorrt برای RTX در ماه ژوئن در تمام GPU های Nvidia Geforce RTX در Developer.nvidia.com در دسترس خواهد بود.

در یکی از اسلایدهای عملکرد ، NVIDIA به نمایش درآمدهای عملکرد AI با Tensorrt در مقابل DirectML. در ComFyUi ، کاربران می توانند یک عملکرد ۲ برابر عملکرد کسب کنند ، در حالی که Davinci Resolve و Vegas Pro 60 ٪ دست انداز ارائه می دهند. این امر منجر به سریعتر زمان های AI و گردش کار می شود و به رایانه های GPU RTX و RTX اجازه می دهد تا پتانسیل های خود را به طور کامل از بین ببرند.

نوآوری های نرم افزاری NVIDIA به همین جا ختم نمی شود ، زیرا این شرکت بیش از ۱۵۰ SDK AI را با ۵ ادغام ISV کاملاً جدید در این ماه تأمین می کند. اینها شامل:

• استودیوی LM (عملکرد ۳۰ ٪ با آخرین CUDA)
• Topaz Video AI (Genai Video Accelerated CUDA)
• Bilibili (جلوه های پخش Nvidia)
• Autodesk Vred (DLSS 4)
• هرج و مرج (DLSS 4)

NVIDIA همچنین در حال معرفی طرح های جدید NIMS و AI است که حتی شامل افزونه های جدید برای پروژه G مانند مانند Discord ، Gemini ، IFTTT ، Twitch ، Spotify و SignalRGB می باشد. البته کاربران همچنین می توانند با رفتن به github.com/nvidia/g-assist ، افزونه های خود را برای Project G-Assist بسازند.