سید حسن نصرالله

توسعه دهندگان را قادر می سازد برای بهینه سازی یادگیری ماشین (میلی لیتر) مدل برای استنباط در ساژمیکر در ابر و دستگاه های پشتیبانی شده در لبه.

استنباط میلی لیتر فرایند استفاده از یک مدل یادگیری ماشین برای پیش بینی است. پس از تمرین یک مدل برای دقت بالا, توسعه دهندگان اغلب صرف مقدار زیادی از زمان و تلاش تنظیم مدل برای عملکرد بالا. برای استنباط در ابر, توسعه دهندگان اغلب به نمونه های بزرگ با مقدار زیادی از حافظه و قابلیت پردازش قدرتمند در هزینه های بالاتر به نوبه خود برای رسیدن به توان بهتر. برای استنباط در دستگاه های لبه با محاسبه محدود و حافظه, توسعه دهندگان اغلب صرف ماه دست تنظیم مدل برای رسیدن به عملکرد قابل قبول در محدودیت های سخت افزاری دستگاه.

به طور خودکار بهینه سازی مدل های یادگیری ماشین برای استنباط در نمونه های ابر و دستگاه های لبه برای اجرای سریع تر و بدون از دست دادن دقت. شما با یک مدل یادگیری ماشین در حال حاضر با دارک نت ساخته شده است شروع, کراس, امکس نت, پایتورچ, تنسورفلو, تنسورفلو-بازگشت به محتوا/, اونکس, و یا هر جای دیگر. سپس شما پلت فرم سخت افزار هدف خود را انتخاب کنید, که می تواند یک نمونه ساجمیکر میزبانی و یا یک دستگاه لبه بر اساس پردازنده از امبارلا, سیب, بازو, اینتل, مدیاتک, انویدیا, ان ایکسپی, کوالکام, راکچیپ, یا تگزاس اینسترومنتز. با یک کلیک مدل را بهینه سازی کرده و در یک فایل اجرایی کامپایل می کند. کامپایلر از یک مدل یادگیری ماشین برای اعمال بهینه سازی عملکرد استفاده می کند که بهترین عملکرد موجود را برای مدل شما در نمونه ابر یا دستگاه لبه استخراج می کند. سپس مدل را به عنوان نقطه پایانی ساجمیکر یا در دستگاههای لبه پشتیبانی شده مستقر میکنید و شروع به پیشبینی میکنید.

برای استنتاج در ابر, نو ساجمیکر سرعت استنتاج و موجب صرفه جویی در هزینه با ایجاد یک ظرف بهینه سازی استنتاج در میزبانی ساجمیکر. برای استنباط در لبه, ساجمیکر نو موجب صرفه جویی در توسعه دهندگان ماه از تنظیم دستی به طور خودکار تنظیم مدل برای سیستم عامل انتخاب شده و سخت افزار پردازنده.

از کامپایلرها و کتابخانه های شتاب تهیه شده توسط شریک استفاده می کند تا بهترین عملکرد موجود را برای یک مدل خاص و هدف سخت افزاری فراهم کند. این نرم افزار به فروشندگان پردازنده و سازندگان دستگاه اجازه می دهد تا به سرعت در یک زمان اجرا جمع و جور مشترک ابداع کنند.

چگونه کار می کند

مزایا

بهبود عملکرد تا 25 برابر

به طور خودکار مدل های یادگیری ماشین را بهینه می کند تا تا 25 برابر سریعتر و بدون از دست دادن دقت انجام شود. با استفاده از زنجیره ابزار برای مدل و پلت فرم سخت افزاری هدف شما مناسب است و در عین حال یک رابط کاربری ساده استاندارد برای تدوین مدل فراهم می کند.

کمتر از 1/10 ردپای زمان اجرا

1/10 ردپای یک چارچوب یادگیری عمیق مانند تنسورفلو یا پایتورچ را مصرف می کند. به جای نصب چارچوب بر روی سخت افزار مورد نظر خود را, شما در کتابخانه زمان اجرا نو جمع و جور بار به نرم افزار میلی لیتر خود را. و بر خلاف یک چارچوب جمع و جور مانند تنسورفلو-لایت, زمان اجرای نو می تواند یک مدل را در هر یک از چارچوب های پشتیبانی شده توسط کامپایلر نو اجرا کند.

زمان سریعتر برای تولید

شما می توانید مدل خود را برای استقرار در تقریبا هر سیستم عامل سخت افزاری تنها با چند کلیک در کنسول شگفت انگیز تهیه کنید. شما دریافت می کنید تمام مزایای تنظیم دستی با هیچ یک از تلاش.

ویژگی های کلیدی

بهینه سازی استنتاج بدون به خطر انداختن دقت از تکنیک های تحقیقاتی در کامپایلرهای یادگیری ماشین برای بهینه سازی مدل شما برای سخت افزار هدف استفاده می کند. استفاده از این تکنیک های بهینه سازی سیستماتیک به طور خودکار, ساجمیکر نو سرعت مدل های خود را با از دست دادن در دقت و صحت.

پشتیبانی از فریم ورک های یادگیری ماشین محبوب تبدیل یک مدل از فرمت چارچوب خاص از دارک نت, کراس, مکس نت, پایتورچ, تنسورفلو-بازگشت به محتوا/, اونکس, یا ایکس جی بوست به یک نمایش مشترک, بهینه سازی محاسبات, و تولید یک اجرایی سخت افزار خاص برای نمونه میزبانی ساجمیکر هدف و یا دستگاه لبه.

فراهم می کند زمان اجرا جمع و جور با رابط های برنامه کاربردی استاندارد زمان اجرا را اشغال 1 مگابایت از ذخیره سازی و 2 مگابایت حافظه, که است که بسیاری از بار کوچکتر از ذخیره سازی و حافظه از یک چارچوب, در حالی که فراهم کردن یک رابط کاربری گرافیکی مشترک ساده برای اجرای یک مدل وارد نشات گرفته در هر چارچوب.

پشتیبانی از سیستم عامل هدف محبوب در زمان اجرا در اندیشه پشتیبانی, لینوکس, و سیستم عامل های ویندوز و بر روی پردازنده از امبارلا, بازو, اینتل, انویدیا, ان ایکس پی, کوالکام, و تگزاس اینسترومنتز. همچنین مدل های پایتورچ و تنسورفلو به فرمت هسته میلی لیتر برای استقرار در سیستم عامل مکینتاش تبدیل, اپل, ساعت مچی, و تلویزیون های تلویزیونی در دستگاه های اپل.

این نرم افزار به شما امکان می دهد تا با استفاده از این نرم افزار به راحتی و بدون هیچ گونه هزینه ای که در اختیار شما قرار می گیرد دسترسی داشته باشید. قبلا, ساجمیکر نو موفق به کامپایل مدل های که اپراتورهای پشتیبانی نشده استفاده می شود. اکنون ساژمیکر هر مدلی را به گونهای بهینه میکند که کامپایلر از عملگرهای موجود در مدل پشتیبانی کند و از چارچوب برای اجرای باقیمانده مدل کامپایل نشده استفاده کند. در نتیجه میتوانید هر مدل مکس نت و پایتورچ یا تنسورفلو را در کانتینرهای بهینهسازی شده استنتاج اجرا کنید و در عین حال عملکرد بهتری برای مدلهای قابل کامپایل داشته باشید.

پارتیشن بندی مدل برای سخت افزار ناهمگن از کتابخانه های شتاب دهنده شریک استفاده می کند تا بهترین عملکرد موجود را برای یک مدل یادگیری عمیق در سیستم عامل های سخت افزاری ناهمگن با شتاب دهنده سخت افزاری و همچنین پردازنده فراهم کند. کتابخانههای شتابدهی مانند ابزارهای امبارلا و انویدیا اینسترومنتز و تگزاس اینسترومنتز هر کدام مجموعه خاصی از عملکردها و اپراتورها را پشتیبانی میکنند. به طوری که بخشی با اپراتورهای پشتیبانی شده توسط شتاب دهنده می تواند بر روی شتاب دهنده اجرا شود در حالی که بقیه مدل بر روی پردازنده اجرا می شود. به این ترتیب ساژمیکر نو بیشترین استفاده را از شتاب دهنده سخت افزاری می کند و انواع مدل های قابل اجرا بر روی سخت افزار را افزایش می دهد در حالی که عملکرد مدل را تا حدی بهبود می بخشد که اپراتورهای این مدل توسط شتاب دهنده پشتیبانی می شوند.

پشتیبانی از اینفوگرافیک اینفوگرافیک 1 در حال حاضر مدل هایی را برای اهداف نمونه 1 طراحی می کند. ساجمیکر میزبانی فراهم می کند یک سرویس مدیریت برای استنباط در اینف1 موارد, که در تراشه اینفیننتیا بر اساس. با استفاده از کامپایلر نورون مخصوص پردازنده استنتاج در زیر کاپوت کار تهیه یک مدل برای استقرار در نمونه ساجمیکر اینف1 را ساده می کند در حالی که بهترین عملکرد موجود و صرفه جویی در هزینه نمونه اینف1 را فراهم می کند.