۰
plusresetminus
شنبه ۱۰ فروردين ۱۳۹۸ ساعت ۱۶:۱۷

سیستم متن باز GPipe گوگل برای آموزش شبکه‌های عصبی عمیق

ایتنا- گوگل، کتابخانه مخصوص آموزش کارآمد شبکه‌های عصبی عمیق بزرگ خود به نام GPipe را به صورت متن‌باز درمی‌آورد.
سیستم متن باز GPipe گوگل برای آموزش شبکه‌های عصبی عمیق
اگر در زمینه آموزش سیستم‌های هوش مصنوعی بزرگ کار می‌کنید، باید بدانید که گوگل از شما پشتیبانی می‌کند.
بخش پژوهش هوش مصنوعی گوگل به تازگی GPipe، کتابخانه مخصوص آموزش شبکه‌های عصبی عمیق خود را تحت Lingvo، چارچوب تنسورفلو برای مدلسازی توالی، به صورت متن‌باز درآورد.
از این سیستم می‌توان در هر شبکه‌ای از جمله لایه‌های متوالی چندگانه استفاده کرد.
 
به گزارش ایتنا از رایورز به نقل از ونچربیت، یانپینگ هوانگ، مهندس نرم‌افزار هوش مصنوعی گوگل، در یک پست وبلاگ اعلام کرد: «شبکه‌های یادگیری عمیق یا به اختصار DDN، کارهای یادگیری ماشینی زیادی از جمله تشخیص گفتار، تشخیص دیداری و پردازش زبانی را به صورت پیشرفته درآورده است. مدل‌های DDN امکان عملکرد بهتر و پیشرفت در تشخیص دیداری را فراهم کرده است.»
 
مطالعات نشان داده است که رابطه محکمی بین سایز مدل و دقت طبقه‌بندی وجود دارد.
هوانگ و همکارانش در مقاله‌ای نشان دادند که GPipe از دو تکنیک آموزش هوش مصنوعی جذاب بهره می‌برد.
یکی از این تکنیک‌ها، نزول گرادیان همزمان تصادفی است که یک الگوریتم بهینه‌سازی است که برای به‌روزرسانی پارامترهای مدل هوش مصنوعی مورد استفاده قرار می‌گیرد و تکنیک دیگر، موازات خط لوله است که در واقع سیستم اجرای وظایف است که در آن خروجی یک گام، ورودی گام بعدی شناخته می‌شود.
 یادگیری عمیق با شبکه عصبی گوگل

اکثر دستاوردهای GPipe از تخصیص حافظه بهتر برای مدل‌های هوش مصنوعی سرچشمه می‌گیرد.
GPipe در واحدهای نسل دوم پردازش تنسور گوگل کلود موسوم به TPU که هر کدام حاوی هشت هسته پردازنده و 64 گیگابایت حافظه است، استفاده از حافظه را از 6.26 گیگابایت به 3.46 گیگابایت کاهش می‌دهد.
 
این تنها مزیت GPipe نیست. این سیستم، مدل‌ها را در شتاب‌دهنده‌های مختلف تقسیم می‌کند و به صورت خودکار دسته‌های مینیاتوری را به وجود می‌آورد.
این موضوع باعث می‌شود که هسته‌ها به صورت موازی کار کنند و گرادیان‌ها در هر هسته تجمع می‌کنند و به همین خاطر کیفیت مدل تحت تأثیر قرار نمی‌گیرد.
 
کد مطلب: 56009
نام شما
آدرس ايميل شما

شما از کدام مرورگر اینترنتی بیشتر استفاده می‌کنید؟
اینترنت اکسپلورر
فایرفاکس
کروم
سافاری
اج
مرورگرهای دیگر