ترکیب روش منظم‌سازی تُنُک و آسیب مغزی بهینه در کوچک‌سازی یک مدل یادگیری عمیق

نوع مقاله : مقاله پژوهشی

نویسنده

گروه علوم کامپیوتر دانشگاه حکیم سبزواری

چکیده

یکی از چالش‌های شبکه‌های عصبی پیچشی، به عنوان ابزار اصلی یادگیری عمیق، حجم زیاد برخی از مدل‌های مربوطه است. یک شبکه‌ی عصبی پیچشی به مثابه مدلی از مغز، متشکل از میلیون‌ها اتصال است. کاهش حجم این مدل‌ها از طریق حذف (هرس) اتصالات اضافی مدل انجام می‌شود که همانند یک آسیب مغزی است. دو روش منظم‌سازی تُنُک و آسیب مغزی بهینه از جمله مشهورترین شیوه‌های هرس مدل هستند. در این نوشتار با ترکیب این دو شیوه‌ نتایج بهتری در کاهش حجم مدل حاصل شده است. ابتدا با استفاده از روش انتقال یادگیری، یک مدل بزرگ شبکه‌های عصبی پیچشی برای شناسایی طبقات هدف، آموزش داده شد؛ سپس با روش‌های منظم‌سازی تُنُک و آسیب مغزی بهینه‌، اتصالات اضافی آن هرس شدند. نتایج آزمایشات نشان داده است که در بیشتر مجموعه دادگان مورد بررسی، اعمال شیوه‌ی ترکیبی منظم‌سازی تُنُک و آسیب مغزی بهینه نسبت به اعمال هر یک از آنها به صورت جداگانه کاراتر است. برای یکی از مجموعه دادگان مورد بررسی، با روش ترکیبی پیشنهادی‌  تعداد اتصالات مدل ۷۶ درصد کاهش داده شد، بدون آنکه کارایی آن کاهش یابد. این کاهش حجم مدل، زمان پردازشی را به یک سوم تقلیل داده است. کاهش حجم مدل می‌تواند امکان استفاده از آن در مرورگرها و سخت‌افزارهای ضعیف‌تر و همه‌گیرتر را تسهیل سازد.      (کد برنامه: https://github.com/mamintoosi/Reg-OBD-for-VGG-Pruning)

کلیدواژه‌ها