TransferLearning Part1

یادگیری انتقال (Transfer Learning): مفاهیم، الگوریتم‌ها و کاربردها یادگیری انتقال یا Transfer Learning یکی از پرکاربردترین و جذاب‌ترین مباحث در حوزه یادگیری ماشین و هوش مصنوعی است. در این متن قصد داریم به طور عمیق به بررسی این مفهوم، انواع آن و الگوریتم‌های پیشرفته‌ای که در این حوزه توسعه یافته‌اند بپردازیم. اگر شما هم با مشکل کمبود داده مواجه هستید یا می‌خواهید از دانش یک مدل از پیش آموزش‌دیده برای حل یک مسئله جدید استفاده کنید، این راهنما برای شماست. مقدمه: چرا به یادگیری انتقال نیاز داریم؟ در یادگیری ماشین سنتی، ما معمولاً فرض می‌کنیم که داده‌های آموزشی و داده‌های تست (یا واقعی) از یک توزیع آماری یکسان می‌آیند. اما در دنیای واقعی، این فرض اغلب نقض می‌شود. فرض کنید مدلی برای تشخیص چهره روی تصاویر افراد اروپایی آموزش دیده است (دامنه منبع)، اما می‌خواهیم از آن برای تشخیص چهره افراد آسیایی استفاده کنیم (دامنه هدف). با اینکه هر دو مجموعه «تصویر چهره» هستند، اما تفاوت‌های نژادی، نوری و فرهنگی باعث می‌شود توزیع داده‌ها تغییر کند. اینجاست که یادگیری انتقال به کمک ما می‌آید. این تکنیک به ما اجازه می‌دهد دانشی را که از یک یا چند دامنه منبع (Source Domain) کسب کرده‌ایم، برای بهبود یادگیری در دامنه هدف (Target Domain) استفاده کنیم. دامنه منبع و دامنه هدف برای درک دقیق‌تر، بیایید تعاریف را شفاف کنیم: دامنه منبع: محیطی است که داده‌های فراوان در آن موجود است و مدل اصلی روی آن آموزش می‌بیند. مثلاً یک بانک اطلاعاتی بزرگ از تصاویر محصولات آمازون. دامنه هدف: محیط جدیدی است که می‌خواهیم در آن عملکرد خوبی داشته باشیم، اما داده‌های برچسب‌دار کمی داریم. مثلاً تصاویر محصولات یک فروشگاه محلی کوچک. هدف اصلی این است که شکاف بین این دو دامنه را پر کنیم تا مدل بدون نیاز به آموزش از صفر با هزاران داده جدید، در شرایط جدید نیز خوب کار کند. انواع یادگیری انتقال تفاوت بین دامنه منبع و هدف می‌تواند در دو سطح رخ دهد: تفاوت در توزیع داده‌ها (Distribution Shift): نوع داده یکسان است اما توزیع آماری متفاوت است (مثلاً تصاویر پزشکی از دو دستگاه MRI متفاوت). تفاوت در وظیفه (Task Shift): رابطه بین ویژگی‌ها و برچسب‌ها تغییر کرده است. از منظر دیگر، یادگیری انتقال به دو دسته کلی تقسیم می‌شود: یادگیری انتقال غیراستقرایی (Transductive): در این حالت، توزیع ورودی‌ها ( P X ​ ) تغییر کرده، اما وظیفه یا توزیع شرطی برچسب‌ها ( P Y∣X ​ ) یکسان باقی مانده است. یعنی قانون تصمیم‌گیری تغییر نکرده، فقط محیط تغییر کرده است. یادگیری انتقال استقرایی (Inductive): در این حالت، خود وظیفه نیز تغییر کرده است. یعنی توزیع شرطی برچسب‌ها در دامنه منبع و هدف با هم فرق دارند. در اینجا معمولاً به داده‌های برچسب‌داری از دامنه هدف نیاز داریم تا مدل بتواند قانون جدید را یاد بگیرد.