دسته بندی بر پایه صفات برای شناسایی اشیاء با یادگیری Zero-Shot

دسته بندی بر پایه صفات برای شناسایی اشیاء با یادگیری Zero-Shot

چکیده

یکی از مشکلات اصلی در شناسایی و دسته بندی تصاویر تنوع سوژه است که برای پوشش کامل نیاز به مجموعه آموزشی بسیار بزرگی می باشد که مستلزم وقت و هزینه مضاعف خواهد بود، اما به کمک روشی مانند یادگیری zero-shot، مجموعه آموزشی کم و یا در مواردی حذف می شود. جهان دارای ده ها از هزاران دسته ی هدف مختلف بوده و تنها  اندکی از آن کلکسیون های تصویری تشکل شده و به صورت مناسب تفسیر شده اند. برای برآمدن از عهده ی این مشکل، طبقه بندی براساس  صفت ها معرفی شده است، اهداف براساس یک توصیف سطح بالا که برحسب  صفت های معنایی تعبیر شده اند، مانند رنگ یا شکل هدف، تعیین می شوند. به دلیل آن که تعیین هویت هریک از چنین ویژگی هایی بر وظیفه ی یادگیری نزدیک  برتری دارد، دسته بندی کننده های  صفت ها  می توانند، مثلا از مجموعه ی داده های عکس موجود غیرمرتبط با وظیفه ی حاضر، به صورت مستقل از قبل مورد یادگیری قرار گیرند. سپس، دسته های جدید می توانند براساس نمایش ویژگی هایشان، بدون نیاز برای یک فاز آموزشی جدید، آشکار شوند. همچنین مجموعه داده ی ، حیوانات با  صفت ها، از بیش از ۳۰۰۰۰ تصویر از ۵۰ دسته حیوان ، که با ۸۵  صفت معنایی تفسیر شده اند، معرفی شده است. آزمایشات گسترده ای در مورد این مجموعه ی داده و دو مجموعه ی داده ی دیگر نشان دادند که طبقه بندی براساس صفات در واقع می تواند تصاویر را بدون دست یافتن به تصویر آموزشی دسته بندی و شناسایی کند.

مقدمه

شناسایی فعالیت انسان و شی، حیوانات در زمینه بینایی ماشین به صورت گسترده ای در حال افزایش است، تمام مطالعات در این زمینه دارای نقطه مشترکی هستند که آن بررسی جزئیات تعامل کامپیوتر –  انسان است، فعالیت‌های شناختی می توانند از شناختن عملکرد یک شخص تا فعالیت چندین نفر گسترده باشد. در کل، یک عمل در قالب فعالیت یک فرد تعریف می شود اما از عمل و فعالیت به طور تبادلی استفاده می کنیم. تعدادی از مقالات در زمینه شناسایی فعالیت در طول دهه گذشته منتشر شدند. اکثر بازنگری‌های قبلی به روی معرفی و خلاصه نمودن متدولوژی های شناخت فعالیت متمرکز بودند [۱-۳].

تخمین زده شده است که انسان ها بین تقریبا” ۳۰۰۰۰ دسته ی هدف پایه[۴] و بسیاری از انواع تابعی، بیشتر آن ها مانند گونه های مختلف سگ یا مدل های مختلف ماشین تمایز قایل می شوند[۵]. همچنین مورد بحث قرار گرفته است که به طور نامحدود، بسیاری از وظایف رده بندی به صورت بالقوه مرتبط وجود دارند زیرا انسان ها می توانند دسته های جدیدی، مثلا “چیزهایی برای آوردن به یک سفر چادرزنی”، ایجاد نمایند[۶]. آموزش دادن آشکارسازی هدف های متداول برای تمامی این موارد نیازمند میلیون ها یا میلیاردها تصاویر آموزشی به خوبی برچسب زده شده است و احتمالا برای سال های زیادی خارج از دسترس است، اگرچه در کل ممکن باشد. بنابراین، تکنیک های بیشماری برای کاهش دادن تعداد تصاویر آموزشی ضروری، گسترش داده شده اند، که در مورد بعضی از آن ها در بخش های بعد  بحث خواهد شد. به هرحال، تمامی این تکنیک ها همچنان نیازمند بعضی مثال های آموزشی برچسب زده شده برای آشکار ساختن مثال های هدف مورد نظر هستند.

فهرست مطالب

فصل ۱: کلیات پژوهش     ۱

۱-۱ مقدمه. ۲

۱-۲ چالش های موجود. ۲

۱-۳ راه کارها ۳

۱-۴ ساختار پایان نامه. ۶

فصل ۲: ﻣﺮوری ﺑﺮ ﻣﻄﺎﻟﻌﺎت اﻧﺠﺎم ﺷﺪه  ۸

۲-۱ مقدمه. ۹

۲-۱-۱ معناشناسی.. ۹

۲-۱-۲ تعریف علم معناشناسی.. ۹

۲-۱-۳ علم معناشناسی در علوم عصبی.. ۹

۲-۱-۴ فضای معنایی.. ۱۰

۲-۱-۵ حالت…. ۱۰

۲-۱-۶  زیرحالت…. ۱۲

۲-۱-۷ اشیاء و صحنه. ۱۶

۲-۱-۸ صفت ها ۱۶

۲-۲ روشهای مبتنی بر بخشهای بدن.. ۱۸

۲-۲-۱ روشهای مبتنی بر حالت…. ۱۸

۲-۲-۲ روشهای مبتنی بر زیرحالت…. ۲۳

۲-۳ روشهایی بر پایه اشیا و صحنه ها ۲۶

۲-۴ روشها بر پایه صفات… ۲۸

۲-۵ عملکرد اجرایی شناسایی عمل معنایی.. ۳۱

۲-۶ عملیات اجرایی دیگر شیوه های معنایی.. ۳۴

۲-۶-۱ یادگیری zero-shot. 35

۲-۶-۲ شناسایی زود هنگام فعالیت…. ۳۷

۲-۶-۳ شناسایی فعالیت مبتنی بر Gapped-video.. 38

۲-۶-۴ پیش بینی فعالیت…. ۳۸

۲-۶-۵ آنالیز فعالیت…. ۳۹

۲-۷ نتیجه گیری… ۳۹

فصل ۳: ﻣﻮاد و روشﻫﺎ (روش ﭘﮋوﻫﺶ و دادهﻫﺎ) ۴۱

۳-۱ مقدمه. ۴۲

۳-۲ انتقال اطلاعات از طریق به اشتراک گذاری صفت ها ۴۳

۳-۳ طبقه بندی برپایه صفت ها   ۴۶

۳-۴ صفت ها ۴۶

۳-۵  فعالیت های مرتبط ۴۸

۳-۵-۱  به اشتراک گذاشتن اطلاعات بین دسته ها ۵۰

۳-۵-۲  پیش بینی کردن صفت های معنایی.. ۵۰

۳-۵-۳ سایر استفاده های صفت های معنایی.. ۵۱

۳-۶ یک درک برپایه ی احتمالات ۵۲

۳-۶-۱ پیش بینی صفت های مستقیم.. ۵۲

۳-۶-۲ پیش بینی صفت های غیرمستقیم.. ۵۳

فصل ۴: یاﻓﺘﻪﻫﺎی ﭘﮋوﻫﺶ و ﺗﺠﺰﯾﻪ و ﺗﺤﻠﯿﻞ دادهﻫﺎ ۵۵

۴-۱ مقدمه. ۵۶

۴-۲ حیواناتی با مجموعه داده های صفت ها ۵۶

۴-۳ سایر مجموعه های داده برای طبقه بندی براساس صفت ها ۵۸

۴-۳-۱ پاسکال – یاهو…. ۵۹

۴-۳-۲  صفت ها ی SUN

۴-۴ ارزیابی آزمایشی ۶۰

۴-۴-۱ کرنل های SVM و انتخاب مدل.. ۶۱

۴-۵ نتایج… ۶۱

۴-۵-۱ نتایج – حیوانات با صفت ها ۶۱

۴-۵-۲ نتایج سایر مجموعه های داده. ۶۷

۴-۶ مقایسه برای تنظیم نظارت شده. ۶۸

فصل ۵: ﺑﺤﺚ و ﻧﺘﯿﺠﻪﮔﯿﺮی ﻫﻤﺮاه ﺑﺎ ﻣﻄﺎﻟﻌﺎت آﺗﯽ و ﭘﯿﺸﻨﻬﺎدﻫا ۷۱

۵-۱ نتیجه گیری… ۷۲

۵-۲ سوالات باز و فعالیت آینده. ۷۲

مراجع   ۷۴