هنگام کار بر روی یادگیری ماشین یا یک مشکل یادگیری عمیق ، از توابع از دست دادن/هزینه برای بهینه سازی مدل در طول آموزش استفاده می شود. هدف تقریباً همیشه به حداقل رساندن عملکرد از دست دادن است. هرچه ضرر کمتر باشد ، مدل بهتر می شود. از دست دادن آنتروپی متقاطع مهمترین عملکرد هزینه است. از آن برای بهینه سازی مدل های طبقه بندی استفاده می شود. درک آنتروپی متقاطع در درک عملکرد فعال سازی SoftMax وجود دارد. من مقاله دیگری را در زیر قرار داده ام تا این پیش نیاز را پوشش دهم

عملکرد فعال سازی SoftMax - نحوه عملکرد آن

SoftMax تابعی است که در انتهای شبکه یادگیری عمیق قرار می گیرد تا ورود به سیستم را به احتمالات طبقه بندی تبدیل کند.

یک کار طبقه بندی 4 کلاس را در نظر بگیرید که در آن یک تصویر به عنوان سگ ، گربه ، اسب یا یوزپلنگ طبقه بندی می شود.

در شکل فوق ، SoftMax ورود به احتمالات را تبدیل می کند. هدف از آنتروپی متقاطع استفاده از احتمالات خروجی (P) و اندازه گیری فاصله از مقادیر حقیقت است (همانطور که در شکل زیر نشان داده شده است).

برای مثال بالاتر از خروجی مورد نظر [1،0،0،0] برای سگ کلاس است اما مدل خروجی [0. 775 ، 0. 116 ، 0. 039 ، 0. 070] است.

هدف این است که خروجی مدل تا حد امکان به خروجی مورد نظر (مقادیر حقیقت) نزدیک باشد. در طول آموزش مدل ، وزن مدل به طور تکراری بر اساس آن با هدف به حداقل رساندن از دست دادن آنتروپی متقاطع تنظیم می شود. روند تنظیم وزنه ها همان چیزی است که آموزش مدل را تعریف می کند و با توجه به اینکه مدل آموزش را حفظ می کند و ضرر به حداقل می رسد ، می گوییم که این مدل در حال یادگیری است.

مفهوم اثری از آنتروپی متقاطع به حوزه نظریه اطلاعات که در آن کلود شانون مفهوم آنتروپی را در سال 1948 معرفی کرد.

آنتروپی

آنتروپی یک متغیر تصادفی X سطح عدم اطمینان ذاتی در متغیرهای نتیجه ممکن است.

برای P (x) - توزیع احتمال و متغیر تصادفی X ، آنتروپی به شرح زیر تعریف شده است

هرچه مقدار آنتروپی ، H (x) بیشتر باشد ، عدم قطعیت برای توزیع احتمال بیشتر و مقدار کوچکتر نیز کمتر از عدم اطمینان است.

مثال

3 "ظروف" زیر را با شکل در نظر بگیرید: مثلث و دایره

کانتینر 1: احتمال انتخاب مثلث 26/30 و احتمال انتخاب یک دایره 4/30 است. به همین دلیل ، احتمال انتخاب یک شکل و یا انتخاب دیگری نیست.

کانتینر 2: احتمال انتخاب شکل مثلثی 14/30 و 16/30 در غیر این صورت است. تقریباً 50-50 احتمال انتخاب شکل خاص وجود دارد. اطمینان کمتری در انتخاب یک شکل خاص نسبت به 1.

کانتینر 3: شکلی که از کانتینر 3 انتخاب شده است ، به احتمال زیاد یک دایره است. احتمال انتخاب یک دایره 29/30 و احتمال انتخاب مثلث 1/30 است. بسیار مطمئن از شکل انتخاب شده دایره است.

بگذارید آنتروپی را محاسبه کنیم تا ادعاهای خود را در مورد اطمینان از انتخاب یک شکل معین مشخص کنیم.

همانطور که انتظار می رفت آنتروپی برای ظرف اول و سوم از نوع دوم کوچکتر است. این امر به این دلیل است که احتمال انتخاب یک شکل معین در کانتینر 1 و 3 از 2 مشخص تر است. اکنون می توانیم پیش برویم تا در مورد عملکرد از دست دادن آنتروپی متقابل بحث کنیم.

عملکرد از دست دادن آنتروپی متقابل

همچنین از دست دادن لگاریتمی ، از دست دادن ورود به سیستم یا از دست دادن لجستیک نامیده می شود. هر احتمال کلاس پیش بینی شده با خروجی واقعی کلاس مورد نظر 0 یا 1 مقایسه می شود و نمره/از دست دادن محاسبه می شود که احتمال را بر اساس میزان واقعی مورد انتظار مجازات می کند. پنالتی از نظر طبیعت لگاریتمی است که برای اختلافات بزرگ نزدیک به 1 و نمره کوچک برای اختلافات کوچک که به 0 برسد ، نمره بزرگی به دست می آورد.

از دست دادن آنتروپی متقاطع هنگام تنظیم وزن مدل در طول تمرین استفاده می شود. هدف این است که ضرر را به حداقل برسانیم ، یعنی هرچه ضرر کوچکتر باشد ، مدل بهتر است. یک مدل عالی دارای از دست دادن آنتروپی متقاطع 0 است.

آنتروپی متقاطع به عنوان تعریف شده است

از دست دادن آنتروپی با دودویی

برای طبقه بندی باینری (یک کار طبقه بندی با دو کلاس-0 و 1) ، ما آنتروپی متقاطع باینری را تعریف می کنیم

آنتروپی متقاطع باینری اغلب به عنوان میانگین آنتروپی متقاطع در تمام نمونه های داده محاسبه می شود ، یعنی ،

مثال

مشکل طبقه بندی را با احتمالات (های) SoftMax زیر و برچسب ها (T) در نظر بگیرید. هدف محاسبه برای از دست دادن آنتروپی با توجه به این اطلاعات است.

آنتروپی متقاطع طبقه بندی شده به شرح زیر محاسبه می شود

SoftMax عملکرد مداوم متفاوت است. این امر امکان محاسبه مشتق عملکرد از دست دادن با توجه به هر وزن در شبکه عصبی را فراهم می کند. این ویژگی به مدل اجازه می دهد تا وزن ها را مطابق با آن تنظیم کند تا عملکرد از دست دادن به حداقل برسد (خروجی مدل نزدیک به مقادیر واقعی).

فرض کنید که پس از برخی از تکرارهای آموزش مدل ، مدل بردار زیر ورود به سیستم را خروجی می کند

0. 095 کمتر از ضرر قبلی است، یعنی 0. 3677 نشان می دهد که مدل در حال یادگیری است. روند بهینه سازی (تنظیم وزن ها به گونه ای که خروجی نزدیک به مقادیر واقعی باشد) تا پایان تمرین ادامه می یابد.

Keras توابع از دست دادن متقابل آنتروپی زیر را ارائه می دهد: توابع از دست دادن متقابل آنتروپی باینری، طبقه بندی، پراکنده.

آنتروپی متقاطع طبقه ای و آنتروپی متقابل طبقه ای پراکنده

هر دو آنتروپی متقاطع طبقه ای و آنتروپی متقاطع طبقه ای پراکنده تابع تلفات مشابهی دارند که در معادله 2 تعریف شده است. تنها تفاوت بین این دو در نحوه تعریف برچسب های حقیقت است.

• آنتروپی متقاطع طبقه ای زمانی استفاده می شود که برچسب های واقعی کدگذاری شده باشند، به عنوان مثال، مقادیر واقعی زیر را برای مسئله طبقه بندی 3 کلاس [1, 0, 0], [0, 1, 0] و [0, 0] داریم.، 1].
• در آنتروپی متقاطع مقوله ای پراکنده، برچسب های حقیقت اعداد صحیح رمزگذاری می شوند، به عنوان مثال، [1]، [2] و [3] برای مسئله 3 کلاسه.

امیدوارم این مقاله به شما کمک کند تا عملکرد از دست دادن متقابل آنتروپی را واضح تر درک کنید.