Категориялық кроссентропия – көп класты жіктеу тапсырмаларында қолданылатын жоғалту функциясы. Бұл мысал көптеген мүмкін санаттардың біреуіне ғана тиесілі болатын тапсырмалар және үлгі қайсысын шешуі керек. Ресми түрде бұл екі ықтималдық үлестірімі арасындағы айырмашылықты сандық анықтауға арналған.
Неге MSE орнына айқас энтропияны қолдану керек?
Біріншіден, кросс-энтропия (немесе жұмсақ макс жоғалту, бірақ кросс-энтропия жақсы жұмыс істейді) жіктеу үшін MSE-ге қарағанда жақсы көрсеткіш, себебі жіктеу тапсырмасындағы шешім шекарасы үлкен(регрессиямен салыстырғанда). … Регрессия мәселелері үшін сіз әрқашан дерлік MSE қолданасыз.
Сирек айқас энтропия мен категориялық айқас энтропияның айырмашылығы неде?
Сирек категориялық айқас энтропия мен категориялық айқас энтропия арасындағы жалғыз айырмашылық - шын белгілер пішімі. Бір таңбалы, көп сыныпты жіктеу мәселесі болған кезде, белгілер әрбір деректер үшін бір-бірінен ерекшеленетін болады, яғни әрбір деректер жазбасы тек бір сыныпқа тиесілі болуы мүмкін.
Категориялық айқас энтропия жоғалтуын қалай түсіндіресіз?
Айқас энтропия үлгінің болжамды ықтималдығы нақты мәннен алшақ болған сайын артады. Сондықтан, нақты белгі 1 мәніне ие болғанда 0,05 ықтималдығын болжау айқас энтропия жоғалтуын арттырады. сол үлгі үшін 0 және 1 арасындағы болжамды ықтималдықты білдіреді.
Айқас энтропия неге жақсы?
Жалпы, біз көріп отырғанымыздай, кросс-энтропия модельдің ықтималдығын өлшеудің қарапайым тәсілі. Кросс-энтропия пайдалы, өйткені ол үлгінің қаншалықты ықтимал екенін және әрбір деректер нүктесінің қате функциясынсипаттай алады. Оны болжамды нәтижені шынайы нәтижемен салыстыру үшін де қолдануға болады.
