Эта история предназначена для того, чтобы записать то, что я недавно узнал об убытке Additive Margin Softmax (AM-softmax). Прежде чем говорить об AM-Softmax, нам нужно рассмотреть, что такое Angular Softmax (A-Softmax). Исходный софтмакс Здесь f — входные данные последнего полносвязного слоя. W — параметры последнего слоя. Угловой Софтмакс https://arxiv.org/pdf/1704.08063.pdf По сравнению с оригинальным softmax авторы вносят следующие изменения: нормализовать..