- Доброкачественная переобучение и адаптивная непараметрическая регрессия (arXiv)
Автор: Жюльен Чор, Сюзанна Сигалла, Александр Б. Цыбаков.
Аннотация: В условиях непараметрической регрессии мы строим оценку, которая представляет собой непрерывную функцию, интерполирующую точки данных с высокой вероятностью, при этом достигая минимаксных оптимальных показателей при среднеквадратичном риске по шкале классов Гёльдера адаптивно к неизвестной гладкости.
2. Доброкачественное переобучение в классификации: доказуемое противодействие шуму меток с помощью более крупных моделей (arXiv)
Автор: Кайюэ Вэнь, Цзяй Тэн, Цзинчжао Чжан.
Аннотация: исследования доброкачественной переобучения дают представление об успехе сверхпараметризованных моделей глубокого обучения. В этой работе мы исследуем, действительно ли переоснащение безобидно в реальных задачах классификации. Мы начнем с наблюдения, что модель ResNet хорошо подходит для Cifar10, но не для ImageNet. Чтобы понять, почему доброкачественное переобучение терпит неудачу в эксперименте ImageNet, мы теоретически анализируем доброкачественное переоснащение в более ограничительной настройке, где количество параметров ненамного превышает количество точек данных. При такой настройке умеренной избыточной параметризации наш анализ идентифицирует фазовое изменение: в отличие от предыдущих настроек сильной избыточной параметризации, щадящее переобучение теперь может дать сбой при наличии шума меток. Наш анализ объясняет наши эмпирические наблюдения и подтверждается серией контрольных экспериментов с ResNets. Наша работа подчеркивает важность понимания неявной предвзятости в неподходящих режимах как направления в будущем.
