Использование массового многоязычного распознавания именованных объектов для более инклюзивного НЛП Борах Джансема , инженер по машинному обучению в Slimmer AI, недавно опубликовал статью в T owards Data Science под названием Раскрытие возможностей инклюзивности с помощью Polyglot-NER , в которой он рассказывает о проблемы, возникающие при использовании распознавания именованных объектов в наборах данных, отличных от английского. Английское предубеждение, преобладающее в NER,..

Часто в обработке естественного языка (НЛП) мы судим об успехе модели по ее точности. Но этот подход может ввести в заблуждение, поскольку он не показывает, насколько хорошо модель обрабатывает реальный язык. Чтобы по-настоящему узнать, хороша ли модель, нам нужно проверить ее надежность — насколько хорошо она справляется с различными видами изменений в предоставленном ей тексте. Вот тут-то и приходит на помощь тестирование на надежность. Это все равно, что ставить перед моделью..