Не все слова равны — обращайте внимание только на важные

Важность ключевых слов лежит в основе нового популярного инструмента обработки естественного языка (НЛП) компьютерами: механизма внимания. Когда он закодирован в более широкий алгоритм НЛП, механизм внимания сосредотачивается на ключевых словах, а не рассматривает каждое слово с равной важностью. Это дает лучшие результаты в задачах НЛП, таких как определение положительных или отрицательных настроений или прогнозирование того, какие слова должны быть следующими в предложении.

Исследователи Массачусетского технологического института разработали комбинированную систему, получившую название SpAtten, которая специализируется на работе механизма внимания. «Наша система похожа на то, как человеческий мозг обрабатывает язык», — говорит Ханруи Ван. «Мы читаем очень быстро и просто сосредотачиваемся на ключевых словах. Это идея SpAtten».

Исследование будет представлено в этом месяце на Международном симпозиуме IEEE по архитектуре высокопроизводительных компьютеров. Ван — ведущий автор статьи и аспирант кафедры электротехники и компьютерных наук. Соавторы — Чжэкай Чжан и их научный руководитель, доцент Сун Хан.