Ученые из России разработали систему подбора контрольных вопросов

Разработанная российскими математиками система обработки естественного языка эффективно отбирает контрольные вопросы для анкет, облегчая работу ученым.

Исследователи из МГУ им. М.В. Ломоносова создали систему, которая эффективно подбирает контрольные вопросы для анкет с помощью обработки естественного языка. Разработку ученые представили на конференции «Ломоносовские чтения-2023».

Для того, чтобы получить максимально правдивые ответы, которые позволят прийти к корректным заключениям, ученые добавляют в анкеты контрольные вопросы, речь в которых идет об одном и том же, но с использованием различных формулировок. Несовпадение в ответах у одного и того же человека может говорить о его неискренности.

Разработанная математиками систем использует различные методы обработки естественного языка для поиска похожих вопросов в анкетах и определения наиболее подходящих контрольных вопросов.

Первый метод — F-IDF (Term Frequency-Inverse Document Frequency) — основывается на анализе частоты встречаемости слов и отношения всего числа документов к тем, которые имеют заданное слово. Этот метод позволяет определить наиболее значимые слова в тексте, которые могут быть использованы для описания его содержания. Такой подход существенно облегчает поиск информации в больших коллекциях документов.

С помощью латентно-семантического анализа (LSA) выявляет связи между словами в документе. Определяются наиболее важные слова, связанные с темой, и устанавливается степень их схожести с другими вопросами. Такой подход помогает избегать повторений или путаницы.

Третий используемый в системе метод — это тематическое моделирование, основанное на алгоритмах машинного обучения. С их помощью система автоматически выявляет наиболее вероятные комбинации тем и слов, обсуждаемых в документах. Таким образом, она определяет распределение вероятностей для каждой темы в каждом документе, что облегчает поиск вопросов, содержащих схожие темы.

Эффективность системы подтвердили на анкетах с вопросами из областей психологии и социологии. Она — настоящий прорыв в сфере составления анкет и подбора контрольных вопросов, уверен один из разработчиков доцент кафедры алгоритмических языков факультета вычислительной математики и кибернетики МГУ Владимир Абрамов.