Как акт наблюдения меняет поведение и валидность данных

Сегодня исследования стали повседневной частью бизнеса. Компании открывают свои R&D-отделы, нанимают специалистов по исследованиям в разных областях. Они хотят знать о своих потребителях буквально все – больше, чем потребители сами знают о себе. Кажется, что это достижимо, но на практике оказывается, что есть большое количество фундаментальных «НО». Например, то, что абсолютная объективность недостижима. И одним из условий этой недостижимости является «эффект наблюдателя». Физики столкнулись с ним в 20-ом веке, когда обнаружили, что на квантовом уровне, само измерение меняет поведение частиц. В исследованиях поведения человека эта проблема оказалась еще острее, ведь люди обладают рефлексивностью и способны понять, что за ними наблюдают, вслед за чем включается множество осознаваемых и неосознаваемых механизмов корректировки поведения. В результате акт наблюдения, будь то опрос, юзабилити-тестирование, трекинг цифрового поведения, сам по себе становится фактором, который изменяет то, что мы хотим измерить. Измерение эффекта В начале 2024 года американские ученые опубликовали довольно показательную статью. В ней авторы описывают и измеряют «эффект наблюдателя». В исследовании участвовало более трехсот пользователей Facebook*. Участники разрешили доступ к своим данным об активности и публикациях за последние 82 месяца, а также согласились на участие в исследовании их текущей активности в социальной сети, которое подразумевало доступ к их данным еще на пять месяцев вперед. Также все участники проходили психологические тесты, для уточнения их личностных черт. Авторы преследовали простую цель: они хотели сравнить поведение до того, как пользователи узнали о том, что за ними наблюдают и после. В результате оказалось, что люди с разными личностными чертами по-разному реагировали на факт наблюдения: кто-то стал писать больше постов, кто-то, наоборот, писал меньше, ставил меньше лайков, но все в своих постах стали меньше говорить о личном. Таким образом, частота постов изменилась на 17-34%, а их содержание — на 4-57% в зависимости от психологических характеристик участников. Почему люди меняют свое поведение Люди меняют свое поведение по трем основным причинам. Во-первых, желание выглядеть лучше, как в своих глазах, так и в чужих. Отвечая на вопросы о пищевых привычках, нам сложно признаться, что мы предпочтем шоколад и фастфуд здоровому питанию, потому что это кажется неправильным. Во-вторых, наша реакция на контроль: когда мы знаем, что наше поведение отслеживают и оценивают мы будем вести себя осторожнее и стараться больше себя контролировать. Например, если с помощью айтрекера исследователь хочет понять, куда смотрит потребитель в рекламе прохладительных напитков, на которой изображена женщина в купальнике, испытуемый может сознательно избегать взгляда на обнаженные части тела, так как знает, что экспериментаторы увидят, куда он смотрел. Nielsen Norman Group также отмечают, что пользователи в условиях наблюдения склонны более внимательно и сосредоточенно работать с интерфейсом, что становится серьезной угрозой валидности полученных данных. И, в-третьих, у нас разная чувствительность к наблюдению. Тревожные люди склонны больше менять свое поведение под наблюдением, чем открытые. В результате оказывается, что участники фокус-групп могут оценивать рекламу более вдумчиво и рационально, чем, когда они смотрят ее дома на диване. Поэтому мы можем сталкиваться с систематическим искажением понимания воздействия рекламы на целевую аудиторию. Прочитав это, можно впасть в пессимизм: если наблюдение и факт измерения меняют реальную картину, то зачем вообще что-то исследовать? К счастью, есть и хорошие новости – эффект наблюдателя можно контролировать. Так в научном обзоре, охватившем 19 исследований с целью изучения эффекта, в пяти из них эффект вообще не проявился, а в других сила эффекта варьировалась. Как минимизировать эффект наблюдателя Помните исследование Facebook*-активности? Один из важных выводов, к которому пришли авторы заключается в том, что эффект наблюдателя снижается со временем: чем дольше длится наблюдение, тем более естественным становится поведение участников. Люди просто забывают о том, что за ними наблюдают.

Как это использовать на практике? Планируйте исследования с более длительным наблюдением — дайте участникам время привыкнуть к окружающим условиям. Приближайте окружение исследования к реальному контексту исследуемого поведения. Планируйте повторные измерения через три-четыре недели. В лабораторных исследованиях важно минимизировать контакт аудитории с экспериментатором. Это становится возможным за счет методов автоматизированного сбора данных: немодерируемое тестирование, встроенные A/B тесты, трекинг поведения в цифровых продуктах, изучение веб-аналитики.

Эти методы собирают данные, не заставляя людей изменять поведение из-за эффекта социальной желательности, ведь когда рядом не стоит человек с планшетом, который смотрит нам за плечо, мы будем вести себя естественнее. Проверку эффекта наблюдателя можно встроить в дизайн исследования, разделяя выборку на группы более и менее осведомленных о целях исследования. Посмотрев отличия ответов в разных группах, можно скорректировать итоговую интерпретацию и обнаружить дополнительные ценные инсайты, связанные с поведением участников. Точность через смирение Главное, понять, что эффект наблюдателя — это часть нашей социальной реальности, пронизывающий не только исследования, но и простую бытовую жизнь. Люди рефлексивны и осознают контекст – и от этого никуда не деться. Часто это используют даже во благо. Например, муляжи камер видеонаблюдения в общественных местах и на дорогах предотвращают нежелательное поведение. Компании могут внедрять «тайных покупателей» не только с целью контроля, но и для стимулирования этого эффекта. Признание ограничений — важная часть нашей реальности. Маркетолог, который знает, что респонденты в опросах могут давать искаженные результаты, с учетом этого эффекта принимает более точные решения и вдумчиво интерпретирует результат. Исследователь, который учитывает эффект в дизайне исследования или планирует повторные замеры, получает более валидные данные. Это явление учит нас смирению перед сложностью человеческого поведения, которое в свою очередь, открывает путь к более глубокому пониманию наших потребителей, пользователей и клиентов – людей, которых мы изучаем ради создания продуктов и услуг, которые действительно улучшат их жизнь. *принадлежит Meta, признанной экстремистской и запрещенной в России