Data mining task of identifying EEG reactions to emotionally significant videos

Full Text

Введение Описываемое эмпирико-статистическое исследование лежит в русле методологии связанных с событиями потенциалов (ССП), основу которой составляет регистрация биоэлектрических реакций мозга в ответ на внешнее раздражение (в случае сенсорных ССП) и при выполнении когнитивной задачи (в случае когнитивных ССП). В качестве стимулов в нашем исследовании выступают видеоролики с различным эмоционально насыщенным содержанием. В работах, посвященных выделению показателей, отражающих воздействие эмоционально значимых стимулов ЭЭГ, используются два основных традиционных методических подхода: 1. Первый подход основан на анализе изменений компонентов N1, P1, N2, P2, P3 … временных реализаций ЭЭГ при предъявлении стимулов. 2. Другим подходом к исследованию является анализ спектральных характеристик ЭЭГ при воздействии тех или иных стимулов. Обзор литературы по отражению эмоций в ЭЭГ и в целом по эмпирико-статистическому анализу ССП дает основание сделать ряд других замечаний методологического характера. 1. ЭЭГ-сигнал, как известно, относится к наиболее сложным физическим сигналам. Это связано, прежде всего, с высокой (и принципиальной) нестационарностью ЭЭГ [1]. Поэтому анализ ЭЭГ следует проводить на квазистационарных участках. Этого не делается во многих исследованиях, хотя необходимость предварительного сегментирования ЭЭГ была ранее достаточно подробно обоснована [2]. Вместе с тем, на наш взгляд, процедура сегментирования ЭЭГ должна быть дополнена переходом к ипсативным измерениям путем автонормирования временного или спектрального представления ЭЭГ внутри квазистационарных участков. 2. Многие современные исследования ССП пошли по экстенсивному пути развития, когда делаются попытки углубить область наших знаний простым наращиванием точности измерений (например, частота дискретизации сигналов), увеличением количества отведений сигнала ЭЭГ, уменьшением ширины полос в спектральном анализе и т.п. Однако огромные нераскрытые возможности электрофизиологических исследований лежат в области методов анализа экспериментального материала, позволяющих выявлять сложные системные эффекты. Из вышесказанного следует актуальность разработки и совершенствования специальной методологии анализа электрофизиологических сигналов для исследований восприятия визуальной информации. Эта методология должна базироваться на современных компьютерных методах препроцессинга и анализа электрофизиологических сигналов, нацеленных на выявление многомерных системных эффектов с учетом индивидуальных особенностей объектов исследования. Характеристика экспериментальных данных Исследование проведено с участием 3 испытуемых (2 мужчины и 1 женщина) в возрасте 20-35 лет. До начала показа стимулов проводилась запись электрофизиологических сигналов человека в состоянии покоя с закрытыми глазами. После этого делался перерыв порядка пяти минут. В качестве стимульного материала использовались видеоклипы с различным эмоционально насыщенным содержанием. Во время предъявления стимулов испытуемый располагался сидя на расстоянии около 1,5 м перед экраном с диагональю ~1,8 м. Для минимизации мышечных артефактов испытуемому давали инструкцию сидеть расслабленно и не совершать мышечных движений. С целью уменьшения движений глаз испытуемого просили фиксировать взгляд в центре монитора. Испытуемый был проинструктирован пассивно наблюдать изображения на экране. Не подразумевалось решение каких-либо когнитивных задач или физическое реагирование на какие-либо изменения. Анализу подвергались значения составляющих автонормированных периодограмм. Периодограммы были разбиты на 3 класса: «Глаза закрыты», «Релакс» и «Эмоции». Наилучшие результаты (по точности и воспроизводимости на контрольной выборке) получены для следующих параметров анализа: - Эпоха составляет 800 отсчетов ЭЭГ; - Периодограмма представлена 10 полосами шириной по 5 Гц от 0 до 50 Гц. К наиболее продуктивным результатам привела следующая последовательность действий: - Из 200 исходных полос (20 отведений х 10 полос от 0 до 50 Гц) для каждого испытуемого селектируются списки информативных полос периодограммы (по критерию Вилкоксона) с уровнем значимости p <0,05. - Находится отведение, которое встречается во всех списках с наилучшим уровнем значимости статистических различий в классах. Дальнейший анализ спектров производится только для этого отведения. - Выборка экспериментальных данных разбивается случайным образом на 2 равные части (обучающую и контрольную). - В качестве процедуры анализа используются алгоритмы поиска логических закономерностей. - Выявленные логические правила (паттерны ЭЭГ) проверяются на контрольной выборке. Традиционный дисперсионный анализ. Основной целью традиционного дисперсионного анализа является исследование значимости различия между средними значениями показателя в различных выборках (в нашем случае в разных классах). Проверка статистической значимости различия проводится с помощью разбиения общей дисперсии (вариации) на части, одна из которых обусловлена случайной ошибкой (т.е. внутригрупповой изменчивостью), а вторая связана с различием средних значений. Последняя компонента дисперсии затем используется для анализа статистической значимости различия между средними значениями. Если это различие значимо, нулевая гипотеза отвергается и принимается альтернативная гипотеза о существовании различия между средними в разных классах. По результатам дисперсионного анализа наибольшая статистическая значимость различий достигается для показателя FP2_5 (отведение FP2, 5-я спектральная полоса). На рис. 1 показаны средние значения этого показателя в разных классах, дополненные графическим отображением 95% доверительных LSD-интервалов. Рис. 11. Средние значения показателя FP2_5 в разных классах На первый взгляд, различия в классах весьма существенны, и средние значения показателя на некотором интервале наблюдения могут служить эффективным индикатором эмоционального состояния испытуемого. Вместе с тем, оказывается, что интервал наблюдения должен быть весьма велик, так как показатель FP2_5 имеет значительную вариацию во всех классах. Расчеты показывают, что для получения статистически обоснованного вывода об эмоциональном состоянии испытуемого требуется использовать скользящее окно, содержащее не менее 200 значений FP2_5 (200 динамических спектров). Это примерно соответствует 3 минутам измерения ЭЭГ. На основании результатов дисперсионного анализа можно предложить логическое правило для определения факта эмоционального воздействия на испытуемого. Например, зададим для FP2_5 порог 0.5 и будем фиксировать логические события FP2_5 <0.5. Значения статистики этого события приведены в табл. 1. Таблица 11 Частота события FP2_5 <0.5 для разных классов Класс FP2_5 < 0.5 Row Total нет да глаза_закрыты 732 615 1347 релакс 3587 4855 8442 эмоции 2455 5987 8442 Итого 6774 11457 18231 Как следует из табл. 1, частоты события FP2_5 <0.5 в классах «релакс» и «эмоции» статистически значимы, но не слишком сильно различаются. При полученном соотношении частот требуется накапливать примерно 100 событий для достижения уверенной фиксации факта изменения эмоционального состояния испытуемого. Эти события встречаются примерно в каждом втором спектре. Поэтому здесь также требуется скользящее окно, содержащее не менее 200 динамических спектров, а это приблизительно 2 минуты записи ЭЭГ. Традиционный статистический анализ дает возможность выявить индивидуальные отличия реакции испытуемых на разные классы видеоклипов. Как следует из результатов этого анализа, все испытуемые при воздействии видеоклипов с эмоционально насыщенным содержанием демонстрируют снижение среднего значения показателя FP2_5. Вместе с тем, наиболее ярко эти снижения проявляются у испытуемых мужского пола, тогда как у испытуемой женского пола такое снижение относительно слабо выражено. Подобные различия в спектрах ЭЭГ у мужчин и женщин, отражающие эмоциональные реакции, ранее отмечались, например, в [3]. Поиск паттернов в спектрах средствами интеллектуального анализа данных Методы интеллектуального анализа данных (ИАД) позволяют выявлять сложные системные взаимосвязи, скрытые в многомерных психофизиологических данных. Использование системных взаимосвязей между различными показателями дает возможность существенно повысить точность и надежность правил выявления эффектов ССП по данным электрофизиологического эксперимента. Методы ИАД в сочетании с новейшими средствами получения электрофизиологической информации позволяют по-новому раскрыть информативность различных экспериментальных показателей, а также ускорить и удешевить процесс создания компьютерных систем в области психофизиологии. В качестве инструментов ИАД для изучения эмоциональных реакций применялись алгоритмы поиска логических правил в данных из пакета WEKA, инструмент для построения деревьев решение SPSS Answer Tree и авторская разработка - программа Argos Data Mining. Результаты работы алгоритмов WEKA Наиболее выразительные результат показал алгоритм PART, который выявил в данных набор логических правил, характерных для класса «Эмоции». Ниже приводится наиболее выразительное логическое правило: Fp2_2 > 1.52 AND Fp2_4 <= 1.22 AND Fp2_2 > 3.2 AND Fp2_3 > 0.73 AND Fp2_3 <= 1.93: эмоции (176.0/61.0) Для этого правила в классе «Эмоции» наблюдается почти троекратное превышение частоты встречаемости выявленного паттерна над частотой его встречаемости в других классах. Результат работы Answer Tree Лучший результат показал алгоритм CHAID, который строит дерево решений с использованием множественного ветвления с использованием критерия хи-квадрат. Один из листов построенного дерева продемонстрировал пятикратное (176/35) превышение частоты встречаемости паттерна в классе «Эмоции» над частотой встречаемости этого паттерна в других классах. Результат работы Argos Data Mining Наша авторская разработка - программа Argos Data Mining - выявила в данных динамических спектров ЭЭГ весьма большое количество паттернов, характерных для класса «Эмоции». Ниже мы проиллюстрируем результат работы этой программы на характерном примере одного паттерна, обозначенного идентификатором «Rule 1»: Rule 1: Если Fp2_1 <= 0.01 И Fp2_3 <= 0.14 И Fp2_4 <= 0.13 И Fp2_5 <= 0.098 И Fp2_6 <= 0.94 То Class=эмоции Частота встречаемости паттерна «Rule 1» классе «Эмоции» более чем в 5 раз превышает частоты встречаемости этого паттерна в других классах. Таблица 22 Частота паттерна «Rule 1» в разных классах Класс Паттерн Итого нет да глаза_закрыты 1345 2 1347 релакс 8361 81 8442 эмоции 8003 439 8442 Итого 17709 522 18231 Паттерн «Rule 1» по-разному «работает» у разных испытуемых. Наиболее ярко он выражен у испытуемого № 1. Таблица 3 Частота паттерна «Rule 1» в разных классах у испытуемого № 1 Класс Частота паттерна глаза_закрыты 1 релакс 10 эмоции 253 Итого 264 На втором месте по выраженности паттерна «Rule 1» в классе «Эмоции» стоит испытуемый № 2. Таблица 4 Частота паттерна «Rule 1» в разных классах у испытуемого № 2 Класс Частота паттерна глаза_закрыты 1 релакс 16 эмоции 105 Итого 122 И, наконец, наименее выражен в классе «Эмоции» паттерн «Rule 1» у испытуемой № 3. Таблица 5 Частота паттерна «Rule 1» в разных классах у испытуемой № 3 Класс Частота паттерна глаза_закрыты 0 релакс 55 эмоции 81 Итого 136 Сравнительная динамика паттернов Эффективность найденного паттерна «Rule 1» иллюстрируется динамикой этого паттерна в скользящем по динамическому спектру окне. Выберем величину окна, например, 100 спектров. В этом окне мы будем подсчитывать частоту встречаемости паттерна «Rule 1» и для сравнения будем подсчитывать среднее значение показателя FP2_5, информативность которого определена по результатам традиционного дисперсионного анализа. У испытуемого № 1 в окне 100 спектров частота «Rule 1» достигает значения 20 в классе «эмоции», и только максимального значения 3 в других классах. Для среднего значения FP2_5 в окне эта разница гораздо менее значительна. У испытуемого № 2 паттерн «Rule 1» встречается с частотой до 12 в классе «Эмоции», а в другие классах эта частота едва достигает значения 3. Порог, с которым нужно сравнивать частоту «Rule 1» для определения эмоциональной реакции, для первого и второго испытуемого можно выставлять равным 4 - превышение такого порога будет служить эффективным индикатором эмоционального воздействия. Вместе с тем, среднее значение FP2_5 в классе «Эмоции» у второго испытуемого мало отличается от значения в других классах. У третьей испытуемой паттерн «Rule 1» не столь информативен. И даже наоборот, оказалось, что показатель среднего значения FP2_5 здесь более выразителен. Выводы 1. В динамических спектрах ЭЭГ содержится информация, отражающая эффект эмоционального воздействия на испытуемых набором специально подобранных видеоклипов. 2. Продуктивной для выявления в ЭЭГ связанных с событиями потенциалов зарекомендовала себя процедура препроцессинга ЭЭГ, включающая сглаживание, дифференцирование, селекцию эпох ЭЭГ и переход к автонормированным периодограммам. 3. Все примененные виды статистического исследования (дисперсионный анализ и поиск логических закономерностей в многомерных данных средствами ИАД) позволили выявить в экспериментальном материале статистически достоверные закономерности, характерные для различных классов ЭЭГ. 4. Наиболее эффективно для выявления информативных паттернов зарекомендовали себя методы интеллектуального анализа данных и, в частности, авторская программа Argos Data Mining. 5. Использование методов интеллектуального анализа данных позволяет находить в динамических спектрах ЭЭГ паттерны, частота встречаемости которых при визуальном эмоциональном воздействии в несколько раз превышает такую частоту при предъявлении испытуемым эмоционально нейтральных видеоклипов. 6. Для выявления реакции испытуемых на видеоклипы с эмоционально насыщенным содержанием оказалось достаточно анализировать ЭЭГ сигнала всего с одного отведения FP2. По-видимому, дополнительный анализ ЭЭГ сигналов с других отведений будет способствовать более оперативному и точному выявлению эмоциональной реакции. 7. Реакции испытуемых на видеоклипы с эмоционально насыщенным содержанием носят как общий, так и индивидуальный характер. Общее для всех испытуемых - характерная реакция ЭЭГ на отведении FP2. Вместе с тем, у испытуемой женского пола в отличие от испытуемых мужского пола эта реакция менее выражена. Для более четкой фиксации реакции у испытуемой женского пола, по-видимому, следует использовать комбинированный показатель - подсчет частоты встречаемости информативного паттерна в скользящем окне динамического спектра, дополненный вычисленным средним значением в окне FP2_5.

About the authors

Viacheslav Anatolievich Diuk

Federal State Budgetary Research Institute Saint Petersburg Institute of Informatics

Leading Researcher, Saint Petersburg Institute of Informatics and Automation of RAS

Mikhail Romanovich Kravchik

Federal State Budgetary Research Institute Saint Petersburg Institute of Informatics

postgraduate student, Saint Petersburg Institute of Informatics and Automation of RAS

Yuri Igorevich Senkevich

Federal State Budgetary Research Institute Saint Petersburg Institute of Informatics

Leading Researcher, Saint Petersburg Institute of Informatics and Automation of RAS

References

Supplementary files