Обработка и анализ данных для контроля согласия наблюдателей

Особенностью наблюдения вообще является невозможность полной «объективности» - то есть нельзя достичь такой ситуации, чтобы индивидуальные особенности наблюдателя совсем не влияли на результат наблюдения. В частности, при наблюдении по схеме Р. Бейлза как вычленение отдельных актов из целостного процесса группового взаимодействия, так и отнесение этих актов к той или иной категории, являются субъективными действиями наблюдателя. Одним из способов повышения объективности результатов наблюдения является параллельная работа нескольких наблюдателей.

На этапе обучения наблюдателей возможны обсуждения, которые позволяют приходить к согласованным решениям о вычленение поведенческих актов и их отнесении к категориям. При наблюдении для получения данных о процессе взаимодействия в ходе дискуссии наблюдатели работают независимо, но затем их результаты сравниваются. В случае значительных расхождений в результатах всех наблюдателей может быть сделан вывод об их недостаточной объективности.

Для контроля согласия результаты всех наблюдателей сравниваются попарно. Исходными данными для сравнения являются итоговые частоты, отражающие общее число актов, отнесенных наблюдателем к каждой категории (итоговая строка в таблице 2 или 3).

Для оценки согласованности результатов двух наблюдателей в схеме Р. Бейлза используют коэффициент ранговой корреляции Спирмена или коэффициент различий. В коэффициенте ранговой корреляции сравниваются только общие предпочтения в использовании той или иной категории. При этом значительная часть информации о расхождениях в результатах наблюдателей не влияет на итоговое значение коэффициента корреляции. В то время как коэффициент различий более чувствителен к расхождениям в результатах наблюдателей. Поэтому мы рассмотрим использование для контроля согласия наблюдателей только коэффициента различий.

Для сравнения результатов двух наблюдателей их итоговые данные по представленности категорий переносятся в одну таблицу (см. таблица 4, строки 1, 2). Для каждой категории находится абсолютная величина (модуль) разности между соответствующими значениями и максимальное из сравниваемых значений. Результаты заносятся в соответствующие клетки третьей и четвертой строк таблицы 4. По строкам 3 и 4 находятся суммы по всем категориям. Коэффициент различий находится по формуле (3.1), где i «пробегает» по всем категориям. Чем меньше полученное значение коэффициента различия, тем более согласованы данные наблюдателей.

. (3.1)

Таблица 4. Данные для расчета коэффициента различий

Если в наблюдении принимают участие N наблюдателей, то для полного анализа согласованности их результатов необходимо рассчитать N*(N–1)/2 коэффициентов различий. Для их сводного представления удобно использовать матрицу парных сравнений – квадратную таблицу, в которой каждая строка и каждый столбец соответствуют одному наблюдателю, а в ячейках записываются соответствующие коэффициенты (различий или корреляции). Такая таблица всегда симметрична относительно диагонали.

При анализе согласованности результатов конкретного наблюдателя с остальными важно обращать внимание на следующие вопросы.

o Каковы коэффициенты различий, относящиеся к этому наблюдателю, по сравнению со всеми остальными – примерно на том же уровне, в целом несколько выше или несколько ниже?

o Каков разброс между максимальным и минимальным коэффициентом?

o С кем из наблюдателей различия максимальны? Какие категории вносят в эти различия наибольший вклад (соответствуют максимальным разностям между индивидуальными значениями)?

o Есть ли одна или несколько категорий, по которым разности между индивидуальными значениями достаточно велики при сравнениях со всеми наблюдателями? Наличие такой тенденции позволяет сделать вывод об индивидуальных особенностях наблюдателя – систематическом предпочтении или «пропускании» какой-либо категории, что важно учитывать в последующих наблюдениях.