Надежность и достоверность измерения маркетинговой информации

Описанные выше способы построения шкал не дают полного представления о свойствах полученных оценок - необходимы дополнительные процедуры для выявления присущих этим оценкам ошибок. Назовем это проблемой надежности измерения. Данная проблема решается путем выявления правильности измерения, устойчивости и обоснованности.

При изучении правильности устанавливается общая приемлемость используемого способа измерения (шкалы или системы шкал). Непосредственно понятие правильности связано с возможностью учета в результате измерения различного рода систематических ошибок. Систематические ошибки имеют некоторую стабильную природу возникновения: либо они являются постоянными, либо меняются по определенному закону. Возможно, что последующие этапы окажутся излишними, если в самом начале выяснится полная неспособность данного инструмента на требуемом уровне дифференцировать изучаемую совокупность - иначе говоря, если окажется, что систематически не используется какая-то часть шкалы либо та или иная градация шкалы или вопроса. И наконец, возможно, что исходный признак не обладает дифференцирующей способностью в отношении объекта измерения. Прежде всего нужно ликвидировать или уменьшить такого рода недостатки шкалы и только затем использовать ее в исследовании.

Устойчивость характеризует степень совпадения результатов измерения при повторных применениях измерительной процедуры и описывается величиной случайной ошибки (чаще всего используется средняя квадратическая ошибка). Она определяется постоянством подхода респондента к ответам на одинаковые или подобные вопросы. Существует несколько методов оценки устойчивости измерений: повторное тестирование; включение в анкету эквивалентных вопросов, т.е. вопросов по той же проблеме, но сформулированных по-другому, и разделение выборки на две части (сравнение ответов на вопросы двух групп респондентов).

Наиболее сложный вопрос надежности измерения - его обоснованность. Обоснованность связана с доказательством того, что измерено вполне определенное заданное свойство объекта, а не некоторое другое, более или менее на него похожее. Обоснованность данных измерения - это доказательство соответствия между тем, что измерено, и тем, что должно было быть измерено. В отличие от правильности и устойчивости, которые могут быть измерены достаточно строго и выражены в форме числового показателя, критерии обоснованности определяются либо на основе логических рассуждений, либо на основе косвенных показателей. Обычно применяется сравнение данных одной методики с данными других методик или исследований.

При установлении надежности следует иметь в виду, что в процессе измерения участвуют три составляющие: объект измерения, измеряющие средства, с помощью которых производится отображение свойств объекта на числовую систему, и субъект (интервьюер), производящий измерение. Предпосылки надежного измерения кроются в каждой отдельной составляющей.

Прежде всего, когда в качестве объекта измерения выступает человек, то он в отношении измеряемого свойства может обладать значительной степенью неопределенности. Так, зачастую у респондента нет четкой иерархии жизненных ценностей, а следовательно, нельзя получить и абсолютно точные данные, характеризующие важность для него тех или иных явлений. Он может быть плохо мотивирован, вследствие чего невнимательно отвечает на вопросы. Однако только в последнюю очередь следует искать причину ненадежности оценок в самом респонденте.

С другой стороны, может быть, что способ получения оценки не в состоянии дать максимально точных значений измеряемого свойства. Например, у респондента существует развернутая иерархия ценностей, а для получения информации используется шкала с вариациями ответов только "очень важно" и "совсем не важно". Как правило, из приведенного набора все ценности помечаются ответами "очень важно", хотя реально у респондента имеется большее число уровней значимости.

Наконец, при наличии высокой точности первых двух составляющих измерения субъект, производящий измерение, допускает грубые ошибки; нечетко составлены инструкции к анкете; интервьюер каждый раз по-разному формулирует один и тот же вопрос, используя различную терминологию.

Каждая составляющая процесса измерения может быть источником ошибки, связанной либо с устойчивостью, либо с правильностью, либо с обоснованностью. Однако, как правило, исследователь не в состоянии разделить эти ошибки по источникам их происхождения и поэтому изучает ошибки устойчивости, правильности и обоснованности всего измерительного комплекса в совокупности.

В процессе измерения иногда возникают грубые ошибки, причиной которых могут быть неправильные записи исходных данных, плохие расчеты, неквалифицированное использование измерительных средств и т.п. Это обнаруживается в том, что в рядах измерений попадаются данные, резко отличающиеся от совокупности всех остальных значений. Чтобы выяснить, следует ли эти значения признать грубыми ошибками, устанавливают критическую границу, так чтобы вероятность того, что крайние значения превысят ее, была бы достаточно малой. Для этого используются специальные статистические критерии определения грубых ошибок [8].

Очевидно, что в процессе проведения разными фирмами разнообразных и многочисленных маркетинговых исследований имеет место последовательная адаптация шкал измерений и методик их проведения под цели и задачи конкретных маркетинговых исследований. Это облегчает решение задач, рассмотренных в данном разделе, и делает представленные здесь методы скорее необходимыми при проведении оригинальных маркетинговых исследований.

Достоверность измерений характеризует совершенно другие аспекты, чем надежность измерений. Измерение может быть надежным, но недостоверным. Последнее характеризует точность измерений по отношению к тому, что существует в реальности. Например, респонденту задали вопрос о его годовом доходе, который составляет менее 25 000 долларов. Не желая называть интервьюеру истинную цифру, респондент указал доход "более 10 000 долларов". При повторном тестировании он снова назвал данную цифру, демонстрируя высокий уровень надежности измерений. Но ложь не является единственной причиной низкого уровня достоверности измерений - можно также назвать неважную память, плохое знание респондентом действительности и т.п.

Часто для оценки достоверности измерений используется несколько различных методов или источников получения информации. Например, после письменного заполнения анкет ряду респондентов из первоначальной выборки дополнительно задаются те же вопросы по телефону. По схожести ответов судят о степени их достоверности.

Вопросы для повторения и обсуждения

1. Дайте определение количественным и качественным маркетинговым исследованиям; укажите, чем они отличаются друг от друга.
2. Что представляет собой метод наблюдений? Что наблюдается и что регистрируется в процессе его реализации?
3. Опишите по крайней мере три различных направления использования метода фокус-группы.
4. Каким путем формируется состав фокус-группы?
5. Должны ли члены фокус-группы быть похожими или непохожими друг на друга и почему?
6. Должен ли руководитель маркетинговой службы выступать в качестве ведущего в ходе работы фокус-группы?
7. Что означает определение "проекционный" в названии "проекционный метод"?
8. Руководитель маркетинговой службы вино-водочного завода озабочен низким уровнем потребления ликеров по сравнению с другой алкогольной продукцией завода. Помогите ему выбрать два проекционных метода для исследования этой проблемы и обоснуйте возможность их применения в данном случае.
9. Что такое измерение?
10. Чем объективное измерение отличается от субъективного?
11. Дайте определение четырем типам шкал и укажите типы информации, заключенные в каждой из них.
12. Каковы аргументы за и против использования нейтральной градации в симметричной шкале?
13. Что представляет собой шкала Лайкерта?
14. Какие компоненты определяют содержание понятия "надежность измерения"?
15. Какими недостатками может обладать используемая шкала измерений?
16. Какие методы оценки устойчивости измерений вы знаете?
17. Какие подходы к оценке уровня обоснованности измерений вы знаете?
18. Чем надежность измерения отличается от его достоверности?
19. В каких случаях исследователь должен оценивать надежность и достоверность измерения?
20. Спроектируйте шкалу измерений (обоснуйте выбор шкалы, число градаций, наличие или отсутствие нейтральной точки или градации; подумайте над тем, то ли вы измеряете, что планировали измерить) для следующих задач:

а) Фирма-изготовитель детских игрушек желает знать, как дошкольники реагируют на видеоигру "Поем с нами", в которой ребенок должен петь совместно с героями мультипликационного фильма.

б) Фирма-производитель молочных продуктов испытывает пять новых вкусовых добавок в йогурты и желает знать, как потребители оценят эти добавки с точки зрения степени их сладости, приятности и насыщенности вкуса.

Литература

1. Burns Alvin C., Bush Ronald F. Marketing Research. - New Jersey: Prentice Hall, 1995.
2. Kotler Philip. Marketing Management: Analysis, Planning, Implementation, and Control. - 9th Ed. - Prentice Hall, 1997.
3. Голубков Е.П. Маркетинговые исследования: теория, методология и практика. - 2-е изд. - М.: Финпресс, 2000.
4. Голубков Е.П. Основы маркетинга. - М.: Финпресс, 1999.
5. Евланов Л.Г. Теория и практика принятия решений. - М.: Экономика, 1984.
6. Мамыкин А.А. Стратегия и тактика маркетинга в Интернет//Маркетинг в России и за рубежом. - 2000. - № 2.
7. Пименов Ю.С. Использование Интернет в системе маркетинга//Маркетинг в России и за рубежом. - 1999. - № 1.
8. Рабочая книга социолога. - М.: Наука, 1977.
9. Черчилль Г.А. Маркетинговые исследования. - СПб.: Питер, 2000.

Приложение