Главная | Обратная связь | Поможем написать вашу работу!
МегаЛекции

Выпускная квалификационная работа бакалавра и магистерская диссертация: общее и особенное 6 глава




Обследование было повторено через четыре года. Отклонения оказались незначительными, что подтвердило истинность полученных результатов в области влияния культурных различий на отношение работников к труду.

Источник: Пью Д.С., Хиксон Д. Дж. Исследователи об организациях. Хрестоматия. – Жуковский: МЦДО ЛИНК, 1997. С. 95 – 100.

 

Как следует из отступления 1.22 объем выборки чрезвычайно большой. Но, несмотря на это, по структуре выборка была похожа на компанию, что позволяет судить об истинности полученных в ходе обследования результатов.

Различия между количественными и качественными исследованиями кроются в характеристике собранных данных, а, следовательно, и в получаемых выводах, заключениях. Количественные исследования предполагают работу с большими выборками, которые позволяют определять количественные зависимости одних параметров от других. Качественные исследования ориентированы на выявление скрытых качественных параметров исследуемой области. Они, обычно, проводятся на небольших выборках в форме разнообразных опросов: фокус-группы, глубинные интервью, др. Фокус-группа представляет собой специально подобранную группу людей (от восьми до двенадцати человек), которые хорошо разбираются в содержании изучаемой проблемы и с ними проводится семинар продолжительностью до полутора часов, в ходе которого и выясняются их отношения к ней. Глубинное интервью – это тоже беседа исследователя, но с одним человеком, с целью глубокого проникновения в существо решаемой проблемы. И фокус-группа, и глубинное интервью являются неструктурированными опросами, проводимыми с целью установления некоторых качественных параметров предмета исследования.

Представленные выше методы сбора данных составляют основу создания информационной базы для применения других методов научных исследований в поиске скрытых сущностных характеристик предмета исследования. Очевидно, что их применение должно быть профессиональным и качественным. Если на этапе сбора данных будут допущены ошибки, то, естественно, они начнут «путешествовать» и дальше, и в конечном итоге полученное новое знание не будет истинным. О том, как можно обеспечить высокое качество данных, речь идет в параграфе 1.11.

Экспертным опросам и оценкам, как разновидности опросов вообще, посвящен параграф 1.12.

 

Беляев В.В.

1.11. Ошибки, возникающие в процессах сбора данных и оказывающие влияние на качество результатов исследования

 

Качество результатов научного исследования зависит от разных причин, порождающих ошибки. Обычно большая часть ошибок свершается в начале исследований. В таких случаях ошибка, если она своевременно не выявлена и не устранена, распространяется, как метастаза, по всем стадиям исследования (см. рис. 1.10) и, продолжая оставаться незамеченной и увеличивая от стадии к стадии свою разрушительную силу, приводит, в конечном итоге, к результатам, которые в своем практическом применении приводят к тяжелым последствиям. Здесь, как показано выше на рисунках 1.8 и 1.9, низкое качество на входе в систему исследования приводит и к низкому качеству на ее выходе. Системный подход в таких случаях рекомендует обеспечивать высокое (или, хотя бы, приемлемое) качество входных действий и ресурсов. Применительно к научным исследованиям эта рекомендация выражается в обеспечении высокого качества собираемых вторичных и первичных данных, ибо этот сбор и есть вход в систему, если исследование представить в системных понятиях.

Ошибки в сборе данных могут появляться при применении любого из указанных на рисунке 1.10 методов.

При работе исследователя с источниками вторичных данных могут возникать ошибки, обусловленные известными недостатками этой категории собираемых им сведений. Причем, такого рода ошибки появляются не только (а иногда и не столько) собственно при сборе вторичных данных, но и в процессах их первичной обработки, интерпретации. Так, в частности, поскольку вторичные данные, обычно, отражают ситуацию о прошедшем, у исследователя возникает необходимость в допущениях, в приближении данных о прошлом к современным условиям, что может приводить и к появлению ошибок. Кроме того, исследователь не всегда осведомлен о точности и достоверности вторичных данных, что также приводит к появлению ошибок в его выводах, заключениях, сделанных на основе этих вторичных данных. Еще одна разновидность ошибок при работе исследователя с вторичными данными может быть обусловлена тем, что собранные им данные не всегда и не во всем соответствуют предмету и объекту исследования. Здесь опять возникает проблема допущений, что и приводит к появлению ошибок. И, наконец, большой объем вторичных данных, как неизбежный атрибут этой категории интересующих ученого сведений, при работе с ним всегда вызывает утомление исследователя, что и приводит к появлению ошибок.

С целью избежания, или, хотя бы, ослабления ошибок, которые могут появляться (и появляются) в процессах сбора и обработки вторичных данных, нужно, получаемые на их основе выводы всегда проверять и перепроверять на основе первичных данных, в ходе сбора которых, однако, также могут появляться (и появляются) свои ошибки.

В достаточной степени проработанными в теории и на практике являются ошибки, связанные со сбором первичных данных в выборочных совокупностях. Наиболее распространенными из них являются ошибки, связанные с неточным обоснованием выборок при проведении опросов и с низким качеством опросных листов (анкет). Такого рода ошибки можно подразделить на четыре вида [22, с. 57 – 60]:

1) неизбежная ошибка выборки;

2) систематическая ошибка выборки;

3) ошибка измерений;

4) отсутствие ответов в опросных листах.

Выборочные обследования предпочитают переписям в силу их относительной дешевизны, а также небольших сроков, требующихся на проведение опросов, и более высокой эффективности. Но, поскольку опросу подвергаются не все представители генеральной совокупности, результаты всегда будут отклоняться от реального положения дел. Это обстоятельство обусловливается тем, что представители некоторых структурных частей генеральной совокупности не попадают в выборку. Следствием этого является неизбежное искажение результатов.

Систематическая ошибка выборки возникает в тех случаях, когда из той части генеральной совокупности, которая предназначается для осуществления выборки и в зарубежных литературных источниках называется основой, преднамеренно исключают некоторые структурные элементы, которые исследователи воспринимают, как несущественные и, в целях облегчения и удешевления исследования, абстрагируются от них. В результате такого абстрагирования в основу могут не войти именно существенные элементы. Следствием же будет ошибка.

Ошибки измерений возникают в силу того, что исследователь неверно, неточно или непонятно для респондентов сформулировал шкалы ответов в закрытых вопросах опросных листов (анкет). В результате в опросные листы (анкеты) просочились ошибки. Их суть заключается в том, что полученные ответы не соответствуют мнениям и суждениям тех людей, которые отвечали на такие вопросы.

Ошибки, связанные с отсутствием ответов на вопросы анкеты (опросного листа), обусловливаются либо тем, что вопрос сформулирован в такой форме, что респондент не хочет на него отвечать, либо тем, что респондент не понял смысла вопроса и не знает, как ответить на него.

Наряду с ошибками, обусловленными различного рода неточностями в подготовке выборочных обследований, при сборе данных часто появляются и другие ошибки, причины которых заключаются в следующем:

1) опрашиваемые не понимают целей и назначения научных исследований и при ответах на вопросы искажают действительное положение вещей;

2) исследователи на стадии сбора данных не могут оценить их точность, достоверность и другие параметры качества получаемых данных;

3) исследователи берутся за разработку неактуальных либо несоответствующих их возможностям тем.

Если респонденты, как объекты внимания исследователя, не понимают существа задаваемых им вопросов, они могут быть неискренними. Во-первых, потому, что могут опасаться каких-либо последствий, а, во-вторых, в силу своих заблуждений, вызываемых непониманием. Невозможность оценить точность и достоверность собираемых данных касается не только работы исследователя с выборками, но и при проведении им наблюдений, экспериментов, др. Из этого однозначно следует – при подготовке сбора данных тем или иным методом, исследователь должен продумать и механизм оценки точности и достоверности собираемых данных. Что касается неактуальности тем исследования, то здесь все просто: затраты на исследование окажутся напрасными. То же самое можно сказать и про исследования, которые, по каким-либо причинам, оказались исследователю не под силу.

Таким образом, готовясь к исследованию и продумывая его методологию, ученый должен тщательно выстраивать и систему сбора данных, как вторичных, так и первичных, их проверки на точность и достоверность, с тем, чтобы ошибки на входе не привели его к более тяжелым последствиям при формулировании выводов, заключений. Нужно помнить, что избежать всех ошибок при проведении исследований никак нельзя, но знать о том, как они появляются, и оценить степень их влияния на результат, не только возможно, но и необходимо. Знание степени влияния неизбежных ошибок на результат научных исследований позволяет исследователю не только оценивать степень их искажения, но и вырабатывать рекомендации по применению этих результатов на практике с учетом установленных им параметров погрешностей.

 

Лобова С.В.

Было бы неплохо, если бы все свои параграфы прочитала Лобова С.В.
1.12. Экспертные оценки в научных исследованиях

В экономических исследованиях довольно часто применяется метод экспертных оценок (МЭО), который представляет собой получение первичных данных путем проведения экспертных опросов. Термин «эксперт» происходит от латинского слова expertus, что означает «опытный». Привлекаемые для применения метода эксперты служат своего рода «измерительными прибо­рами» для получения количественных оценок процессов и сужде­ний, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению. Продуктивность данного метода объясняется тем, что в качестве элемента осмысления исследуемого явления выступает целостное мировоззрение эксперта, что более полно использует эвристический потенциал человека. Сам процесс интеграции разрозненных данных в целостную картину социально-экономического явления может осуществляться многослойно: на начальном этапе, на уровне индивидуальной оценки эксперта, впоследствии в процессе общения и выработки единой концепции явления. Эффективность экспертных методов значительно возрастает за счет рефлексивных процедур, осуществляемых в процессе исследования, когда один эксперт, знакомясь с мнениями других, корректирует свою позицию, либо находит дополнительную аргументацию в ее защиту. Сила экспертных методов не в расширении информационной базы исследования, а в правильной организации процесса оценивания и общения экспертов, в ходе которого происходит не только количественное уточнение, но и качественное обогащение представлений о процессе за счет генерации новых идей.

Экспертные методы относятся к достаточно экономичным и универсальным методам, так как могут быть использованы, как уже указывалось выше, на разных стадиях исследования, начиная от сбора данных до их интерпретации.

Экспертные оценки можно получить путем непосредственного контакта организаторов с экспертами или заочно, на основе индивидуального или коллективного опроса в письменном (путем заполнения таблиц, анкет) или устном изложении (интервью, участие в дискуссии). Сама экспертная процедура может включать один тур, некоторое фиксированное число туров (два, три,…) или неопределенное число туров, а эксперты могут не общаться между собой, общаться заочно анонимно или без анонимности, очно общаться с наложением ограничений или без таковых.

 

Отступление 1.23. Экспертные оценки. Как это бывает

Индивидуальные оценки – это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач – диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению – симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация – в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода – военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: «Давать или не давать французам сражение под Москвой?».

Другой простейший пример экспертных оценок – оценка номеров в КВН. Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже увидим, что такой подход некорректен с точки зрения теории измерений).

В фигурном катании процедура усложняется – перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены. …

Реальные экспертизы часто представляют собой комбинации различных … типов экспертиз. В качестве примера рассмотрим защиту студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате студент подготавливает проект к защите. Затем два эксперта работают заочно – это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы – один пишет подробный отзыв, второй росписью на титульном листе проекта разрешает его защиту. Наконец – очная экспертиза без ограничений (для членов ГАК – государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом один из экспертов (научный руководитель) знает работу подробно, а остальные – в основном лишь по докладу. Отметим, что мнения экспертов учитываются с весами, а именно, мнения членов ГАК – с весом 1, мнения всех остальных – с весом 0 (совещательный голос). Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.

Орлов А.И. Теория принятия решений. Учебное пособие. – М.: Издательство «Март», 2004 // http://www.aup.ru/books/m157/3_4_1.htm

Преимущество использования коллективных экспертных оценок перед индивидуальными основано на возможности получения «синергического» эффекта: в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, и, как правило, содержит в себе «истинный» ответ.

Важным этапом экспертного опроса является разработка анкет (вопросников) и подготовка инструментария, необходимого для проведения экспертного метода. Разработке анкет следует уделить особое внимание. Они содержат перечень вопросов, позволяющих оценить анализируемый объект, явление и т.д. и тем самым достичь конечной цели.

Форма и содержание вопросов должны соответствовать следующим требованиям:

§ должна использоваться общепринятая терминология в формулировках вопросов;

§ в формулировках не должно содержаться смысловой неопределенности;

§ вопросы должны обеспечивать единственное толкование;

§ последовательность вопросов должна соответствовать структуре объекта анализа исследуемого предмета, явления.

Это означает, что исследователь-организатор экспертного опроса, подготавливающий анкету, должен быть хорошо знаком с изучаемой проблемой и объектом анализа, а также с методами составления анкет.

К экспертным оценкам предъявляются требования достоверности и экономичности. Достоверность является функцией количества экспертов, их уровня квалификации и деловых качеств. Поэтому одной из основных задач при подборе экспертов является определение оптимального их количества в условиях ограниченности затрат на получение результатов надлежащей достоверности.

Определение минимально допустимого количества экспертов представляет собой задачу высокой сложности и особой актуальности. Но в последнее время предложен ряд подходов, позволяющих с приемлемой точностью решать эту задачу. Основными из них являются неформализованный и формализованный.

При использовании неформализованного подхода к формированию экспертной группы вначале определяется примерное число будущих экспертов. Малочисленность группы не позволяет обеспечить достаточную статистическую достоверность их выборочной оценки. Кроме того, при небольшом числе представителей экспертной группы на общую групповую оценку существенное влияние оказывают индивидуальные оценки экспертов. Многочисленная группа так же имеет свои недостатки. В ней бывает трудно выявить согласованное мнение экспертов, возрастает взаимозависимость высказываемых мнений, возникают организационные трудности проведения экспертного исследования, увеличиваются затраты времени и денежных средств на проведение оценки качества. Для выхода из этого противоречия можно использовать так называемый метод «снежного кома». Первоначальный список потенциальных экспертов составляют организаторы экспертного опроса. Затем каждый из числа отобранных лиц рекомендует специалистов, способных дать заключение по каждому вопросу проводимого исследования. Получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Последние в свою очередь дают рекомендации о включении в данный список других экспертов. Процесс составления экспертной группы осуществляется путем проведения некоторого числа последовательных итераций. Расширение списка останавливается после стабилизации совокупности рекомендуемых экспертов, на итерации, на которой список потенциальных экспертов перестает пополняться новыми специалистами, то есть когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. При отборе экспертов нужно руководствоваться определенными требованиями (см. отступление 1.24).

 

Отступление 1.24. Требования к участникам экспертизы

Основные требования, предъявляемые к участниками экспертизы, для получения качественного результата их работы:

§ высокий уровень общей эрудиции;

§ высокий квалификационный (профессиональный) уровень в оцениваемой области;

§ способность перспективно мыслить;

§ восприимчивость инноваций;

§ отсутствие субъективизма в отношении практического применения оцениваемой идеи;

§ наличие производственного, исследовательского опыта в данной области.

Источник: http://manage.ru/management/manman/09-2.shtml. - Корпоративный менеджмент

 

Формализованный подход к формированию экспертной группы и определению численности и состава ее участников основан на расчете минимальной и максимальной границ численности экспертов, включаемых в состав группы. Формализованный подход позволяет избежать определенных ошибок субъективизма, которые могут иметь место при применении неформализованного подхода. Его применение требует выполнения определенных условий.

Первое условие используется для того, чтобы определить максимальную численность экспертной группы .

 
 

 


где с – константа; kmax – максимально возможная компетентность по используемой шкале компетентности; ki – компетентность i -го эксперта.

Условие максимальной численности экспертов предполагает, что при наличии специалистов, обладающих наибольшей компетентностью, среднее значение их оценок можно считать «истинным». Константа определяется путем простого голосования. Группа считается избранной при 2/3 голосов присутствующих, отданных за ее избрание. Исходя из этого константа «с» принимается также равной 2/3.

 
 

Таким образом, максимальная граница численности экспертной группы:

 

Коэффициент компетентности складывается из следующих параметров: результаты тестирования, отношение к экспертизе, информированность по данному вопросу, включающая в себя знакомство с отечественными и зарубежными источниками, практический и теоретический опыт, а также интуицию.

После этого определяется минимальная граница численности экспертной группы с учетом второго условия – стабилизации средней. Оно отражает факт незначительного влияния состава экспертной группы, а именно, включения и исключения из нее какого-либо специалиста, на среднее значение оценки выполнения требований или формализованном виде:

 

где – средняя оценка прогнозируемого показателя в баллах, данная экспертной группой; – средняя оценка, данная экспертной группой с измененным составом (при включении или исключении из нее какого-либо одного эксперта); – максимально возможная оценка выполнения требований по принятой шкале оценок; – заданная величина изменения средней ошибки при включении или исключении из группы одного эксперта.

Величина средней ошибки имеет наибольшую чувствительность к оценке самого компетентного эксперта, который поставил наибольший балл при и наименьший при .

Следовательно, для проверки выполнения неравенства условия стабилизации средней, из группы следует исключить одного эксперта. В зависимости от допустимой величины средней ошибки минимальное число экспертов в группе можно определить по формуле:

 

 

Окончательно же группа формируется путем последовательного исключения малокомпетентных экспертов при соблюдении условия:

 

 

где – задаваемая величина границ допустимого отклонения компетентности i -го эксперта от максимальной величины.

Одновременно в группу могут быть включены новые потенциальные эксперты. Таким образом, численность группы устанавливается в пределах:

 

Для применения формализованного метода учитывают два условия: высокую среднюю компетентность групп экспертов и стабилизацию средней оценки выполнения требования организатора исследования.

Значимым вопросом при использовании МЭО на практике является оценка уровня квалификации и деловых качеств экспертов. Такая оценка необходима для учета значимости мнения каждого эксперта и их влияния на общий результат.

Для определения компетентности потенциальных экспертов и их соответствия перечисленным требованиям используется субъективный и объективный подходы. При первом осуществляется самооценка будущего эксперта, при втором – его опыт и результаты прошлой деятельности изучаются специалистом или их группой (см. отступление 1.25).

 

Отступление 1.25. Компетентность экспертов: проблемы оценки

Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в предыдущих экспертизах – хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких – нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие «компетентность» строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3 – 4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они «вместе пуд соли съели». Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный «говорун» может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии.

Источник: Орлов А.И. Теория принятия решений. Учебное пособие. - М.: Издательство «Март», 2004 // http://www.aup.ru/books/m157/3_4_1.htm

 

Оценка уровня квалификации и деловых качеств специалистов с учетом прошлого опыта может иметь место в том случае, если они регулярно привлекаются в качестве экспертов. Однако необходимость экспертной оценки возникает периодически, и, кроме того, не представляется возможным иметь постоянный состав экспертов.

Самооценка экспертами своего уровня квалификации и деловых качеств является слабо отработанным приемом и требует от организаторов проведения самой тщательной подготовки, наличия большого опыта и высокой квалификации. Кроме того, эксперты могут сознательно занижать или, наоборот, завышать оценку уровня квалификации и деловых качеств, что в целом искажает результат экспертной оценки.

Наиболее доступной и достоверной среди существующих является методика определения уровня квалификации и деловых качеств экспертов с помощью специальных опросных анкет. При этом в анкетах отдельных групп экспертов-практиков и исследователей вводятся характеристики, каждая из которых имеет определенные градации. Перечень как характеристик, так и их градаций уточняется, а затем значимость последних ранжируется экспертами. Ранжирование градации характеристик, оценивающих уровень квалификации и деловые качества экспертов, осуществляется по баллам от 0 до 10 включительно (не обязательно только целыми). Причем в рамках одной характеристики различные градации могут иметь одинаковые веса.

На основе средних балльных оценок градации рассчитываются поправочные коэффициенты (Кn и Kи), значения которых умножаются на ответ каждого отдельного эксперта в зависимости от его конкретных характеристик:

 

 

где Кn и Ки – коэффициенты, характеризующие уровень квалификации и деловых качеств каждого эксперта-практика и эксперта-исследователя; и – средние экспертные оценки, характеризующие стаж работы эксперта-практика и эксперта-исследователя в исследуемой сфере; – средние экспертные оценки, характеризующие стаж работы эксперта-практика в занимаемой должности; – средние экспертные оценки, характеризующие уровень образования эксперта; – средние экспертные оценки, характеризующие должность эксперта-практика; – средние экспертные оценки, характеризующие квалификацию эксперта-практика; – средние экспертные оценки, характеризующие стаж исследовательской деятельности; – средние экспертные оценки, характеризующие ученую степень эксперта-исследователя; – средние экспертные оценки, характеризующие академическое звание эксперта-исследователя; – средние экспертные оценки, характеризующие значимость научных трудов эксперта-исследователя.

Поделиться:





Воспользуйтесь поиском по сайту:



©2015 - 2024 megalektsii.ru Все авторские права принадлежат авторам лекционных материалов. Обратная связь с нами...