Способы оценки качеств экспертов

Существуют различные, не противоречащие друг другу подходы к отбору экспертов. Одни авторы утверждают, что на практике применяют четыре основных метода отбора экспертов: на основании самооценки: на основании результатов прошлой экспертной дея­тельности: на основании определения компетентности: на основа­нии оценки группой каждого специалиста -кандидата. Другие авто­ры говорят об использовании в квалиметрии пяти групп способов, с помощью которых оценивается качество эксперта, причем каж­дый из этих способов, как отмечает Г. Г. Азгальдов, характеризует несколько свойств эксперта. К этим способам относят: эвристи­ческие метопы опенки, статистические метопы оценки, тестовые методы, документальные (рейтинговые) методы оценки, комбини­рованные методы опенки.

Эвристические методы оценки, к которым относятся методы самооценки и взаимооценки, основаны на предположении, что представление у окружающих экспертов о данном эксперте достаточно правильно отражает его качество.

Статистические методы оценки экспертов основаны на предположении, что показания эксперта как своеобразного измерительного прибора имеют случайную и систематическую погрешности. К этой груп­пе относятся: отклонение индивидуальной экспертной оценки от коллективной и воспроизводимость индивидуальной оценки через опре­деленный промежуток времени.

Тестовые методы - получение экспертных оценок в результате специальных испытаний экспертов.

Документальные (рейтинговые) методы оценки основаны на предположении о том, что некоторые документальные данные (характеристики) об эксперте могут характеризовать его качество как экспер­та. Например: содержание и количество публикаций, участие в между­народных семинарах и симпозиумах, стаж педагогической и научной деятельности.

Комбинированные методы оценки основаны на некоем обобщении оценок, полученных разными методами.

Независимо от метода, используемого для отбора группы экспертов, целесообразно уделить внимание вопросу ее состава. Принято считать, что в группах с однородным составом экспертов бывает меньше расхождений между собой, быстрее происходит процесс согласова­ния группового решения.

Однако факт взаимного влияния мнений экспертов может привести и к нежелательным последствиям. В связи с этим, эксперты, участвующие в работе комиссии, должны обладать способностью высказывать мнения, не зависящие от мнений признанных авторитетов, от мнения большинства, должны уметь отказаться от своего публично высказан­ного мнения при выработке нового взгляда на проблему. Такие требо­вания, естественно, создают значительные трудности при выборе экс­пертов для работы в комиссии.

В разнородных же группах эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок.

Понятие группового выбора, применительно к групповому экспертному оцениванию, не является средством замены индивидуального выбора неким коллективным образованием наподобие общественного мнения. В групповых решениях существенное значение имеют формирование на основе упорядочения объектов по их предпочтительносги коллективного заключения о групповом выборе и анализ индивидуаль­ных отклонений от него. При этом индивидуальное мнение не игнори­руется, а напротив, в случаях резкого отклонения от группового, ста­новится предметом специального рассмотрения.

Критерий большинства не должен исключать учета мнения меньшинства. Даже сугубо индивидуальное мнение, когда оно хорошо аргументировано, не должно быть потеряно при квалифицированном раз­боре принимаемых решений, особенно в процессе экспертизы. Инди­видуальные мнения, как правило, являются источником оригинальных предложений, столь необходимых для анализа нестандартных, неоче­видных ситуаций. Они незаменимы при оценке уникальных, индивиду­альных, специфичных разработок, опыта, деятельности. Индивидуаль­ные заключения особенно важны для экспертного определения вели­чины риска, поскольку индивид более чувствителен к опасности, не­жели коллектив.

Экспертное оценивание часто необходимо тогда, когда возникают неопределенные ситуации, допускающие множество альтернатив и возможностей. В таких случаях разброс экспертных оценок выражает не степень некомпетентности специалистов, а объективную многоликость явлений, в том числе вариабельность аксиологических характеристик. Это означает, что все экспертные заключения правомочны, и их стати­стическая обработка может определять лишь меры согласованности позиций экспертов. Что же касается группового выбора, то если он оказывается возможным, результат экспертизы выражает практичес­кий опыт экспертной группы, а не истину как таковую.

Индивидуальная экспертиза. На наш взгляд индивидуальные оцен­ки (индивидуальная экспертиза) предъявляют к эксперту особые, бо­лее высокие требования, нежели коллективные оценки (коллективная экспертиза), потому как при индивидуальной оценке выводы формулируются на основе суждения лишь одного эксперта. Совершенно оче­видно, что успех такой оценки в значительной степени зависит от спо­собности эксперта давать заключения по разным вопросам, требую­щим привлечения и общей эрудиции, как и специальных знаний (так как в большинстве своем педагогическая инновационная деятельность представляет собой совокупность самых различных направлений, школ, движений и т. п.).

Поэтому при выборе отдельного эксперта, прежде всего, должны приниматься во внимание соответствие сферы его компетентности задачам экспертизы, а также уровень квапифика^и эксперта в рассматриваемой области.

Экспертное оценивание рассматривается относительно двух основных форм экспертной работы: экспертного опроса (со всеми разновидностями от индивидуального интервью до коллективного генерирования идей и метода Дельфи) и диагностики, включая связанные с ней эксперт­ные системы в кибернетике. В любом случае опрос и диагностирование в качестве способов получения и распознавания информации входят в сферу экспертного оценивания как формы выбора и предпочтения, срав­нения и измерения, типологии и систематизации данных, моделирования и рационализации проблемных ситуаций экспертизы.

Квалифицированная экспертиза предполагает качественную и количественную оценку мнений экспертов и последующую математическую обработку ее результатов. Соответственно, экспертное оценива­ние может иметь многоуровневый характер: некоторые приемы срав­нения, измерения, систематизации, рационализации и другие могут применяться к самим оценкам, а не только к первичным данным, осо­бенно в ситуациях коллективного (группового) оценивания. В послед­нем случае ответы экспертов фиксируются, и таким образом строится их вероятностное распределение (27, 18).

В этой связи продуктивным способом организации групповой экспертизы является коллективное обсуждение индивидуального мнения, а точнее, выделение из экспертной группы наиболее квалифицированных, ав­торитетных экспертов в целях коррекции результирующих оценок.

Иначе говоря, при использовании экспертного оценивания возможны следующие ситуации:

1. Эксперты располагают надежной информацией, полученной в
процессе систематических эмпирических исследований (на основе
наблюдений, опросов, экспериментов), которая поддается измерени­ям и может быть апробирована контрольными проверками. В таком случае можно говорить о наличии определенного истинного результата, а
соответственно и знании (как продукта познания и осознания истины).

2. Имеется информация, оцениваемая лишь в пределах конкретной
ситуации. Применимость ее к другим обстоятельствам, будущим или
возможным событиям - проблематична, а надежность не всегда возможна. Такой случай может быть квалифицирован в познавательном
отношении как наличие некоего предположения (27, 26).

Определение сферы компетентности и уровня квалификации специалиста возможно путем разработки и совершенствования приемов взаимной оценки и самооценки этих профессиональных свойств специали­стов. Приемы самооценки квалификации специалистов должны быть рас­считаны на выработку количественной оценки уровня квалификации, и включать, прежде всего, показатели, характеризующие степень его участия в развитии рассматриваемой области. Анализ такой самооценки должен позволить делать более обоснованные заключения по результа­там экспертной оценки, выполненной каждым экспертом.

Назначение экспертов для проведения экспертизы инновационной проектной деятельности согласовывается и одобряется - с одной стороны экспертным советом, а с другой - авторами инновации.

Работа эксперта заключается в оценке (установлении качества) продукта по его характеристикам, для которых не существует объективно выработанного эталона. Оценивая инновацию, эксперт в большинстве случаев опирается на свое мнение о качестве, и, как предполагается, его ответ будет служить гарантией правильной и достоверной оценки.

В процессе рассмотрения состояния инновационного проекта эксперту предстоит понять, какой вид экспертизы подходит для ее оценки, каковы критерии этой оценки, какими средствами следует осуществлять оценку иннова­ции. В сложных инновационных проектах может наблюдаться отсутствие дос­таточной информации для прогнозирования результатов экспериментальной деятельности, невозможность определения подобных инновационных прак­тик и их сравнения. Поэтому необходимо привлечение квалифицированных специалистов-экспертов для проведения экспертизы различных вариантов про­гнозируемых результатов. Однако следует иметь в виду, что если сами экс­перты заинтересованы в результатах проекта, не исключено, что они могут сообщать не свое личное мнение, а такую информацию, которая приведет к принятию наиболее выгодного для них решения. Возможность такого искажения информации должна быть учтена в ходе проведения экспертизы.

При решении проблем нестандартных, связанных с прогнозированием s нестабильных условиях, должны участвовать эксперты высо­кой квалификации. Прогнозы, составленные экспертами средней ква­лификации, обычно основаны на традиционных привычных оценках. В ситуациях неопределенности, нестабильности они часто ошибочны. Высококвалифицированные специалисты оценят скрытые факторы и возможности появления новых тенденций.

На выбор группы (коллектива) экспертов оказывают влияние такие факторы, как соответствие суммарной сферы компетентности группы экспер­тов оцениваемой области, возможности прогнозистов по организации экс­пертизы с учетом затрат времени и средств на проведение опроса.

3.9. Критерии экспертизы

Критерии - зависимые переменные характеристики, которые предположительно являются наиболее адекватными для решения практических проблем.

Если считать, что задачей инновационной деятельности является прогнозирование и, в конечном счете, повышение эффективности деятельности образовательной системы, то базовыми критериями инновационной деятельности являются показатели эффективности деятельности на индивидуальном, групповом и организационном уровнях отдельного учреждения.

Критерий - признак, на основании которого производятся оценка, определение или классификация чего-либо; мерило оценки.

Критерии экспертной оценки определяются в соответствии с принципами и целями конкретной экспертизы. Существуют разные подходы к определению критериев экспертизы инновационных проектов.

Их состав определяется характером педагогических объектов, подлежащих экспертной оценке, наличием или отсутствием выработанных нормативов, мер, эталонов.

Некоторые авторы в качестве основных критериев выделяют реалистичность и реализуемость инновационного проекта.

В случае рассмотрения реалистичности инновации (эксперимента), совсем не предполагается рассматривать, насколько реально может существовать тот или иной инновационный проект. Главное - это определить, имеет ли он право на существование, насколько он соотносит­ся с ситуациями будущего, имеется ли в наличии прогноз с пошаговы­ми действиями, в которых будет осуществляться инновационный про­ект, или может ли он быть представлен. Другим критерием инноваци­онной деятельности является ее реализуемость (ресурсное обеспе­чение), которая рассматривается с учетом участников инновационного проекта; в данном случае возникает необходимость определить круг лиц, вовлеченных в инновационную проектную деятельность, для каж­дого из которых должно быть четко определено свое функциональное место, чем и будет обеспечиваться их включенность в реализацию идеи.

Мы рассмотрели один из подходов к критериям экспертизы инновационной деятельности. Гуманистичность инновационного проекта заключается в отражении в про­екте гуманистического мировоззрения, или же в представлении в нем раз­нообразной образовательной среды либо в его демократичности. Прорабо­танность инновационного проекта в качестве критерия предполагает наличие научного обоснования инновационной идеи и рассмотрение возможных пу­тей реализации проекта. Большую значимое имеет критерий возможного распространения представленной в проекте инновации, так как в данном случае наравне с возможностью ее распространения определяется и уровень инновации - подлежит ли она распространению на федеральном, регио­нальном, межрегиональном и местном уровнях, или возможно только ее частичное использование, или же инновация не подлежит распростране­нию, в связи с ос экстраординарностью, или она не представляет интереса.

На наш взгляд, достаточно полной и интересной является следующая классификация критериев экспертизы:

• общие критерии, позволяющие оценить значимость предлагаемого
проекта с точки зрения основных тенденций, целей и направлений развития и реформирования образования на разных уровнях его организации;

• специальные критерии, позволяющие оценить компетентность
автора и содержательность проекта с точки зрения его полноты, соответствия нормативным и понятийным требованиям;

• частные критерии, позволяющие оценить степень обоснованности проекта с точки зрения возможностей его воплощения и жизнеспособности (17).

Рассмотрим состав названных критериев. В состав общих критериев инновационного проекта входят следующие показатели: новизна (инновационность) проектной идеи, которая может заключаться в создании абсо­лютно нового, неизвестного до настоящего времени продукта или в совер­шенствовании существующей образовательной ситуации, в предложении альтернатив развитию инновационной идеи и т. п.; масштабность иннова­ционного проекта - какого уровня и какой значимости предполагаемый про­ект. Будет ли проект носить локальный характер, осуществляться на мест­ном уровне и иметь, соответственно, ценность на этом уровне, или инно­вационный проект предполагает изменение в образовательной практике на региональном, межрегиональном и даже федеральном уровнях.

Следующим показателем, относящимся к общим критериям, является системность инновационного проекта. В представленном на экспертизу проекте необходимо определить: какой характер будет ноешь проект - фрагментарный или системный, то есть, будет ли рассматриваться содержание образования или сценарий отдельного урока, как и будут ли разработаны и представлены образовательные технологии или отдельные педагогические действия и т. п.

В состав критериев входит также и эффективность инновационного проекта. При ее рассмотрении следует понять, что же произойдет в образовательной практике с введением данного инновационного проекта: улуч­шение, существенное обогащение образовательной теории или практики, кардинальное преобразование существующей образовательной ситуации.

Транслируемость проектной идеи говорит о возможности трансляции представленной инновации, ее тиражирования или о том, что идея может существовать (быть реализована) только в экстраординарных условиях.

Рассмотрев состав общих критериев и их значение в экспертизе инновационных проектов, остановимся на составе специальных критериев. Учитывая, что каждый из представленных критериев существенно значим для экспертизы проекта, рассмотрим их в определенной последовательности.

Полнота структуры инновационного проекта, которая в проекте представлена анализом реальной образовательной ситуации; концепцией инновационного проекта, включающего проектную идею, опи­сание проблем, постановку целей, формирование задач; содержательной и организационной моделью образовательной системы или ее фрагментом; планом и сметой реализации проекта с его ресурс­ным обеспечением.

Не менее значимой является и степень проработанности структурных элементов проекта. Следующим критерием является согла­сованность структурных частей проекта: рассматриваются ли во взаимосвязи анализ ситуации и описание проблем, которые необходи­мо решить; концепция, цели и задачи инновационного проекта; цели, задачи проекта и необходимые ресурсы (технологические, органи­зационные, профессиональные, финансовые, материально-техниче­ские и т. д.).

И, конечно, группой критериев, необходимых для экспертной оцен­ки инновационного проекта являются частные критерии. К ним, в первую очередь, относится реалистичность инновационного проекта, которая предполагает соответствие идей, целей и задач проекта реальной образовательной ситуации и имеющимся ресурсам. Дру­гим частным критерием является реализуемость инновационного проекта, заключающаяся в наличии, вовлеченности и согласованно­сти действий других субъектов образовательной ситуации с дей­ствиями автора проекта при его реализации. Еще одной характерис­тикой и частным критерием в экспертизе инновационных проектов выступает инструментальность ( управляемость) проекта, то есть на­личие организационных форм, способов и плана действий по его реализации.

 

 

⇐ Предыдущая12345678910Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: