 |
Определение количественных оценок
|
|
|
|
Будучи гордым родителем того или иного способа количественных измерений, вы обладаете полным правом дать ему название. Однако это еще не дает вам права па любые эксперименты в области воображения; название должно состоять из простых слов разговорного языка, понятного целевой аудитории данного средства количественных оценок. Не поддавайтесь искушению дать слишком длинное, слишком подробное и слишком точное название. Хорошее название обычно короткое, оно дает общее представление о том, что измеряется.
|
На основе названия вы можете создать оперативное определение. Оперативное определение — это исходный макет всего остального процесса разработки количественных оценок. Оно должно быть достаточно конкретным, I чтобы им можно было руководствоваться в работе. Оно должно указывать, что включено и что не включено в данную систему или метод измерений.
| Знайте что Оперативное определение (operational definition) - это рабочее определение. Оно дает описание количественных оценок, которое достаточно подробно для осуществления остальной части процесса разработки. Оно также задает границы того, что включено и что не включено в систему количественных оценок. |
Такое определение — еще одно звено в длинной цепочке, идущей от ваших целей и способов измерений к сбору данных, демонстрации результатов и спосо-. бу их использования. Хотя все звенья в этой цепочке должны быть крепко связаны друг с другом, оперативное определение имеет особое значения для обоснованности метода количественных оценок. Ваше оперативное определение — это критический шаг от более или менее абстрактной цели к чему-то более конкретному и измеримому.
|
|
|
Это также важный шаг в разработке правильного метода количественных оценок, то есть такого метода, который
7.Т*
Часть 5 > Подсчет очков
|
| Знайте что Обоснованность(validity) - это ключевое понятие количественных оценок. Вопрос о том, обоснованна ли данная система количественных оценок, предполагает, что нужно узнать, действительно ли она измеряет то, что предполагалось измерить. К сожалению, обоснованность невозможно доказать дедуктивным образом, но вы можете собрать доказательства того, что данная система количественных оценок обоснованна. |
на самом деле измеряет то, что предполагалось измерить, а не что-то другое. Такое качество называется обоснованностью, обоснованность является ключевым понятием любой системы количественных оценок. Обоснованная система количественных оценок — это та, что дает вам правильную информацию, которая нужна вам для понимания, способного побудить к действиям.
Обоснованность систем количественных оценок является контекстуальной. Она зависит от того, какие вопросы вы ставите и какие выводы вы попытаетесь извлечь из полученных оценок. Например, если цель — определить успех сообщества практики, обоснованная система количественных оценок — та, что на самом деле дает вам информацию, необходимую, чтобы решить, является ли данное сообщество практики успешным. Необоснованная система количественных оценок может подтолкнуть вас к тому выводу, что сообщество практики успешно, тогда как на деле оно безуспешно, или же что сообщество практики потерпело неудачу, тогда как на самом деле это не так.
Вы должны обратить самое пристальное внимание на обоснованность. Принцип систем количественных оценок состоит в том, что обоснованность нельзя доказать дедуктивным образом. Вы можете собрать доказательства обоснованности, но вы никогда не сможете ее доказать. Со временем вы можете найти неутешительное доказательство того, что ваше рассуждение было неверным, а ваша система количественных оценок не обеспечивает вас правильной информацией.
|
|
|
Или же вы можете обнаружить, что ваши рассуждения были верны. Вот почему после введения своей системы количественных оценок в строй вы должны заняться изучением и наблюдением за ее работой, о чем мы поговорим позже, когда будем обсуждать работу команды количественных оценок. Однако одну вещь вы можете сделать немедленно — это вернуться назад и посмотреть, как вы обосновали свою систему количественных оценок. Некоторые из ваших умозаключений могли не выражаться в явном виде, поэтому они могли остаться непроверенными. Попытайтесь полностью прояснить свое рассуждение. Произнесите его вслух и проанализируйте каждый из его этапов. Снова задайте себе следующие вопросы.
> Являются ли цели ясными и конкретными?
> Достижимы ли цели?
> Определены ли аудитории, соответствующие каждой из целей?
—
Глава 2O > Разработка количественных оценок
> Как данная система количественных оценок может доказать, что цель действительно достигнута?
> Могут ли результаты быть обусловлены чем-то иным?
> Существуют ли какие-то иные факторы, которые могут повлиять на результаты?
Количественное измерение — это насильственное действие, что-то вроде хирургического вмешательства. Оно изменяет пациента — в вашем случае организацию. Поэтому стоит подумать о возможных последствиях такого вмешательства, то есть количественной оценки. Какие действия она может породить? Например, если вы измеряете индивидуальные продажи, что это может сказать сотрудникам отдела реализации о значимости командных продаж? Не заставит их ли такая количественная оценка сконцентрироваться только на индивидуальных продажах, даже если командные продажи могут быть более эффективными? А что произойдет, если вы доведете объем индивидуальных продаж до максимума?
Неожиданные и нежелательные последствия могут негативно сказаться на обоснованности любой системы количественных оценок. Ведь такие последствия — совсем не то, что вы собирались измерить.
Однако даже обоснованность бесполезна, если вы не предпринимаете никаких необходимых в отдельных случаях действий, которые обоснованы результатами количественных измерений. Следующие вопросы являются серьезной проверкой способности предпринимать действия.
|
|
|
|
Знали ли вы, что
Однажды я потратила несколько месяцев, работая над исследованием в большой организации, целью которого было изучение надежности, обоснованности и других характеристик замечательной системы количественных оценок и их анализа. Но я не спросила, какие действия можно было бы предпринять, основываясь на полученных результатах; я не спросила, какие действия обсуждались и планировались.
Никакие действия и не были предприняты. Отчет был просто положен на полку. Это была пустая трата моего времени и многочисленных ресурсов организации. Так я на тяжелом опыте поняла, что фокусироваться нужно не только на хорошей системе количественных оценок, но и на потенциальных действиях и на намерении эти действия предпринять. Вы не можете гарантировать того, что действия будут предприняты, однако вы можете увеличить вероятность того, что они не будут предприняты.
Часть 5 > Подсчет очков
> В какую сторону (вверх, вниз или никуда) должны, если следовать ва
шим желаниям, сдвигаться результаты количественных оценок?
> Что вы будете делать, если результаты количественных оценок будут сдвигаться вверх?
> Что вы будете делать, если результаты количественных оценок будут сдвигаться вниз?
> Что вы будете делать, если результаты количественных оценок никуда не будут сдвигаться?
Если вы не можете ответить на какой-либо из этих вопросов, вся ваша система количественных оценок бесполезна. Остановитесь на этом пункте. Подумайте о том, что вы можете сделать, чтобы использовать свои количественные оценки в собственных действиях. Если ничего, отложите в сторону эту систему и займитесь разработкой другой.
|
|
|
