Характеристики методов экспертных оценок
Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.
Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы.
Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.
Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", "совещаний" и "суда".
Метод "мозговой атаки". Методы этого типа известны также под названием коллективной генерации идей, мозгового штурма, дискуссионных методов. Все эти методы основаны на свободном выдвижении идей, направленных на решение проблемы. Затем из этих идей отбираются наиболее ценные.
Достоинством метода "мозговой атаки" является высокая оперативность получения требуемого решения. Основным недостатком его - сложность организации экспертизы, так как иногда невозможно собрать вместе требуемых специалистов, создать непринужденную атмосферу и исключить влияние должностных взаимоотношений.
Метод "сценариев" представляет собой совокупность правил по изложению в письменном виде предложений специалистов по решаемой проблеме. Сценарий представляет собой документ, содержащий анализ проблемы и предложения по ее реализации. Предложения вначале пишут эксперты индивидуально, а затем они согласуются и излагаются в форме единого документа.
Основным преимуществом сценария является комплексный охват решаемой проблемы в доступной для восприятия форме. К недостаткам можно отнести возможные неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованности отдельных решения.
"Деловые игры" основаны на моделировании функционирования социальной системы управления при выполнения операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.
Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.
Метод "совещаний" ("комиссий", "круглого стола") - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода "мозговой атаки" каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.
Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.
Метод "суда" является разновидностью метода "совещаний" и реализуется по аналогии с ведением судебного процесса. В роли "подсудимых" выступают выбираемые варианты решения; в роли "судей" - лица, принимающие решение; в роли "прокуроров" и "защитников" - члены экспертной группы. Роль "свидетелей" выполняют различные условия выбора и доводы экспертов. При ведении такого "судебного процесса" отклоняются или принимаются те или иные решения.
Метод "суда" целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.
Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.
Метод "Дельфи", или метод "дельфийского оракула", представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.
Процедура метода включает несколько последовательных этапов опроса. На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений. На втором - вся информация сообщается экспертам и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и необходимо прекращать процедуру.
Достоинством метода "Дельфи" является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.
Основные этапы процесса экспертного оценивания:
- формирование цели и задач экспертного оценивания;
- формирование группы управления и оформление решения на проведение экспертного оценивания;
- выбор метода получения экспертной информации и способов ее обработки;
- подбор экспертной группы и формирование при необходимости анкет опроса;
- опрос экспертов (экспертиза);
- обработка и анализ результатов экспертизы;
- интерпретация полученных результатов;
- составление отчета.