На бирже курсовых и дипломных проектов можно найти образцы готовых работ или получить помощь в написании уникальных курсовых работ, дипломов, лабораторных работ, контрольных работ, диссертаций, рефератов. Так же вы мажете самостоятельно повысить уникальность своей работы для прохождения проверки на плагиат всего за несколько минут.

ЛИЧНЫЙ КАБИНЕТ 

 

Здравствуйте гость!

 

Логин:

Пароль:

 

Запомнить

 

 

Забыли пароль? Регистрация

Повышение уникальности

Предлагаем нашим посетителям воспользоваться бесплатным программным обеспечением «StudentHelp», которое позволит вам всего за несколько минут, выполнить повышение уникальности любого файла в формате MS Word. После такого повышения уникальности, ваша работа легко пройдете проверку в системах антиплагиат вуз, antiplagiat.ru, etxt.ru или advego.ru. Программа «StudentHelp» работает по уникальной технологии и при повышении уникальности не вставляет в текст скрытых символов, и даже если препод скопирует текст в блокнот – не увидит ни каких отличий от текста в Word файле.

Результат поиска


Наименование:


реферат Проблемы и методы экспертного оценивания

Информация:

Тип работы: реферат. Добавлен: 25.04.2012. Сдан: 2011. Страниц: 22. Уникальность по antiplagiat.ru: < 30%

Описание (план):


          ГОУ ВПО «Уральский Федеральный Университет»                    им.первого президента РФ  Б.Н.Ельцина. 
 
 
 

                                  Реферат.
              По дисциплине «Системный анализ».
   «Проблемы и методы экспертного оценивания» 
 
 
 

Преподаватель:                                         Коробов Ю.С.                           
Студент:                                                    Мартынова Е.Е.  
Группа:                                                      М-290602 
 
 
 
 

                
                                    г.Екатеринбург, 2010
                                    Введение
Организация и  проведение экспертиз, реализованных  в той или иной форме, отражающей особенности эпохи, народа, традиций и обычаев, должны были обеспечить профессиональную оценку ситуаций и принятие эффективных  управленческих решений. По мере совершенствования и усложнения процесса принятия решений и как мир становился более технологичным, возрастало внимание к экспертным оценкам. Начало становления экспертных оценок - момент создания первых официально описанных и исследованных технологий экспертного оценивания. В частности, появление первых работ, посвященных групповому выбору, определению результата коллективных экспертиз. В этом реферате мы и рассмотрим проблемы, методы, цели и этапы экспертного оценивания.
  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

    Понятия и цели                                                         экспертного оценивания.
      1.1.В бывшем СССР началом создания и использования методов экспертного оценивания можно считать появление в конце 60-х годов работ В.М.Глушкова, Г.М.Доброва, Ю.В.Ершова и др. Однако возможности практического применения экспертных оценок в тот момент были несколько преувеличены, что показали специально проведенные эксперименты.
    Однако следствием этого естественного заблуждения  явился и вполне определенный положительный  результат - была осознана необходимость  более тщательного изучения возможностей экспертного оценивания, развития математических методов обработки и анализа  экспертной информации.
    Целесообразность  практического использования методов  экспертного оценивания. Экспертные оценки в нашем понимании - это  суждения высококвалифицированных  специалистов-профессионалов, высказанные  в виде содержательной, качественной или количественной оценки объекта, предназначенные для использования  при принятии решений.
    Экспертизы  бывают индивидуальные и коллективные, однотуровые и многотуровые, с обменом информацией между экспертами и без, анонимные и открытые.
     Многообразие  областей применения делает достаточно  многообразным и гибким используемый  на практике аппарат экспертного  оценивания. Однако опыт показывает, что при реальном использовании  экспертных оценок далеко не  всегда можно уложиться в одну  из широкоизвестных и применяемых схем.
    Возникающие на практике задачи нередко оказываются  сложнее традиционных подходов. Настоящая  же цель применения технологий экспертного  оценивания - принятие эффективного решения, а не обязательное использование  традиционных схем. Поэтому специалистам - технологам, проводящим экспертизы, важно уметь творчески подойти к их организации и проведению для того, чтобы решить основную задачу - обеспечить адекватную оценку объекта экспертизы, выработать реализуемые и приводящие к цели альтернативные варианты решений, а среди них выбрать самый эффективный и надежный.
    Однако творческий подход предполагает профессиональное знание специалистом - технологом принципов  организации и проведения экспертиз, методов получения, анализа и  обработки экспертной информации, анализа  результатов экспертизы. Отсутствие профессионального владения технологиями экспертного оценивания чревато  грубыми ошибками и получением неадекватных оценок, принятием нереализуемых  и неэффективных решений.  

           
 
 
 
 
 
 
 
 

 1.2. Экспертное оценивание — процедура получения оценки изучаемого явления на основе группового мнения специалистов в данной предметной области (экспертов). При этом исходят из предположения, что совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов. В психологии метод экспертных оценок применяется для анализа профессионально деятельности, для оценки специалистов, для формирования рабочей модели исследуемого явления и т.п.Экспертные оценки при принятии решений в той или иной форме использовались во все времена.  
 
 
 
 
 
 
 
 
 
 
 
 
 
 

1.3.  Цели исследования
Экспертное оценивание предполагает создание разума, обладающего  большими способностями по сравнению  с возможностями отдельного человека. Экспертный подход обладает большими возможностями по решению задач, не поддающихся решению обычным аналитическим способом:
    Выбор лучшего варианта решения среди имеющихся.
    Прогнозирование развития процесса.
    Поиска возможного решения сложных задач.
Перед началом  экспертного исследования необходимо четко определить его цель, (проблему), и сформулировать соответствующий  вопрос для экспертов. При этом рекомендуется  придерживаться следующих правил:
    Четкое определение условий, времени, внешних и внутренних ограничений проблемы.
    Возможность ответа на вопрос с доступной человеческому опыту точностью.
    Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных периметров не рекомендуется задавать более пяти градаций.
    Эксперты оценивают возможные варианты, не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

1.4. Эксперты - кто это.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. Помимо опыта, крайне желательно наличие у эксперта профильного образования и педагогического опыта в данной сфере. При подборе экспертов следует учитывать момент личной заинтересованности и пристрастности, который может стать существенным препятствием для получения объективного экспертного суждения. Наиболее распространены методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

1.5. Этапы экспертного оценивания

Процедура экспертного  оценивания предполагает согласованность  с другими этапами исследования. Данный метод должен органично сочетаться с другими исследовательскими приемами и соответствовать целям и  задачам проекта. 
В общем виде процедуру можно разбить на следующие этапы: 
1. Определение цели исследования. 
2. Разработка процедуры исследования, определение бюджета. 
3. Подготовка информационных материалов, бланков анкет, модератора процедуры. 
4. Подбор экспертов, специалистов по статистическому анализу и аналитиков. 
5. Проведение экспертизы. 
6. Статистический анализ результатов. 
7. Подготовка отчета с результатами экспертного оценивания.
 
 
 
 
 
 
 
 
 
 
 
 

1.6.  Выбор формы исследования, определение бюджета проекта
Существующие  виды экспертных оценок можно классифицировать по признакам:
    По форме участия экспертов: очное, заочное. (Очный метод позволяет сосредоточить внимание эксперт на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле).
    По количеству итераций (повторов процедуры для повышения точности) – одношаговые и итерациями.
    По решаемым задачам: генерирующие решения и оценивающие варианты.
    По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
    По способу обработки мнений экспертов: непосредственные и аналитические.
    По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5 – 12 человек экспертов.
Наиболее известные  методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.
После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают: оплата экспертов, аренда помещения, канцтовары, оплата специалиста по проведению и анализу результатов экспертизы. 
 
 
 
 

1.7. Подготовка информационных материалов
Подготовка информационных материалов, бланков анкет, инвентаря  и модератора процедуры. Эксперты, перед вынесением суждения, должны разносторонне рассмотреть представленную проблему. Поэтому, для проведения процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки. Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение. 
 
 
 
 
 
 
 
 
 

1.8. Проведение экспертизы.
Проведение процедуры  отличается в зависимости от используемого  метода. Общие рекомендации:
    Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).
    Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1.9. Статистический анализ результатов
После получения  ответов экспертов необходимо провести их оценку. Это позволяет:
    Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты)
    Оценить ошибку исследования
    Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы).
Подготовка отчета с результатами экспертного оценивания. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

    2.   Основные проблемы и методы экспертного оценивания. 
     

    2.1. Одна из самых серьезных опасностей сегодня - опасность непрофессиональных решений и действий. Непрофессионализм - вот причина больших и малых «Чернобылей» в экономике, промышленности, политике.
    Основная цель организации и проведения экспертиз - повысить профессиональный уровень  принимаемых решений за счет использования  специально разработанных и проверенных  на практике технологий экспертного  оценивания.
    Экспертные  оценки являются информацией, необходимой  при принятии взвешенных обоснованных решений, преимущественно, в сложных  ситуациях принятия решений.
    Это в полной мере относится к принятию решений  в самых различных сферах практической деятельности.
    Для того, чтобы получаемая экспертная информация была качественной, необходимо выполнение следующих условий:
    - наличие экспертной  комиссии, состоящей из специалистов, профессионально знакомых с объектом  экспертизы, и имеющих опыт работы  эксперта;
     
      - наличие аналитической группы, профессионально владеющей технологией  организации и проведения экспертиз,  методами получения и анализа  экспертной информации;

     
      - получение достоверной экспертной  информации;

     
      - корректная обработка и анализ  экспертной информации.
     

    Отсутствие  любого из перечисленных условий  ставит под сомнение эффективность  и корректность проводимой экспертизы.
    Укажем основные проблемы совершенствования и развития экспертных технологий. 
     

    1. Формирование экспертной комиссии
    Одной из центральных  проблем при формировании экспертной комиссии является определение качества эксперта. При формировании экспертной комиссии необходимо предусмотреть  возможность эффективного взаимодействия экспертов, входящих в её состав, с  целью получения полной и адекватной оценки объекта экспертизы.
    Следует обратить на реализованную в автоматизированных системах экспертного оценивания задачу автоматизированного подбора экспертов для оценки объекта экспертизы с учетом их профессиональных знаний и опыта. При этом может решаться и обратная задача подбора для эксперта объектов, с которыми он профессионально наиболее знаком. 

    2. Организация и проведение экспертиз
    Ряд работ  посвящен организации и проведению экспертиз. Это, прежде всего, работы по систематизации многочисленных разновидностей метода Делфи, касающиеся, в основном, совершенствования процедур обмена информацией между экспертами в процессе экспертизы.
    Для экспертизы сложных объектов, в частности, для  экспертизы и прогнозирования научно-технических  объектов, развивались и совершенствовались такие методы как ПАТТЕРН, методы Глушкова и Поспелова, система АСАС, различные разновидности использования  метода деревьев целей и критериев  и др. Разрабатывались механизмы  выявления экспертных знаний и оценок.
    В настоящее  время все большее значение приобретает  проведение комплексных экспертиз  при оценке сложных объектов. 

    3. Получение экспертной информации
    Широкое распространение  получили методы экспертных ранжирований и гиперупорядочений, классификаций, парные и множественные сравнения, методы Терстоуна и Черчмена-Акофа, метод векторов предпочтений и др.
    Естественно, что различные виды экспертной информации требуют как различных методов  ее получения, так и различных  методов обработки.
    При практическом использовании значительное внимание уделяется как качественным, так  и количественным методам получения  экспертной информации.
    Широко используется и развивается язык бинарных отношений  для единообразного представления  как количественной, так и качественной экспертной информации.
    Разрабатываются методы измерения экспертной информации. К числу основных проблем относятся:
    - проблема  представимости экспертной информации, 
      - проблема единственности измерений, 
      - проблема адекватности.

    Последняя особенно важна для определения корректных преобразований экспертной информации при расчетах результирующих экспертных оценок - результата работы экспертных комиссий.
    Проблема единственности измерений экспертной информации тесно  связана с введением основных шкал теории измерений: шкал интервалов, разностей, отношений, порядковых шкал и т.д. 

    4. Определение результирующих экспертных оценок
    Одной из центральных  проблем обработки экспертной информации является определение результирующих экспертных оценок - результата коллективной работы экспертов. Для этой цели был  введен аналог расстояния - мера близости между ранжированиями, классификациями и т.д.
    Это позволило  разработать корректные способы  определения результирующих экспертных оценок. Получены первые результаты, определяющие целесообразность использования тех или иных видов результирующих в зависимости от характера экспертной информации.
    Установлена связь между методами определения  результирующих экспертных оценок и  принципами коллективного выбора. 
     

    5. Многокритериальные оценки
    Многолетний опыт использования методов и  процедур экспертного оценивания показал, что во многих случаях, хотя и не во всех, оценки объектов экспертизы экспертами оказывались более точными при  использовании методов многокритериального  оценивания.
    Развитие получили методы определения факторов, характеризующих  объекты экспертизы. В частности, многомерное шкалирование, факторный анализ, статистические методы определения существенных факторов. Развивались методы оценки их сравнительной весомости, принципы принятия решений на основе оценок объектов по многим критериям, далеко не всегда сводящиеся к сверткам. Проведена систематизация и классификация принципов выбора и анализ результатов их использования при принятии решений.
    Применяются композиционные принципы выбора. Решаются задачи многокритериальной оптимизации, существенно использующие экспертную информацию. 

    6. Анализ результатов экспертизы
    Полученная  экспертная информация обязательно  должна быть проанализирована. Получили развитие методы оценки согласованности  экспертных суждений, высказанных в  виде ранжирований, парных сравнений  и т.д. При этом установлена связь  между коэффициентами ранговой корреляции, характеризующими согласованность  экспертных суждений.
    На основании  оценки степени согласованности  экспертных суждений определяются коалиции экспертов - "единомышленников". Разработаны  методы оценки непротиворечивости экспертных суждений. Особенно такой анализ актуален при использовании метода парных сравнений.
    Развиваются методы оценки точности экспертных суждений. При этом большее развитие получили методы оценки сравнительной точности экспертных суждений при использовании  различных критериев точности.
    Скорее поставлены, чем решены проблемы оценки степени  конъюнктурности, конформизма и  других факторов, характеризующих адекватность экспертной информации.
    7. Компьютерные системы поддержки
    Характерным для современного этапа использования  методов экспертного оценивания является широкое применение компьютерных систем поддержки.
    К числу таких  систем могут быть отнесены экспертные системы, позволяющие использовать знания и опыт экспертов - специалистов высокой квалификации специалистами  менее высокой квалификации для  решения задач, возникающих в  их практической деятельности.
    Системы поддержки  принятия решений, находящие применение в различных областях, в качестве одной из основных составляющих используют результаты экспертного оценивания.
    Однако наиболее важным классом компьютерных систем, позволяющих обеспечить сопровождение  и поддержку непосредственно  процедур получения, обработки и  анализа экспертной информации являются автоматизированные системы экспертного оценивания (АСЭО).
    АСЭО обеспечивают технологическое сопровождение, необходимое  методическое и информационное обеспечение  процесса экспертного оценивания при  организации и проведении экспертиз  с учетом специфического характера  проводимой экспертизы. 
     
     
     
     
     
     
     
     
     
     
     
     
     
     

    2.2. Метод экспертных оценок  

    Сущность метода экспертных оценок заключается в  проведении экспертами интуитивно-логического  анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов  принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического  мышления и количественных оценок с  их формальной обработкой позволяет  получить эффективное решение проблемы. 
           При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений. 
           Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.       

    В настоящее  время в нашей стране и за рубежом  метод экспертных оценок широко применяется  для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют  постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам. 
           Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы: 
           1) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации; 
           2) групповое мнение экспертов близко к истинному решению проблемы. 
           Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики. 
           Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка. 
           Область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок: 
           

    1) составление перечня возможных событий в различных областях за определенный промежуток времени; 
           2) определение наиболее вероятных интервалов времени свершения совокупности событий; 
           3) определение целей и задач управления с упорядочением их по степени важности; 
           4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения; 
           5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности; 
           6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности. 
           Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование, мозговой штурм, дискуссия, совещание, оперативная игра, сценарий. 
           Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы. 
           Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов. 
           При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы. 

    2.3. Организация экспертного оценивания
    Первым этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы: постановка задачи-эксперимента, цели эксперимента, обоснование необходимости эксперимента, сроки выполнения работ, задачи и состав группы управления, обязанности и права группы, финансовое и материальное обеспечение работ. 
           Для подготовки этого документа, а также для руководства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управления и ответственность за организацию ее работы. 
           После формирования, группа управления осуществляет работу по подбору экспертной группы примерно в такой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного списка экспертов с учетом их местонахождения; анализ качеств экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы. 
           Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса, количество и задачи туров опроса, форма проведения опроса, порядок фиксации и сбора результатов опроса, состав необходимых документов. 
           Следующим этапом работы группы управления является определение организации и методики обработки, данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы и средства для проведения обработки. 
           В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами. 
           Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания, составление отчета, обсуждение и одобрение результатов, представление итогов работы на утверждение, ознакомление с результатами экспертизы организаций и лиц. 

    2.4. Подбор экспертов  

    Для реализации процедуры экспертного оценивания необходимо сформировать группу экспертов. Общим требованием при формиро
    и т.д.................


Перейти к полному тексту работы


Скачать работу с онлайн повышением уникальности до 90% по antiplagiat.ru, etxt.ru или advego.ru


Смотреть полный текст работы бесплатно


Смотреть похожие работы


* Примечание. Уникальность работы указана на дату публикации, текущее значение может отличаться от указанного.