На бирже курсовых и дипломных проектов можно найти образцы готовых работ или получить помощь в написании уникальных курсовых работ, дипломов, лабораторных работ, контрольных работ, диссертаций, рефератов. Так же вы мажете самостоятельно повысить уникальность своей работы для прохождения проверки на плагиат всего за несколько минут.

ЛИЧНЫЙ КАБИНЕТ 

 

Здравствуйте гость!

 

Логин:

Пароль:

 

Запомнить

 

 

Забыли пароль? Регистрация

Повышение уникальности

Предлагаем нашим посетителям воспользоваться бесплатным программным обеспечением «StudentHelp», которое позволит вам всего за несколько минут, выполнить повышение уникальности любого файла в формате MS Word. После такого повышения уникальности, ваша работа легко пройдете проверку в системах антиплагиат вуз, antiplagiat.ru, etxt.ru или advego.ru. Программа «StudentHelp» работает по уникальной технологии и при повышении уникальности не вставляет в текст скрытых символов, и даже если препод скопирует текст в блокнот – не увидит ни каких отличий от текста в Word файле.

Работа № 99220


Наименование:


Диссертация ОБРАБОТКА ЭКСПЕРТНОЙ ИНФОРМАЦИИ ПРИ ОТБОРЕ ЭКСПЕРТОВ В НАУЧНО-ТЕХНИЧЕСКОЙ СФЕРЕ

Информация:

Тип работы: Диссертация. Добавлен: 28.09.2016. Сдан: 2012. Страниц: 228. Уникальность по antiplagiat.ru: < 30%

Описание (план):


БЕЛГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

ОБРАБОТКА ЭКСПЕРТНОЙ ИНФОРМАЦИИ ПРИ ОТБОРЕ ЭКСПЕРТОВ В НАУЧНО-ТЕХНИЧЕСКОЙ СФЕРЕ


по специальности 05.13.01 –
Системный анализ, управление и обработка информации
(в науке и технике)


Диссертация на соискание учёной степени
кандидата технических наук


Белгород – 2012

СОДЕРЖАНИЕ
ВВЕДЕНИЕ 3
ГЛАВА 1. Экспертное оценивание объектов техники. Отбор экспертов. Состояние вопроса и постановка задач исследования. 10
1.1 Процедура экспертного оценивания объектов техники 10
1.2 Процедуры решения слабоструктурированных проблем на основе парных сравнений 20
1.3 Иерархический метод парных сравнений в форме Саати (МАИ) 31
1.4 Задачи исследования 42
ГЛАВА 2. Разработка метода получения и обработки информации на основе парных сравнений при оценивании подготовленности эксперта 45
2.1 Принцип оценивания уровня профессиональных знаний экспертов 45
2.2 Иерархическая процедура получения и обработки экспертной информации при оценивании знаний 47
2.3 Меры близости с эталонными весомостями и интегральная шкала бальных оценок 57
2.4 Основные результаты и выводы главы 64
ГЛАВА 3. Разработка алгоритмов получения и обработки экспертной информации без предварительного формирования шкал суждений 66
3.1 Алгоритм получения и обработки экспертных оценок без предварительного формирования шкал экспертных суждений 66
3.2 Программно-алгоритмическая реализация иерархической процедуры обработки экспертной информации 77
3.3 Проведение вычислительных экспериментов 82
3.4 Основные результаты и выводы главы 86
ГЛАВА 4. Программная поддержка получения и обработки экспертной информации при оценивании знаний 87
4.1 Концептуальные основы построения программной поддержки 87
4.2 Описание интерфейса 88
4.3 Апробация разработанных процедур оценивания знаний на примере сферы ИКТ 97
4.4 Основные результаты и выводы главы 127
ЗАКЛЮЧЕНИЕ 128
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 130
ПРИЛОЖЕНИЕ А 141
ПРИЛОЖЕНИЕ Б 146
ПРИЛОЖЕНИЕ В 160
ПРИЛОЖЕНИЕ Г 163
ПРИЛОЖЕНИЕ Д 168
ПРИЛОЖЕНИЕ Е 203
ПРИЛОЖЕНИЕ Ж 222
ПРИЛОЖЕНИЕ З 229
ПРИЛОЖЕНИЕ И 233

ВВЕДЕНИЕ
Актуальность работы.
Системный анализ сложных технических объектов не может быть основан только на информации, полученной при помощи измерительных приборов, и часто реализуется с привлечением экспертной информации, отражающей опыт и интуицию специалистов.
Получение и обработка экспертной информации являются важными процедурами системного анализа и управления в научно-технической сфере, успешность применения которых существенно зависит от уровня профессиональных знаний участвующих в них специалистов (экспертов).
Проблемы организации получения, анализа и обработки экспертной информации и вопросы оценивания квалификации экспертов рассмотрены в работах многих зарубежных и отечественных ученых. В основе предлагаемых процедур, как правило, используются тестовые методы, а оценивание уровня знаний одних специалистов осуществляется другими, которые в этом контексте образуют группу эталонных экспертов (иерархия экспертов). Следует отметить, что применяемые в настоящее время тестовые процедуры в недостаточной мере отражают системность знаний профессиональной сферы. Вместе с тем профессиональную деятельность в научно-технической сфере можно представить несколькими аспектами, которые имеют различную важность для специалистов отдельных специализаций в рамках одной профессиональной группы. Поэтому для оценивания уровня профессиональных знаний экспертов целесообразно использовать многокритериальное иерархическое оценивание, позволяющее выявить их целостность и системность.
Таким образом, совершенствование на основе системного подхода процедур оценивания уровня профессиональных знаний экспертов в научно-технической сфере является актуальной задачей.
Предлагаемый подход заключается в том, что процедура системного тестового оценивания уровня профессиональных знаний экспертов в научно-технической сфере должна быть построена таким образом, чтобы в результате ее применений выявлялись способности испытуемых к адекватному отражению степени полноты возможных описаний характеристик одного и того же технического объекта с заданной точки зрения. Для этого целесообразно воспользоваться идеологией экспертных процедур парных сравнений с комплексированием результатов на основе учета иерархичности и весомостей с точки зрения специализаций испытуемых (иерархическое многокритериальное экспертное оценивание). При этом выносить суждение об уровне профессиональных знаний экспертов следует на основе сравнений с эталоном, который заранее формируется с привлечением «эталонных» специалистов из соответствующей профессиональной сферы.
Целью данной работы является совершенствование процедур отбора экспертов, привлекаемых для оценивания объектов техники, на основе разработки системных методов получения и обработки информации об уровне их профессиональных знаний, который сравнивается с формируемым заранее эталонном.
Для достижения поставленной цели были сформулированы и решены следующие задачи:
1. Разработка метода системного оценивания уровня профессиональных знаний экспертов, привлекаемых для анализа объектов в научно-технической сфере, на основе получения и обработки экспертной информации с применением парных сравнений.
2. Разработка алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов.
3. Разработка программной реализации алгоритмов получения и обработки информации при оценивании уровня профессиональных знаний привлекаемых экспертов.
4. Апробация разработанного метода и алгоритмов оценивания профессиональных знаний привлекаемых экспертов на примере сферы информационно-коммуникационных технологий.

Методы исследований:
– Методы системного анализа;
– Модели отбора и обработки экспертной информации;
– Методы парных сравнений;
– Методы статистической обработки эмпирической информации;
– Компьютерное моделирование.
Научную новизну работы составляет следующее:
1. Метод получения и обработки экспертной информации при отборе экспертов в научно-технической сфере, включая:
1.1. новый принцип оценивания уровня профессиональных знаний экспертов на основе проверки их способности к упорядочиванию в виде вычисляемых весомостей предъявляемых описаний характеристик анализируемых объектов по степени их полноты с заданной точки зрения (направления профессиональных знаний);
1.2. иерархическую процедуру получения и обработки на основе парных сравнений информации о знаниях испытуемых с вычислениями весомостей сравниваемых описаний характеристик анализируемых объектов;
1.3. способ формирования эталонного уровня профессиональных знаний в виде упорядочивания весомостей сравниваемых описаний характеристик анализируемых объектов с привлечением «эталонных» экспертов;
1.4. способ оценивания уровня профессиональных знаний экспертов на основе разработанных мер близости с полученным ранее эталонным упорядочиванием весомостей и градаций результирующих оценок.
2. Алгоритмы получения и обработки экспертной информации в методе парных сравнений без предварительного формирования шкал экспертных суждений, что позволяет повысить гибкость процедур экспертного оценивания за счет отсутствия фиксации количества градаций суждений и выражаемых ими силы превосходств/проигрышей сравниваемых объектов.
Практическая значимость работы определяется тем, что реализация предложенных процедур получения и обработки испытательной информации позволяет повысить обоснованность принятия решений при отборе экспертов, привлекаемых для оценивания объектов техники. Разработан комплекс программных средств, реализующих процедуру оценивания уровня профессиональных знаний в сфере техники, который применяется в ООО «Матрица» при аттестации специалистов по программированию и конфигурированию в системе 1С: Предприятие 8.2, что подтверждается соответствующим актом.
Положения, выносимые на защиту:
1. Метод получения и обработки экспертной информации при определении уровня профессиональных знаний экспертов, привлекаемых для оценивания объектов техники, реализующий принцип выявления способностей испытуемых к упорядочиванию по важности с заданной точки зрения предъявляемых описаний характеристик анализируемых объектов.
2. Алгоритмы получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов, с вычислением весомостей предъявляемых описаний характеристик анализируемых объектов на основе метода парных сравнений без предварительного формирования шкал экспертных суждений.
3. Методика формирования эталонных упорядочиваний весомостей предъявляемых описаний характеристик анализируемых объектов и получения на основе разработанных мер сопоставления с ними интегральных оценок уровня профессиональных знаний привлекаемых экспертов.
4. Программная реализация алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов и ее апробация на примере сферы ИКТ.
Достоверность выводов и рекомендаций обеспечивается корректностью использования принципов системного анализа, математических формулировок и преобразований, отсутствием противоречий с известными теоретическими положениями и сопоставлениями результатов компьютерного моделирования со статистическими данными.
Личный вклад соискателя
Все изложенные в диссертации результаты исследования получены либо соискателем лично, либо при его непосредственном участии.
Апробация результатов диссертационного исследования.
Результаты диссертационного исследования обсуждались на следующих научно-технических конференциях:
1. Всероссийская конференция с элементами научной школы для молодежи «Информационные технологии в образовании XXI века» (ИТО-XXI), 2011г., Москва, Россия.
2. Всероссийский конкурс научно-исследовательских работ студентов и аспирантов «Инновационные технологии в образовательном процессе», 2011г, Белгород, Россия.
3. Вторая Международная научно-техническая конференция, «Компьютерные науки и технологии», 2011 г., Белгород, Россия.
4. Десятая международная научно-методическая конференция «Информатика: проблемы, методология, технологии, 2010 г, Воронеж, Россия.
5. Первая Международная научно-техническая конференция, «Компьютерные науки и технологии», 2009 г., Белгород, Россия.
6. Девятая международная научно-методическая конференция «Информатика: проблемы, методология, технологии», 2009 г., Воронеж, Россия.
7. Международная научно-практическая конференция «Новые информационные технологии в образовании», 2009 г., Екатеринбург, Россия.
8. Всероссийская научно-техническая конференция «Проблемы информатизации образования», 2008 г., Тула, Россия.
9. VI Всероссийская конференция (с международным участием) «Современные ИТ в науке, образовании и практике», 2007 г., Оренбург, Россия.
Связь с научными и инновационными программами
Диссертационное исследование проводилось в рамках следующих программ фундаментальных, поисковых и инновационных исследований: Грант РФФИ № 07-07-00206а «Обратная задача экспертного оценивания относительных важностей конечного множества объектов при степенной калибровке матрицы парных сравнений»; Федеральная целевая программа «Научные и научно-педагогические кадры для инновационной России» на 2009-2013 годы, проект по теме: «Разработка автоматизированной системы количественного синтеза результатов внедрения технологий электронного обучения (META-ANALYSIS E-LEARNING)»; Федеральная целевая программа «Научные и научно-педагогические кадры для инновационной России» на 2009-2013 годы, проект: «Разработка вариационных методов и алгоритмов обработки изображений земной поверхности в задачах их дешифрирования»; внутривузовские гранты БелГУ на проведение исследований по приоритетным направлениям развития науки, технологий и техники, 2008, 2009, 2010 годы.
Публикации
По теме диссертационного исследования опубликована 21 печатная работа (из них 8 в журналах из списка ВАК РФ), в том числе пять Свидетельств Роспатента РФ о государственной регистрации программы для ЭВМ.
Объем и структура работы
Диссертация состоит из Введения, четырех глав, Заключения и Приложения. Работа изложена на 140 страницах машинописного текста, включая 11 рисунков, 43 таблицы и список литературных источников из 102 наименований.
Работа выполнена на кафедре Прикладной информатики Белгородского государственного национального исследовательского университета.


ГЛАВА 1. Экспертное оценивание объектов техники. Отбор экспертов. Состояние вопроса и постановка задач исследования.
1.1 Процедура экспертного оценивания объектов техники
1.1.1 Понятие объектов техники и технического знания
Техника включает всё многообразие технических объектов как результатов технической деятельности, а также всё многообразие видов научно-технического знания, которое является результатом этой деятельности и воплощается в соответствующих технических объектах, технологии производства.
Любой вид технической деятельности может быть проанализирован с точки зрения структуры.
Техническое знание включает в себя от специализированных рецептурно-технических до теоретических научно-технических и системотехнических знаний. Современная техника, и, прежде всего техническое знание, неразрывно связаны с развитием науки.
Важной особенностью функционирования технического знания, отражающей его связь с практикой, является то, что оно обслуживает проектирование технических и социальных систем. Технические науки принято рассматривать как специфическую сферу знания, возникающую на границе проектирования и исследования и, синтезирующую в себе элементы того и другого [86].
В техническом знании особенности технических наук отражаются различным образом [86]:
1. в нем находят отражение социально-технические характеристики объекта.
2. техническое знание, как конечный продукт познавательной деятельности, определяет характер познавательного процесса, выступая в качестве средства социально-технического проектирования.
3. определяет в известной степени как характер деятельности по созданию новых объектов, так и структурно-функциональные характеристики самих объектов.
Техническая информация сопровождает разработку новых изделий, материалов, конструкций, агрегатов, технологических процессов.
Поскольку управление подразумевает, прежде всего, принятие ответственных решений, рациональное управление требует в настоящее время глубоких знаний из различных областей науки и техники [11].
Возрастающая потребность в информации во всех областях общественного производства повлекла за собой повышение роли научных знаний, которые оказываются все более необходимыми для производства материальных благ, преобразования окружающего мира, разумной организации общества. Наука становится основой высоких темпов развития техники [11].
Постоянное и все ускоряющееся развитие науки порождает существенные изменения техники, которая быстро усложняется за счет увеличения общего числа элементов отдельных машин и перехода от отдельных машин к высокосложным комплексам. В современных технических устройствах используются новые источники энергии, новые материалы, интенсивность их работы резко повышается. Растет взаимосвязь и взаимозависимость науки и техники.
Важной особенностью современного этапа научно-технического прогресса является его многовариантность, т.е. возможность решения поставленных задач различными методами и путями. Причем часто они неравноценны как по величине затрат, так и по времени, необходимому для достижения поставленной цели. Именно поэтому разработка методов прогнозирования возможных путей науки и создание методов выбора наиболее предпочтительных направлений развития техники имеют большое значение [11].
При прогнозировании большую роль в уменьшении влияния неопределенности играет рациональное использование знаний специалистов и ученых. Привлечение специалистов, представляющих в качестве экспертов различные области знаний, позволяет рассмотреть широкий диапазон факторов, влияющих на функционирование больших систем, учесть весь спектр альтернативных путей решения проблем.
Экспертные оценки позволяют существенно упорядочить информацию, облегчающую принятие решений, и повысить надежность прогнозов и планов. Использование экспертных методов позволяет лучше сформулировать модель поведения исследуемой системы и решить проблему оценки по ряду критериев, поскольку они открывают возможности для новых способов извлечения информации о состоянии исследуемых объектов. Экспертные методы помогают устанавливать степень сложности и актуальности проблемы, определять основные цели и критерии, выявлять наиболее важные факторы и взаимосвязи между ними, влияющие на достижение установленных целей, выбирать наиболее предпочтительные альтернативы [11].
Значительная часть необходимой для принятия решений информации имеет качественный характер и не поддается количественным измерениям.
Определение направлений развития науки, техники и производства, оценка качества продукции – эти процессы связаны с системным анализом и выбором наилучшего варианта и способа действия. При сравнении и выборе вариантов приходится иметь дело с многозначностью их оценки по различным показателям (критериям) [11, 88].
Системный подход основан на объединении исследуемых объектов в совокупность, на установлении свойств и связей этой совокупности, на выделении факторов, наиболее важных для достижения поставленных целей, а также для предсказания поведения объектов в будущем. Основу системного подхода составляет рассмотрение объектов анализа как систем, т.е. как комплексов динамически связанных элементов. При анализе каждого элемента системы учитывают совокупность всех его свойств, а также связи с другими элементами и окружающей средой [11].
Большую роль в обеспечении надежности информации, получаемой от экспертов при выборе наилучших вариантов решений, имеет правильная организация экспертизы – выбор целей, разработка процедуры, отбор экспертов и проведение их опроса [88].
Экспертиза, понимаемая как основанное на использовании знаний и опыта изучение каких-либо вопросов, проводимое по определенным правилам специально отобранными высококвалифицированными специалистами с целью обеспечения принятия решений по данным вопросам наиболее полным объемом необходимой и достаточной для этого информации, чрезвычайно важна для научно-технической сферы [56].
Экспертная деятельность, опирающаяся на потенциал научно-технической сферы, объективно необходима не только для процесса текущего управления, но и для таких управленческих процессов как прогнозирование, программирование и мониторинг в качестве составной и неотъемлемой части, повышающей их эффективность. При этом экономическое значение экспертизы в научно-технической сфере заключается, прежде всего, в максимализации социально-экономического, экологического и иных эффектов, получаемых как в самой данной сфере, так и в других связанных в ней сферах народного хозяйства. Это достигается за счет повышения качества, обоснованности, полноты и оперативности управленческих решений, принимаемых с учетом результатов, выводов и рекомендаций экспертизы [56, 11].
Главное требование, предъявляемое к каждому эксперту, его компетентность в исследуемой области. Кроме того, нужно, чтобы он был также эрудирован в смежных областях, т.е. имел достаточно широкий кругозор [88].
Наиболее важная проблема совершенствования экспертных методов состоит в повышении их надежности. Не менее важна и проблема, связанная с необходимостью разработки критериев отбора и создания надежных схем для оценки пригодности и формировании групп экспертов. Она до сих пор не получила удовлетворительного решения на основе системного подхода.
1.1.2 Оценивание профессиональных знаний (компетентности) экспертов.
Как отмечают авторы работ [39, 52, 54], проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Как отмечено в работе [52], нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.
При отборе и обработке экспертной информации необходимо решить 2 вопроса – составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.
Основные проблемы отбора экспертов:
• выявление областей знаний, связанных с решаемой проблемой
• составление перечня областей знания по решаемой проблеме
• приемлемость каждой области, исходя из достоверности результатов
• анализ качества экспертов (оценка экспертизы, ее степень сложности и остроты; квалификация экспертов и опытность, личные качества и т.д.)
Наиболее полная и иерархическая структура понятия «качество эксперта» предложена в работе [65]. На основе опыта практической работы авторов и анализа литературных данных авторы представили свойства эксперта в виде иерархической структуры, которая отражает их взаимосвязь.
Выделяют несколько групп методов оценки знаний (компетентности) экспертов:
эвристические — оценки, назначаемые человеком; они основываются на предположении, что то представление, которое сложилось о данном эксперте у окружающих (или даже у него самого), достаточно правильно отражает его истинное качество. К этой группе относят методы самооценки и взаимной оценки.
При реализации взаимной оценки каждый эксперт дает количественную оценку всем остальным экспертам. Затем определяется средняя оценка каждого эксперта.
Самооценка и взаимная оценка осуществляется с использованием шкал с количественными градациями.
статистические — оценки, полученные в результате обработки суждений экспертов об объекте оценки; методы, входящие в эту группу, базируются на общей предпосылке: при оценке качества эксперта его целесообразно рассматривать как «измерительный прибор». Чаще всего используется отклонение индивидуальной экспертной оценки от коллективной (т. е. усредненной для всей группы экспертов). Например, может использоваться коэффициент ранговой корреляции (по Спирмену) между ранжировкой эксперта и средней ранжировкой
(1.1)
где di – разность между средним рангом и рангом, присвоенным данным экспертом i-му объекту. (Данная формула используется при отсутствии связанных рангов.)
Поскольку величина Rj заключена в интервале -1<=Rj<=1, то для удобства ее использования при оценке качества экспертов величина Rj переводится в шкалу по формуле
(1.2)
Для перевода оценки качества эксперта по отклонению от средней Kос j в 10-балльную шкалу умножают на 10.
тестовые — оценки, полученные в результате специальных испытаний знаний экспертов.
документальные — оценки, основанные на анализе документальных данных об экспертах; в качестве таких данных могут выступать: число лет работы, количество публикаций, профессиональный статус, наличие изобретений, владение иностранными языками, участие в конференциях, совещаниях, симпозиумах, возраст, состояние здоровья, отражающиеся на работоспособности эксперта, физические недостатки и т. д.
По мнению авторов работ [39, 54] наиболее адекватными методами оценивания знаний экспертов являются тестовые методы. При соблюдении ряда правил, эти методы позволяют не только установить наличие у эксперта определенного профессионального уровня, но и оценить воспроизводимость оценок эксперта (более стабильные (воспроизводимые) оценки эксперта свидетельствуют о большей его профессиональной компетентности и о большей пригодности для участия в экспертной комиссии), оценивать квалиметрическую компетентность эксперта, то есть умения использовать разные типы оценочных шкал (шкалу порядка, шкалу отношений, шкалу интервалов и т. д.) и умения различать достаточное число градаций оцениваемого свойства.
Профессиональные знания - это совокупность теоретических научных сведений и познаний, а также осведомленность в определенной сфере деятельности, необходимые для качественного исполнения должностных обязанностей с целью достижения результатов в профессиональной служебной деятельности [57].
Профессиональную деятельность в научно-технической области можно представить несколькими аспектами, чьи весомости имеют разную важность для представителей разных профессий из одной профессиональной сферы деятельности, например, специалистов в области компьютерных технологий и специалистов в области передачи информации на расстоянии, специалистов по защите информации, поэтому весомость этих аспектов/направлений профессиональной деятельности нужно оценивать для каждого случая.
В соответствии с многоаспектностью профессиональной деятельности в научно-технической сфере и понятие профессионального технического знания также является многоаспектным, профессиональные знания эксперта будут содержать в себе совокупность профессиональных знаний по входящим в данную профессиональную деятельность аспектам (частных профессиональных знаний об объектах техники, о принципах и технологиях их проектирования, функционирования, разработки и т.д.), соответственно, качественный состав профессиональных знаний будет варьироваться в зависимости от специализации эксперта, и относительная важность соответствующих частных профессиональных знаний для интегрального уровня профессиональных знаний будет неодинакова для представителей разных видов профессий в рамках одной профессиональной сферы.
Поэтому целесообразно использовать методы многокритериального оценивания, которые позволят учесть аспекты профессиональной деятельности (профессиональных знаний), получить их весомости, отражающие вклад этих направлений в формирование профессиональных знаний предметной области, после чего рассмотреть данные аспекты в качестве критериев для оценки уровня профессиональных знаний.
Кроме того, что проблема оценки профессиональных знаний является многокритериальной, она является и слабоструктурированной.
Слабоструктуризованные проблемы - проблемы, которые содержат как качественные, так и количественные элементы, причем качественные, малоизвестные и неопределенные стороны проблем имеют тенденцию доминировать, в таких проблемах существенные зависимости между элементами не могут быть выражены количественно [36].
Оценка профессиональных знаний также должна осуществляться на основе качественных оценок, поскольку не удается придать количественные меры уровням или направлениям знаний предметной области, определить, во сколько раз тот или иной аспект профессиональной деятельности важнее остальных.
Как отмечается в работах, посвященных оценке экспертных знаний [39, 54, 52] и профессиональных знаний [1,84, 32], чаще всего для этих целей используется тестирование, в частности, профессиональные тесты, используемые при отборе и оценке персонала.
Представляется, что процедура системного тестового оценивания уровня профессиональных знаний экспертов в научно-технической сфере должна быть построена таким образом, чтобы в результате ее применений выявлялись способности испытуемых к адекватному отражению степени полноты возможных описаний характеристик одного и того же технического объекта с заданной точки зрения. При таком подходе проявляется системность знаний эксперта об объектах профессиональной деятельности. Для этого целесообразно воспользоваться идеологией экспертных процедур парных сравнений с комплексированием результатов на основе учета иерархичности и весомостей с точки зрения специализаций испытуемых (иерархическое многокритериальное экспертное оценивание).
Такую процедуру предлагается реализовать на основе тестирования, когда испытуемому предъявляется вопрос и несколько вариантов ответов, которые он упорядочивает по степени важности на основе парных сравнений.
Целесообразность такого подхода обусловлена возможностью построения иерархических процедур с учетом важностей направлений деятельности.
Метод парных сравнений – это один из наиболее популярных методов обработки качественных оценок [7, 12, 19].
Парное сравнение представляет собой процедуру установления предпочтения объектов при сравнении объектов во всех возможных парах. Парное сравнение есть измерение в порядковой шкале, то есть в шкале, на множестве значений которой задано правило упорядоченности. Данный метод применяется в тех случаях, когда альтернативы упорядочиваются по относительной важности (весомости) с точки зрения некоторого критерия.
В результате сравнения пары объектов Ai, Aj эксперт упорядочивает ее, высказывая либо , либо , либо . Выбор количественного выражения силы превосходства f(Ai) производят следующим образом: если , то ; если , то ; если , то .
Основная идея метода парных сравнений заключается в отказе от сопоставления важностей объектов на базе некоторых абсолютных шкал, имеющих начало отсчета. Превосходства измеряются относительно сравниваемых объектов. В этом случае началом отсчета всегда служит ощущение одинаковости, эквивалентности, равенства двух объектов, все остальное выражается в виде некоторых превосходств. То есть эксперт может указать степень превосходства или проигрыша одного объекта перед другим. Такой подход базируется на психофизических явлениях, которые свидетельствуют о достаточно хороших способностях человека упорядочивать в парах и при этом указывать, в какой степени один объект превосходит другой, и его можно считать адекватным действиям человека как измерительного прибора. При сравнении объектов в парах началом отсчета является ощущение одинаковости, то есть равенства значений некоторого критерия для объектов [24, 25].
Как отмечает Т. Саати [69], используя парные сравнения на входе, мы можем справиться с факторами, которые обычно в приложениях не поддаются эффективной количественной оценке. Преимущество парных сравнений состоит в том, что одновременно рассматриваются только два предмета и выясняется, как они соотносятся друг с другом. В задачах, где нет шкалы, по которой фиксируется количественная характеристика результатов, процесс попарных сравнений, обладает тем ценным качеством, что, несмотря на большее число этапов, каждый из этапов проще, чем при первом ранжировании или балльной оценке. Подход к парным сравнениям, основанный на решении задачи о собственном значении, обеспечивает способ шкалирования, особенно в тех сферах, где не существует измерений и количественных сравнений. Мера согласованности позволяет возвратиться к суждениям, модифицируя их для улучшения общей согласованности.
1.2 Процедуры решения слабоструктурированных проблем на основе парных сравнений
Парные сравнения проводятся либо с целью упорядочивания альтернатив по их важности, либо с целью определения количественных весомостей альтернатив [25].
После упорядочивания N альтернатив Ai, i=1,2,…,N, получается
(1.3)
Для того чтобы реализовать подобного рода обработку, необходима некоторая шкала суждений, которая позволила бы сказать, превосходит одна альтернатива другую или же они эквивалентны.
В настоящее время, как правило, количество возможных суждений ограничивается и фиксируется заранее, причем увеличение номера суждения означает, что оно выражает большую силу превосходства.
Разрабатываются шкалы вербальных экспертных суждений {Sm} с градациями Sm и соответствующие количественные выражения (числовые градации их силы) {xm}, где xm - вещественные числа, m=0,..., M.
, x0 Разработку шкал суждений и соответствующих количественных выражений их силы нельзя осуществить математическими средствами, поэтому данный этап является наиболее уязвимым местом с точки зрения логики.
Тем не менее, для проведения парных сравнений предложен ряд шкал, применяя которые, можно получить упорядочивание объектов.
При построении матрицы парных сравнений необходимо учитывать симметрию выводов относительно перестановок объектов в парах.
Это означает, что если Ai превосходит Aj, и это превосходство описывается суждением Sm, то Aj проигрывает Ai, и это описывается ?(Sm), где ? – некоторая обратная функция, называемая калибровкой [24].
В диагональных ячейках матрицы записывается число x0, которое соответствует ситуации одинаковости сравниваемых объектов. Для разных калибровок эти значения отличаются (0, 1 или 0,5). В остальных ячейках МПС представлены результаты сравнений объектов, которые записываются количественными выражениями силы вербальных суждений (Sk > xk).
Таким образом, матрица парных сравнений (МПС) C={cij} будет выглядеть следующим образом:

Таблица 1.1 Матрица парных сравнений
МПС A1 A2 A3 … AN-1 AN
A1 cii=x0 c12 c13 c1,N-1 c1N
A2 ?(c12) x0 c23 c2,N-1 c2N
A3 ?(c13) ?(c23) x0 c3,N-1 c3N
… x0
AN-1 ?(c1,N-1) ?(c2,N-1) ?(c3,N-1) x0 cN-1,N
AN ?(c1N) ?(c2N) ?(c3N) ?(cN-1,N) x0

Рассмотрим основные типы калибровок [7].
1) Калибровка простой структуры. (ПС):
(1.5)
Диагональные элементы при этом обычно не фиксируются и могут быть любыми, но нередко дополнительно оговаривается, что cii=1/2 (что позволяет считать ПС разновидностью упоминающейся далее турнирной калибровки).
Интерпретация: cij – индикатор факта превосходства одного объекта над другим или их равноценности.
2) Турнирная калибровка. (Т):
(1.6)
Интерпретация: cij – число очков, набранных объектом (“игроком”) Ai во всех сравнениях (“встречах”) с Aj; число d=const при этом может интерпретироваться как количество таких сравнений (встреч). Нередко дополнительно постулируется целочисленность матрицы C.
3) Степенная калибровка. (С):
(1.7)
Интерпретация: объект Ai превосходит в парном сравнении объект Aj в cij раз.
4) Кососимметрическая калибровка. (К):
(1.8)
Интерпретация: объект Ai превосходит в парном сравнении объект Aj на cij.
5) Вероятностная калибровка. (В):
(1.9)
Интерпретация: cij – вероятность превосходства Ai над Aj.
6) Взвешенная структура (ВС):
(1.10)
Это произвольная структура, ее элементы могут интерпретироваться по-разному, в частности, аналогично турнирной калибровке, но с разным числом встреч между игроками.
Переход от матрицы C, заданной в некоторой калибровке, к откалиброванной по-иному матрице D возможен не всегда, но лишь при соблюдении некоторых дополнительных содержательных условий и нередко сопряжен с потерей важной информации.
Как уже было сказано, парные сравнения проводятся с целью упорядочивания альтернатив по их важности. Однако во многих случаях желательно определить именно их относительные важности (ОВ) в виде соответствующих положительных весомостей [23].

(1.11)
на которые могут быть наложены и другие ограничения, определяющие множество допустимых векторов

(1.12)
где символ «Т» означает транспонирование.
Важным моментом, как для формирования шкал, так и для дальнейшей обработки МПС, является априорный выбор интерпретации элементов МПС в терминах весомостей объектов. В общем случае эта интерпретация описывается с помощью функциональных зависимостей от искомого вектора весомостей

(1.13)
где fij - некоторые функции, а символ ~ означает соответствие, так как для реальных МПС не обязательно имеет место точное равенство [24].
При проведении парных сравнений предполагается, что эксперт оценивает именно соответствующую функцию от вектора весомостей . При этом эксперт либо сам указывает, какую функцию он оценивает, либо эти сведения ему сообщаются в качестве задания.
Когда шкалы (Si, xi) сформированы, МПС заполняется в соответствии с правилом
(1.14)
Функция ? выбирается в соответствии с функцией калибровки ?.
Например, для кососимметричной калибровки
(1.15)
Для степенной калибровки
(1.16)
Для вероятностной калибровки
(1.17)
Целью обработки МПС является решение обратной задачи, то есть оценка вектора весомостей. Для решения обратной задачи необходимо использовать априорные сведения о функциональной зависимости , которую оценивает эксперт в процессе парных сравнений [24].
Обработка матриц парных сравнений
Существует ряд моделей линейного упорядочивания, которые используют матрицы той или иной калибровки [12], например:
1. Модели спортивного типа: В таких моделях в качестве ранжирующего фактора используется набранная объектом «сумма очков» - . Обрабатываемая матрица C может иметь калибровку типа Т, ПС или К.
Таблица 1.2 Характеристика моделей спортивного типа
Название модели ПР Математическая модель Положительные характеристики Недостатки модели
Турнирная модель Объекты упорядочиваются по убыванию si Простота получения результата. Модель не предполагает вычисление количественных оценок.

2. Модель интегральной степени превосходства – применяется для кососимметричных матриц.
Вводится понятие интегральной степени превосходства, , оценивающей превосходство Ai над Aj в сравнении с прочими объектами. Когда интегральная степень превосходства задана, ее можно представить в виде , при этом , где f – функция полезности на множестве объектов, и объекты предлагается упорядочивать по убыванию ее значений.
К недостаткам модели можно отнести введение коэффициентов ?i - весов. Данная модель также не позволяет находить весомости объектов.
3. Модель Бэржа-Брука-Буркова применяется для обработки простых структур, матриц с турнирной и степенной калибровками.
Каждому объекту Ai ставится в соответствие цепочка так называемых интегрированных сил, в которой сила k-го порядка определяется как сумма элементов i-й строки в матрице Cк:
(1.18)
При имеет место , где нормализованный собственный вектор ? = (?1,…, ?N) матрицы C отвечает максимальному по модулю собственному числу теоремы Перрона-Фробениуса.
Получаемые значения компонент собственного вектора могут служить оценкой относительной важности объектов.

4. Стохастическая модель Ушакова предложена для обработки матриц, заданных в степенной и вероятностной калибровках.
Матрица C преобразуется в вероятностную матрицу Р, где рij- вероятность превосходства Aj над Ai
При вероятностной калибровке Р = CТ.
При степенной калибровке pij = cji (1 + cji)-1, i?j.
Строится стохастическая матрица
(1.19)
(1.20)
где - минор, получаемый из вычеркиванием i-го столбца и i-той строки.
Упорядочивание Ai производится по рi.
Получаемые компоненты финального распределения могут использоваться в качестве количественных оценок относительной важности объектов.
Модели спортивного типа позволяют быстро и легко построить упорядочение, однако они недостаточно хорошо обосновывают, что полученное упорядочение является наиболее предпочтительным с точки зрения оценивающего. Модели линейного упорядочивания, такие как модель Бержа-Брука-Буркова и стохастическая модель Ушакова, предлагают более убедительные доводы в пользу соответствующих упорядочений и дают возможность получения количественных оценок относительной важности объектов, но за счет усложнения процесса упорядочения.
Сложные модели, использующие комбинаторно-логические и теоретико-графовые методы, убедительно обосновывают выбор соответствующих упорядочений, но еще более трудоемкие, и их использование сопряжено с решением трудных проблем комбинаторной оптимизации [7].
Модель Бержа-Брука-Буркова позволяет учитывать неопределенность явлений, не поддающихся измерению со сколь угодно большой точностью и с учетом нечеткости соответственно. Таким образом, для линейного упорядочивания в условиях неопределенности предпочтительнее пользоваться моделью Бержа-Брука-Буркова [12].
Как уже говорилось выше, основная идея метода парных сравнений заключается в отказе от сопоставления важностей объектов на базе некоторых абсолютных шкал, имеющих начало отсчета. Превосходства измеряются относительно сравниваемых объектов. То есть эксперт может указать степень превосходства или проигрыша одного объекта перед другим. Такой подход базируется на психофизических явлениях, которые свидетельствуют о достаточно хороших способностях человека упорядочивать в парах и при этом указывать, в какой степени один объект превосходит другой. Таким образом, подход на основе парных сравнений можно считать адекватным действиям человека как измерительного прибора. При сравнении объектов в парах началом отсчета является ощущение одинаковости, то есть равенства значений некоторого критерия для объектов.
Поскольку оценка профессиональных знаний должна быть многокритериальной, то необходимо использование методов многокритериального оценивания. При этом могут использоваться как существующие методы многокритериальной оценки, так и может быть разработана процедура многокритериального оценивания на основе описанных выше однокритериальных качественных методов экспертных оценок.
Многокритериальное оценивание на основе парных сравнений
При многокритериальной оценке каждой цели должен соответствовать критерий, с помощью которого может быть оценена степень достижения цели.
Так, для оценивания уровня профессиональных знаний экспертов в профессиональной сфере предлагается иерархия, представленная на рисунке 1.1. Критерии представляют собой направления преимущественной деятельности в данной сфере, а альтернативы – ответы на вопрос теста, который предъявляется испытуемому для проверки уровня его профессиональных знаний.
Рисунок 1.1 Пример иерархии – оценка уровня профессиональных знаний

В наборе критериев должны быть представлены критерии, характеризующие все основные аспекты оценки объекта экспертизы либо степени достижения стоящей перед лицом, принимающим решение (ЛПР) цели. Получив значения оценок эксперта по каждому из критериев, входящих в состав набора, мы должны иметь возможность определить требуемую оценку объекта экспертизы [39].
В настоящее время предложено немало различных подходов для многокритериальной оценки альтернатив и их упорядочения. Большинство существующих методов принятия решений при многих критериях, реализованных в системах поддержки принятия решений (СППР), включают в себя процедуры выявления предпочтений ЛПР «по частям» в попытке получить целостную оценку альтернатив по результатам оценки по отдельным или нескольким критериям [39]. Зачастую они сводятся к линейной или нелинейной свертке, позволяющей поставить в соответствие каждому элементу множества оценивающее его число.
Недостатком методов многокритериального выбора при четких исходных данных является отсутствие возможности получения информации от людей (ЛПР, экспертов); не учитывается тот факт, что человек производит количественные измерения субъективных факторов с существенными погрешностями [87].
Необходимым условием методов многокритериального выбора лучших решений является использование психологически корректных процедур выявления предпочтений ЛПР. На первое место ставится точность содержательного описания проблемы, а не точность количественного измерения параметров [34].
К основным методам многокритериального оценивания относятся: [35, 69, 39, 12]
- метод анализа иерархий (МАИ);
- методы ELECTRE;
- методы, основанные на нечетких отношениях предпочтения экспертов;
В группе методов ELECTRE упорядочение многокритериальных альтернатив осуществляется их попарным сравнением с использованием специальных индексов согласия и несогласия, рассчитываемых на основе предпочтений ЛПР [35]. Речь идет о согласии или несогласии с гипотезой, что одна альтернатива превосходит другую. От ЛПР требуется определение критериальных значений альтернатив и назначение весомостей критериев. В результате две альтернативы могут находиться в одном из трех отношений: превосходства, безразличия, несравнимости.
Уровни коэффициентов согласия и несогласия, при которых альтернативы сравнимы, представляют собой инструмент анализа в руках ЛПР и эксперта. Задавая эти уровни, они исследуют имеющееся множество альтернатив. В общем случае целью анализа, проводимого с помощью методов ELECTRE, является выделение ядра, состоящего из сложных для сравнения альтернатив. При необходимости продолжения анализа с целью сужения оставшейся группы или выделения одной лучшей используют другие методы [35].
Подход методов ELECTRE не гарантирует выполнения двух важных требований: полноты сравнений и транзитивности.
Методы ELECTRE направлены на решение задач с уже заданными многокритериальными альтернативами. В отличие от метода анализа иерархий в методах ELECTRE не определяется количественно показатель качества каждой из альтернатив, а устанавливается лишь условие превосходства одной альтернативы над другой.
В работе [35] приведен пример сравнения результатов использования многокритериальных методов для решения задачи о выборе места для строительства аэропорта. Для сравнения были Ларичевым были взяты следующие подходы: теория многокритериальной полезности (ТМП или англ. вариант названия - MAUT), ELECTRE, Метод анализа иерархий (МАИ или англ. вариант названия AHP).
При решении задачи методом ELECTRE первое приближение при введенных уровнях c1 и d1 (согласия и несогласия) решения не дало, альтернативы оказались несравнимыми. При изменении уровней согласия и несогласия наилучшим оказался второй альтернативный вариант.
Недостаток данного подхода – произвол в выборе уровней согласия и несогласия и отсутствие количественных значений весомостей критериев, вследствие чего может быть получено несколько альтернативных решений при разных заданных уровнях, в том числе могут быть получены противоречивые результаты.
При решении этой же задачи с использованием Метода анализа иерархий (МАИ) в форме Саати наилучшей оказалась 4-я альтернатива.
В работе [12] сравнивались между собой метод анализа иерархий, методы принятия решений на основе нечеткой логики и качественные методы принятия решений - ЗАПРОС, ПАРК (ПАРная Компенсация), ОРКЛАСС (Ординальная КЛАССификация).

Рисунок 1.2 Иерархия сравнения методов принятия решений

В результате сравнения получились следующие весомости методов принятия решений в условиях неопределенности:
Метод анализа иерархий 0,4955
Методы принятия решений на основе нечеткой логики 0,3100
Качественные методы принятия решений 0,1945
Таким образом, наиболее предпочтителен для анализа неструктурированных многокритериальных проблем метод анализа иерархий.
Проведенный обзор показал, что большинство из представленных методов многокритериальной оценки на основе парных сравнений имеет ряд существенных недостатков, поэтому наиболее целесообразно использовать многокритериальное оценивание на основе парных сравнений, реализовав процедуру комплексирования частных оценок по критериям, либо использовать многокритериальные парные сравнения, например, в форме Саати.
1.3 Иерархический метод парных сравнений в форме Саати (МАИ)
Основные этапы принятия решений с помощью МАИ следующие [69]:
- построение иерархии рассматриваемой проблемы;
- парное сравнение компонент иерархии;
- математическая обработка экспертной информации.
Принимая решение с использованием метода анализа иерархий, группа экспертов производит декомпозицию сложной проблемы – определяет ее компоненты и отношения между ними. Получается модель реальной действительности, построенная в виде иерархии.

Рисунок 1.3 Общий вид иерархии
Введем следующие обозначения [69, 70,16]:
L – число уровней в иерархии
nk – число узлов на k-м уровне, k=1,2,…,L
ski – i-й узел на k-том уровне, i=1,2,…, nk
Ikj – множество индексов узлов ski, имеющих прямую связь с j-м узлом sk-Ij (k-1)-го уровня,
N(Ikj) – число элементов в Ikj
В простейшем случае используется трехуровневая иерархия, состоящая из уровней: Доминанта, Критерии, Альтернативы.

Рисунок 1.4 Трехуровневая иерархия
Для решения задачи оценивания уровня профессиональных знаний нам достаточно трехуровневой иерархии (см. рисунок 1.4), в которой целью является уровень профессиональных знаний в сфере ИКТ, критериями – направления профессиональной деятельности в сфере ИКТ, а альтернативами вопросы теста, предъявляемого испытуемому.
Парные сравнения проводятся в терминах доминирования одного из элементов над другим. Этим суждениям затем приписывается количественная сила превосходства, выражаемая целым числом или обратным к нему согласно следующего правила. Если элемент Аi доминирует над элементом Aj, то ячейка матрицы, соответствующая строке Аi и столбцу Aj, заполняется целым числом, а ячейка, соответствующая строке Aj и столбцу Аi, заполняется обратным к нему числом (дробью). В МАИ предложена шкала превосходств / проигрышей элементов иерархии (таблица 1.3).
Таблица 1.3 Шкала превосходств / проигрышей Саати
Шкала превосходств / проигрышей
Номер Суждение Sk Сила xk
S0 равная важность 1
S1 Между 1 и 3 2
S2 умеренное превосходство одного над другим 3
S3 Между 3 и 5 4
S4 существенное или сильное превосходство 5
S5 Между 5 и 7 6
S6 значительное превосходство 7
S7 Между 7 и 9 8
S8 очень сильное превосходство 9
Обратные величины приведенных выше чисел если при сравнении одного параметра с другим получено одно из вышеуказанных чисел, то при сравнении второго параметра с первым получим обратную величину

Обозначим матрицу МПС, в которой сравниваются критерии, расположенные на следующим за целью уровнем иерархии С={сij}.
Матрица является обратносимметричной, т.е. cij=1/cji согласно (1.16). По главной диагонали матрицы заранее ставятся единицы, т.к. альтернатива равноценна самой себе. Для заполнения каждой матрицы размером NхN достаточно произвести N(N-1)/2 суждений.
Таблица 1.4 Общий вид обратносимметричной матрицы парных сравнений
Цель Критерий 1 Критерий 2 Критерий 3 … Критерий K
Критерий 1 1 с12 с13 … с1K
Критерий 2 1/с12 1 … … …
Критерий 3 1/с13 … 1 … …
… … … … 1 …
Критерий K 1/с1K … … … 1

Составление таких матриц проводится для всех уровней и групп в иерархии. Причем полученные матрицы должны быть согласованы для достоверного решения. Согласованность проявляется в транзитивности. Для идеальной калибровки . Поскольку в идеале , то и .
После заполнения матриц парных сравнений в соответствии с правилом (1.14) следующий шаг состоит в вычислении вектора весомостей по данной матрице.
В точном случае, в случае идеальных сравнений, когда каждый элемент МПС в точности задается отношением весомостей объектов, матрица заполняется выражениями вида
Таблица 1.5 «Идеальная» МПС
A1 A2 A3 … AN
A1



… A2



… A3



… … … … … … …
AN



… Тогда произведение строчных элементов, так как в строках одинаковый знаменатель, имеет вид
(1.21)
Извлекая корень
(1.22)
Обозначим
(1.23)
(1.24)
Поскольку по определению , то есть являются оценками данных функций, то можно получить асимптотические верные оценки вектора весомостей в виде
(1.25)
Второй асимптотический случай.
Умножая идеальную МПС на вектор y, образуем zk:



Если , то , то есть для идеальной МПС найдется собственный вектор с собственным числом N.
Таким образом, можно получить оценку в виде собственного вектора , асимптотически при точную.
Ввиду того, что МПС имеет положительные элементы, из теоремы Перрона-Фробениуса [15] следует, что матрица всегда имеет единственный собственный вектор с положительными компонентами, и ему соответствует максимальное положительное собственное число.
Для идеальной матрицы максимальное собственное число равно размерности матрицы . В возмущенном случае, когда cij асимптотически не совпадает с отношениями весомостей, то [26].
Поэтому это различие Саати предложил использовать как меру несогласованности суждений эксперта.
Саати предлагает оценить отклонение от согласованности разностью max ? ? N , разделенной на (N ?1)
(1.26)
и называет эту величину индексом согласованности (ИС). После чего делит значение индекса согласованности на математическое ожидание индекса согласованности сгенерированной случайным образом обратно-симметричной матрицы (СИ).
Отношение ИС к среднему СИ для матрицы того же порядка называется отношением согласованности (ОС). Значение ОС, меньшее или равное 0,10, считается приемлемым.
ОС=ИС/СИ (1.27)

Таблица 1.6 Значения математического ожидания согласованности для МПС разного порядка
Размер матрицы 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
СИ 0,00 0,00 0,55 0,90 1,12 1,24 1,32 1,41 1,45 1,49 1,51 1,53 1,56 1,57 1,59

Собственное число предлагается оценивать путем нахождения собственного вектора или следующим образом [69, 70]

(1.28)
Весомости вычисляются степенным методом, и они не сильно отличаются от весомостей, вычисляемых как корень N-й степени из произведения строчных элементов МПС, что было показано в работе [25] на основе статистического моделирования.
Для обработки трехуровневой иерархии предлагается следующая схема:
Обозначим - вектор весомостей критериев. Для вычисления вектора весомостей для каждой матрицы парных сравнений перемножаются K элементов каждой строки и извлекается корень K-й степени, после чего полученные числа нормализуются.
Таблица 1.7 Вычисление вектора весомостей
Цель Критерий 1 Критерий 2 Критерий 3 … Критерий K Вектор весомостей Критерий 1 1 c12 c13 … c1K Критерий 2 c21=1/c12 1 c23 … c2K Критерий 3 1/c13 … 1 … … …
… … … … 1 … …
Критерий K 1/c1K … … … 1
Далее предполагается, что с использованием метода парных сравнений определяются весомости каждой из альтернатив с точки зрения k-го критерия, причем для любого k должно выполняться условие:
(1.29)
где Vik – весомость i-той альтернативы с точки зрения k-того критерия сравнений. То есть заполняются МПС, в которых альтернативы сравниваются попарно по отношению к каждому из критериев сравнения, таких матриц заполняется столько, сколько используется критериев, и вычисляются векторы весомостей альтернатив по каждому из критериев.
В результате получается матрица частных весомостей следующего вида:
Таблица 1.8 Матрица, составленная из векторов весомостей альтернатив по каждому из критериев
A1 A2 A3 … AN
Kритерий 1 V11 V21 V31 … VN1
Kритерий 2 V12 V22 V32 … VN2
… … … … … …
Kритерий K V1K V2K V3K … VNK

Для вычисления весомостей альтернатив Ai полученная матрица, состоящая из векторов весомостей альтернатив по каждому из критериев сравнения, умножается на локальный вектор весомостей критериев
(1.30)
Или, на основе так называемой свертки
(1.31)
Наиболее предпочтительной является та альтернатива, весомость которой наибольшая.
Также на последнем этапе вычисляется оценка согласованности иерархии
ОСИ=М/М- (1.32)
(1.33)
, (1.34)
где ИСкрит – значение индекса согласованности для МПС сравнения критериев по отношению к цели, ИСk – индексы согласованности для МПС сравнения альтернатив по каждому из K критериев, ССкрит – математическое ожидание согласованности для случайным образом заполненных МПС сравнения критериев по отношению к цели размерности m, ССk – математическое ожидание согласованности для случайным образом заполненных МПС сравнения альтернатив по каждому из K критериев.
Иерархия считается согласованной, если ОСИ порядка 0,1 (10%), хотя на практике при решении сложных проблем допускается порог в 0,2.
Из проведенного в пунктах 1.1 и 1.2 обзора следует, что наиболее подходящим среди представленных методов многокритериального экспертного оценивания является Метод анализа иерархий (МАИ), разработанный Т. Саати на основе парных сравнений. Данный метод позволяет учитывать множественность критериев, их качественный характер и получать на выходе весомости альтернатив в количественной форме. В МАИ используется степенная калибровка матрицы парных сравнений, матрицы положительные обратносимметричные. Числа, используемые в шкале Саати, являются абсолютными величинами, а не просто порядковыми числами. Как подчеркивает Саати, шкала отношений, полученная из матрицы суждений, является оценкой принятой основной шкалы отношений, которая получилась бы, если матрица суждений была бы согласованной.
Метод анализа иерархий имеет достаточно большое число преимуществ перед другими методами [69, 70, 91, 35, 40]:
1. совмещает в себе достоинства аналитических и экспертных методов;
2. не предусматривает введения ограничения на транзитивность (метод работает с несогласованными суждениями и не требует, чтобы предпочтения потребителей или ЛПР соответствовали аксиомам полезности);
3. позволяет сводить исследования сложных проблем к достаточно простой процедуре проведения последовательно попарных сравнений;
4. сравнительно прост в реализации, а также не требует больших финансовых и временных ресурсов на проведение необходимых расчетов;
5. даст результаты, хорошо согласующиеся с интуитивными представлениями экспертов при рациональном подходе к принятию решений.
6. позволяет на основе качественных оценок получить весомости в количественном виде
Несмотря на такое число преимуществ метода анализа иерархий, он имеет и ряд недостатков, которые отмечают исследователи [35, 36, 55, 79, 48, 16].
1. МАИ не имеет строгого обоснования и примыкает к эвристическим методам, в которых используется числовая (балльная) оценка по каждому из критериев, а критериям приписываются количественные весомости, характеризующие их важность. В основе таких методов лежат непроверяемые допущения, такие как аддитивность, возможность количественных измерений отдельных качеств и т.д. [36].
2. Принципиальный недостаток методов аналитической иерархии, снижающий его выразительные возможности, состоит, прежде всего, в замене сравнительных вербальных оценок разнохарактерных элементов иерархии – целей, критериев, вариантов – на однотипные числа. Это, во-первых, навязывает несвойственный человеку единообразный язык для выражения предпочтений. Во-вторых, может сильно исказить предпочтения ЛПР. Кроме того, при большом числе сравниваемых элементов высока вероятность несогласованности и нетранзитивности оценок [55].
3. отношение согласованности, используемое Саати, является формальным и в некоторых случаях приводит к трудно интерпретируемым результатам. Встречаются случаи, когда эксперт был согласован в своих суждениях, (ОС<10-20%), а его весомости резко отличались от большинства, а то и носили прямо противоположный характер: те факторы, которым большинство придавали наибольшую значимость, эти эксперты оценивали как менее значимые и — наоборот. При усреднении результатов всех экспертов, соответствующих заданному критерию, что обычно делают для получения обобщенных оценок, это приводит к смещению средних значений весомостей [79].
4. Невыполнение свойства сохранения ранжирования решений при удалении одного из возможных решений [90].
5. Эффект дробления цели (уменьшения весомостей наиболее важных целей при увеличении уровней иерархии) [16].
6. Применение МАИ практически всегда содержит некоторую «модельную» ошибку вычисления вектора весомостей и, если эта ошибка велика, то применение МАИ становится неприемлемым [48].
7. Резкое увеличение количества оценок с увеличением набора элементов [44].
Часто при экспертном оценивании отсутствует объективная шкала измерения оценок по отдельным критериям. Оценки альтернатив по отдельным критериям могут быть относительными, показывая, чем один вариант лучше другого. Используемый Саати способ установления взаимного соответствия между первичной качественной шкалой измерений и балльной количественной шкалой – когда первичные измерения делаются в качественном виде, а затем ответам приписываются (независимо от мнения эксперта) определенные числа, которые и используются далее при оценке вариантов принимаемых решений, ненадежен – нет никакой логической основы для приписывания тех или иных чисел первичным качественным оценкам [36].
Вместе с тем, МАИ – единственный метод, который дает количественные весомости при использовании иерархической процедуры, поэтому для многокритериальной оценки знаний нужно использовать метод Саати. Что же касается недостатка, связанного с использованием предварительно разработанных шкал числовых градаций, то в третьей главе данной работы рассмотрена альтернативная иерархическая процедура парных сравнений без предварительного формирования шкал.
Таким образом, возникает задача разработки иерархической процедуры парных сравнений для оценивания уровня профессиональных знаний экспертов в научно-технической сфере, с помощью которой обрабатывались бы качественные парные сравнения, давая в результате числовые весомости, как и в МАИ, обладала бы основными преимуществами метода Саати, давала бы при вычислении значения, близкие к реальным, но при этом не использовала бы предварительно разработанные шкалы экспертных суждений.
1.4 Задачи исследования
В пунктах 1.1-1.3 нами было показано, что для оценки уровня профессиональных знаний экспертов в научно-технической сфере необходим системный подход, так как профессиональное (техническое) знание – системная категория, и профессиональные знания нужно оценивать с позиций системного подхода.
Системный подход к оценке профессиональных знаний экспертов в научно-технической сфере должен подразумевать разработку системной классификации профессиональных знаний в сфере техники, которая будет служить основанием для системной процедуры оценивания, и метода системного оценивания уровня профессиональных знаний привлекаемых экспертов, который должен включать в себя:
1. системную процедуру оценивания уровня профессиональных знаний экспертов на основе иерархической процедуры парных сравнений;
2. процедуру определения уровня устойчивости профессиональных знаний путем многократного предъявления тестовых вопросов с разным порядком расположения ответов.
Также была показана многоаспектность и слабоструктурированность проблемы оценки профессиональных знаний и рассмотрены существующие подходы к оцениванию профессиональных знаний экспертов.
Показано, что при системном оценивании уровня профессиональных знаний экспертов целесообразно действовать по аналогии с процедурами отбора и обработки экспертных знаний при экспертизе технических объектов.
В качестве инструмента для реализации системного подхода к оценке уровня профессиональных знаний были выбраны парные сравнения, имеющие ряд преимуществ перед другими методами. Наиболее важными преимуществами метода парных сравнений в контексте данной работы являются возможность его использования в иерархических процедурах оценивания, то, что он дает возможность использования шкалы отношений для заполнения МПС и обработки результатов, и тот факт, что ответы, которые дает эксперт при оценке объекта экспертизы, не исчерпывает всю полноту и/или сложность оцениваемого объекта. Таким образом, для решения многоаспектной и слабоструктурированной проблемы оценки уровня профессиональных знаний наиболее подходящей является иерархическая процедура на основе парных сравнений.
На основании вышесказанного можно сформулировать следующие задачи:
1. Разработка метода системного оценивания уровня профессиональных знаний экспертов, привлекаемых для анализа объектов в научно-технической сфере, на основе получения и обработки экспертной информации с применением парных сравнений.
2. Разработка алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов.
3. Разработка программной реализации алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов.
4. Апробация разработанного метода и алгоритмов оценивания профессиональных знаний привлекаемых экспертов на примере сферы информационно-коммуникационных технологий.


ГЛАВА 2. Разработка метода получения и обработки информации на основе парных сравнений при оценивании подготовленности эксперта
2.1 Принцип оценивания уровня профессиональных знаний экспертов
1. Оценка уровня профессиональных знаний экспертов должна осуществляться на основе процедур получения и обработки соответствующей информации. Такие процедуры будем называть тестом.
2. База вопросов и возможных ответов для отбора информации формируется заранее коллективом признанных специалистов. Вопросы теста характеризуют общие понятия сферы техники....



ЗАКЛЮЧЕНИЕ
1. Разработан метод системного оценивания уровня профессиональных знаний экспертов, привлекаемых для анализа объектов в научно- технической сфере, на основе получения и обработки экспертной информации, включая:
1.1 новый принцип отбора экспертов на основе проверки их способности к упорядочиванию в виде вычисляемых весомостей предъявляемых описаний характеристик анализируемых объектов по степени их полноты с заданной точки зрения (направления профессиональных знаний) ;
1.2 иерархическую процедуру получения и обработки на основе парных сравнений информации о знаниях испытуемых с вычислениями весомостей сравниваемых описаний анализируемых объектов;
1.3 способ формирования эталонного уровня профессиональных знаний в виде упорядочивания весомостей сравниваемых описаний анализируемых объектов с привлечением «эталонных» экспертов;
1.4 способ оценивания уровня профессиональных знаний экспертов на основе разработанных мер близости с полученным ранее эталонным упорядочиванием весомостей и градаций результирующих оценок.
2. Разработаны алгоритмы получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов, с вычислением весомостей предъявляемых описаний анализируемых объектов на основе метода парных сравнений без предварительного формирования шкал экспертных суждений и определением уровня профессиональных знаний на основе сопоставлений с предварительно формируемым эталонным уровнем с применением мер близостей для сопоставлений вычисленных весомостей на основе разработанных шкал интегральных оценок.
3. Разработана программная реализация алгоритмов получения и обработки информации при отборе экспертов в научно-технической сфере.
4. Проведена апробация разработанного метода и алгоритмов оценивания профессиональных знаний привлекаемых экспертов на примере оценивания уровня профессиональных знаний в сфере информационно-коммуникационных технологий.
Результаты проведенных вычислительных экспериментов с реальными и модельными данными иллюстрируют работоспособность предлагаемых алгоритмов обработки экспертной информации при оценивании уровня профессиональных знаний экспертов в научно- технической сфере.
Предложенные алгоритмы получения и обработки экспертной информации при определении уровня профессиональных знаний позволяют повысить эффективность процедур отбора, привлекаемых для оценивания объектов в научно- технической сфере, в виду повышения обоснованности принимаемых решений с применения системного подхода к формированию и использованию эталонных уровней знаний


СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. Аванесов В.С. Композиция тестовых заданий / В.С. Аванесов. - М: Ассоциация инженеров-педагогов, 1996.
2. Айвазян С.А. Прикладная статистика: Исследование зависимостей: Справ. изд. /[ С.А. Айвазян, И.С. Енюков, Л.Д. Мешалкин; Под ред. С.А. Айвазяна]. – М.: Финансы и статистика, 1985. – 487 с., ил.
3. Андрейчиков А.В. Анализ, синтез, планирование решений в экономике: Учебник. – 2-е изд. / А.В. Андрейчиков, О.Н. Андрейчикова. – М.: Финансы и статистика, 2004. – 464 с.
4. Архангельский А. Я. Программирование в Delphi 7. / А.Я. Архангельский. - М.: Бином-Пресс, 2003, - 1152с.
5. Ахрамейко А.А. Обобщение метода анализа иерархий Саати для использования нечетко-интервальных экспертных данных / А.А. Ахрамейко, Б.А. Железко, Д.В. Ксеневич, С.В. Ксеневич [Электронный ресурс] Режим доступа s_iles/belorussia_2002.htm
6. Безбородова Г.А. Использование информационно-коммуникационных технологий в самостоятельной работе со студентами на занятиях по математике / Г.А. Безбородова // Актуальные вопросы современной педагогики: материалы междунар. заоч. науч. конф. (г. Уфа, июнь 2011 г.). / Под общ. ред. Г.Д. Ахметовой. — Уфа: Лето, 2011. — С. 124-127.
7. Белкин А.Р. Принятие решений: комбинаторные модели аппроксимации информации / А.Р. Белкин, М.Ш. Левин. - М.: Наука, 1990. – 160с.
8. Берестнева О.Г. Системные исследования и информационные технологии оценки компетентности студентов / автореф. дисс. на соиск. уч. степ. докт. техн. наук, Томск: ТПУ, 2007. – 41с.
9. Бешелев С. Д. Математико-статистические методы экспертных оценок / С.Д. Бешелев, Ф.Г. Гурвич. – М.: Статистика, 1980. – 263с.
10. Бешелев С.Д. Экспертные оценки [Текст] / С.Д. Бешелев, Ф.Г. Гурвич. – М.: Наука, 1973.
11. Бешелев С. Д. Экспертные оценки в принятии плановых решений / С. Д. Бешелев, Ф. Г. Гурвич. – М.: Экономика, 1976.
12. Блюмин С.Д. Модели и методы принятия решений в условиях неопределенности / С.Л. Блюмин, И.А. Шуйкова. - Липецк: ЛЭГИ, 2001. – 138 с.
13. Вартазаров И. С. Экспертные оценки и их применение в энергетике / И. С Вартазаров, И. Г. Горлов, Е. В. Минаев, Р. И. Хвастунов. – М.: Энергоиздат, 1981.
14. Васильев В.И. Система тестирования АСТ-Тест / В.И. Васильев, Т.Н. Тягунова, Н.Г. Малышев, С.А. Тягунов [Электронный ресурс] Режим доступа
15. Гантмахер, Ф.Р. Теория матриц / Ф.Р. Гантмахер - М.: Наука, 1967.
16. Демидов Н.Е. Математические модели и методы анализа иерархий в системах обеспечения информационной безопасности / дисс. на соиск. уч. степ. канд. техн. наук, Тверь, 2004.
17. Добров Г.М. Экспертные оценки в научно-техническом прогнозировании / Г.М. Добров, Ю.В. Ершов, Е.И. Левин, А.П. Смирнов. – Киев: Наукова думка, 1974.
18. Дьяченко М.И. Психология высшей школы / М.И. Дьяченко, Л.А. Кандыбович. - Минск: Изд-во БГУ им. В. И. Ленина, 1978.
19. Дэвид Г. Метод парных сравнений / Г. Дэвид. – М.: Статистика, 1978.
20. Евланов Л.Г. Теория и практика принятия решений / Л.Г. Евланов. – М: Экономика, 1984.
21. Евланов Л.Г. Экспертные оценки в управлении / Л.Г. Евланов, В.А. Кутузов. – М.: Экономика, 1978.
22. Елисеева И.И. Общая теория статистики / И.И. Елисеева, М.М. Юзбашев. - М.: Финансы и статистика, 2005. – 657с.
23. Жиляков Е.Г. Адаптивное определение относительных важностей объектов на основе качественных парных сравнений / Е.Г. Жиляков // Экономика и математические методы, - 2006. – Т. 42, № 2. – С. 111-122.
24. Жиляков Е.Г. Основы управления лизингом: Учебное пособие / Е.Г. Жиляков, Я.В. Кравченко. – Белгород: Корпоративное образование, 2001. – 67с.
25. Жиляков Е.Г. Системный анализ и модели поддержки принятия решений: Учебно-методическое пособие с лабораторным практикумом / Е.Г. Жиляков, Ю.А. Фокин, А.Е. Яковлев. – Белгород: Изд-во БУПК, 1999. – 119с.
26. Жиляков, Е.Г. Вариационный метод решения обратной задачи экспертного оценивания при парных сравнениях / Е.Г. Жиляков, Н.П. Путивцева, Н.В. Щербинина // Вопросы радиоэлектроники. Сер. РЛТ. – 2007. – (№4)вып.2. – С. 142-155.
27. Жиляков, Е.Г. Системная модель направлений профессиональной деятельности в сфере информационно- коммуникационных технологий (ИКТ) / Е.Г. Жиляков, С.П. Белов, С.В. Игрунова, С.Н. Девицына, Н.П. Путивцева // Известия ОрелГТУ. Информационные системы и технологии. – 2009. - № 5 – С. 56-65.
28. Заде Л.А. Понятие лингвистической переменной и его применение к принятию приближенных решений / Л.А. Заде. – М.: Мир, 1976. – 168 с.
29. Иванова Т.М. Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний / дисс. на соиск. уч. степ. канд. техн. наук, Самара, 2007. – 145 с.
30. Кибанов А.Я. Управление персоналом организации: отбор и оценка при найме, аттестации: Учебное пособие для студентов вузов / А.Я. Кибанов, И.Б. Дуракова. – М.: «Экзамен», 2005. – 416с.
31. Кузьменко, О.Л. Многокритериальный выбор и принятие решений на основе экспертных знаний и нечеткого распознавания ситуаций / дисс. на соиск. уч. степ. канд. техн. наук, Таганрог 2008, 175 с.
32. Купер, Д. Психология в отборе персонала / Д. Купер, Э. Робертсон. – Спб: Питер, 2003. - 240с.
33. Клигер, С.А. Шкалирование при сборе и анализе социологической информации / С.А. Клигер, М.С. Косолапов, Ю.Н. Толстова. – М.: Наука, 1978.
34. Ларичев, О.И. Вербальный анализ решений / [О.И. Ларичев. Отв. Ред. А.Б. Петровский: Ин-т системного анализа РАН]. М.: Наука, 2006. -181с.
35. Ларичев, О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учебник для студентов вузов. – 2-е изд., перераб. и доп. / О.И. Ларичев. – М.: Логос, 2002. – 392 с.
36. Ларичев, О.И. Качественные методы принятия решений. Вербальный анализ решений / О.И. Ларичев, Е.М. Мошкович. – М.: Наука. Физматлит, 1996. – 208с.
37. Лизунова, Е.М. Информационные и коммуникац технологии в образовании: лекции / Е.М. Лизунова. – Елабуга, 2006 [Электронный ресурс]. Режим доступа main/rus/struct/katheder/informat/resources/books/Oglav.html
38. Литвак Б.Г. Экспертная информация: методы получения и анализа / Б.Г. Литвак. – М.: Радио и связь, 1982.
39. Литвак Б.Г. Экспертные оценки и принятие решений / Б.Г. Литвак. – М.: Патент, 1996. – 271с.
40. Макаров С.И. Разработка модели и инструментальных средств оптимального распределения инвестиций в непрерывное образование на основе компетентностного подхода / дисс. на соиск. уч. степ. канд. экон. наук, Москва, 2008. – 175 с.
41. Миркин Б.Г. Анализ качественных признаков и структур / Б.Г. Миркин. - М.: Наука, 1982. – 286с.
42. Моисеев В.Б. Информационный подход к выбору решений в системах адаптивного тестирования / В.Б. Моисеев, Л.Г. Пятирублевый, К.Р Таранцева // Материалы конференции «Анализ качества образования и тестирование». - Москва. МО РФ. МЭСИ. С. 174-178.
43. Моргунов Е. УПРАВЛЕНИЕ ПЕРСОНАЛОМ: исследование, оценка, обучение / Е. Моргунов. – М.: ООО «Журнал «Управление персоналом», 2005. – 550с.
44. Моренин А.А. Анализ математических методов поддержки принятия решений / А.А. Моренин [Электронный ресурс] Режим доступа http:/www.olap.ru/bestanalysis.asp
45. Мыльник В.В., Титаренко Б.П., Волочиенко В.А. Исследование систем управления М.: Академический Проект, 2003. — 352 с.
46. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.М. Нейман, В.А.Хлебников. - М.: Прометей, 2000, - 168 С.
47. Никаев С.А. Модели и информационная система для оценки профессиональных знаний специалистов промышленного производства / дисс. на соиск. уч. степ. канд. техн. наук, Самара, 2004. – 186 с.
48. Ногин В.Д. Упрощенный вариант метода анализа иерархий на основе нелинейной свертки критериев / В.Д. Ногин // Вычислительная математика и математическая физика, 2004. №7. С.1261-1270. (Том 44).
49. Ногин В.Д. Принятие решений при многих критериях: Учебно-методическое пособие / В.Д. Ногин – СПб: Изд-во «ЮТАС», 2007. – 104с.
50. Окладникова С.В. Модели оценки качества тестовых материалов на этапе разработки / дисс. на соиск. уч. степ. канд. техн. наук, Астрахань, 2009. – 184 с.
51. Олейник, Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учебное пособие / Н.М. Олейник. - Донецк: ДГУ. [Электронный ресурс] Режим доступа test-kak-instrument-izmereniya-urovnya-znanij/.
52. Орлов А.И. Теория принятия решений: Учеб. Пособие / А.И. Орлов – М.: Издательство «Март», 2004. – 656 с.
53. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации / А.С. Орловский – М.: Наука. Главная редакция физико-математической литературы, 1981. – 208с.
54. Панкова Л.А. Организация экспертизы и анализ экспертной информации / Л. А. Панкова, А.М. Петровский, М.В. Шнейдерман. – М.: Наука, 1984.
55. Петровский А.Б. Теория принятия решений / А.Б.Петровский. – М.: Издательский центр «Академия», 2009.
56. Плетнёв, К.И., Экспертиза в научно-технической сфере: методология и организация / К.И. Плетнев, Н.Е. Лазаренко. - М.: РАГС, 2003.
57. Приказ Ростехрегулирования от 30.08.2007 N 2358"Об организации работы по проведению конкурсов на замещение вакантных должностей федеральной государственной гражданской службы Российской Федерации в Федеральном агентстве по техническому регулированию и метрологии"
58. Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. – Т. 1: Айвазян С.А., Мхитарян В.С. Теория вероятностей и прикладная статистика, - М.: ЮНИТИ-ДАНА, 2001. – 656 с.
59. Питмен Э. Основы теории статистических выводов / Э. Питмен. - М.: Мир, 1986. - 104с.
60. Полещук, О.М. Методы формализации и обработки нечеткой экспертной информации / дисс. на соиск. уч. степ. докт. техн. наук, Москва, 2004. – 281 с.
61. Попова, Е.Д. Разработка моделей и алгоритмов оценки качества тестовых материалов / дисс. на соиск. уч. степ. канд. техн. наук, Москва, 2005. – 175 с.
62. Путивцева Н.П. Разработка процедуры обработки информации при оценивании уровня профессиональных знаний в сфере ИКТ на основе парных сравнений / Н.П. Путивцева // Научные ведомости БелГУ. Серия История. Политология. Экономика. Информатика. – 2011. - №7 (102), вып. 18/1. – С. 152-161.
63. Путивцева Н.П. Применение метода парных сравнений для анализа учебных планов с использованием модели профессиональных ИКТ-компетенций / С.В. Игрунова, С.Н. Девицына, Н.П. Путивцева // Научные ведомости БелГУ. Серия История. Политология. Экономика. Информатика. – 2009. - №9(64), вып. 11/1. – С. 186-190.
64. Путивцева Н.П. Разработка процедуры применения системного подхода к выявлению знаний в автоматизированном режиме / Н.П. Путивцева // Информатика: проблемы, методология, технологии: материалы Девятой междунар. науч.-метод. конф. – Воронеж: Издательско-полиграфический центр Воронежского государственного университета, 2009. – С. 241-245.
65. Райхман, Э. П. Экспертные методы в оценке качества товара / Э.П. Райхман, Г.Г. Азгальдов. – М.: Экономика, 1974.
66. Рудинский, И.Д. Подготовка специалистов в области формально - структурного описания, исследования и организации педагогического тестирования знаний: (на примере специальности "Прикл. информатика в образовании") / автореф. дисс. на соиск. учен. степ. докт. пед. наук, - Москва: 2005. - 36 с.: ил.
67. Рудинский И.Д. Модель нечёткого оценивания знаний как методологический базис автоматизации педагогического тестирования / И.Д. Рудинский // Информационные технологии. - 2003. - №9. - С. 47-51.
68. Рыжов А.П. Элементы теории нечетких множеств и измерения нечеткости / А.П. Рыжов. - М.: Диалог-МГУ, 1998. – 81с.
69. Саати Т. Принятие решений. Метод анализа иерархий / Т. Саати – М.: Радио и связь, 1993. – 320 с.
70. Саати Т. Аналитическое планирование. Организация систем / Т. Саати, А. Кернс. – М.: Радио и связь, 1991. – 224 с.
71. Семенова Н.Г., Вакулюк В.М. Информационные и коммуникационные технологии в профессиональном образовании / Н.Г. Семенова, В.М. Вакулюк // Современные проблемы науки и образования. – 2006. – № 6. – С. 97-99.
72. «Совершенствование, научно-методическое сопровождение и внедрение новых научно обоснованных технологий в процесс подготовки специалистов, занимающихся дистанционным обучением муниципальных служащих»: итоговый отчет Министерства регионального развития, М.: 2006. [Электронный ресурс] режим доступа OpenFile.ashx/O_distantsionnom_obuchenii_sluzhaschih.doc?AttachID=1095
73. Стукач О.В. Статистическое моделирование оценки качества подготовки специалистов по информационным технологиям / О.В. Стукач // Информатика и системы управления. - 2005. - N 1. - С. 175-181. [Электронный ресурс] режим доступа nauka/amur.pdf
74. Стукач, О.В. Использование статистических методов для оценки качества подготовки разработчиков программного обеспечения / О.В. Стукач, Д.В. Баранов // В сб. Интеллектуальные системы в управлении, конструировании и образовании. Вып. 4. Под ред. проф. А.А. Шелупанова. - Томск: Изд-во Института оптики атмосферы СО РАН, 2005. с. 232-238.
75. Сухарев А.Г. Курс методов оптимизации. / А.Г. Сухарев, А.В. Тимохов, В.В. Фёдоров - М.:Наука, 1986.
76. Тармин В.А. Автоматизация и управление процессами аттестации персонала предприятий промышленности на основе моделей и алгоритмов представления и оценки профессиональных знаний / автореф. дисс. на соиск. уч. степ. канд. техн. наук, Москва, 2010. – 24 с.
77. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. Серия «Информатизация России на пороге XXI века» / Э.А. Трахтенгерц. - М.: СИНТЕГ, 1998. – 376 с.
78. Тоискин, В.С. Информационные и коммуникационные технологии в образовании: Учебное пособие / В.С. Тоискин, В.В. Красильников. – Ставрополь: Изд-во СГПИ, 2008. – 140 с.
79. Тутыгин А.Г. Преимущества и недостатки метода анализа иерархий / А.Г. Тутыгин, В.Б. Коробов // Известия РГПУ им. А. И. Герцена. Естественные и точные науки, 2010, № 122.
80. Уиддет С. Руководство по компетенциям / С. Уиддет, С. Холлифорд. - М.: Hippo, 2003.
81. Уилкс С. Математическая статистика. / С. Уилкс. - М.: Наука, 1967. – 637с.: илл.
82. Фомичёва С.Г. Модель нечёткого оценивания знаний тестируемого / С.Г. Фомичёва, А.А. Маслова.
83. Челышкова М.Б. Теория и практика конструирования педагогических тестов / М. Б.Челышкова. - М.: ИЦПКС, 2000. - 409 с.
84. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология) / М.Б. Челышкова - М.: ИЦПКПС, 2001. – 165 с.
85. Чернышева Т.Ю. Модель многокритериальной оценки экспертов // Альманах современной науки и образования. – 2008. – №9 (16). – С. 242–245.
86. Чешев В.В. Специфика технического знания // Вопросы философии. - 1979. - №4. – С. 59-67.
87. Шапиро Д.И. Принятие решений в системах организационного управления: использование расплывчатых категорий / Д.И. Шапиро. - М.: Энергоатомиздат, 1983. – 184с.
88. Экспертные оценки в социологических исследованиях / [Крымский С. Б. отв. ред.] – Киев: Наукова думка, 1990.
89. Aczel, J., Saaty, T. L., (1983). Procedures for synthesising ratio judgments, Journal of Mathematical Psychology, 27, 93–102.
90. Bradley, R.A. and Terry, M.E. (1952). Rank analysis of incomplete block designs, I. the method of paired comparisons. Biometrika, 39, 324–345.
91. David, H.A. (1988). The Method of Paired Comparisons. New York: Oxford University Press.
92. Gulliksen H., A least squares solution for paired comparisons with incomplete data." Psychometrika, vol. 21, pp. 125-134, 1956.
93. Luce, R.D. (1959). Individual Choice Behaviours: A Theoretical Analysis. New York: J. Wiley.
94. Rasch G. Probabilistic Model for some Intelligence and Attainment tests. Chicago: Univ. of Chicago Press, 1980.
95. Siskos, Y. and Spyridakos, A. (1999) Intelligent multicriteria decision support: Overview and perspectives. European Journal of Operational Research 113(2), 236-246.
96. Saaty, Thomas L. Decision Making for Leaders: The Analytic Hierarchy Process for Decisions in a Complex World. Pittsburgh, Pennsylvania: RWS Publications.
97. Saaty, Thomas L. Relative Measurement and its Generalization in Decision Making: Why Pairwise Comparisons are Central in Mathematics for the Measurement of Intangible Factors - The Analytic Hierarchy/Network Process ( ficheros/doc/00576.PDF)
98. Thurstone, L.L. (1927). A law of comparative judgement. Psychological Review, 34, 278–286.
99. Thurstone, L.L. (1959). The Measurement of Values. Chicago: The University of Chicago Press.
100. Triantaphillou E. Two new cases of rank reversals when the AHP and some of its additive variants are used that do not occur with the multiplicative AHP // J. of Multi-Criteria Decision Analysis, 2001, v. 10, pp. 11-25.
101. Zeleny, M. (1982) Multiple Criteria Decision Making. McGraw-Hill, New York.
102. Saaty, T.L., Vargas, L.G., (1993). Experiments on Rank Preservation and Reversal in Relative Measurement. Math. Comput. Modelling, 17, 4/5, 13–18.



Перейти к полному тексту работы


Скачать работу с онлайн повышением уникальности до 90% по antiplagiat.ru, etxt.ru или advego.ru


Смотреть похожие работы

* Примечание. Уникальность работы указана на дату публикации, текущее значение может отличаться от указанного.