Методы экспертных оценок

Авторы делают вывод: «В результате исследования было установлено, что среди негативных факторов образа жизни студенческой молодежи, отрицательно влияющих на здоровье, первые ранговые места занимают курение, злоупотребление алкоголем, нерациональное, несбалансированное питание, употребление наркотиков» [8]. Коэффициент конкордации мнения экспертов имел уровень 0,74, что также считается высоким.

3.2 Применение в государственном управлении
В 2013 году Министерством образования и науки России начат Проект повышения конкурентоспособности ведущих российских университетов среди ведущих мировых научно-образовательных центров «5-100». Работа Проекта рассчитана на 7 лет. Его основными задачами являются: увеличение результативности российских университетов, их интеграция в мировое сообщество, а также общая модернизация российского образования. На сегодняшний день в программе участвует 21 университет Российской Федерации.
Проект призван способствовать наращиванию научно-исследовательского потенциала российских университетов, укреплению их конкурентных позиций на глобальном рынке образовательных услуг.
В соответствии с постановлением отбор вузов на получение государственной поддержки осуществляется на конкурсной основе. Участниками конкурса могут быть образовательные организации высшего образования (за исключением казенных учреждений) любой ведомственной принадлежности и географического положения, соответствующие утвержденному Минобрнауки России перечню к отбору вузов.
Полномочия по рассмотрению программ повышения конкурентоспособности вузов, формированию для Минобрнауки России предложений по вузам, рекомендованным для предоставления государственной поддержки, закреплены за Советом. Кроме того, Совет осуществляет подготовку для Минобрнауки России заключений на представленные вузами-победителями планов мероприятий по реализации программ повышения конкурентоспособности (далее – «дорожные карты»), рассматривает отчеты вузов-победителей по реализации «дорожных карт», а также осуществляет ежегодную подготовку для Минобрнауки России рекомендаций о целесообразности продолжения оказания государственной поддержки вузам-победителям.
При принятии решений о выделении финансирования и принятии новых членов Проекта используется метод экспертных оценок.
В Международный совет проекта входят представители российского и зарубежного научно- академического сообществ, государственные деятели, признанные мировые эксперты в сфере высшего образования. В источнике [18] приводятся мнения международных экспертов о Проекте.

3.3 Применение в оценке рисков научных проектов
В последние годы научные учреждения государственного сектора экономики во время своей деятельности сталкиваются с влиянием внешней среды, а именно: экономического, политического и социального факторов; высокой степени неопределенности; организационных преобразований; ошибок планирования и ценообразования. В процессе применения проектного подхода к управления деятельностью научных учреждений государственного сектора экономики каждого отдельного научно-технической работу можно рассматривать как отдельный научный проект, который имеет ограниченное время выполнения, стоимость, требования к результату и т.д. [14]. Научные проекты являются нетрадиционными, поскольку их продуктами являются новые знания, полученные в процессе проведения фундаментальных них или прикладных научных исследований и зафиксированы в форме отчетов о научно-исследовательской работе или научного открытия и тому подобное. Можно идентифицировать следующие риски научных проектов. К ним относятся внутренние риски, а именно: кадровый (R1), планирование (R2), финансирование проекта (R3), подрядчика (R4) и поставок (R5), а также внешние риски, такие как: политический (R6), социальный (R7), инфляционный (R8) налоговый (R9), криминогенный (R10) и форс-мажорный (R11). Влияние вышеприведенных рисков приводит к нарушению сроков реализации научных проектов, перерасхода средств, невыполнение требований к конечному результата, что в свою очередь приводит к уменьшению прибыли, а нередко и к большим убыткам.
Для выполнения определения вероятности возникновения рисков привлекаются ученые, сотрудники и менеджеры проектов научных учреждений государственного сектора экономики. Экспертные методы реализуются в форме экспертиз. Для их проведения привлекается руководитель или группа управления экспертизой, на которую возлагаются функции по подбору экспертов, проведение экспертизы, обработкой результатов экспертных опросов. В зависимости от непосредственных контактов экспертов между собой и с ее организаторами экспертизы могут быть очные и заочные [2, 3]. Заочные экспертизы проводятся в форме личных опросов: экспертам предоставляются листы с вопросами, на которые каждый из них отвечает в письменном виде. Вместе с анкетами экспертам выдается пояснительная записка, в которой сообщается цель и задачи экспертизы, порядок ее проведения, правила и примеры заполнения анкет. Анкетирование является наиболее распространенным и достаточно эффективным видом опросов. Оно дает возможность обеспечить анонимность опросы, контролировать общение экспертов и тем самым существенно ослабить влияние конформизма. Очные экспертизы предусматривают непосредственное общение экспертов между собой и с лицами, осуществляющими экспертизу.
Преимущество заочных экспертиз заключается в том, что можно привлекать экспертов из разных мест без их переезда, и организация этих опросов достаточно проста. Проведение заочных экспертиз занимает также меньше времени, чем очных. Для экономии времени и средств, которые затрачиваются на проведение экспертизы при планировании научных проектов, целесообразно провести заочную экспертизу в форме анкетирования. При проведении экспертизы по оценке вероятностей рискованных событий, влияющих на реализацию научного проекта, проводится заочное анкетирование с закрытыми вопросами, ответ на которые предоставляются в виде вероятностей реализации возможных типов связей и вероятностей рискованных событий. Предлагается провести одноэтапный опрос экспертов с использованием метода непосредственной оценки одиннадцати основных видов рисков, которые имеют влияние на реализацию проектов научных учреждений государственного сектора экономики.
Для экономии времени и удобства при проведении экспертизы по оценке рисков научных проектов целесообразно использовать способ самооценки для оценки компетентности экспертов, принимающих участие в экспертизе. Приглашенным экспертам предлагается заполнить анкеты по определению вероятностей возникновения рисков и объяснительные записки по их заполнению. По результатам полученных от экспертов ответов проводится статистическая обработка информации путем определения среднего значения вероятности возникновения каждого отдельного риска:

(1)

где Pij соответствующая вероятность возникновения каждого отдельного риска, определенной i-м экспертом; i номер эксперта; V общее количество экспертов; j номер риска (от 1 до 11) .Для окончательного принятия решения необходимо определить значение коэффициента вариации вероятности возникновения каждого отдельного риска:

(2)

где σij2 среднее отклонение для обобщенного мнения экспертов, которое определяется выражением:



Чем меньше значение коэффициента вариации, тем выше степень согласованности мнений экспертов при оценке какого-либо параметра. В случае, если коэффициент вариации больше 0,33, то в этом случае результаты экспертизы использовать не рекомендуется.
3.4 Применение в метрологии
Измерение индуктивности широко используется в металлургической промышленности, поэтому очень важны требования к точности измерений и точности измерений. Можно установить экспертную оценку с использованием группы экспертов с установленной компетенцией реального состояния конкретных измерений, например измерений индуктивности. Специальное программное обеспечение (например, Expertise CE 1.0) и универсальное программное обеспечение (например, Microsoft Excel 2010) могут быть использованы для математической обработки полученных экспертных данных. В [15] предложена методология оценки экспертной компетентности, которая учитывает описания неопределенностей данных, относящихся к сфере сравнительной оценки уровня компетентности специалистов в различных областях деятельности. Для реализации предлагаемой методологии устанавливаются соответствующие критерии для количественной оценки экспертной компетентности определенной области. В рамках внедрения метрологического обеспечения измерений индуктивности по специально разработанным критериям была проведена оценка компетентности для 14 привлеченных экспертов по вопросам метрологии. Количественные описания компетенции этих экспертов оценивались с помощью универсального (Microsoft Excel 2010) и специального (Competence ND 1.1) статистического программного обеспечения. Все оценки проводились по критериям: К1 – образование; К2 – общий опыт работы; К3 – опыт работы в области метрологии; К4 – опыт экспертной работы в области метрологии; К5 – статус работы. Окна отмеченного специального программного обеспечения с результатами окончательной оценки показаны на рисунке 2 (Competence ND 1.1).
На основании всех имеющихся результатов можно говорить об отказе в целом 4 экспертов (отклоненных хотя бы по одной из программ). Процент сокращенных экспертов по результатам оценки: 29% (4 эксперта из 14). В целом можно установить высокую согласованность результатов оценки.

Рисунок 2 – Экспертная компетентность с использованием программного обеспечения Competence ND 1.1 [16]

Экспертная оценка состояния измерения индуктивности проводилась по методике, описанной в [15]. Для экспертной оценки привлекалась группа из 14 экспертов в области метрологии, компетенция которых была предварительно оценена. Была проведена оценка шести проблемных вопросов состояния измерения индуктивности: персонала, участвующего в метрологических работах (X1); Условия выполнения метрологических работ (Х2); Нормативно-методические документы (Х3); Стандартная база и Вспомогательное оборудование (Х4); Процедуры и документы для выполнения метрологических работ (Х5); Метрологическая прослеживаемость (Х6), которые содержат всего 38 подзапросов с учетом установленных оценок классов.
Результат был рассчитан с использованием универсального (Microsoft Excel 2010) и специального (Competence ND 1.1) статистического программного обеспечения с учетом компетенции экспертов. Эти окна программного обеспечения показаны на рисунках 4 с оцененными средними оценками. Оцененная средняя оценка без / с учетом компетенции экспертов - 5,99 / 4,80) показаны пунктирными линиями на рисунке 3 (a, b).
а
b
Рисунок 3 – Оцененные средние оценки с использованием специального программного обеспечения (Expertise CE 1.0) без (a) и (b) с учетом компетентности экспертов [16]
Также анализ результатов показал, что во всех случаях 12 подвопросов (32%) были приоритетом для дальнейшего детального анализа для принятия необходимых решений. Но 26 подвопросов (68%) не имели приоритета или вообще не имели значения для их дальнейшего анализа.

ЗАКЛЮЧЕНИЕ
Экспертная оценка широко используется в различных сферах деятельности с целью получения решений относительно преодоления определенных проблем на основе мнения опытных экспертов, которые имеют специальные навыки или знания, интуицию в конкретных сферах деятельности.
Отвечая на потребность в необходимости использования метода экспертных оценок, как в научных исследованиях, так и в практической деятельности, разработано и продолжает развиваться широкий спектр программных продуктов по обработке и анализу результатов опроса экспертов, таких как «Галактика», Oracle, GCAS,. Expertise CE 1.0, Competence ND 1.1, и др.
СПИСОК ЛИТЕРАТУРЫ
Hillmer, D. A risk-identification tool for managers planning expert system applications [Текст]/ D. Hillmer, A. J. La Salle, L. Medsker,
G. Welsh // Expert Systems with Applications. – 1992. – T. 4, №2. – C. 247–257.
Автоматизированная информационная система: Экспертные оценки. Блок анализа. (АИС «EXPERT-5») / Горбач Н.А., Шерстяных Д.М., Фомина Н.А., Бакшеева С.Л., Лисняк М.А. – Свидетельство о государственной регистрации программы для ЭВМ от 11.01.2011 г. № 2011610180; заявка от 13.12.2010 г. № 2010616252. – Роспатент, 2011.
DeSanctis, Gerardine; Gallupe, R. Brent "A Foundation for the Study of Group Decision Support Systems // Gallupe Management Science. 198. 7V. 33. No. 5. P. 589–609.
Жарова А.В. Здоровье студентов вузов г. Красноярска и оптимизация мероприятий по его сохранению: автореф. дис. ... канд. мед. наук. – Красноярск, 2004. – 25 с.
Научное обоснование критериев оценки учреждения высшего профессионального образования, претендующего на звание «Вуз здорового образа жизни» / Т.В. Яковлева, В.А. Егоров, И.П. Артюхов, П.А. Самотесов, Н.А. Горбач, М.А. Лисняк // Медицинское образование и профессиональное развитие. – № 1. – 2011. – С.58-64.
Раушенбах Г.В., Филиппов О.В. Экспертные оценки в медицине. – М.: ВНИИММТИ Минздрава СССР, 1983. – 80 с.
Уотерман Д. Руководство по экспертным системам: пер. с англ. – М.: Мир. – 1989. – 388 с.
Артюхов И.П., Горбач Н.А., Бакшеева С.Л., Большакова И.А., Жарова А.В., Лисняк М.А., 2Шерстяных Д.М. Экспертные оценки: методология и практика применения // Фундаментальные исследования. Медицинские науки. 2012. №10. С. 11-15.
Іванюта П. В. Аналіз та оцінка конкурентоспроможності продукції машинобудування експертним методом // Вісник Вінницького політехнічного інституту. 2015. № 1. С. 49 -57.
Ефименко А.З., Гринько Б.Г. Повышение эффективности производства объемных кабин с использованием экспертных оценок // Вестник МГСУ. 2014. № 5. С. 162-169.
РАН. Новости. URL: http://ras.ru/news/shownews.aspx?id=f7209040-bea0-4e44-9ebd-67929e02eb19. Дата обращения 20.04.2017.
Повышение конкурентоспособности ведущих университетов Российской Федерации среди ведущих мировых научно-образовательных центров (5-100). URL: http://минобрнауки.рфпроекты/5-100. Дата обращения 15.05.2017.
Бедрій, Д. І. Бюджетування наукових проектів з урахуванням ризиків / Д. І. Бедрій, І. В. Польшаков // Східно-Європейський журнал передових технологій. 2012. № 1/12 (55). С. 47-49.
Velychko O. M., Gordiyenko T. B., Kolomiets L. V. Methodologies of expert’s competence evaluation and group expert evaluation. // Metallurgical and Mining Industry. 2015. No 2, P.262–271.
Velychko O. М., Shevkun S., Karpenko S. The expert evaluation by the use of group of experts with established competence of the state of inductance measurements// Metallurgical and Mining industry. 2016. No 11. P. 84-90.
GCAS Government Contracts. URL: http://gcas.net/contracts/ Дата обращения 20.04.2017.
Галактика. URL: https://www.galaktika.ru/produkty. Дата обращения 10.04.2017.











3