Коваленко Г. В., Ушаков А. П., Айдаркин Д. В., Барабанов М. В. Методика анализа экспертных оценок при разработке автоматизированных обучающих систем: текстовая версия

Методика «сессия DACUM» (аббревиатура от англ. developing а сurriculum — разработка учебного плана), представляет собой «управляемый мозговой штурм» (controlled brainstorming) с участием отобранных экспертов, руководимых группой по разработке АОС [1]. Предположим, что в ходе разработки АОС m экспертов произвели оценку n объектов экспертизы. Тогда результаты оценки могут быть представлены в виде величин xij, где j — номер эксперта, i — номер объекта экспертизы. Эти величины обычно заданы с использованием баллов либо чисел, принадлежащих некоторому отрезку числовой оси.

Оценить уровень компетентности каждого эксперта для тех случаев, когда проводится непосредственное числовое оценивание альтернатив, можно по степени согласованности экспертных оценок с групповой оценкой объектов (например, медианой). Справедливость такого подхода подтверждается экспериментами, которые позволили убедиться, что доля изменяющих свою оценку членов экспертной группы, чьи ответы попадают в интервал между квартилями, является линейной функцией отклонения от медианы (рис. 1). Примерно 80 % экспертов, оценки которых выходят за пределы интервала между квартилями, изменили их в следующем туре опроса независимо от величины отклонения от медианы [2]. Использование коэффициентов компетентности экспертов при вычислении обобщенной оценки объектов экспертизы позволяет сократить число требуемых туров опроса для получения согласованного экспертного мнения. Алгоритм вычисления коэффициентов компетентности экспертов kj и обобщенной оценки объектов экспертизы xi сводится к расчетам по следующим рекуррентным формулам [3]:

Предложенная методика анализа экспертных мнений была апробирована в Ульяновском высшем авиационном училище ГА при разработке АОС по самолету первоначального обучения Як-18Т (36-я серия). На первом этапе сессии DACUM отобранная группа из восьми специалистов-экспертов под руководством DACUM-куратора разработала карту компетенций курсанта-пилота, содержащую перечень основных функций и соответствующих задач, выполняемых в ходе летной подготовки [4]. Полученная карта позволила сформировать перечень дисциплин и их составляющих — учебных элементов (УЭ), которые должны быть представлены в разрабатываемой АОС. По мнению экспертов, весь учебный материал может быть разбит на 56 УЭ [5]. На втором этапе перед экспертами была поставлена задача сформировать оптимальный порядок освоения учебного материала АОС. Для этого каждому эксперту было предложено с помощью парного сравнения произвести ранжирование УЭ.