Бычкова Татьяна Викторовна
старший преподаватель кафедры высшей математики и физики, Брянская государственная сельскохозяйственная академия, Брянск; соискатель, Институт педагогического образования и образования взрослых РАО, С-Петербург
TanyaBychkova@mail.ru

К вопросу учета предпочтений потребителей в оценке качества деятельности вуза 

Аннотация
В статье проведен анализ методики оценки качества независимого центра тестирования в области деятельности вузов и предложен вариант дополнения этой системы для учета предпочтений потребителей образовательных услуг.

Ключевые слова:
качество образования, потребители образования, предпочтения потребителей, полезность образования 

В настоящее время актуален поиск новых путей повышения качества деятельности образовательных учреждений, направленный на учет предпочтений потребителей образования: внешних (государство, общество в целом, работодатели, родители) и внутренних (студенты, преподаватели, руководители образовательного учреждения). 

Целью данной статьи является анализ методики тестирования вузов на базе независимого центра тестирования «АСТ-центра» и разработка варианта расширения данной методики на базе  прагматического подхода путем учета предпочтений потребителей образовательных услуг.

С внедрением в практику отечественных вузов систем управления качеством в  сфере образования стала использоваться система понятий, парадигм, применяемых в этих стандартах. Данные стандарты первоначально были разработаны для сферы производства и оказания услуг, в настоящее время сфера потребительских услуг расширяется, включая в себя различные социальные процессы и явления. Образование трансформируется в потребительскую услугу, «… с позиции образования как услуги, его качество определяется полезностью, ценностью продукта, степенью соответствия конкретным, прежде всего – экономическим потребностям общества и установленным нормам и стандартам» [1, с.30]. Позиция потребителей оказывает все более сильное влияние на деятельность образовательных учреждений, поэтому разрабатываемые и реализуемые в настоящее время системы вузовского управления качеством образования опираются на представление об образовании как услуге. Образовательная услуга — это и учебно-педагогическая деятельность;  и система знаний, информации, умений и навыков, которые используются в целях удовлетворения разнообразных образовательных потребностей личности, общества, государства; в частном случае, это подготовка специалиста определенной квалификации для организации-потребителя. Говоря о качестве образования, мы чаще всего имеем в виду именно полезность, ценность образовательной услуги, поэтому предложенная в ГОСТ Р ИСО 9000-2001 «Системы менеджмента качества. Основные положения и словарь» категория «полезность образования» как «обобщенная характеристика образовательной деятельности, выражающая степень соответствия образовательных услуг заданным требованиям или ожиданиям потребителей», отражает ориентацию моделей системы качества на потребности участников образовательного процесса и является предпочтительной при построении таких систем. Понятие полезности позволяет интегрировать качественные и количественные симптомы как равноправные составляющие, а не измерять качество количественными показателями, как это делают при применении понятия «количественного качества». 

В практике оценки качества в образовании чаще всего используются сравнимые и поддающиеся измерению именно количественные показатели, в то время как показатели семантического характера не учитываются или учитываются частично. М. Вебер (1900), Г. Моска (1940), Г.А. Бордовский (2000) и др. выдвигали идеи равноправных взаимодействующих индикаторов, играющих существенную роль в области социологии и образования [2 - 4]. В самом деле, как сравнить и учесть в общем рейтинге ценность разнотипных данных, например, количество профессоров и качество их работы? Один из вариантов ответа на этот вопрос можно найти в работах В.И.Васильева и Т.Н. Тягуновой [5]. На качество деятельности вуза оказывают влияние различные факторы, которые измеряются в различных шкалах с различной размерностью, при этом сравнивать их можно, приведя к единой шкале, основанием которой будет некоторое абстрактное значение - синтетическое (полное) основание k, позволяющее объединить диагностируемые факторы, признаки. Благодаря этому можно объяснить с одних и тех же позиций количественные и качественные характеристики исходных переменных, выяснить взаимосвязь между ними и установить место, роль и значение каждого из существенных признаков. Более того, преобразованные к полному основанию исходные факторы освобождаются от размерностей, становятся соотносимыми и допускают их дальнейшие обобщения [6].  

На базе независимого центра тестирования ООО «АСТ-Центр» (г. Москва) с 2008 по 2011 годы проводился мониторинг качества деятельности образовательных учреждений на всех уровнях (учреждения, факультета, кафедры, преподавателя, студента и пр.) с помощью разработанной в этом центре тестирования автоматизированной системы оценки деятельности вузов АСТ-ОКО [7]. Возможности такой системы позволяют проводить учет количественных и семантических факторов исследуемых объектов по единой семантической шкале, ранжировать объекты на основании их интегральных показателей качества, определять «слабые» объекты, сравнивать полученные результаты с результатами других образовательных учреждений, отслеживать динамику изменений значений факторов различных объектов. Формирование групп критериев для оценки качества деятельности вуза проходило в ключе количественно-качественных оценок, когда определение качества происходит с учетом разнородных критериев, выраженных в различных порядковых и семантических шкалах.  

Чаще других в педагогических исследованиях используется система критериев и конкретизирующих их показателей, позволяющая в удобной и простой форме осуществить диагностику и обработку результатов, и АСТ-ОКО может поддержать обработку таких данных. Экспертиза проводилась по направлениям деятельности – профилям. Каждый из профилей состоял из набора показателей (признаков, факторов) для оценки. Экспертные оценки выведены на основании сравнительного анализа показателей деятельности вузов с условным эталоном, деятельность которого имеет максимальную полезность (наилучшие значения). Вуз-эталон представлялся в виде абстрактного объекта, своего рода «идеала», к которому стремится данная система, в соответствии с заданными показателями. Образ эталона динамичен, зависит от предпочтений групп экспертов, задействованных при анализе. В данном эксперименте согласование проходило путем учета аккредитационых требований, т.е. учета предпочтений государства как потребителя. Результаты исследования применялись при самообследовании и как средство оценки качества работы профессорско-преподавательского состава с целью их мотивации на определенные  достижения. Для примера выберем профили: воспитательная деятельность, научно-исследовательская деятельность вуза. Оценка воспитательной деятельности проводилась по 13 признакам, которые оценивались  экспертами: администрацией вуза, студентами. Научно-исследовательская деятельность вуза оценивалась по 24 признакам, имеющим относительное количественное значение (например, среднее количество студентов, занимающихся НИРС, на одного научно-педагогического работника) и двумя качественными признаками: уровень межвузовских и международных связей в области научной деятельности; уровень применяемых методов и технологий обучения - оцениваемых экспертами. На основании значений признаков формировали комплексный показатель оценки данного профиля. В итоге можно было, как сравнивать с эталоном комплексный показатель, так и провести сравнение по каждому из признаков. В результате имелась четкая картина – какие именно показатели требуют кардинального изменения.  

К недостаткам проведения данной экспертизы можно отнести то, что ее проводили по заранее определенным показателям, в основе которых были аттестационные и аккредитационные показатели, а также факторы, заложенные самими разработчиками системы для демонстрации возможности учета факторов различных размерностей и различной природы. В самой программе существовала возможность учета мнений таких экспертов, как администрация вуза, работники вуза и студенты, но ее использование было ограничено лишь сбором мнений респондентов по достигнутому уровню развития отдельного признака. 

Дополнение системы оценки качества АСТ-ОКО предлагается провести по следующим направлениям. Поскольку формального описания образовательной деятельности вуза не существует, то за начальным выбором релевантных для управления полезностью деятельности исследуемого объекта факторов обращаются к экспертам. Применение экспертного анализа не должно ограничиваться оценкой достигнутого уровня развития определенного фактора, именно на шаге формирования образа вуза-эталона необходимо производить учет предпочтений различных групп потребителей. Список «заинтересованных» в повышении качества достаточно большой. Дополнив разработанную на базе АСТ-центра систему оценки качества деятельности вуза учетом мнений групп экспертов из числа работодателей, родителей студентов, бывших выпускников, преподавателей данного вуза, получим  систему, ориентированную на учет предпочтений потребителей. Предпочтения являются одним из факторов, воздействующих на выбор конкретных благ. Например, несмотря на то, что квалификация преподавателей и их вес в науке для вуза являются существенным показателем его уровня, нельзя не согласиться и с тем, что  внешних потребителей «не интересует количество докторов и кандидатов наук в вузе, сколько и каких учебников, монографий ими издано. Их интересует качество услуг, которые могут оказывать выпускники высшей школы» [8, с.74]. Выявление предпочтений в деятельности вуза должно изменять облик вуза-эталона,  что сразу должно отражаться и в системе оценки показателей.  

Одним из потребителей можно считать государство: требования эффективности и комплексной оценки, отраженные в Законах, распоряжениях и иных документах должны быть учтены обязательно – они составляют приоритетную часть и обозначают выбор основных профилей, опирающихся на оценку полезности всех видов деятельности вуза. Предпочтения работодателей, администрации вуза и его работников, бывших и нынешних студентов можно установить путем добавления специальных анкет, позволяющих ранжировать набор основных профилей по значимости и потом провести оценку значимости между признаками внутри каждого профиля. При этом следует понимать, что чрезмерное расширение модели оценки полезности (увеличение количества профилей и признаков внутри каждого профиля) сопряжено не только с увеличением размерности, но и с тем, что несущественные признаки могут маскировать значения определяющих, релевантных факторов. Вместе с тем следует избегать и другой крайности, так как при значительном сокращении числа учитываемых факторов, результаты могут оказаться малосодержательными.  

Кроме установления списка релевантных для каждого профиля факторов, необходимо установить граничные диапазоны изменения каждого признака, которые позволяют с одной стороны регулировать значимость признака внутри исследуемого объекта, с другой стороны позволяют ранжировать сходные объекты по данному признаку. На данном шаге необходима работа экспертов в области оценки качества, которыми может выступать как руководство вуза, так и группа независимых экспертов. Учет взаимосвязей, имеющихся между признаками, критериями оценивания, достигается применением аддитивной свертки

весовые показатели преобразованных симптомов (критериев) - α_j (j=1,…,n), находятся экспертным методом, исходя из условия

именно это условие устанавливает взаимосвязь показателей. Здесь n – общее количество признаков, критериев оценивания, k_j – приведенное значение каждого признака в новой k-уровневой шкале. Весовые значения как для признаков внутри каждого профиля, так и между профилями необходимо устанавливать на основании учета мнений потребителей. Оценить согласованность мнений экспертов по поводу значимости исходных факторов возможно с помощью коэффициента согласованности, полученного в работах В.И. Васильева и В.В. Красильникова[6]:

где S - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения; n  -  число признаков; k – синтетическое основание шкалы, к которой приводятся  значения всех исследуемых признаков. Привлечение различных групп потребителей к формированию образа вуза эталона позволяет осуществлять своевременную корректировку целей развития вуза, что способствует росту его конкурентоспособности. 

Методы образовательной диагностики (проверка, анализ, преобразование, оценивание, накопление и хранение статистических данных, рефлексия, выявление динамики развития, переопределение целей, корректировка хода обучения, прогнозирование развития вуза) должны обеспечивать гарантию полезности образовательной деятельности через осознанное управление соответствующими процессами и операциями. 

Требования диагностичности целей становится одним из важнейших при оценке качества образовательной деятельности вуза и может быть описано набором следующих условий:

• доказательная обоснованность, полнота, актуальность и прогностичность целей;

• возможность выбора граничных значений оценочных диапазонов для переменных числовой природы и обеспеченность шкалирования результатов оценок нечисловой информации;

• наличие  единой уровнево-интервальной шкалы оценки полезности, опирающейся на результаты измерений и оценивания;

• разработанность механизма для однозначного установления диагностируемого уровня притязания образовательных услуг;

• возможность комплексной оценки интенсивности предпочтения диагностируемого качества образовательной деятельности ожиданиям (требованиям) потребителей. В результате наблюдается осознанный переход от итогов комплексной реконструкции полезности к модификации целей-требований.

В качестве вывода отметим, что выявление предпочтений потребителей на уровне формирования вуза-эталона, в виде идеального объекта с максимальным уровнем полезности позволяет определить желаемое состояние развития образовательной деятельности определенного вуза. Дальнейшее применение результатов мониторинга уровня полезности позволяет осуществлять управление, основанное на прагматическом подходе с учетом принципов синергетики. 

Литература

1. Сенашенко В.С., Ткач Г.Ф. О тенденциях реформирования российской высшей школы // Высшее образование в России. - 2010. - № 10. - С. 29-42

2. Вебер М. Избранные произведения, М.: Прогресс, 1990. - 808 с.

3. Моска Г. Правящий класс // Социологические исследования. - 1994. - № 10. - С. 187— 198

4. Бордовский Г.А. Управление качеством образовательного процесса: монография / Г.А. Бордовский, А.А. Нестеров, С.Ю. Трапицын. – СПб.: РГПУ им. А.Г. Герцена, 2001. – 359 с.

5. Васильев В.И., Тягунова Т.Н. Основы квалитологии и квалиметрии образования. -  М.: центр ЕАОИ, 2007. — 280 с.

6. Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Оценка качества деятельности образовательного учреждения. - М.: ИКАР, 2005. - 320 с.

7. Бычкова Т.В., Исаева О.Г., Васильев В.О., Тугай М.В. Автоматизированная система оценки полезности образовательной деятельности «АСТ-ОКО»: научно-методическое пособие. - М.: МГУП, 2010. - 70 с.

8. Григораш О.В. Повышение эффективности управления качеством образовательного процесса // Высшее образование в России. – 2013. - №1. – с.72-78

Рекомендовано к публикации:
И.И.Соколова, доктор педагогических наук, научный руководитель работы.
А.А.Ахаян, доктор педагогических наук, член Редакционной Коллегии

_____

Tatiana V. Bychkova
Senior lecturer, Department of mathematics and physics, Bryansk State Agricultural Academy,  Bryansk; Postgraduate student at Institute of Teacher Education and Adult Education, Russian Academy of Education, St. Petersburg
TanyaBychkova@mail.ru  

On account of the preferences of consumers in evaluating the quality of the university

Methods of evaluating the quality of the independent testing center analyzed in the article. There are offered the option Addendum of this system for consideration of the preferences of consumers of educational services. 

Keywords:
quality of education, consumers in education, consumer's preference, the utility of education