Чеботарева Светлана Владимировна
аспирант кафедры педагогики, Российский государственный педагогический университет им. А.И. Герцена, Санкт-Петербург
chebsveta@mail.ru  

Измерительные материалы для оценки результатов в современной образовательной практике 

Аннотация
В статье рассмотрены общие и отличительные характеристики заданий, используемых в оценочных процедурах в рамках компетентностного подхода в современном отечественном, зарубежном и международном опыте. 

Ключевые слова
Оценка результатов образования, контрольно-измерительные материалы единого государственного экзамена 

Оценочная деятельность способствует организации образовательного процесса посредством предоставления актуальной информации об образовательных результатах учащихся. Критерием оценочной деятельности является технологичность оценки, использование минимального количества доступных ресурсов и получение достаточного количества информации. Накоплен значительный опыт в оценке знаний, умений и навыков [1,2], но, в связи с введением новых стандартов, возникла проблема с отсутствием теоретической и практической проработки вопросов оценки учебных достижений в рамках компетентностного подхода. Современный опыт дает возможность для определения общих и отличительных особенностей по форме и содержанию заданий, используемых в оценочных процедурах в рамках компетентностного подхода. 

Рассмотрим опыт оценки в международной программе по оценке образовательных достижений учащихся (PISA), российской системе единого государственного экзамена (ЕГЭ) и в Финляндии. Ни одно международное сравнительное исследование качества образования не имело такого воздействия на образование стран, как программа PISA. Для объяснения полученных результатов, было инициировано значительное число научных исследований в области оценки качества и эффективности образования. Страны, используя результаты исследования, смогли определить сильные и слабые стороны образования, увидеть свой профиль на фоне других стран и определить направления совершенствования учебного процесса в школах. В 13 странах были проведены эффективные реформы образования, положительный результат которых был зафиксирован в 2009 году. Исследование PISA реализует компетентностный подход в оценке образовательных достижений. PISA оценивает способности 15-летних учащихся использовать приобретенные в школе знания и опыт для широкого диапазона жизненных задач в различных сферах человеческой деятельности, общения и социальных отношений. [3] 

В первых международных исследованиях проводимых Международной Ассоциацией по оценке образовательных достижений (IEA) финские учащиеся показывали невысокие результаты, а в последних исследованиях PISA они занимают лидирующие позиции по всем направлениям: чтение, математика и естествознание. Уровень и качество образования в Финляндии признается сегодня одним из лучших в мире, что определяет интерес к финскому опыту оценки результатов образования.

В качестве основного инструмента оценки в международном, зарубежном и отечестенном исследованиях используются тестовые технологии, несмотря на различие целей, содержания оценки и оценочных процедур. Различается соотношение используемых типов заданий в тесте и их содержательное наполнение. В исследовании PISA и системе оценки Финляндии основное внимание уделяется оценке в рамках компетентностного подхода. В контрольно измерительных материалах единого государственного экзамена увеличивается количество заданий ориентированных на проверку умения использовать знания в практической деятельности, но количество подобных заданий невелико, примерно четверть от общего количества заданий теста. Например, 5 из 20 заданий в контрольно измерительных материалах по математике проверяют умения использовать приобретенные знания в практической деятельности и повседневной жизни. Основная масса заданий нацелена на проверку предметных знаний, умений и навыков, как указано в итоговых аналитических отчетах о результатах единого государственного экзамена в 2012 году. «В международных тестах PISA учащимся предлагаются не типичные учебные задачи по физике, химии или математике, характерные для российской школы, а близкие к реальным проблемные ситуации, связанные с разнообразными аспектами окружающей жизни и требующие для своего решения не только знания основных учебных предметов, но и сформированности общеучебных и интеллектуальных умений». [4] 

Для оценки сформированности читательской, математической и естественнонаучной грамотности в исследовании PISA используются комплексные или структурированные задания, объединенные общей темой или проблемой, связанной с реальной жизнью. Каждое задание включает тексты, а также таблицы, или диаграммы, или графики, в которых представлена некоторая проблема или ситуация, и 1-6 вопросов различной трудности. По результатам выполнения заданий оценивается способность учащихся понять текст или проблему, связанную с рассматриваемой в тексте ситуацией, ответить на вопросы к тексту или решить проблему, используя знания из той или иной предметной области. 

Приведем примеры заданий из международного исследования образовательных достижений учащихся PISA, отечественной системы единого государственного экзамена и зарубежного опыта оценки Финляндии. 

1. Задание PISA 2009 года по математике: ОБМЕННЫЙ КУРС

ВОПРОС: Мэй-Линг из Сингапура готовилась в качестве студентки по обмену отправиться на 3 месяца в Южную Африку. Ей нужно было обменять некоторую сумму сингапурских долларов (SGD) на южно-африканские рэнды (ZAR). Мэй-Линг узнала, что обменный курс между сингапурским долларом и южно-африканским рэндом был: 1 SGD = 4,2 ZAR. Мэй-Линг обменяла 3000 сингапурских долларов на южно-африканские рэнды по данному обменному курсу. Сколько южно-африканских рэндов получила Мэй-Линг?

ОЦЕНКА ОТВЕТА:
Содержательная область: Количество
Трудность: 406 баллов по 1000-бальной шкале. 1 уровень сложности
Ответ принимается полностью: 12600 ZAR (единицы указывать не обязательно) 

Задания PISA, носят ситуационный и практикоориентированный характер. В задании дается описание некоторой жизненной ситуации, ученику для успешного решения необходимо проанализировать предоставленную информацию, из всего объема информации вычленить необходимую для решения задачи, произвести вычисления и зафиксировать ответ. В подобных заданиях объем информации является излишним, в описанной ситуации есть данные, которые не нужны для непосредственного решения задачи. 

2. Приведем пример задания из области проверки «компетентности чтения», которые предлагаются школьникам Финляндии. В следующем примере легкий вопрос, на который ученик должен ответить письменно.

ВОПРОС: При каких обстоятельствах выступало с речью Первое лицо Финляндии?

ОЦЕНКА ОТВЕТА:
Два балла: он выступал на международном конгрессе, который проводился в Эспоо (второй по величине город страны, является городом-спутником Хельсинки, входит в состав так называемого столичного региона), он выступал на всемирном конгрессе по глобализации,
Один балл: он выступал на совещании/на конгрессе. 

Задание обращается к некоторой ситуации. Представленное задание требует актуализации знаний учащегося или поиска недостающей информации для ответа на поставленный вопрос. Данный пример демонстрирует задание с недостаточным объемом информации для его выполнения. 

3. Задание единого государственного экзамена 2012 года по математике:

В1 Билет на автобус стоит 15 рублей. Какое максимальное число билетов можно будет купить на 100 рублей после повышения цены билета на 20%?

ОЦЕНКА ОТВЕТА:
Проверяемые умения и виды деятельности: уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни
Уровень сложности задания: базовый
Ответ: 5 

Задание, одно из немногих в контрольно-измерительных материалах единого государственного экзамена по математике, носит практический характер и предлагает ответить на вопрос в некоторой ситуации. Отличительная особенность подобных заданий от заданий PISA в объеме представленной информации, которая описывает контекст. В задании дается минимально необходимое количество информации для решения задачи. В реальной практике количество информации практически никогда не бывает таким. 

В задании компетентностного характера дается описание ситуации, связанной с реальной жизнью. Отличие «компетентностного» задания от «учебного» заключается в объеме предоставляемой информации для описания условия задачи, который является недостаточным или избыточным для решения. 

Для заданий компетентностного характера свойственно использование формы задания со свободным ответом, который самостоятельно формулируется учащимся. В тестах PISA используются вопросы разного типа. 48% заданий теста составляют вопросы со свободными ответами, на которые учащиеся должны были дать собственные краткие или развернутые обоснованные ответы. В тестах Финляндии наравне используются задания с открытыми вопросами и задания, в которых предлагается дополнить текст своими словами или выбрать один из нескольких вариантов ответов. В контрольно-измерительных материалах единого государственного экзамена по 14 предметам использовалось менее 30% заданий с развернутым ответом от общего числа заданий по предмету. Более 40% заданий на выбор ответа из предложенных, за исключением математики и литературы, где не используется данный тип заданий, остальные задания на составление краткого ответа по алгоритму. [5] 

Использование формы заданий с выбором ответа из предложенных или с кратким ответом при проведении единого государственного экзамена и отсутствие заданий на установление соответствия между элементами двух множеств или установлению правильной последовательности определяется ресурсами. В 2012 году было написано почти 3 000 000 работ участниками единого государственного экзамена. Задания со свободными ответами требует использование значительного количества различных ресурсов: финансовых, временных, кадровых. Масштабность процедуры оценки вынуждает использовать менее ресурсоемкие технологии. Использование формы заданий с выбором ответа из предложенных или с кратким ответом позволяет автоматизировать процесс проверки, следовательно, тратить меньше времени на проверку работ, привлекать меньшее количество экспертов и т.п. 

В рассмотренных международном и зарубежном исследованиях оценка реализована в рамках компетентностного подхода. В международном исследовании PISA все задания носят практикоориентированный характер, используют жизненную ситуацию. Ключевое отличие таких заданий от «учебных» заключается в объеме предоставляемой информации, который может быть недостаточным или избыточным для ответа на вопрос задания. В российской системе единого государственного экзамена лишь четверть заданий теста ориентированы на проверку умения использовать знания в практической деятельности. В последние годы доля таких заданий постоянно увеличивается. 

В международном исследовании, в тестах Финляндии активно используются задания со свободными ответами, в контрольно-измерительных материалах единого государственного экзамена мала доля таких заданий. Это вызвано масштабностью процедуры оценки единого государственного экзамена и ограниченностью используемых ресурсов. Использование формы заданий с выбором ответа или с кратким ответом позволяет полностью автоматизировать процесс проверки, следовательно, использовать менее ресурсоемкие технологии. 

При проведении оценочных процедур возможно включение заданий различных типов: с кратким ответом, установлением соответствия или правильной последовательности элементов, а не только с выбором ответа из предложенных. Целесообразно использование заданий содержащих избыточный или недостаточный объем информации для придания им практикооринтированного характера. 

Литература

1. Голубенко Н.И., Бахмутский А.Е. Оценка результатов деятельности учителя и школы // Наука и школа. 2012. №4

2. Бахмутский А.Е. Содержание результатов общего образования и деятельность учителя // Известия РГПУ им. А. И. Герцена. 2012. №148

3. Баранова В. Ю., Ковалева Г. С., Кошеленко Н. Г. Особенности проведения исследования PISA-2009 в России. – URL: http://www.centeroko.ru/pisa09/pisa09_pub.htm .-[дата обращения 17.09.12]

4. Загвоздкин В.К. Реформа школьной системы и оценка качества школ в Финляндии / В.К. Загвоздкин. - М., 2011. - 64 с.

5. Итоговый аналитический отчет о результатах единого государственного экзамена 2012 года. – URL: http://www.fipi.ru/view/sections/138/docs/624.html .-[дата обращения 17.09.12]

Рекомендовано к публикации:
А.Е.Бахмутский, доктор педагогических наук, научный руководитель работы
А.А.Ахаян, доктор педагогических наук, член Редакционной Коллегии

_____

Svetlana V. Chebotareva
Postgraduate student of pedagogy, Al.Herzen State Pedagogical University of Russia, Saint-Petersburg
chebsveta@mail.ru  

Test materials for evaluation in modern educational practice 

In this paper, the common and distinctive characteristics of tasks used in the assessment procedures within the competence-based approach in the modern domestic, foreign and international experience. 

Keywords: evaluation of the results of education, test materials unified state examination.