Айсберг критериального оценивания: что скрыто от глаз

Критериальное оценивание сегодня распространенный, если не сказать модный в хорошем смысле слова, метод оценивания заданий, призванный быть понятным всем участникам образовательного процесса. Но и у него есть немало подводных камней и скрытых смыслов. Тем важнее узнать взгляд директора школы, который внедрил у себя эту систему и готов поделиться опытом с коллегами.

 

С сентября 2023 года мы в школе «Новый взгляд» апробируем критериальную систему оценивания (далее — КО). К этому шагу мы тщательно подготовились: прочитали много книг и статей, посмотрели видео с выступлениями экспертов, составили техзадание для разработчиков нашей информационной платформы InschoolTech, составили рубрикаторы для типовых заданий, обучили учителей. Однако оказалось, что на первый взгляд понятная и прозрачная технология КО скрывает в себе много подводных камней и неожиданных смыслов. Более того, порождает все новые и новые вопросы.

Термины «критериальное оценивание», «критерий», «дескриптор», «рубрикатор» знакомы всем, кто работает в системе критериального оценивания или сталкивался с системой ОГЭ или ЕГЭ. Во избежание недопонимания стоит договориться о терминах, поскольку далее нам придется ими постоянно оперировать.

Критериальное оценивание — оценка выполненного задания по заранее известным критериям, понятным ученикам, их родителям и педагогам. КО позволяет более объективно оценить образовательные результаты ученика, а главное, увидеть то, над чем надо работать.

КО — инструмент для проведения формирующего и констатирующего оценивания.

Формирующее оценивание — оценивание, в основе которого лежит обратная связь от ученика учителю (в виде выполненного задания) и от учителя ученику (в виде оценки), нацеленная на развитие самооценки последнего и определение дальнейших шагов по улучшению образовательных результатов. Формирующее оценивание не обязательно сопровождается выставлением отметки.

Констатирующее оценивание — оценивание, направленное на контроль результатов освоения учебного материала; проводится по завершении изучения тем, разделов рабочей программы учебного предмета или курса, учебного периода с выставлением отметки.

Критерий — существенный признак, на основании которого производится оценка. По сути, это поведенческий индикатор, учебное действие, которое демонстрирует ученик в ходе выполнения задания. Поведенческие индикаторы должны быть измеримы.

Дескрипторы — описание уровня владения учеником учебным действием; каждому уровню может быть присвоен балл: чем лучше ученик владеет учебным действием, тем больше баллов он может набрать по критерию.

Рубрикатор — перечень критериев оценивания и дескрипторов; содержит подробное описание уровней выполнения учебных действий и соответствующее им количество баллов (при наличии).

В целом рубрикаторы могут выглядеть следующим образом (использую шаблон, принятый в школе «Новый взгляд»).

 

Пример рубрикатора для оценки предметных результатов

Предметный результат: пересказывать литературное произведение от лица героя (литературное чтение, 3-й класс)

Задание: перескажите быль Л. Н. Толстого «Прыжок» от лица главного героя.

Критерии	Дескриптор 1 (0–1 балла)	Дескриптор 2 (2 балла)
Передача эмоционального состояния героя	0 — не передает; 1 — передает, используя слова из текста, отражающие эмоциональное состояние героя	2 — пересказывает текст, соблюдая интонационную выразительность
Соблюдение последовательности событий	0 — не передает; 1 — передает

 

Пример рубрикатора для оценки метапредметных результатов

Метапредметный результат: аргументация тезиса.

Задание: сформулируйте свое отношение к поступку отца героя были Л. Н. Толстого «Прыжок» и аргументируйте его с опорой на текст.

Максимальное количество баллов — 4.

Критерии	Дескриптор 1 (0–1 балла)	Дескриптор 2 (2–3 балла)
Формулировка тезиса	0 — тезис не сформулирован или сформулирован некорректно; 1 — тезис сформулирован
Аргументация тезиса	0 — тезис не аргументирован; 1 — приведен один аргумент	2 — приведено два аргумента; 3 — приведено три аргумента

Критерии, дескрипторы, рубрикаторы — обязательные атрибуты КО. Это то, что лежит на поверхности. Давайте посмотрим, что скрывает в себе подводная часть айсберга КО.

 

Каков алгоритм КО?

Система оценивания должна быть стандартизированной и прозрачной. Поэтому при введении КО следует руководствоваться определенными принципами и правилами, понятными всем педагогам. У нас в школе «Новый взгляд» принят такой алгоритм КО.

Учитель формулирует образовательные результаты (предметные и метапредметные), на оценку которых нацелено выполнение того или иного задания.

Учитель разрабатывает или подбирает задания, которые позволяют одновременно оценить предметные и метапредметные результаты.

Учитель (желательно совместно с учениками) формулирует критерии оценивания предметных знаний и умений и метапредметных навыков, предполагаемых заданием.

Каждый критерий сопровождается дескрипторами, которые позволяют определить, какие знания, умения и навыки требуют дальнейшего развития.

Каждому критерию присваивается балл (максимально 3) с учетом его значимости. Сумма максимальных баллов по критериям составляет «стоимость» задания (необходимо учитывать, что сумма баллов, набранных учеником совокупно в ходе формирующего оценивания, не должна значительно превышать максимальный балл, выставляемый за выполнение работы при констатирующем оценивании).

Критерии, дескрипторы и баллы объединяются в рубрикаторы, название которых соответствует заданию.

Рубрикаторы создаются на информационной платформе школы, сохраняются в разделе «Фонд оценочных средств» и могут быть в дальнейшем отредактированы учителем или использованы повторно.

После выполнения задания ученик может проверить его самостоятельно в соответствии с рубрикатором.

Работу проверяет учитель, выявляет ошибки, выставляет баллы.

Учитель выставляет в электронном журнале итоговый балл, сопровождая его комментариями по критериям.

В электронном журнале баллы автоматически переводятся в проценты: «стоимость» работы — 100%, набранное количество баллов — X%.

X = (набранное количество баллов х 100%) / «стоимость» задания.

Результаты оценивания, в том числе и самооценивания, обсуждаются учителем совместно с учениками.

 

Кто разрабатывает рубрикаторы для КО? Обязательно ли участие учеников?

Рубрикаторы для КО, разумеется, составляет учитель. Это работа кропотливая, требующая знания методики преподавания и оценивания. И творческая: педагогу надо не только создать задание и рубрикатор к нему, но и вовлечь детей в процесс формулировки критериев и дескрипторов.

В контексте формирующего оценивания обсуждение с детьми того, как будет оцениваться задание, — важный шаг. С одной стороны, это помогает им видеть цель, точнее понять задание, что в нем будет проверяться. С другой — внятные критерии оценивания позволят самостоятельно оценить свою работу. Наконец, умение «читать» критерии дает возможность ученику качественно подготовиться в констатирующему оцениванию. Кроме этого, обсуждая с учениками рубрикатор, учитель проверяет себя: верно ли составлено задание, понятно ли оно?

Даже если ученики не участвуют в разработке рубрикаторов, они должны заранее знать, по каким критериям их будут оценивать. Это позволит им более осознанно выполнять задание.

 

Откуда берутся критерии?

КО используется для оценивания сформированности уровня навыков/ умений/знаний. Во ФГОС и ФОП образовательные результаты зачастую формулируются весьма общо: «дает сравнительные характеристики персонажей» или «кратко пересказывает текст». Чтобы понять, насколько сформированы эти навыки, необходимо разбить их на поведенческие индикаторы, отдельные учебные действия. Именно они и выступают в роли критериев.

Но как производится декомпозиция укрупненных навыков/умений/знаний? Должен ли учитель делать это самостоятельно? Видимо, нет: есть риск, что ученики столкнутся с многочисленными индивидуальными трактовками содержания образовательных результатов. В школе «Новый взгляд» мы совместно с заведующими предметных кафедр и учителями создаем матрицы предметных и метапредметных результатов и включаем их в образовательные программы. Таким образом, учителя получают понятные ориентиры для работы с учениками, составления заданий и рубрикаторов в частности. Вот пример декомпозиции предметного и метапредметного результата.

Предметный результат	Поведенческие индикаторы
Кратко пересказывает текст	Выделяет главную информацию в тексте и второстепенную
	Составляет план пересказа, не включая в него второстепенную информацию
	Соблюдает последовательность в изложении
	Объединяет единицы информации из нескольких предложений исходного текста в одном
	Использует соответствующие речевые формы при перефразировании исходного текста
	Пересказывает свободно или с опорой на план
	Соблюдает интонацию при пересказе
	Соблюдает речевые нормы при пересказе

 

Метапредметный результат	Поведенческие индикаторы
Проводит наблюдение	Знает (перечисляет) виды наблюдения
	Знает (перечисляет) этапы наблюдения
	Определяет цель наблюдения
	Разрабатывает план наблюдения
	Фиксирует результаты наблюдения
	Анализирует полученные данные
	Делает выводы на основе анализа

 

Сколько должно быть критериев?

Как мы убедились, навыки/знания/умения могут быть декомпозированы на множество поведенческих индикаторов. Очевидно, что не все они должны стать объектом оценивания. От чего зависит их отбор?

Во-первых, от цели, которую ставит перед собой учитель. Цель должна быть конкретна и достижима: сложно в одном задании проверить все учебные действия, предполагаемые тем или иным навыком.

Так, характеристика героя по литературному чтению в начальной школе предполагает описание его внешности, места, где он живет, окружения, анализ поступков, чувств, переживаний, отношения к людям, к своему делу, речевой портрет, авторское отношение — много всего, а в старших классах — еще больше. Если учитель осознанно формирует это умение, имеет смысл разложить его на последовательно усложняющиеся компоненты и работать с ними отдельно, сводя воедино ближе к концу учебного года или в более старших классах.

Кроме этого, отбор критериев определяется уровнем освоения учениками навыков/знаний/ умений. Здесь имеет смысл руководствоваться таксономиями образовательных результатов. Мы в школе «Новый взгляд» решили ориентироваться на таксономию Б. Блума:

Уровень	Иллюстрирующие глаголы
Знает	Называет, выделяет, дает определение, описывает, перечисляет, запоминает, расставляет по порядку, воспроизводит и проч.
Понимает	Составляет план, вычисляет, классифицирует, преобразует, обосновывает, объясняет, обобщает, приводит примеры, перефразирует, выражает отношение и проч.
Применяет	Интерпретирует, инсценирует, решает задачу, связывает, обнаруживает, формулирует гипотезу, предсказывает и проч.
Анализирует	Наблюдает, сравнивает, исследует, экспериментирует, категоризирует, анализирует, изображает схематически, делает выводы и проч.
Синтезирует (создает «новое знание»)	Создает прототип, моделирует, проектирует, строит, предлагает, сочиняет, организует и проч.
Оценивает	Аргументирует, доказывает, оспаривает, защищает, рефлексирует, выделяет сильные и слабые стороны

Сложность задания тоже влияет на объем рубрикатора. Например, оценить чтение стихотворения наизусть можно при помощи двух критериев: точность воспроизведения текста и интонационная выразительность (уровень «Знает», по Блуму). Если ученики выполняют учебный проект, то он должен включать в себя по крайней мере шесть критериев в соответствии с таксономией Блума.

 

Чем отличается КО предметных результатов от метапредметных?

Первые, как правило, можно измерить количественно, вторые — не всегда, необходимо вводить уровни освоения навыков и применять качественное оценивание. Вариант такого рубрикатора для метапредметного навыка «готовность к совместной деятельности» представлен ниже:

 

Критерии	Базовый уровень	Средний уровень	Повышенный уровень	Высокий уровень
Планирует групповую деятельность совместно с одноклассниками	Не принимает участия в планировании	Принимает эпизодическое участие в планировании	Выступает с инициативами, предлагает идеи, но не участвует в формировании плана физически. Или составляет план, но активность при генерации идей невысокая	Выступает с инициативами, предлагает идеи, отбирает оптимальные варианты, распределяет роли, участвует в формировании плана физически
Сотрудничает в группе по решению текущих задач	Не принимает участия в работе группы. Или участие носит деструктивный характер	Принимает эпизодическое участие в работе группы, нарушает сроки	Принимает участие в работе группы как качественный исполнитель, укладывается в сроки. Или возглавляет работу, но выполняет работу за других	Принимает активное участие в работе группы в выбранной роли, берет на себя лидерство, но не выполняет задание за всех. Укладывается в сроки
Готовит представление финальных продуктов совместно с группой	Не принимает участия в разработке финальных продуктов и их представлении	Представление финального продукта готовит, но не выступает	Принимает участие в подготовке финального продукта и его представлении как качественный исполнитель	Принимает активное участие в подготовке финального продукта и его представлении, эмоционально поддерживает других
Осознает свою ответственность за работу группы и адекватно оценивает свой вклад	Демонстрирует безответственное поведение (срыв работы группы, неисполнение взятых на себя обязательств и др.). Неспособен адекватно оценить себя	Легкомысленно относится к результатам работы группы. Испытывает трудности с адекватной самооценкой	Демонстрирует ответственное отношение к взятым на себя обязательствам. Способен адекватно оценить себя	Демонстрирует ответственное отношение к результатам работы группы, понимание и исполнение взятых на себя обязательств. Способен адекватно оценить себя

 

 

Как накапливать баллы?

В системе КО за выполнение задания ученик получает то или иное количество баллов. Обязательно ли переводить их в пятибалльную систему оценивания? Совсем нет. В журнале можно фиксировать полученные учеником баллы и вести учет его достижений в системе накопительного балла.

Ее суть в следующем. По каждому предмету за год «разыгрывается» определенное количество баллов. Выполняя задания, ученик накапливает баллы, а их сумма составляет определенную долю от разыгранных. В журнале это соотношение выражается в процентах, которые конвертируются в определенный уровень и при желании можно конвертировать в пятибалльную отметку:

Уровень выполнения задания	Отметка
больше или равно 90%	5
больше или равно 70%, но меньше 90%	4
больше или равно 50%, но меньше 70%	3
меньше 50%	2

Система накопительного балла требует инструмента для фиксации достижений ученика. В Школе имени А. М. Горчакова мы пользовались Excel-таблицами, в школе «Новый взгляд» разработали специальную информационную платформу InschoolTech, которая позволяет привязывать к отметке задания, рубрикаторы и комментарии учителя.

IT-решение в системе КО и накопительного балла критически значимо. Этот инструмент должен быть верным товарищем учителя и экономить его силы и время: упрощать процесс сборки рубрикатора, обеспечивать выполнение заданий онлайн и автоматизированный процесс оценивания, предусматривать возможность обратной связи, предполагать пространство для хранения контрольно-измерительных материалов и рубрикаторов.

 

Каковы эффекты КО?

Прежде всего, когда мы смотрим на работу и рубрикатор, нам понятно, что обсуждать с учеником и родителями, при этом риск возникновения конфликтных ситуаций минимизируется.

Оценивание по заранее известным критериям дает возможность ученику провести качественную самооценку, а учителю выстроить продуктивную рефлексию по результатам выполнения работы.

Система КО позволяет родителям получать более объективную картину об успехах ребенка, правда, если в журнале или как-то иначе они видят работу, рубрикатор и набранное количество баллов по каждому из критериев. Такая обратная связь гораздо содержательнее, чем «с работой в целом справился».

Несмотря на трудоемкость, система КО, скорее всего, оказывает позитивное влияние на профессиональную рефлексию педагога, который вынужден постоянно удерживать в поле зрения образовательные результаты ученика, проектировать свою учебную деятельность в логике обратного дизайна, то есть понимая, какие учебные умения будет оценивать и как, до разработки задания.

Все ли учителя и школы готовы и способны работать в системе КО? К сожалению, нет, прежде всего в силу «гигиенических» ограничений: нам бы все уроки отвести и журнал заполнить. Инструмент этот, как вы, наверное, уже убедились, сложный, требующий системного внедрения на уровне школы и значительных временных и интеллектуальных ресурсов. Однако, как показывает наш опыт, исключительно эффективный.

 

Остались вопросы?

У меня — да.

Вопрос первый. Как избавиться от упоминания количества ошибок в формулировке дескрипторов?

Вопрос второй. Как оценить работу, в которой ученик превзошел все критерии?

Вопрос третий. Каким образом соединить систему КО с уровневым оцениванием в логике персонализированного обучения, когда ученики выполняют задания разной сложности, оцениваемые по одним и тем же критериям?

Если есть вопросы у вас — давайте обсудим. Пишите на почту avkuzmin1977@gmail.com.