О курсе
Курс построен как последовательная работа с задачами, которые возникают при разработке обучения и систем оценки — от создания самих заданий до анализа результатов и принятия решений на основе данных.
Первая часть программы посвящена тест-девелопменту и педагогическому дизайну: проектированию заданий, работе с разными форматами оценки, созданию рубрик и интеграции заданий в реальные образовательные продукты.
Во второй части участники переходят к основам статистики, психометрики и учебной аналитики: учатся работать с данными, оценивать качество заданий, интерпретировать результаты и разбираться в современных подходах к тестированию и адаптивному обучению.
Отдельное внимание в программе уделено современным инструментам и AI-сервисам — от генерации заданий до анализа результатов и проектирования адаптивных систем.
Первая часть программы посвящена тест-девелопменту и педагогическому дизайну: проектированию заданий, работе с разными форматами оценки, созданию рубрик и интеграции заданий в реальные образовательные продукты.
Во второй части участники переходят к основам статистики, психометрики и учебной аналитики: учатся работать с данными, оценивать качество заданий, интерпретировать результаты и разбираться в современных подходах к тестированию и адаптивному обучению.
Отдельное внимание в программе уделено современным инструментам и AI-сервисам — от генерации заданий до анализа результатов и проектирования адаптивных систем.
Кому подойдет программа
Это базовая программа. Её фокус — работа со взрослыми
в онлайн-формате, однако мы будем касаться и особенностей работы в офлайне, работы с детьми
в онлайн-формате, однако мы будем касаться и особенностей работы в офлайне, работы с детьми
Методистам и педдизайнерам
Тем, кто разрабатывает курсы и отдельные занятия и чувствует, что задания в них могли бы быть более качественными
Преподавателям и учителям
Тем, кто кто хочет точнее измерять, освоен ли пройденный материал
Специалистам по оценке персонала и T&D
Тем, кому интересны новые форматы измерения знаний и навыков
Чем будем заниматься во время курса
Курс состоит из 8 модулей, разделённых на 2 части.
Сквозной нитью проходит тема современных технологий и работы с сервисами на основе AI.
Сквозной нитью проходит тема современных технологий и работы с сервисами на основе AI.
Тест-девелопмент и педагогический дизайн: основы разработки заданий
Превращаем идею по оценке знаний или экспертизы в реальный продукт.
- Вы узнаете о процессе разработки заданий.
- Сможете более грамотно встраивать разработку заданий в общий процесс дизайна обучения или тестирования.
- Вы узнаете, какая документация необходима, чтобы она облегчила жизнь в будущем вам и вашим коллегам. Получите шаблоны для собственных проектов.
- Вы познакомитесь с ролями в команде с точки зрения разработки заданий.
- Вы увидите хитрости, которые позволят создавать качественные задания даже с учётом ограниченного времени, денег, размера команды.
Эта встреча будет посвящена самым популярным заданиям, которые часто неверно считаются поверхностными — заданиям с множественным выбором. Кроме того обсудим принципы разработки заданий на установление соответствия, последовательности.
- Вы познакомитесь со структурой заданий согласно теории разработки тестов: стем, инструкция, ключи, дистракторы.
- Получите список типовых ошибок и рекомендаций для их устранения.
- Узнаете, сколько баллов присваивать за правильный ответ — научитесь готовить правила скоринга.
- Разберётесь, с тем, как определять, что учащиеся или сотрудники действительно освоили материал.
На этой встрече коснёмся менее стандартных заданий, которые требуют особого подхода. Часто эти задания используются на более поздних этапах обучения, в обучении профессиям, для преподавания творческих дисциплин.
- Вы узнаете о холистическом и критериальном подходах к оцениванию заданий с открытым ответом.
- Подробно познакомитесь с тем, как создавать рубрики оценивания.
- Вы узнаете, как устроены разные типы открытых заданий.
- Тесты оценки экспертизы, в частности ситуационные заданий (Situation Judgement Tests).
- Performance tasks — оценка сложных конструктов, например: компетенций новой профессии, креативности, критического мышления.
- Оценка на основе игр (Game-based assessment).
Превращаем сферического коня в вакууме — идеальный набор заданий, — в реальный продукт. Эта встреча о том, как делать задания доступными для пользователей и оптимально собирать данные.
- Вы узнаете о возможностях и ограничениях популярных платформ для обучения и сбора данных, например о типах заданий или опциях для рандомизации их порядка.
- Разберётесь, как повысить достоверность результатов тестирования, чтобы люди проходили тест честно и не списывали.
- Вы познакомитесь с тем, что такое технологически усовершенствованные задания и чего в них стоит опасаться. Здесь разберём, как правильно показывать подсказки участнику, давать ему обратную связь в процессе оценки и сохранять внимание участника.
- Вы разберётесь с тем, как взаимодействовать и учитывать интересы разных членов команды, например: UX/UI-дизайнеров, иллюстраторов, редакторов, разработчиков.
Обучение во второй части будет построено по модели перевёрнутого класса.
Это значит, что у вас в доступе за неделю до каждой из встреч будут короткие ролики с теорией и рекомендациями по тому, как проводить вычисления на основе ваших данных. Также вы сможете задавать вопросы в чате. На встречах же будем интерпретировать результаты и обсуждать решения.
Это значит, что у вас в доступе за неделю до каждой из встреч будут короткие ролики с теорией и рекомендациями по тому, как проводить вычисления на основе ваших данных. Также вы сможете задавать вопросы в чате. На встречах же будем интерпретировать результаты и обсуждать решения.
Основы статистики, психометрики и учебной аналитики
На этой встрече мы обсудим базовые понятия статистики на примерах из сферы образования и HR.
- Вы узнаете о таких понятиях, как генеральная совокупность, выборка, распределение.
- Вы увидите, как посчитать часто используемые показатели, например, среднее, найти медиану, моду, дисперсию, процентиль и другие.
- Вы разберётесь с тем, как выставлять пороговые значения — проходные баллы, а также — как отслеживать прогресс участников обучения.
- Узнаете о статистических тестах, статистической значимости, корреляциях и ошибках I и II рода.
- Вы глубже познакомитесь с тем, что такое валидность и надежность результатов, и как их можно пощупать в онлайн-курсе или тесте.
На этой встрече мы расскажем о разнице подходов между учебными аналитиками и психометриками, например, мы обсудим связь количества попыток в заданиях с классическим показателем трудности заданий. Основная часть встречи будет посвящена Классической теории тестирования: её плюсам и ограничениям, а также тому, как работать с конкретными показателями.
- Вы посчитаете и проинтерпретируете трудность и дискриминативность заданий, в том числе политомических.
- Вы оцените, насколько грамотно сформулированы варианты ответа.
- Вы оцените задания с точки зрения надёжности.
- Вы посчитаете стандартную ошибку измерения для одного из участников тестирования и примите решение, достиг ли он необходимого уровня владения материалом.
Эта встреча будет посвящена более продвинутым методам анализа характеристик заданий, созданным на основе Современной теории тестирования (IRT).
- Вы узнаете, почему Современная теория тестирования лучше подходит, например, для отслеживания прогресса, составления банка заданий или адаптивного обучения.
- Вы оцените уровень трудности заданий и уровень способностей участников тестирования и сделаете вывод о том, какие задания должны быть доработаны.
- Вы познакомитесь с тем, какие есть модели, чтобы измерять уровень сразу нескольких навыков у одного участника тестирования.
На заключительной встрече коснёмся того, что происходит в сфере измерений и обучения прямо сейчас.
- Вы глубже познакомитесь с тем, что такое адаптивное тестирование и обучение: их отличия, модели, решения, которые важно принимать разработчику.
- Вы коротко пройдёте процесс создания адаптивной обучающей системы.
- Вы разберётесь с тем, почему Современная теория тестирования проигрывает некоторым подходам для разработки адаптивных обучающих систем.
- Вы узнаете о международных компаниях и отдельных экспертах, за деятельностью которых стоит следить, если вам интересна тема адаптивности.
Что вы получите и зачем
Инструменты разработки
Инструкции по разработке заданий
Чек-листы для оценки заданий
Шаблоны документации
Примеры лучших практик
Всё это поможет разрабатывать грамотные задания и встраивать их в свой образовательный курс
Теория и практика
Предзаписанные видео и презентации к ним
Научные статьи
Шпаргалки по основам теории
Обзоры инструментов для анализа
Это позволит сформировать системное видение того, как происходит исследование и измерение навыков и знаний в образовательных продуктах
В каких форматах будем работать
Знакомиться с теорией: через видео и презентации с опытом ведущих, чек-листы, научные статьи, квизы для самопроверки
Делать упражнения
Обмениваться опытом в чатах и на практикумах-консультациях
Базовая ценность программы: опора на результаты научных исследований
Мы не изобретаем велосипед и не опираемся на единичные кейсы, а суммируем основные выводы, которые накопила психометрическая наука за свою столетнюю историю.
Ваши преподаватели
и помощники
и помощники
- Диана Колесникова— 15+ лет в образовании
— 5 лет в научных исследованиях, сейчас в аспирантуре. Исследую адаптивные образовательные системы.
— 5 лет в EdTech: SkillFactory и Uchi.ru, руководила методической командой
— От 2 до 60 лет — возраст тех, с кем работала
— 30+ продуктов запускала лично
— 3+ миллиона школьников видят курсы, которые развивала в Uchi.ru
— Магистр когнитивной психологии в образовании Колумбийского университета (Нью-Йорк)
— Магистр измерений в психологии и образовании НИУ ВШЭ (Москва) - Ирина Брун— 15+ лет в психометрике
— 10 лет научный сотрудник НИУ ВШЭ, бывшая зам. руководителя Лаборатории измерения сложных конструктов и дизайна тестов
— 7 лет преподавания тест девелопмента бакалаврам, магистрам, аспирантам в НИУ ВШЭ
— 10+ тестов на сложные конструкты, типа критического мышления, запускала лично, включая тесты в методологии ECD
— 450+ тестологических экспертиз и помощи в запуске тестов в области образования и оценки персонала - Егор Дорохов— 10+ лет в оценке персонала и психометрике: консалтинг и инхаус
— ex Руководитель направления оценки профессиональных знаний ht-lab.ru, консультант управления оценки персонала в Банке России, начальник сектора аналитики и методологии оценки персонала в Университете Правительства Москвы
— 1 000+ экспертиз тестовых заданий и опросников
— 100+ разработанных тестов знаний на разные темы и аудитории
— Методолог и co-founder системы семантической оценки semantika.space
— 30+ научных статей по психологии и психометрике
Тарифы
При регистрации до 17 июня скидки до 25%
Если вы официально работаете в государственной школе, университете или НКО и можете подтвердить свой статус, напишите нам, и мы сможем поделиться дополнительной скидкой 15% в дополнение к скидкам выше
FAQ
По умолчанию оплата происходит через сервис TimePad. Здесь можно оплатить курс рублями по любому из тарифов.
Да. Помимо оплаты через TimePad возможна оплата на счёт юридического лица. Для этого нужно связаться с организаторами.
Да. Возможна оплата как с российской карты, так и с зарубежной. Напишите нам, если хотите оплатить не рублями.
Да. Все участники получают доступ к материалам курса в течение 6 месяцев после завершения программы.
Нет. Вторая часть программы начинается с базовых понятий и постепенно вводит участников в работу с данными, анализом заданий и современными подходами к тестированию.
Наши контакты для любых вопросов и уточнений
