Как проверить интеллект ребёнка и стоит ли доверять тестам

<<Лид>>

‍

‍

‍

‍Ирина Угланова

Научный сотрудник в Лаборатории измерения новых конструктов и дизайна тестов Центра психометрики и измерений в образовании Института образования НИУ ВШЭ

‍

‍

‍

‍Татьяна Николаевна Канонир

Доцент Департамента образовательных программ Института Образования НИУ ВШЭ

‍

‍

‍

Какие бывают тесты

Для начала разберёмся, какими вообще бывают тесты. Есть разные классификации, например:

• По открытым и закрытым заданиям

Задаётся закрытый вопрос, в ответ на который можно выбрать один вариант из предложенных, или открытый вопрос, ответ на который нужно вписать самому — слово, число или размышления в виде развёрнутого ответа.

‍

• По аутентичности

Другими словами, по подлинности. Процедура оценивания может быть «лабораторной», а может — близкой к реальности. Это важно, потому что родители хотят применять результаты теста в жизни.

Современные тесты на профориентацию могут выглядеть так: на экране компьютера разворачивается игровая ситуация с множеством разных персонажей. Человек кликает на то, что кажется ему важным. Создатели теста потом анализируют этот клик как индикатор измеряемой характеристики. Получается качественный разрыв между анкетой со шкалой «согласен — не согласен» и вот таким форматом game-based.

‍

<<Блок перелинковки>>

‍

Какие бывают тесты на определение уровня интеллектуального развития

Тесты на интеллект наиболее консервативные и имеют одну из самых долгих историй своего создания. Классифицировать их можно по разным основаниям. Всё зависит от теоретической рамки и целей. Однако важно понимать, зачем ребёнок проходит тестирование и что мы узнаем в конце, для чего будем использовать результаты тестирования.

‍

Есть тесты, которые оценивают только один аспект интеллекта. В России популярны прогрессивные практики Равена, которые исследуют часть интеллекта, например, пространственное мышление. В мире и в России часто используют более сложные тесты, многокомпонентные. Они включают в себя субтесты, которые оценивают и пространственное мышление в разных вариациях, и вербальное мышление в зависимости от шкалы, и краткосрочную и долгосрочную память и внимание.

‍

Во всём мире популярен детский тест Векслера. Раз в 10 лет нормы теста обновляются, так как устаревают. Если этого не делать, получится некорректная оценка интеллекта и будут приняты ложные решения, а нередко, тесты на интеллект используются в ситуациях, когда принимаются важные решения для будущего ребёнка, например, о выборе образовательной программы.

‍

В психодиагностической практике важно оценить одного отдельного ребёнка в сравнении со всеми детьми своего возраста и пола: где находится, на каком уровне, лучше делает задания, чем они, или хуже. Только в таком случае можно говорить об уровне интеллекта. А для этого нужно стандартизировать тест, чтобы были нормы для конкретной популяции. У нас в России почти нет таких тестов, однако недавно мы выиграли малый грант РНФ и будем разрабатывать российский комплексный тест на интеллект.

Татьяна Николаевна Канонир

‍

Родителям не стоит бить тревогу, если в тесте малыш показал низкий уровень интеллекта. Во-первых, не каждому тесту можно доверять. Во-вторых, если есть такая возможность, лучше поговорить со специалистом по психодиагностике, чтобы правильно интерпретировать результаты. В-третьих, стоит пройти ещё один вариант тестирования. К тому же, выводы об интеллектуальном развитии специалист делает на основе тестирования и собранной во время диагностики дополнительной информации.

‍

Результат может быть низким, например, потому что ребёнок нервничал, был уставшим или недостаточно мотивированным. В своём отчёте специалист отражает возможные причины искажения результатов.

‍Татьяна Николаевна Канонир

‍

Как оцениваются тесты

Ответы переводятся в числовые значения согласно ожиданиям разработчиков тестов. Ответ может рассматриваться как правильный (1 балл) и неправильный (0 баллов). А может появиться опция частично правильного ответа — тогда начисление баллов будет, например, 0, 1, 2.

‍

В психологическом тестировании личностных черт невозможно определить правильный и неправильный результаты, чтобы поставить 1 или 0 баллов соответственно. Скорее, признак выражен больше или меньше. Например, есть ли интерес к точным наукам или общению с людьми. Поэтому часто используют шкалу Ликерта — от «полностью согласен» до «полностью не согласен», например от 1 до 5 баллов. В тестах на интеллект всегда есть правильные и неправильные ответы. Поэтому их достаточно легко перевести в шкалу баллов.

‍

Вопросы из психологических опросников различаются по трудности. Например, можно согласиться или не согласиться с утверждением «мне нравится проводить время в шумной компании». При этом сложнее согласиться с формулировкой «я стараюсь проводить всё своё свободное время как можно больше в крупной компании у всех на виду».

‍

Если просто сложить «сырую» сумму баллов, можно недооценить разницу между простыми и сложными вопросами. Необязательно один вопрос будет весить именно 1 балл, другой — 2, как было предложено экспертами. Поэтому на помощь приходит современная теория тестирования (Item Response Theory), которая предполагает уникальность каждого вопроса. Она помогает перевзвесить балл в зависимости от сложности вопроса по отдельности.

‍

Например, если представить нескольких прыгунов через шест, можно посмотреть только на итог — перепрыгнул или нет. А другой вариант — посмотреть на высоту планки. Если у одного выше, у другого ниже — это можно по-разному оценить, начислить 2 балла, если планка выше, и 1 — если ниже. В зависимости от исходных данных такой подход помогает более правильно переводить ответы тестирования в цифры.

‍

Есть задания, которые теоретически и эмпирически показывают то, что разработчики определили интеллектом. Это правильные и неправильные ответы. Есть задания на время. Всё зависит от теории. Обычно это интересные задания для детей. Плюс используется правило остановки: если ребёнок не может решить задание, то тестирование прекращается, так как вопросы сгруппированы от простого к сложному.

‍

Как работает система оценивания

Какой будет система оценивания, решается на этапе разработки теста. Эксперт смотрит на задания и решает, за что можно дать 1, за что 2 балла. Затем собирает данные с большими выборками от 100 человек и более и смотрит, насколько правомерно и точно совпадает мнение экспертов с полученными данными. То есть можно проверить, действительно ли вопрос, за который предполагалось начислять, например, 2 балла, труднее того, для которого был назначен 1 балл.

‍

На таких объёмах можно оценить трудность каждого вопроса отдельно, а способность тестируемого отдельно. Так получается работать с заданиями и характеристиками респондентов. Это помогает переводить полученные цифры в ясно интерпретируемую шкалу.

‍

<<Лидген для статьи>>

‍

Как определить, что тест хороший

Нужно удостовериться, что тест измеряет именно то, что было заявлено. Эта характеристика теста называется валидностью. Есть несколько разных подвидов, например, очевидную валидность удобнее рассмотреть на тесте на профориентацию.

‍

Например, если в тесте для подростков представлен вопрос «Есть ли у тебя затруднения при оформлении счетов или налогов?», это простая калька со взрослого или американского теста. Конечно, опрос, который включает вопросы подобного типа, будет обладать низкой очевидной валидностью, то есть доверять результатам такого теста не стоит.

‍

Чтобы простому пользователю понять, будет ли тест подходящим, можно запросить у разработчиков отчёт. В нём должно быть отображено, как проводили качественные и количественные исследования качества теста. Иногда результаты публикуют в научных журналах. Тогда можно доверять с ещё большей уверенностью, так как он прошёл процедуру анонимного рецензирования, редактуру журнала и считается хорошим.

‍

Если информации нет, можно поискать в интернете название теста, автора, открыть Google Scholar — базу данных статей. Посмотреть, есть ли публикации об использовании теста и психометрического качества.

‍

В тестах на интеллект и профориентацию важно, чтобы это была не соционика или что-то подобное, а ориентирование на настоящую психологическую теорию. Нужно посмотреть, на какой теории и каких концептах они базируются, есть ли описание характеристики, которую хотят измерить.

‍

Что делать, если тест показывает разные значения

Возможно, всё дело в ошибке измерения (error of measurement), то есит при проведении тестирования множество раз ребёнок получает баллы в каком-то диапазоне. Например, сегодня в хорошем настроении он наберёт 26 баллов, а завтра из-за шума и посторонних людей дома — 24. Когда специалисты рассчитывают балл, указывают, что вероятность такого-то диапазона — 90–95%. И этот интервал особенно важен, когда интерпретация показывает уровни: высокий, средний и низкий. Поэтому могут появиться разные значения теста.

‍

<<Параграф c цитатой>>

‍

Что делать, если результат теста на  интеллект низкий

Представим, что ребёнок тестировался у специалиста и получил за тест низкий балл. Отметим, что ни один специалист не ставит диагноза на основании одного тестирования: это комплексный сбор информации. Много факторов влияют на результат, например: усталость или немотивированность малыша, недостаточно времени на налаживание контакта, слишком много заданий за раз или ошибка в подсчётах. Специалист учитывает эти факторы и может определить в каких случаях результаты теста свидетельствуют о пониженном уровне интеллекта.

‍

Диагностика точно не делается за 15 минут. Средняя версия того же самого Векслера — 40–50 минут, а нужны ещё и дополнительные субтесты. Нельзя по одному вопросу ставить диагноз. Ребёнку показывали картинку, и он дал не ту интерпретацию, которую ожидали, — ему поставили низкий уровень. Но интеллект — это комплексный конструкт. Чем больше заданий, тем больше и лучше степень измерения. Нужно много раз проверить одно и то же. А потом ещё сопоставить с дополнительной информацией, которую собирает специалист.

‍Татьяна Николаевна Канонир

‍

Всем ли подходят одни и те же тесты

Есть исследования, которые вносят правки на неравенство: все ли участники в одинаковых условиях или в группе есть различия по демографическим и социальным характеристикам. Во втором случае балл будет с поправкой на дополнительные условия. То есть при оценке определённой способности или знания учебного предмета может учитываться, например, не живёт ли ребёнок в бедном районе. Но такие поправки проводятся только на больших выборках в серьёзных крупных исследованиях.

‍

При доказательстве качества теста нужно провести исследование на возможную дискриминацию различных групп. Например, девочки могут легче ответить на вопрос не потому, что лучше что-то знают, а потому, что вопрос затрагивает какие-то гендерные особенности. Если тест на чтение в начальной школе на девичью тему, то за счёт мотивации и привычных слов девочки справятся лучше. Эти нюансы требуют отдельных исследований.

‍

Или человек другой культуры может не знать каких-то кажущихся простыми традиций. Важно определить заранее, какие группы могут понять тест.

‍

На этапе проверки тест даётся в одинаковом формате. Потом исследователи собирают социально-демографическую информацию, проверяют, одинаковая ли вероятность у девочек и мальчиков с одним уровнем способностей справиться с конкретным заданием. И если уровень одинаковый, а у кого-то вероятность выше, то дело в задании. Что-то в нём работает так, что не позволяет людям с одинаковыми способностями справиться одинаково хорошо.

‍

На первом этапе часто проводится интервью с тестируемыми. Эта процедура называется «думать вслух» (think aloud protocol) или «когнитивная лаборатория» (cognitive laboratory). В формате таких интервью проверяется, понятны ли все слова, знакомы ли ситуации. Но исследования позволяют выявить не все нюансы качества теста. Многие важные характеристики теста изучаются количественно на больших выборках.