В казну.ру Бухгалтерский учет в бюджетных учреждениях

Психологические тесты в оценке компетенций

“Кадровик. Кадровый менеджмент“, 2009, N 9


ПСИХОЛОГИЧЕСКИЕ ТЕСТЫ В ОЦЕНКЕ КОМПЕТЕНЦИЙ


В последние несколько лет в России стал постепенно оформляться рынок услуг в области тестирования и психодиагностики. При очевидной потребности многих организаций в качественном инструментарии для отбора, оценки и развития персонала до последнего времени у нас в стране наблюдался серьезный недостаток компаний, которые в явном виде позиционировали бы себя как создатели и дистрибьюторы оригинальных методик. На сегодняшний день представляется важным осознать те проблемы, которые существуют в области применения тестов.

В 1990-е гг. пользователям приходилось либо закупать дорогие и плохо адаптированные западные методики, либо (что чаще) создавать что-то своими руками, либо (что происходило и происходит постоянно) пользоваться обширным багажом нелицензионных переводных методик, доступных повсеместно. Доля оригинальных отечественных тестов, активно используемых на предприятиях, была незначительна. При этом среди них уже тогда появлялись уникальные разработки, не имевшие однако шансов из-за неразвитого и неплатежеспособного спроса того времени <1>.

--------------------------------
<1> В качестве примера можно привести игровые компьютерные методики лаборатории “Гуманитарные технологии“: имитационно-игровой тест управления предприятием “СТИМУЛ“, лабиринтный тест на кооперативно-конфликтные стратегии взаимодействия “МИМИКС“ и др.

Эта волна, обусловленная экономической конъюнктурой эпохи “дикого капитализма“, на многие годы отбросила любые попытки сформировать достойное предложение на внутреннем рынке. Большинство популярных западных методик, переведенных учеными-психологами для собственных нужд, получило свободное хождение на рынке с помощью книг типа “100 лучших психологических тестов“ и небольших команд, состоящих из психологов и программистов, которые создали целый набор программ с “защитными“ в них нелегальными методиками. При этом тексты и ключи (способ подсчета) никто не выверял, а новые издания этого контрафакта зачастую просто перепечатывались с предыдущих версий. Очевидно, что все то многообразие методик, которое в одночасье оказалось общедоступным, даже помимо юридических проблем обладало целым рядом существенных ограничений в использовании.

Словарь управления персоналом. Тестирование (от англ. test - опыт, проба) - метод психологической диагностики, использующий стандартизированные вопросы и задачи (тесты), имеющие определенную шкалу значений.

Добавим к этому, что с течением времени эти тесты стали стремительно устаревать. Ошибки и недоразумения множились, и сейчас уже трудно сказать определенно, что же действительно измеряют эти растиражированные “гороскопы“ (многие проблемы из этого запутанного клубка хорошо описаны в статье А. Шмелева “Каша из топора...“ [10]).

Однако в начале 2000-х гг. ситуация стала постепенно меняться, и сейчас уже можно констатировать определенные сдвиги в развитии этой области. На рынке труда с каждым годом появляется все больше специалистов-психологов, имеющих определенные знания и навыки работы с тестами. Они пополняют и ряды производителей, а главное, ряды потребителей, что повышает спрос на качественные продукты. Заказчики становятся все более разборчивыми. Нередким в последнее время становится запрос на информацию о стандартизации той или иной методики, о параметрах надежности и валидности. С другой стороны, сами производители ведут активную пропаганду, доказывая, что без соблюдения минимальных психометрических требований инструментом пользоваться нельзя.

Словарь управления персоналом. Валидность теста - действительная способность теста измерять ту психологическую характеристику, для диагностики которой он заявлен. Количественно валидность теста может выражаться через корреляции результатов, полученных с его помощью, с другими показателями, например с успешностью выполнения соответствующей деятельности. Выделяют несколько типов валидности:

1) содержательную;

2) критериальную, или эмпирическую;

3) понятийную, или конструктную.

Еще один позитивный сдвиг, который нельзя не отметить, это постепенное формирование настоящего сообщества психологов, а в частности психодиагностов. Активизировало свою работу Российское психологическое общество. При его активной поддержке лидеры российской психодиагностики - профессора Н.А. Батурин и А.Г. Шмелев - ведут проект по подготовке системы сертификации психологических методик, их создателей и пользователей <2>.

--------------------------------
<2> Подробнее см.: http://www.ht.ru/press/certification.

На территории РФ стали проводиться профильные конференции различного уровня; некоторые из них целиком посвящены проблемам организационной диагностики и развития. В сети Интернет появилось несколько сообществ профессионалов, которые активно обсуждают актуальные проблемы своей области и при этом открыты для взаимодействия с внешним миром <3>.

--------------------------------
<3> См., например, “Блогосфера“ на сайте ht.ru или социальная сеть Haflogiston.ru.

Заметное развитие психодиагностики у нас в стране заставляет задуматься о том, какое место занимают тесты в современных российских системах работы с персоналом? Ведь известно, что традиционное применение подобных инструментов при подборе и оценке персонала часто подвергается серьезной и вполне обоснованной критике и со стороны участников тестирования, и со стороны специалистов, эти тесты применяющих.

В бизнесе существует некий обобщенный социально одобряемый образ успешного сотрудника: это экстраверт, эффективный командный игрок, планирующий на ближайшую и на далекую перспективу, стрессоустойчивый, с хорошо развитым интеллектом, рационально взвешивающий альтернативы при принятии решений и т.п. Большинство современных работников хорошо осознают этот запрос и легко воспроизводят необходимую картину, заполняя всевозможные опросники и тесты.

На сегодняшний день представляется важным осознать те проблемы, которые существуют в области применения тестов в России. Это позволит выделить ключевые ориентиры и искать собственный путь развития стандартизированных методов оценки.

Для того чтобы получить некое первичное представление о ситуации в России, нами было проведено пилотное исследование. Руководителям и специалистам служб персонала было предложено поучаствовать в опросе на тему “Использование психологических тестов в работе HR“. Результаты опроса рассмотрим ниже.

Участники опроса

В опросе приняли участие 64 российские и международные организации, представляющие главным образом средний и крупный бизнес. Большая часть - это производственные и телекоммуникационные компании, нефтедобывающий комплекс и ритейл. Распределение по отраслям народного хозяйства участников опроса в выборке представлено в табл. 1.

Таблица 1

Распределение по отраслям организаций - участников опроса

Область народного хозяйства Кол-во
компаний
Промышленность, производство 10
Продажи 7
ИТ, телеком, связь, Интернет 6
Нефть, газ, энергетика, добыча сырья 6
Консалтинг, стратегическое развитие 5
Управление персоналом, тренинги, повышение квалификации 5
Банки, инвестиции, лизинг 5
СМИ, издательство, полиграфия, дизайн 4
Маркетинг, реклама, PR 3
Строительство, недвижимость, архитектура 3
Автомобильный бизнес 2
Искусство,культура, развлечения 2
Медицина, фармацевтика 2
Транспорт, логистика 2
Страхование 1
Юриспруденция 1
Всего 64

Распределение по численности персонала представлено на рис. 1. Данные собирались в Москве и в Челябинске, что позволило (хотя бы частично смягчить) фактор “Москва - не Россия“. Результаты по выборке из 64 компаний, безусловно, не могут претендовать на общую значимость, но определенную репрезентативность и интересные факты нам получить удалось.

Численность персонала компаний - участниц опроса

------¬
¦ 37% ¦ -------------------------¬
¦ ¦ ¦ --¬ ¦
¦ ¦ ¦ ¦х¦ - от 1 до 10 ¦
¦ ¦ ¦ L-- ¦
¦ ¦ ¦ --¬ ¦
¦ ¦ ¦ ¦@¦ - от 11 до 100 ¦
¦ ¦ ¦ L-- ¦
------¬ ------¬ ¦ ¦ ¦ --¬ ¦
¦о23%о¦ ¦@23%@¦ ¦ ¦ ¦ ¦о¦ - о 101 до 1000 ¦
¦ооооо¦ ¦@@@@@¦ ¦ ¦ ¦ L-- ¦
¦ооооо¦ ¦@@@@@¦ ¦ ¦ ¦ --¬ ¦
¦ооооо¦ ¦@@@@@¦ ¦ ¦ ¦ ¦ ¦ - от 1001 до 10 000¦
¦ооооо¦ ¦@@@@@¦ ¦ ¦ ¦ L-- ¦
¦ооооо¦ ¦@@@@@¦ ¦ ¦ ¦ --¬ ¦
¦ооооо¦ ¦@@@@@¦ ¦ ¦ ¦ ¦*¦ - более 10 000 ¦
¦ооооо¦ ¦@@@@@¦ ¦ ¦ ¦ L-- ¦
------¬ ¦ооооо¦ ¦@@@@@¦ ¦ ¦ L-------------------------
¦хх9%х¦ ------¬ ¦ооооо¦ ¦@@@@@¦ ¦ ¦
¦ххххх¦ ¦**8%*¦ ¦ооооо¦ ¦@@@@@¦ ¦ ¦
¦ххххх¦ ¦*****¦ ¦ооооо¦ ¦@@@@@¦ ¦ ¦
¦ххххх¦ ¦*****¦ ¦ооооо¦ ¦@@@@@¦ ¦ ¦
¦ххххх¦ ¦*****¦ ¦ооооо¦ ¦@@@@@¦ ¦ ¦
-+-----+---+-----+---+-----+---+-----+---+-----+-

Рис. 1

Отношение к использованию тестов в российских компаниях

Итак, наиболее интересным было узнать, применяют ли тесты в компаниях в принципе? Результаты опроса показали, что 25% используют их регулярно, 33% - иногда, и 42% - никогда, т.е. больше половины компаний из выборки тесты все-таки используют. Для зарождающегося рынка российских производителей тестов это позитивный сигнал. Более того, явно видны возможности для роста в том сегменте, где тесты используются, но эпизодически.

Большинство HR-менеджеров, не использующих тесты, указали на негативное отношение к ним в компании. С сожалением приходится констатировать, что наследие советских времен дает о себе знать и по сей день. Полный запрет на тестирование (с 1936 по 1957 гг.), нелегальный и некачественный перевод тестов, массовое применение при массовой неграмотности их применяющих и т.п. - все это по-прежнему настраивает против них 42% компаний, нуждающихся в качественной оценке своего персонала не меньше, чем остальные 58%. В глазах многих руководителей тесты полностью дискредитированы. Эти инструменты психодиагностики в массе своей не отвечают стандартам, а отсутствие внятных механизмов контроля качества услуг в данной области ставят эту сферу в глазах критически настроенных менеджеров на один уровень с астрологией и прочими “голубями из рукава“.

Также специалистам был задан вопрос, какие же конкретно методики используются у них в работе. 43% тех, кто так или иначе использует тесты, прибегают к различным методикам, измеряющим интеллект. Используются тесты Амтхауэра, Векслера, Гилфорда-Салливена, методика “Кубики Коса“, КОТ, КИТ СпЧ, прогрессивные матрицы Равенна, EPQ Айзенка, VMG, NMG. Главным образом применяют их крупные компании численностью от 1000 человек, а также консалтинговые организации, оказывающие различные услуги тем же самым крупным компаниям. Эти данные хорошо согласуются с подобными масштабными исследованиями, проведенными десять лет назад в США <4>.

--------------------------------
<4> Институт Бэроса в США издает специализированный сборник (компендиум психологических методик) Tests in Print, в 5-й версии (1999 г.) которого приведены данные по частоте использования различных категорий тестов при написании научных статей. Тесты на измерение интеллекта встречаются в 45% публикаций [3].

Отдельно хочется отметить, что среди названных методик 6 раз встретился известный тест КОТ (Краткий ориентировочный тест), который является нелицензированной российской адаптацией 1992 г. известной методики Вандерлика (Wonderlic Personnel Test). С тех пор он имеет широкое хождение на территории России, и ответы на него можно без усилий найти в Интернете.

Словарь управления персоналом. Тест КОТ (краткий ориентировочный тест) - используется для определения уровня развития общих способностей, темпа умственной деятельности, работоспособности, развития основных интеллектуальных функций, способности к обучению. По каждому из отдельных аспектов интеллекта оценивается уровень его развития: низкий, средний, высокий.

Пример с КОТ, на наш взгляд, хорошо иллюстрирует описанную выше картину бесконтрольного использования тестов в нашей стране. Выучить тест и ответы к нему не составляет никакого труда (помимо Интернета, многие книжные издательства продолжают издавать сборники тестов так, как будто это всеобщее наследие мировой культуры). Современных статистических норм по тесту не существует; в лучшем случае пользователи посчитали локальные нормы своей компании.

При этом в среде специалистов по оценке уже в течение последних 10 лет утвердилось четкое понимание, что подобные тесты хороши именно своей новизной для участников и отсутствием публикаций текстов заданий. Они стали либо закупать их у производителей, либо разрабатывать сами <5>. А между тем нелицензированная и растиражированная адаптация западного теста и по сей день активно применяется, и на его основании принимаются определенные кадровые решения.

--------------------------------
<5> В качестве примера можно привести тест КИТ СпЧ (совместный проект ЮУрГУ и СПбГУ), КТО (лаборатория “Гуманитарные технологии“).

Следующие по популярности использования идут большие личностные опросники типа 16PF Кеттелла, MBTI, MMPI, CPI, OPQ и др.

Анализируя далее список тестов, используемых в компаниях - участницах опроса, нельзя не заметить позитивную тенденцию: многие организации стали обращаться к профессиональным производителям, в т.ч. и российским. Среди них в нашей выборке оказались 4 ведущие компании по созданию и дистрибьюции тестов в России - лаборатория “Гуманитарные технологии“ (Москва), “Иматон“ (Санкт-Петербург), “Психрон“ (Челябинск), “Когито-Центр“ (Москва). В списке также фигурируют разработчики специальных тестов для оценки персонала - теста Мотайп (В.И. Герчиков, “Топ-Менеджмент Консалт“), теста Камертон-2 (Н.В. Мигашкин). Список международных компаний возглавляет безусловный лидер по количеству упоминаний SHL, следом идет Thomas International (Система Томаса, или DISC), Hay Group, Hogan Assessment, OnTarget (Psytech Int.), Success Insights Int., Belbin Associates, Structogram, PI Worldwide (методика Predictive Index).

Сам по себе этот тренд в направлении легальных инструментов и их создателей не может не радовать. Ведь работа с профессиональными компаниями воспитывает пользователей и прививает им культуру грамотного использования тестов. Вместе с тем нельзя не отметить то, что в списке наблюдается очевидный перевес в сторону западных компаний-производителей. В дополнение к собранным в анкете данным в 2008 - 2009 гг. нами был проведен анализ российского рынка тестов. Основные методы: анализ периодики, специальной литературы и Интернета. По результатам этой работы к уже названным отечественным компаниям, разрабатывающим и продающим тесты, необходимо добавить следующие: Институт прикладной психологии (Москва, научный руководитель Л.Н. Собчик), НПЦ “Психодиагностика“ (Ярославль) <6>.

--------------------------------
<6> В данный список не попало большое число организаций, занимающихся продажей чужих тестов, “зашитых“ в программные оболочки без разрешения авторов. Оценить их точное число трудно, однако с уверенностью можно сказать, что их в несколько раз больше, чем разработчиков и поставщиков оригинальных методик.

По собранной нами информации, количество иностранных компаний, имеющих или разрабатывающих тесты для русскоязычных клиентов, явно больше. Дополним приведенный выше перечень этих организаций: Center for Leadership Studies, CNT-Consult, CPP/OPP, Cubiks, DDI, Extended DISC, Herrmann International, Human Qualities, Luscher Arbeitskreis, LTP, Persona Global, Pilat, Psychological Assessment Resources, Saville Consulting, TalentQ, TMSDI.

Как видно, список получается достаточно внушительным. 25 западных компаний, с которыми связаны самые известные имена мировой психодиагностики, против 8 отечественных организаций, имеющих скромный бизнес на территории РФ. Такой неожиданный и не очень приятный факт легко объясняется тем, что в Европе и США психодиагностика развивалась без остановок и находится сейчас на очень хорошем уровне, вполне пригодном для экспорта технологий. Можно предположить, что рынки в развитых странах большей частью уже поделены, и Россия рассматривалась (на период до кризиса) как отличная возможность для успешного расширения бизнеса в новом регионе.

Такая ситуация требует критического рассмотрения возможностей, которые привносят с собой импортеры психодиагностических услуг. С одной стороны, качество инструментария ведущих иностранных компаний не подвергается сомнению. Более того, оно постоянно подтверждается публикуемыми исследованиями и специализированными сертификационными организациями (например, PTC/MW, Buros Institute). Очевидно также, что использование тестов с международным именем повышает статус проводимых организационных исследований и делает их результаты открытыми для публикации и обсуждения в авторитетной мировой периодике и на конференциях.

Однако априорное доверие западным решениям сулит и много опасностей, которые важно осознавать. Очевидно, что качество маркетинга иностранных продуктов на порядок выше отечественных аналогов. Но за серьезными рекламными усилиями бывает крайне сложно рассмотреть объективные показатели качества методик.

Выбирая провайдера

Приведем несколько основных моментов, на которые следует обращать внимание при выборе провайдера по предоставлению услуг тестирования.

- Наличие данных о надежности и валидности тестов. Это необходимая составляющая “паспорта качества“ методики [2]. Часто бывает, что такие данные либо декларируются, либо не приводятся вовсе.

Словарь управления персоналом. Надежность теста - один из критериев качества теста, относящийся к точности психологических измерений. Чем больше надежность теста, тем относительно свободнее он от погрешностей измерения. При одном из подходов надежность теста рассматривается как устойчивость (стабильность) результатов при повторном тестировании. При другом подходе надежность теста рассматривается как проявление степени эквивалентности двух одинаковых по форме и цели (параллельных) тестов. Определение надежности теста может быть связано и с понятием внутренней состоятельности теста. Это выражается в расчленении теста на части с последующим сопоставлением результатов частей. Надежность теста определяется также методами дисперсионного и факторного анализа.

- Описание выборки стандартизации. Имеет значение, кто вошел в число испытуемых. Испытуемыми, на которых собирались диагностические нормы, могли быть как студенты факультета психологии, так и, скажем, консультанты крупной аудиторской фирмы из “большой четверки“, т.е. данные могут быть весьма специфичными и не соответствовать вашему контингенту сотрудников. А поскольку в тестах результат человека сравнивается с этой самой выборкой, то и итоговые баллы могут сильно разниться в зависимости от группы сравнения. Лучшими можно считать репрезентативные нормы, собранные в самой компании-пользователе теста.

Словарь управления персоналом. Выборка стандартизации - множество испытуемых, на котором собираются диагностические нормы и проводится стандартизация диагностической шкалы.

- Возраст норм. Имеет значение, когда эти нормы обновлялись в последний раз: известно, что за 5 - 7 лет нормы серьезно устаревают, а значит, и сравнение с ними будет неадекватным.

- Универсальность теста. Чем инструмент более универсален, чем шире круг вопросов он обещает решить, тем сильнее следует усомниться в его качестве. Во всем, что связанно с диагностикой человека, готовые рецепты крайне опасны. Психологи пока еще не придумали точных универсальных измерительных “линеек“, поэтому ответ на все вопросы о человеке за 5 минут во многом схож с лечением алкоголизма по фотографии;

- Качество отчетов. Красивые отчеты, автоматически выдаваемые из компьютерных систем обработки, часто напрямую переводятся с языка оригинала без какой-либо научной модификации. Производителю удобно в одной онлайн-системе содержать одинаковую структуру данных, чтобы обеспечивать универсальность (создавать отдельные системы для каждой страны очень накладно). А ведь многие шкалы (отдельные измерения в тесте) могут измерять абсолютно разные качества в разных культурах. Такие виднейшие специалисты в психодиагностике, как Л.Ф. Бурлачук, Л.Н. Собчик, А.Г. Шмелев, не устают повторять известный тезис о том, что адаптация иноязычных методик по стоимости и трудозатратам практически равна созданию новой (за вычетом расходов на создание самой теоретической модели методики) [9].

Здесь необходимо сделать важное замечание по поводу иностранных методик в принципе: адаптация теста в режиме обычного перевода текста - грубая ошибка. Профессиональную локализацию зарубежной методики можно сравнить скорее с переводом поэзии. Чтобы сделать хороший перевод качественного теста, нужно отработать на уровне Пастернака или Маршака, создавших великие творения Шекспира на русском языке. Другими словами, переводя методику, нужно создать фактически новое произведение, имеющее свое глубокое и выверенное внутреннее содержание, которое, помимо всего прочего, обосновано специальными математическими методами проверки.

В связи с вышесказанным представляется важным порекомендовать пользователям более тщательно вникать в содержательную сторону описания тестовых продуктов или привлекать к их анализу специалистов.

Области применения тестов

В следующем блоке анкеты был задан вопрос, в каких именно областях применяются тесты в организации (рис. 2).

Области применения тестов

---------------------¬
¦ --¬ ¦
¦ ¦ ¦ Подбор ¦
¦ L-- ¦
¦ ¦
¦ --¬ ¦
¦ ¦@¦ Адаптация ¦
¦ L-- ¦
¦ --¬ ¦
¦ ¦*¦ Оценка ¦
¦ L-- ¦
¦ ¦
¦ --¬ ¦
¦ ¦о¦ Обучение ¦
¦ L-- ¦
¦ ¦
¦ --¬ ¦
¦ ¦¦ Аттестация ¦
¦ L-- ¦
------¬ ¦ ¦
¦ 34% ¦ ¦ --¬ ¦
¦ ¦ ------¬ ¦ ¦x¦ Коучинг ¦
¦ ¦ ¦*26%*¦ ¦ L-- ¦
¦ ¦ ¦*****¦ ¦ ¦
¦ ¦ ¦*****¦ ¦ --¬ ¦
¦ ¦ ¦*****¦ ------¬ ¦ ¦/¦ Профориентация ¦
¦ ¦ ¦*****¦ ¦хх9%х¦ ¦ L-- ¦
¦ ¦ ¦*****¦ ------¬ ¦ххххх¦ ¦ ¦
¦ ¦ ¦*****¦ ¦\8%¦ ¦ххххх¦ ¦ --¬ ¦
¦ ¦ ------¬ ¦*****¦ ------¬ ¦\\¦ ¦ххххх¦ ------¬ ¦ ¦“¦ Другое ¦
¦ ¦ ¦@@6%@¦ ¦*****¦ ¦оо6%о¦ ¦\\¦ ¦ххххх¦ ¦//6%/¦ ¦ L-- ¦
¦ ¦ ¦@@@@@¦ ¦*****¦ ¦ооооо¦ ¦\\¦ ¦ххххх¦ ¦/////¦ ------¬ L---------------------
¦ ¦ ¦@@@@@¦ ¦*****¦ ¦ооооо¦ ¦\\¦ ¦ххххх¦ ¦/////¦ ¦““5%“¦
¦ ¦ ¦@@@@@¦ ¦*****¦ ¦ооооо¦ ¦\\¦ ¦ххххх¦ ¦/////¦ ¦“““““¦
L-----+--+-----+--+-----+--+-----+--+-----+--+-----+--+-----+--+-----+-

Рис. 2

Явными лидерами оказались подбор и оценка персонала. Данный результат показателен с точки зрения преемственности в научной и практической среде. Первые тесты, получившие широкое распространение в практике (например, тест Бине-Симона, “Бланк личностных данных“ Вудвортса), фактически использовались для целей отбора “годных“ и “непригодных“. Такая направленность понятна и оправдана с экономической точки зрения. Действительно, массовое тестирование значительно дешевле, чем массовые интервью, беседы, наблюдения и проч. Как мы видим, сегодня ситуация кардинальным образом не изменилась. Более того, мы находим подтверждения нарастающей популярности этого метода на фоне развития новых информационных технологий. Крупным компаниям оказывается удобным проводить первые этапы отбора дистанционно, когда кандидаты проходят входное тестирование на своей территории (дома или в интернет-кафе) без непосредственного очного участия HR-службы в этой процедуре. Особо обратим внимание, что в 8% случаев тестирование используется для проведения аттестации (вряд ли трудовая инспекция одобрила бы такие решения). На основании таких данных можно сделать вывод, что доверие к тестам в некоторых организациях весьма высоко.

С другой стороны, начиная с середины прошлого века, проблемы, связанные с применением тестов в так называемой ситуации экспертизы (когда участник тестирования не является заказчиком оценки), стали хорошо осознаваться специалистами. Социальная желательность, т.е. потребность человека соответствовать некоему идеальному образу, одобряемому обществом (или потенциальным работодателем), в данном случае становится чуть ли не главным фактором, влияющим на результаты. Естественно, что когда тестирование определяет дальнейшую судьбу человека, он старается угадать, чего от него ожидают услышать.

Для решения этой поистине первоочередной проблемы были мобилизованы большие силы. В тестах стали появляться шкалы лжи и их модификации, специальные индикаторы, указывающие на тенденцию респондента отвечать по шаблону. С развитием математической статистики и программного обеспечения появляется возможность обрабатывать данные по целым батареям методик и объединять множество шкал из них в несколько ведущих факторов [2]. При этом считается, что последовательно “обманывать“ разные по форме и наполнению опросники крайне затруднительно, что повышает их прогностическую силу.

Другой пример прогресса на почве математического моделирования - это IRT (Item Response Theory) [1, 7], что обычно переводится как Теория тестовых заданий. Теория предназначена для оценки скрытых свойств респондентов и параметров заданий теста посредством применения математико-статистических моделей измерения. Данный подход специфичен тем, что делается попытка рассмотреть ответ на каждый вопрос в отдельности, не объединяя пункты в шкалы.

В последние несколько лет популярность приобрели так называемые ипсативные вопросы, развиваемые как раз на базе IRT [11]. Определенная искусственность состоит в том, что выбор той или иной предлагаемой в вопросе альтернативы может и не отражать истинных пристрастий человека. При этом считается, что “шкалы, сконструированные по ипсативному принципу, позволяют эффективно преодолевать тенденцию испытуемых давать социально желательные ответы, т.к. оба суждения, включенных в вопрос, специально подобраны так, что уравновешены по предварительно установленному уровню “социальной желательности“ <7>.

--------------------------------
<7> Описание методики “В5-Ипсативная версия“ на сайте лаборатории “Гуманитарные технологии“ (www.ht.ru).

Словарь управления персоналом. Ипсативные вопросы - пункты опросников, в которых респонденту приходится совершать вынужденный выбор между несколькими альтернативами, прямо друг с другом не соотносимыми (например, “Вы предпочтете провести полостную операцию или отправиться на собаках к Южному полюсу?“).

Все перечисленные методы оказались успешны в плане защиты инструментов от фальсификации участниками тестирования.

Следует отметить предпочтительность использования на сегодняшний день тестов в ситуации “клиента“ (когда участник тестирования является заказчиком тестирования). Когда человек заинтересован в развернутой обратной связи, особенно если она будет использоваться для формирования развивающих мероприятий для него, то результаты чаще всего оказываются значительно более яркие: и специалисту намного легче работать над рекомендациями, и принятие результатов участником возрастает в разы.

В нашем опросе в 32% случаев тесты были названы как реально используемые для целей развития. Остается надеяться что удельный вес практики такого рода будет возрастать. Ведь работа, направленная на развитие персонала, с применением качественного диагностического инструментария лучше всего согласуется с гуманистическими принципами современного HR-менеджмента.

Наиболее популярные у российских компаний тесты

Анализируя ответы на вопрос о наиболее качественных тестах, известных респондентам на сегодняшний день, нельзя не отметить достаточно консервативную позицию большинства отвечавших. Наиболее качественным большинство назвало личностный опросник Кеттелла 16PF (13 ответов из 40).

Словарь управления персоналом. 16PF (Sixteen personality factor questionnaire) - разработан под руководством Р.Б. Кэттелла, является одним из наиболее распространенных анкетных методов оценки индивидуально-психологических особенностей личности. Полный вариант включает 187 вопросов. Отличительной чертой данного опросника является его ориентация на выявление относительно независимых 16 первичных черт (шкал) личности, среди которых можно выделить такие, как эмоциональная устойчивость, интеллектуальное развитие, доминантность, беспечность - сдержанность, моральный контроль поведения, устойчивость к стрессу и т.д.

Можно добавить к этому числу современные модификации и аналоги этого опросника 15 FQ+ компании OnTarget [1] и 16РФ лаборатории “Гуманитарные технологии“ [2], т.к. принципиально в них заложены те же самые идеи. Получается, что ориентиром для большинства специалистов является методика, основные разработки которой велись в 50 - 70-е гг. XX в. [8].

Популярность 16PF подтверждает и беглый анализ российской сети Интернет. Данный опросник можно найти практически на каждом сайте, посвященном тестированию и психологии. При этом ни проблема некорректных норм, ни ошибки, ни устаревшие вопросы (наиболее популярной остается версия 1987 г.) не отбивают охоты у новых специалистов смело браться за работу с этой методикой. Несколько издательств, занимающихся продажей тестов, выставляют скромные, но вполне ощутимые деньги за контрафакт, переложенный в их собственную компьютерную оболочку. При этом их не смущает полное сходство с оригиналом, права на который сейчас принадлежат британской компании OPP (Oxford Psychologists Press). К слову, OPP выпустили уже 5-ю версию данного опросника со множеством разнообразных опций и отчетов.

На втором месте с результатом 10 ответов оказались опросник Майерс-Бриггс (MBTI) и его современная российская модификация ТОП-ЮНИТ лаборатории “Гуманитарные технологии“. Первая версия опросника была создана в 1942 г., а пик популярности MBTI в мире пришелся на 70 - 80 гг. прошлого века. Сейчас опросник продолжает занимать важное место в работе консультантов и HR во всем мире, и Россия, как мы видим, не исключение.

Словарь управления персоналом. MBTI (Myers-Briggs Type Indikator) - индикатор типов личности Майерс-Бриггс, разработан для определения психологических типов и опирается на исследования Юнга. MBTI позволяет дать обобщенную характеристику личности по четырем группам факторов: экстраверсия - интроверсия, сенсорность - интуиция, мышление - чувствование, решение - восприятие. Считается, что MBTI более уместен при формировании команды, для индивидуального коучинга, решения межличностных проблем, при обсуждении перспектив карьерного роста.

Правда, по поводу оригинальной американской методики существуют две очень важные оговорки, которые упускаются из виду многими отечественными пользователями этого опросника.

1. Официального российского перевода MBTI не существует. Права на оригинальную методику принадлежат американскому CPP (Consulting Psychologists Press), европейским представителем которого является упомянутый выше OPP. Существующие переводы на русский делались исключительно в научных целях и попали в свободное хождение по описанной в начале статьи схеме.

2. MBTI не рекомендуется использовать в ситуации экспертизы (что в России делается сплошь и рядом). Методика недостаточно защищена от проблемы социально желательных ответов, т.к. в ней говорится о предпочтениях респондентов.

Вторая проблема частично решена в российском ТОП-ЮНИТе, где есть шкала контроля социальной желательности, собраны специфические нормы для ситуации экспертизы и в сами формулировки вопросов заложены интересные находки лаборатории, защищающие опросник от попыток фальсификации результатов. Однако это не отменяет тезиса о том, что в ситуации клиента использовать данную методику явно предпочтительнее.

Третьим по популярности в нашем опросе (9 упоминаний) стал MMPI (Миннесотский многофакторный личностный опросник, разработан в начале 40-х гг. XX в.). Результат этот несколько удивил. Плачевно, но в среде HR до сих пор ориентиром качества является громоздкая клиническая методика, абсолютно не предназначенная для организационного контекста. Критика в адрес пользователей MMPI в бизнесе ведется уже в течение длительного времени [6]. Известно, что в США применение MMPI для целей отбора персонала фактически запрещено: здесь было выиграно несколько дел против работодателей, отказавших в работе на основании результатов этого опросника. Ведь при очевидных плюсах (комплексность, шкалы лжи, психометрическое обоснование), вопросы типа “У меня никогда не было затруднений при мочеиспускании“ или “Кто-то управляет моими мыслями“ ставят большинство соискателей в тупик. Да и типовые ответы на них вряд ли интересуют профессиональных оценщиков. Достаточно сказать, что для создания пунктов теста использовался перечень наиболее частых и характерных жалоб людей с различными психическими расстройствами.

Словарь управления персоналом. MMPI (Minnesota Multiphasic Personality Inventory) - разработан американскими психологами И. Маккинли и С. Хаттэуэй, изначально применялся для выявления скрытых психических отклонений. Включает 10 основных шкал (ипохондрии, депрессии, паранойи, психастении, шизофрении, мании, мужественности-женственности, социальной интроверсии) и дополнительные шкалы для оценки самых разнообразных личностных особенностей. Кроме основных, в MMPI включены такие оценочные шкалы, как количество неопределенных ответов, шкала лжи, достоверности и т.д. В настоящее время запрещен в США для использования при приеме на работу психически здоровых людей. Запрет объясняется вторжением в личные сферы, нарушающие права личности, поскольку интерпретатор может узнать из этого теста много больше, чем предполагает испытуемый. Русскоязычный аналог - СМИЛ (Стандартизованный многофакторный метод исследования личности, под руководством Л. Собчик), адаптированный вариант MMPI.

На наш взгляд, основной причиной такого “перекоса“ в сторону старых западных методик обусловлен в первую очередь теми образовательными программами, которые по-прежнему существуют в большинстве учебных заведений, готовящих психологов. В методических пособиях и практикумах российских вузов рекомендуются именно те тесты, которые были названы в первой тройке (16PF, MBTI и MMPI). Более того, никакого контроля над использованием (другими словами, лицензирования) этих серьезных инструментов диагностики по-прежнему нет. Неудивительно, что по окончании обучения люди возвращаются к этим легко доступным методикам, несмотря на все указанные минусы.

Кстати, другой крайностью является полный отказ от применения тестов. Напомним, что в нашем исследовании это 42% респондентов. И аргументы в этом случае практически всегда строятся вокруг того негатива, который, очевидно, привнесли с собой названные популярные методики и их непрофессиональное и неуместное использование.

Пока эта ситуация не изменится и современные издательства качественных методик не начнут вести массированную пропаганду новых технологий и лоббировать свои интересы в высших эшелонах власти, большая часть страны так и будет считать последним словом техники “Жигули-2101“, честно скопированные с “Фиата“ в далеком 1970-м.

Проблемы использования тестов в оценке компетенций

В последнее десятилетие издателям психологических тестов для бизнеса приходится серьезно работать с реалиями компетентностного подхода к оценке и развитию персонала. Компетенции завладели умами и сердцами не только HR, но и менеджеров, далеких от непосредственной работы с персоналом. В этих условиях компании - производители тестов вынуждены адаптировать классический психометрический подход под те новые запросы, которые появились у отделов по работе с персоналом крупных организаций. Типовое обращение обычно выглядит так: “Нужно оценить большое количество людей (например, кадровый резерв крупной производственной компании) по ключевым корпоративным компетенциям и выявить, кто из сотрудников наиболее перспективный. С целью экономии дополнительно может возникать необходимость произвести оценку прямо на рабочих местах“.

Ключевые издатели тестов на российском рынке (SHL, OnTarget, Human Technologies) предлагают инструменты, которые, по их мнению, позволяют эффективно оценивать компетенции при таких запросах (более точно - прогнозировать их проявление и развитие на рабочем месте). Суть технологии состоит в том, что специалисты по оценке предварительно выясняют, какие именно шкалы из типового личностного опросника или интеллектуального теста теоретически могут прогнозировать определенную компетенцию. Затем определяются относительная значимость этих шкал для данной компетенции и уровни на шкале, после которых можно делать уверенные прогнозы о потенциале развития/неразвитости компетенции. Такие профили могут быть разработаны для разных специальностей и эффективно (в первую очередь, с точки зрения временных затрат) использоваться даже в дистанционном режиме.

Такой подход к оценке компетенций можно назвать психометрическим, поскольку в нем утверждается принципиальная возможность использования тестов как основных инструментов диагностики компетенций.

Другая крайность, которая уже обсуждалась выше, заключается в полном отрицании тестов как возможного метода оценки, в т.ч. и компетенций. Чаще всего такая позиция связана с недоверием к тестированию как таковому. Другой важной причиной здесь является последовательный подход специалистов в определении и диагностике компетенции именно как характеристики поведения. Очевидно, что бескомпромиссная ориентация на реально проявляемое человеком поведение не оставляет места для “самоописания“ при помощи опросников. С такой позицией иногда приходится сталкиваться при реализации конкретных оценочных проектов для заказчиков, не имеющих в штате специалистов соответствующей квалификации или сильно разочарованных в тестировании.

Менее радикальной позиции придерживаются большинство практиков в сфере оценки персонала, например Т.Ю. Базаров (“ЦКТ XXI век“), А.К. Ерофеев (LASPI), Ю.М. Жуков (“Арбор“) и др., а именно: тесты имеет смысл использовать для оценки компетенций, однако они могут дать лишь вспомогательную информацию, прямо не соотносимую с баллами по компетенциям. Характерно, что такую позицию занимают именно люди, решающие задачи оценки, но не занимающиеся производством тестов. Последних же, число которых относительно невелико, конъюнктурный спрос вынуждает создавать такое же конъюнктурное предложение доступными им средствами.

Похожую картину мы можем наблюдать и в полученных нами данных опроса (рис. 3).

Целесообразность использования тестов для оценки компетенций

--------T---------------¬ ----------------------------------¬
5% ¦*******¦ ¦ ¦--¬ ¦
+-------+ ¦ ¦¦ ¦ - в некоторых случаях можно ¦
¦ххххххх¦ ¦ ¦L-- использовать ¦
¦ххххххх¦ ¦ ¦ ¦
¦ххххххх¦ ¦ ¦--¬ ¦
¦ххххххх¦ ¦ 72% ¦¦*¦ - нет, применять их для этого¦
¦ххххххх¦ ¦ ¦L-- не стоит ¦
23% ¦ххххххх¦ ¦ ¦ ¦
¦ххххххх¦ ¦ ¦--¬ ¦
¦ххххххх¦ ¦ ¦¦х¦ - да, это необходимая ¦
¦ххххххх¦ ¦ ¦L-- составляющая ¦
¦ххххххх¦ ¦ ¦ ¦
L-------+---------------- L----------------------------------

Рис. 3

Как видно, 72% опрошенных считает, что в некоторых случаях использовать тесты для оценки компетенций можно. Поскольку специального уточнения об этих случаях мы не делали, рискнем предположить, что большинство разделяет описанную выше среднюю позицию по отношению к тестам.

Использование тестов оправданно, в первую очередь, с экономической точки зрения в ситуациях массовой оценки. Правда, в этих случаях говорить о точном прогнозе стоит с большими оговорками. Во-вторых, и это, на наш взгляд, наиболее существенно, тесты позволяют качественно расширить спектр возможных методов оценки. Поведенческие процедуры (бизнес-кейсы, деловые и ролевые игры, презентации), дополненные интервью и тестами, представляют на сегодняшний день наиболее эффективный сплав для оценки человека в бизнесе [8]. В данном случае имеет смысл рассматривать тест как стандартизованный самоотчет, который удобно при помощи специальных математических процедур сравнить с другими такими же отчетами. Важно, что это не больше и не меньше, чем самоотчет. Человек мог врать, но и это само по себе является важной информацией, когда мы имеем возможность пронаблюдать сотрудника в поведенческих процедурах и проверить свои гипотезы в ходе интервью.

Далее приведем результаты по вопросу “Какие тесты вы бы предпочли использовать - известные, зарекомендовавшие себя на международном рынке и адаптированные в России или же специально разработанные под нужды компании?“ (рис. 4).

Предпочтения в выборе тестов

---------T------¬ -----------------------------------------------¬
¦ ¦хххххх¦ ¦--¬ ¦
¦ ¦хххххх¦ ¦¦ ¦ - известные, зарекомендовавшие себя на ¦
52% ¦ ¦хххххх¦ 48% ¦L-- международном рынке и адаптированные в ¦
¦ ¦хххххх¦ ¦ России ¦
¦ ¦хххххх¦ ¦--¬ ¦
¦ ¦хххххх¦ ¦¦х¦ - специально разработанные под нужды ¦
¦ ¦хххххх¦ ¦L-- компании ¦
L--------+------- L-----------------------------------------------

Рис. 4

Предпочтения опрошенных в данном случае оказались близки к соотношению 50/50 с небольшим перевесом в сторону специально разработанных тестов. Это интересный результат. Надеемся, он отражает готовность 52% компаний более тщательно работать с используемым инструментарием и продумывать его использование до мелочей. Ведь опробованные на многих тысячах респондентов известные методики проходят долгий путь от разработки до коммерческого успеха и вбирают в себя огромный пласт замечаний и предложений пользователей, которые позволяют тесту работать в широком спектре ситуаций. Создание же специализированных инструментов хотя и может помочь ответить на более конкретные вопросы, волнующие организацию, но требует большой квалификации разработчиков и пользователей, огромных временных и денежных затрат. И при этом еще необходима готовность терпеть поражения. Ведь часто работа исследователя, требующая проверки основных психометрических характеристик теста (надежность, критериальная и конструктная валидность), может не приносить значимых результатов. Тогда нужно иметь смелость отказаться от сделанного и серьезно пересмотреть сам подход к созданию инструмента.

Перспективы психодиагностики в России

В завершение хотелось бы еще раз акцентировать внимание на ключевых мыслях относительно судьбы тестов в современной России. Профессор Н.А. Батурин, резюмируя дискуссию об основных причинах кризиса российской психодиагностики, организованной на конференции “Современная психодиагностика в изменяющейся России“ (г. Челябинск, ЮУрГУ, сентябрь 2008 г.) [4], выделяет пять ее системных проблем:

а) малое количество в России профессиональных психодиагностов, занимающихся разработкой, адаптацией и стандартизацией тестов;

б) ничтожное количество отечественных профессиональных психодиагностических методик при неоправданном доверии к давно устаревшим зарубежным методикам;

в) низкая психодиагностическая и особенно психометрическая культура психологов - пользователей тестов;

г) устаревшее содержание программ обучения психодиагностике;

д) порочная практика издания в открытой печати и распространение методик любому покупателю.

Ответственность за борьбу с этими серьезнейшими проблемами лежит на всех заинтересованных сторонах, иначе собственных качественных тестов наравне соревнующимися с западными конкурентами, у нас не будет никогда.

В этом смысле пример западных компаний типа SHL, DeTech (OnTarget), SLG Thomas Int., Belbin Associates достаточно показателен. Они сами стараются прививать своим клиентам культуру корректного применения своих тестов. Доступ к любым методикам осуществляется только через полноценное обучение будущих пользователей.

Остается надеяться, что в случае ухода контрафактной продукции и нормального развития рынка отечественные и международные компании смогут реально конкурировать и ценовая политика скорректируется. А именно она всегда является маркером общего состояния дел в отрасли. Ведь разрыв в ценах за один отчет сравнимых по классу методик достигает иногда невероятной разницы. Например, отчет по опроснику 16РФ (лаборатория “Гуманитарные технологии“) при покупке на сайте составлял 350 руб. (по состоянию на декабрь 2008 г.), а по свежепереведенному и только начинающему адаптацию тесту HDS (Hogan Assessment Systems) превышал 300 евро. Такая ситуация прямо указывает на то, что нормального рынка услуг психодиагностики в масштабах страны пока не существует.

Российские компании-производители обслуживают спрос на “дженерики“ <8> старых иностранных методик, популярных благодаря плохо обновляющемуся учебному контенту психологического образования и несформированному спросу на современные технологии диагностики. При этом работают они с крайне низкой маржой (иначе никто вообще не будет покупать), что не позволяет всерьез заниматься маркетингом и дополнительными разработками, не приносящими непосредственной прибыли. Хотя кадры для создания современных качественных методик в стране уже есть.

--------------------------------
<8> Дженерик (от англ. generic) - лекарственное средство, которое выпускается без лицензии компании-разработчика инновационного лекарственного средства и размещается на рынке после окончания срока действия патента или других исключительных прав.

Западные же организации, пришедшие в страну “на плечах“ своих крупных международных клиентов, заинтересованных в локализованных версиях принятых в головных офисах методик, слабо интересуются реалиями и проблемами массового небогатого потребителя. Для них по большому счету достаточно того спроса, который порождает их бренд у таких же брендовых международных компаний. Последние готовы платить цену, которую назовут, в обмен на “всемирно известное качество“, красивые 20-страничные отчеты и технологическое удобство (онлайн-системы с использованием созданных профилей должностей позволяют эффективно фильтровать большие объемы людей и экономить за счет распечатки отчетов только на тех, кто соответствует ожидаемому профилю).

Видится, что в такой ситуации одним из наиболее важных факторов, сдвигающих процесс обновления с мертвой точки, может стать формирование качественного спроса на психодиагностические услуги в организациях, которые занимаются оценкой и развитием своего персонала. Это и понимание возможностей/ограничений психологического тестирования, и проникновение в смысл основных психометрических показателей (надежность, валидность), и отсутствие боязни тестов, и полный бойкот любых контрафактных изданий психодиагностических методик (в т.ч. в Интернете).

А главное - осознание сложности этого тончайшего продукта, на качественную разработку которого уходят годы квалифицированной работы передовых научных и консалтинговых объединений.

Литература

1. Аванесов В.С. Item Response Theory: основные понятия и положения // Теория и методика педагогических измерений [Электронный ресурс]. www.testolog.narod.ru/theory.html.

2. Анастази А., Урбина С. Психологическое тестирование. 7-е изд. СПб.: Изд-во “Питер“, 2007.

3. Батурин Н.А. Компендиум психодиагностических методик России (1997 - 2007 гг.): описание и первичный анализ. // Вестник ЮУрГУ. Серия “Психология“. 2008. Вып. 1. N 31 (131). С. 63 - 68.

4. Батурин Н.А. Современная психодиагностика в России // Вестник ЮУрГУ. Серия “Психология“. 2008. Вып. 2.

5. Вырковский А. Тест для тестов // Секрет фирмы. N 28 (67) 26.07.2004.

6. Завьялова Ж. Тесты на пробу // Секрет фирмы. 2003. N 3.

7. Звонников В.И., Челышкова М.Б. Контроль качества обучения при аттестации. Компетентностный подход: Учеб. пособие для вузов. М.: Изд-во “Логос“, 2009.

8. Кляйнманн М. Ассессмент-Центр. Современные технологии оценки персонала. Харьков: Гуманитарный центр, 2004.

9. Собчик Л.Н. Управление персоналом и психодиагностика: Практическое руководство. М.: Боргес, 2008.

10. Шмелев А.Г. 16PF в России или “каша из топора“ [Электронный ресурс]. www.ht.ru/press/articles/?view=artl9. 2000.

11. Brown Anna. The impact of questionnaire item format on ability to fake good [www.bps.org.uk/downloadfile.cfm?file_uuid=c58efd12-1143-dfd0-7ec3-c56cl8711825&ext=pdf]. 2008.

Е.Лурье
Консультант
по оценке персонала
компании CBSD

Подписано в печать
16.08.2009