тестовый баннер под заглавное изображение
В крупных компаниях при найме сотрудников все чаще используют различные психологические тесты, позволяющие выявить личностные характеристики для предотвращения угроз, связанных с человеческим фактором.
Во многих ситуациях подобное тестирование необходимо проводить незаметно, и здесь на помощь приходят тексты, в которых так или иначе отразилась личность автора. Это могут быть сообщения в соцсетях, электронные письма, документы, эссе. Их анализ и поручают большим языковым моделям.
Мария Молчанова и Дарья Ольшевская, исследовательницы из лаборатории нейронных систем и глубокого обучения МФТИ, задались вопросом, может ли ChatGPT решить задачу классификации черт личности лучше, чем традиционные тесты. Их также интересовал ход «рассуждения» модели, и что на него влияет.
Исследователи для анализа взяли массив данных с текстами, написанными в разной стилистике, включая эссе и посты в соцсети, из которых для тестирования выбрали по 150 фрагментов. На их примере ChatGPT предстояло отделить экстравертов от интровертов.
Каждый фрагмент текста прошел два цикла тестирования, ответы оценивали по степени достоверности, точности и полноты.
Как отметили авторы, отличие в качестве определения черт может быть связано с рядом параметров, например, разной длиной текстов, тематикой, форматом — эссе, сообщения из соцсетей и т. д. Так, посты из соцсети Twitter хуже всего отражали психологические характеристики их авторов.
«Большая языковая модель в нашем эксперименте немного отстает от стандартных подходов, но у нее есть ряд плюсов, – рассказала исследовательница лаборатории нейронных систем и глубокого обучения МФТИ Мария Молчанова. – Работа с ней дает простор для новых задач. В отличие от традиционных подходов, модель может думать логически и объяснять, почему приняла то или иное решение. Также большие языковые модели дают возможность гибкой настройки инструкций, в которых исследователи могут задавать методы, с помощью которых модель может осуществлять классификацию».
Использование большой языковой модели позволяет автоматизировать не только процесс тестирования, но и анализ ответов. В последнем случае выяснилось, что при разных подходах к созданию запроса модель генерирует разные ответы разной длины и детализации.
«Мы создали инструмент, который позволяет расширить список черт личностей, а не только выявлять экстравертов и интровертов», — подчеркнула исследовательница.
