Действительно ли российские ученые предпочли количество статей их качеству, насколько наукометрический подход влияет на мотивацию исследователей и разнится ли отношение ведущих специалистов в области естественных и социально-гуманитарных наук к вопросу публикаций в научных журналах - об этом директор Центра институционального анализа науки и образования Европейского университета в Санкт-Петербурге Катерина Губа и магистрант программы по научной коммуникации Университета ИТМО Анфиса Родионова рассказали в аналитеческой заметке для Indicator.Ru.
Для многих ученых наукометрия – ругательное слово. Считается, что она не только не улучшает положение дел в науке, а, скорее, приводит к их ухудшению. Именно такой взгляд на наукометрию содержится в обращении Совета старейшин РАН, куда входят 18 известнейших российских академиков. Они полагают, что использование индексов для распределения финансирования вынуждает ученых работать на показатели в ущерб качеству научной работы. Так, ученые могут заниматься salami slicing (дословно — нарезка салями. — Прим. Indicator.Ru.) — превращать одну статью в две или три, которые всегда можно опубликовать за деньги в мусорном журнале. Более того, Совет полагает, что качество статей начинает падать даже у хороших авторов, которые до подсчета публикаций и цитирований не были склонны к манипуляции показателями. Здесь мы намереваемся выступить не столько в защиту наукометрического способа оценки, сколько в защиту подхода, согласно которому любая попытка социальной инженерии должна строиться на серьезной работе с эмпирическими данными.
Наукометрия – это не только крупный международный бизнес, ориентированный на чиновников, как описывают ее академики, но и обширная исследовательская область со своими признанными учеными, ежегодными конференциями и авторитетными журналами. В этой области вопрос о том, как меняется поведение ученых в результате наукометрической оценки исследований, является одним из самых важных. Доступные данные о миллионах статей позволяют изучить этот вопрос во всех деталях, что нередко приводит к развенчанию господствующих мифов. Одно из самых известных исследований такого рода было опубликовано Даниеле Фанелли и Венсаном Ларивьером в журнале Plos One в 2016 году. Все исследование служит ответом на один единственный вопрос: правда ли, что под влиянием доктрины «Publish or Perish» (публикуй или проиграешь. — Прим. Indicator.Ru.) ученые сейчас публикуют больше статей, чем 50 лет назад? Авторы собрали 760 тысяч статей и проанализировали, как менялось количество опубликованных статей для разных когорт ученых. Исследование показало, что общее число статей на одного ученого не увеличилось в сравнении с аналогичным показателем 50-летней давности. Просто сегодня ученых стало больше и они стали чаще писать в соавторстве. Всеобщая убежденность, что статей стало больше именно за счет публикационного давления, не нашла подтверждения на большом массиве данных.
Наши данные о публикациях победителей конкурсов Российского научного фонда позволяют проверить, действительно ли даже лучшие ученые увеличили количество публикаций в ущерб их качеству под воздействием дошедшего и до российской науки взгляда Publish or Perish. Сравнение двух групп руководителей – победителей конкурсов 2014 и 2017 годов позволяет увидеть, произошли ли значимые изменения в количестве и качестве публикаций признанных российских ученых. Между двумя периодами случилась краткая, но драматичная история усиления публикационного давления с целью большей интернационализации российской науки. Университеты начали платить премии и вводить эффективные контракты, в которых баллами за международные публикации можно было закрыть все годовые обязательства. Изменились и пороговые значения к публикациям руководителей проектов на конкурс РНФ. Если для конкурса 2014 года руководителю проекта в естественных науках нужно было иметь не меньше трех статей за три года, опубликованных в журналах Web of Science или Scopus, то в 2017 году их нужно было иметь уже пять за пять лет, а присутствие в Web of Science свелось к присутствию в его главной коллекции. Для социально-гуманитарных ученых изменения оказались более драматичными – несмотря на то, что количество публикаций осталось прежним, из списка учитываемых баз исчез РИНЦ.
Как изменилась публикационная активность?
Мы собрали публикации руководителей проектов, которые победили в конкурсах на проведение фундаментальных научных исследований и поисковых научных исследований 2014 и 2017 годов, используя базу Scopus с более широким покрытием региональных журналов (за пять предшествующих конкурсам лет). В анализ были включены две группы ученых – победители в отрасли физики и наук о космосе и победители в отрасли гуманитарных и социальных наук. Наши данные состояли, таким образом, из 209 победителей 2014 года, опубликовавших 5701 статей за период с 2009 по 2013 годы, и 122 победителей 2017 года, опубликовавших 3466 публикаций за период с 2012 по 2016 годы.
В 2014 году среднее количество публикаций физиков в 15 раз превысило среднее количество публикаций социальных ученых. Большая разница заметна и по медиане: две публикации для исследователей-гуманитариев и 28 для физиков. При этом более половины статей, опубликованных в области естественных наук, появилось в журналах первого квартиля, в то время как только 12% социально-гуманитарных статей появились в ведущих журналах. Мы нашли также заметное различие в долях публикаций, появившихся в журналах низкого квартиля: в четвертом квартиле было опубликовано только 15% результатов научных исследований ученых-естественников, в то время как 59% статей социальных ученых появились в журналах не самого высокого качества.
Изменилась ли эта картина в 2017 году? Если публикационное давление действительно воздействует негативно даже на лучших ученых, то мы должны увидеть увеличение количества публикаций при ухудшении их качества. Однако мы видим, скорее, обратную картину. Показатели ученых-физиков остались примерно на том же уровне – медиана чуть выше (31 против 28 в 2014), среднее чуть ниже (39 против 46 в 2014, правда, нужно учесть, что среднее 46 появилась в результате присутствия в данных автора с 466 публикациями, без этого выдающегося автора среднее по 2014 году составило бы 43). Распределение по квартилям также почти не изменилось: 52% статей физиков появилось в первом квартиле, 9% в четвертом квартиле. Другими словами, ни количественно, ни качественно публикации руководителей проектов в области физики не изменились. Эта группа ученых отличалась высокими публикационными результатами даже в тот период, когда публикационное давление было менее заметным. В 2014 году 88% физиков преодолели пороговые значения для руководителей более чем с двукратным разрывом.
Изменились ли публикации социально-гуманитарных ученых? Да, причем явно в лучшую сторону. Медиана в 2014 году составляла 2 публикации, в 2017 году – 5,5 публикации; среднее значение в 2014 году – 3, в 2017 году – 6,5 публикации. Мы видим более чем двукратное увеличение, которое не может объясняться одним только фактом увеличения числа российских журналов в базе Scopus — увеличение произошло за счет публикаций в первом и втором квартиле, где редко присутствуют российские социально-гуманитарные журналы. Может быть, увеличение количества публикаций объясняется тем, что гуманитарии стали выбирать слабые журналы или сборники конференций? Нет, скорее наблюдается улучшение качества журналов, а конференции практически отсутствуют как жанр в публикациях социальных исследователей. В 2017 году доля статей, опубликованных в первом квартиле, увеличилась вдвое с 12% до 24%, тогда как доля четвертого квартиля снизилась также вдвое с 59% до 30%.
Итак, анализ публикаций ученых – победителей конкурсов РНФ не подтверждает пессимистическое предположение о том, что наукометрическая оценка приводит к негативным последствиям, по крайней мере, для группы лучших ученых. От остальных ученых с меньшими ресурсами и менее подготовленными к курсу на интернационализацию науки действительно можно ожидать игры на показатели. В конце концов, если бы не было спроса, то рынок платных публикаций сошел бы на нет. Однако манипуляция с показателями малозаметна в небольшой группе научной элиты, публикации которых мы проанализировали. Ученые-физики продолжают публиковать примерно то же количество статей, преимущественно в журналах высокого квартиля. В свою очередь социальные ученые заметно увеличили количество статей, публикуемых в журналах Scopus, причем это увеличение произошло не за счет снижения их качества.
Улучшение показателей в социально-гуманитарных науках может объясняться по меньшей мере двумя причинами. Ученые могли правильно воспринять стимулы к публикации в международных журналах и начать публиковаться в первом квартиле, чего не делали раньше. Или же конкурс стали выигрывать ученые, которые и раньше писали хорошие статьи, но реже участвовали и/или побеждали в конкурсах. Информация о распределении по организациям скорее говорит в пользу второго объяснения. Социальные ученые с аффилиацией РАН или ведущего университета стали чаще выигрывать конкурс — в 2014 году их было 65%, в 2017 году уже 82%. Ротация победителей конкурса произошла в пользу ученых из ведущих организаций с более сильными публикациями, что скорее стоит оценивать как положительный эффект.
Вероятно, это не последний случай, когда данные опровергают общее убеждение, основанное на здравом смысле, в этом случае — убеждения группы ученых, статус которых позволяет влиять на политику управления российской наукой. Наукометрия как исследовательская область могла бы стать источником достоверной информации о влиянии научной политики на поведение ученых, однако пока примеры опоры на нее в российской практике скорее редкость.
Иллюстрация: Sarah Grillo/Axios/KissPNG/Indicator.Ru