Индексы научного цитирования: возможности и перспективы в оценке результатов научной деятельности


Федеральное агентство научных организаций

Российская академия наук

Федеральное государственное бюджетное учреждение науки Институт социально-экономического развития территорий Российской академии наук

О.В. Третьякова

ИНДЕКСЫ НАУЧНОГО ЦИТИРОВАНИЯ: ВОЗМОЖНОСТИ И ПЕРСПЕКТИВЫ В ОЦЕНКЕ РЕЗУЛЬТАТОВ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ


            Препринт








Вологда
2014

УДК 001.891
ББК 72.4
Т66

                      Публикуется по решению
                      Ученого совета ИСЭРТ РАН



Третьякова, О.В. Индексы научного цитирования: возможности и перспективы в оценке результатов научной деятельности [Текст]: препринт / О.В. Третьякова. - Вологда: ИСЭРТ РАН, 2014. - 52 с.


     В работе представлены общие подходы к оценке результативности и эффективности научной деятельности организаций на основе наукометрических показателей. Предпринята попытка выявить возможности индексов научного цитирования для анализа публикационной активности научно-исследовательских организаций. Затрагивается вопрос о применении импакт-фактора как инструмента для сопоставления и ранжирования научных журналов. Дается обзор методик формирования импакт-фактора, анализируются возможности Российского индекса научного цитирования в отношении расчета импакт-фактора научных журналов на примере изданий по экономике.
     Книга адресована работникам органов управления, научным сотрудникам, преподавателям высших учебных заведений, а также широкому кругу читателей, интересующихся вопросами наукометрии и оценки эффективности научной деятельности.


Рецензенты:

доктор филологических наук, профессор заведующий кафедрой русского языка, журналистики и теории коммуникаций Вологодского государственного университета
Г.В. Судаков

доктор экономических наук заместитель директора Института социально-экономического развития территорий РАН
К.А. Гулин



     ISBN 978-5-93299-276-0



                                           © Третьякова О.В., 2014
                                           © ФГБУН ИСЭРТ РАН, 2014

        ВВЕДЕНИЕ


    В последние годы в качестве показателей эффективности деятельности российских ученых, исследовательских организаций, отечественной науки в целом стали активно использоваться данные о числе публикаций и цитирований. Публикационные и цитатные показатели рассматриваются как целевые индикаторы состояния науки в утвержденной распоряжением Правительства РФ «Стратегии инновационного развития Российской Федерации на период до 2020 года»¹ и в Указе Президента РФ «О мерах по реализации государственной политики в области образования и науки» от 7 мая 2012 года².
    В условиях дефицита управление ресурсами, выделяемыми на науку, напрямую зависит от наличия информации о состоянии научных исследований в нашей стране и за рубежом. В связи с ростом количества научных исследований, получающих бюджетное финансирование, а также проводимых при поддержке различных фондов, особую актуальность приобретает проблема анализа и комплексной оценки их результатов, выбора наиболее перспективных тем исследования.
    Разработка наукометрических измерений и их сопоставление открывают новые грани научной деятельности, дают возможность скорректировать ее направления и содержание, дать ей оценку, сравнить результаты исследований. Анализ цитирований позволяет выявить закономерности и определить вероятностные темпы развития науки, служит эффективным методом изучения коммуникации в профессиональном сообществе и дисциплинарной структурой науки.

¹ Об утверждении Стратегии инновационного развития Российской Федерации на период до 2020 года : распоряжение Правительства РФ от 08.12.2011 № 2227-р [Электронный ресурс]. - Режим доступа : http://base.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=123444

² О мерах по реализации государственной политики в области образования и науки : Указ Президента Российской Федерации от 7 мая 2012 года № 599 [Электронный ресурс] // Российская газета. - 2012. -7 мая. - Режим доступа : http://www.rg.ru/2012/05/09/nauka-dok.html

3

    Различные аспекты применения библиометрических показателей для оценки результатов научной деятельности освещаются как зарубежными (Е. Garfield, W. Glanzel, J.E. Hirsch, R.L. Rousseau и др.), так и отечественными исследователями (С.В. Бредихин, В.А. Варшавский, Н.Е. Каленов, Р.Г. Касимова, О.В. Кириллова, В.А. Маркусова, В.В. Писляков и др.).
    Тем не менее еще не установлены четкие критерии оценок, основанных на библиометрических измерениях, и границы надежности получаемых результатов; сохраняется необходимость проведения ряда наукометрических исследований для определения источников информации и методов ее извлечения, а также для выявления задач, которые могут быть решены при наличии той или иной информации.
    На страницах научных изданий и в СМИ развернулась дискуссия по поводу целесообразности применения наукометрических показателей в сфере регулирования деятельности ученых.
    Эксперты считают, что «в связи с реформированием РАН грядет аттестация академических институтов, и библиометрические показатели (количество публикаций, цитируемость, импакт-фактор научных журналов, индекс Хирша) будут использоваться в качестве индикаторов эффективности деятельности научных коллективов» [Возовикова Т., 2013]. Как подчеркивает Л.Э. Миндели, переход ведущих стран мира к экономике, базирующейся на знаниях, открывает новые горизонты для наукометрических разработок, и, по его мнению, «методический арсенал наукометрии выйдет за рамки собственно науки и найдет масштабное применение для мониторингового взаимодействия экономических и социальных субъектов в области знаний» [ВозовиковаТ., 2013].
    Наряду с учеными, признающими роль библиометрических показателей как инструмента измерения значимости научных результатов, многие

4

эксперты подвергают сомнению оценку академической ценности результатов
  3 3 3 3 3 3 3           3        3             3
исследований, основанную на данных о цитировании .

    Большая группа экспертов считает, что цитатные показатели не могут быть главными критериями измерения эффективности затрат в фундаментальной науке. Так, основные выводы доклада Международного

математического союза «Статистики цитирования» заключаются в том, что

отказываться от статистики цитирования как способа оценки качества

исследований нельзя. Но для того чтобы эта оценка приносила пользу, необходимо рассматривать индекс цитирования как часть общей оценки,

поскольку он представляет собой «только ограниченный и неполный взгляд

4

на качество исследований»

    По нашему мнению, накопленные ресурсы различных индексов цитирования сегодня целесообразно использовать для оценки публикационной активности научных учреждений. При этом ряд библиометрических показателей может применяться в сопоставительном анализе с целью оценки результативности и эффективности научной деятельности организаций.
    В работе представлены общие подходы к наукометрическому анализу этой деятельности. В первой главе предпринята попытка показать

возможности индексов научного цитирования для оценки результативности деятельности научно-исследовательских организаций. Использованы статистические данные Российского индекса научного цитирования (РИНЦ) в качестве механизма оценки публикационной активности научных институтов экономического профиля, а также научных учреждений и вузов Вологодской области.

³  См., например: Кемпбелл Ф. Бегство от импакт-фактора // Игра «в цыфирь», или Как теперь оценивают труд ученого: сборник статей о библиометрике. - М.: МЦНМО, 2011. - С. 46-52; Amin М., Mabe М. Impact factor: use and abuse // Perspectives in Publishing. - 2000. - №1. - Р. 1-6; Лоуренс П.А. Потерянное пи публикации: как измерение вредит науке // Игра «в цыфирь», или Как теперь оценивают труд ученого: сборник статей о библиометрике. - М.: МЦНМО, 2011. - С. 39-45.
⁴  Игра «в цыфирь», или Как теперь оценивают труд ученого: сборник статей о библиометрике. - М.: МЦНМО, 2011. - С. 63-64.

5

    Сравнительный анализ показателей публикационной активности научных институтов и учреждений высшего образования, позволяющий обозначить их вклад в развитие научного потенциала региона, может служить сегодня инструментом для выявления слабых сторон научноисследовательской работы организаций и поиска путей ее совершенствования.
    Во второй главе затрагивается вопрос о применении импакт-фактора как инструмента для сопоставления и ранжирования научных журналов. Представлен обзор методик формирования                импакт-фактора,
проанализированы возможности Российского индекса научного цитирования в отношении расчета импакт-фактора научных журналов на примере изданий по экономике. Проведенный анализ доказывает, что в РИНЦ накоплен определенный ресурс, достаточный для сопоставления таких изданий. Импакт-фактор, который может быть выбран за основу ранжирования, не должен использоваться без учета других показателей, влияющих на цитируемость.
    Результаты исследования свидетельствуют о необходимости создания системы объективной оценки результатов научной деятельности для принятия эффективных управленческих решений в сфере науки. Частью такой системы видится Российский индекс научного цитирования. В совокупности с квалифицированной экспертной оценкой, позволяющей учитывать специфику научной деятельности, наукометрические индикаторы, представленные в том числе и в РИНЦ, в перспективе могут использоваться для объективной и полновесной оценки научного потенциала регионов и страны в целом.

6

ГЛАВА 1. ВОЗМОЖНОСТИ И ПЕРСПЕКТИВЫ ПРИМЕНЕНИЯ ДАННЫХ ИНДЕКСОВ ЦИТИРОВАНИЯ В ОЦЕНКЕ РЕЗУЛЬТАТИВНОСТИ И ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ НАУЧНЫХ ОРГАНИЗАЦИЙ

        1.1. Международные индексы цитирования: история создания, краткая характеристика

    Сегодня оценка исследовательской деятельности все чаще основывается на применении библиометрических методов, при помощи которых научный вклад ученого или организации определяется исходя из количества публикаций в научных журналах и числа цитирований. Зарубежные ученые, стоявшие у истоков создания реальных инструментов анализа научной информации, рассматривали результаты анализа цитирований как «достаточно объективную меру производительности труда ученого» [Гарфилд, 1982]. Созданные во второй половине XX века международные и национальные индексы цитирований стали востребованы в качестве одного из инструментов принятия решений относительно эффективности и важности тех или иных научных разработок в рассматриваемой области исследований.
    Данные глобальных индексов цитирования, среди которых ведущими являются международные базы данных Web of Science компании Thomson Reuters (США) и Scopus издательства Elsevier (Голландия), обозначены как целевые параметры для оценки качества и продуктивности научной деятельности отдельных ученых, организаций и страны в целом.
    Web of Science (WoS) ведет историю своего развития с указателя цитирования научной литературы, разработанного в середине XX века американским ученым Ю. Гарфилдом. В течение нескольких десятилетий данные, собранные в этом указателе, расширялись и публиковались Институтом научной информации (Филадельфия). В 1992 году Институт вошел в корпорацию Thomson.

7

    В настоящее время Web of Science включает семь баз данных, охватывающих практически все области знаний, три из которых обрабатывают порядка 12 тысяч журналов (Social Science Citation Index, Science Citation Index Expanded и Arts and Humanity Science Citation Index). В классификаторе WoS около 250 тематических разделов по фундаментальным и инженерным наукам, медицине, сельскому хозяйству, социальным и гуманитарным наукам [Кириллова О.В., 2013: 7-8]. Эти данные являются основой модуля оценки цитируемости научных журналов “Journal Citation Reports”, содержащего ряд показателей цитируемости, среди которых наиболее известен импакт-фактор.
    База данных SCOPUS издательства Elsevier по объему представленных документов (более 36 млн записей) и числу отражаемых в ней периодических изданий (более 17 тыс.) является самой крупной реферативной и аналитической базой данных в мире. Ежегодно Elsevier принимает к рассмотрению для включения в свою базу около 2 тысяч издаваемых в разных странах и на разных языках научных журналов.
    Однако использование показателей глобальных индексов цитирования не дает объективной картины для оценки научной деятельности российских ученых, поскольку их публикации слабо представлены в международных базах (по данным на август 2013 года на долю российских ученых приходится 1,9% в общем числе публикаций в Scopus и 1,2% - в Web of Science) [Кириллова О.В., 2013: 13].
    Кроме того, по мнению ведущих ученых, «подмена национальной реферативно-библиографической базы иностранными системами цитирования ведет к ориентации российских ученых на научноисследовательские работы, интересные в первую очередь зарубежному научному сообществу..., у которого свои потребности в научной информации, очень часто не совпадающие с тем, что необходимо отечественной науке в силу исторически сложившихся реалий» [Каблов Е.Н., 2013: 11]. В результате этого происходит «потеря суверенитета российской

8

науки в части выбора направлений исследований и отток за рубеж перспективных молодых ученых, которые переориентировались на иностранную научную тематику» [Каблов Е.Н., 2013: 11].
    Вместе с тем всё большую актуальность приобретает вопрос о создании национального индекса цитирования, который мог бы стать альтернативой зарубежным базам данных. Мировой опыт свидетельствует о том, что развитие национальных библиографических баз способствует повышению уровня национальных научных изданий, а также позволяет наиболее полно и достоверно подойти к оценке результативности научных коллективов на основе опубликованных ими трудов. Созданные во многих странах реферативные базы данных, такие как China Scientific and Technical Papers and Citations⁵ и Chinese Science Citation Database⁶ (Китай), Citation Database for Japanese Papers⁷ (Япония), Brazil’s National Database of Research and Science Rdsumds (Бразилия), достигли значительных успехов в популяризации и демонстрации научных достижений своих государств.
    В России наукометрической проблематикой, и в частности определением индекса цитируемости ученых, занимаются такие ведущие информационные и библиотечные центры, как ВИНИТИ, БАН РАН, ГПНТБ СО РАН, Государственный университет - Высшая школа экономики и ряд других организаций. Библиометрический анализ постепенно становится общепринятым инструментом для измерения публикационной активности научно-исследовательских учреждений и высших учебных заведений страны. Он позволяет ученым осознать оправданность и целесообразность их исследований, выявить спрос на научные работы в тех или иных областях.

⁵ См., например: China Scientific and Technical Papers and Citations (CSTPC): History, impact and outlook / Wu Y., Pan Y., Zhang Y., Ma Z., Pang J., Guo H., Xu B., Yang Z. // Scientometrics. - 2004. - Vol. 60. - Iss. 3. -P. 385-397; Liansheng M. Document database construction in China in the 1990s: A review of developments // The Electronic Library. - 2000. - Vol. 18. -No. 3. -P. 210-215.

⁶ См., например: Jin B., Wang B. Chinese Science Citation Database: its construction and application // Scientometrics. - 1999. - Vol. 45. - Iss. 2. - P. 325-332.

⁷ См., например: Negishi M., Sun Y., Shigi K. Citation Database for Japanese Papers: A new bibliometric tool for Japanese academic Society // Scientometrics. - 2004. - Vol. 60. - Iss. 3. - P. 333-351.

9

     Необходимость введения национальной системы оценки и анализа публикационной активности и цитируемости отечественных исследователей, организаций и изданий была обусловлена прежде всего непрезентативной представленностью российской периодики в зарубежных изданиях, сложностью использования зарубежных баз данных для статистического анализа, а также их слабой ценовой доступностью⁸.
     Вопрос о создании объективной системы работы научных организаций не раз поднимался, в том числе и на самом высоком уровне. Так, на заседании Совета при Президенте РФ по науке и образованию в Гатчине (30 апреля 2013 года) В.В. Путин справедливо отметил, что «действующий инструмент оценки научных организаций и результатов их работы имеет, безусловно, определённые недостатки. Он не позволяет выделить настоящих лидеров в том или ином секторе исследований, а сама оценка результативности никак не увязана с финансированием научных организаций». Президент РФ подчеркнул, что существует необходимость выстроить «национальную систему объективной оценки работы научных организаций», которая, по его мнению, «позволит сконцентрировать государственные средства на тех направлениях, где мы можем сказать, действительно, веское новое слово, получить многообещающие результаты, востребованные нашим обществом и экономикой страны»⁹.
     Очевидно, что частью такой системы может стать Российский индекс научного цитирования. Созданный в 2005 году на платформе Научной электронной библиотеки (НЭБ, eLibrary.ru) сегодня РИНЦ является мощной аналитической системой для оценки научной деятельности, в которой рассчитывается и постоянно обновляется ряд наукометрических показателей.

⁸ Российский индекс научного цитирования // Научная электронная библиотека. - Режим доступа: http://elibrary.ru/projects/citation/cit_index.asp

⁹ Выступление В.В. Путина на пленарном заседании Форума Общероссийского народного фронта «Качественное образование во имя страны», Пенза, 5 октября 2014 года. - Режим доступа: http://www.kremlin.ru/news/46805.

10