46
Кириллова Ольга Владимировна к.т.н., консультант-эксперт БД Scopus «Механизмы включения казахстанских научных журналов и публикаций казахстанских ученых в зарубежные базы данных цитируемости» , г. Алматы, РК, 18-19 апреля 2013 г

Как измеряют науку: основные показатели и индикаторы индексов цитирования

  • Upload
    kuri

  • View
    87

  • Download
    0

Embed Size (px)

DESCRIPTION

Как измеряют науку: основные показатели и индикаторы индексов цитирования. Кириллова Ольга Владимировна к.т.н., консультант-эксперт БД Scopus. - PowerPoint PPT Presentation

Citation preview

Page 1: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Кириллова Ольга Владимировна

к.т.н., консультант-эксперт БД Scopus

«Механизмы включения казахстанских научных журналов и публикаций казахстанских ученых в зарубежные базы данных цитируемости» , г. Алматы, РК, 18-19 апреля 2013 г

Page 2: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

“Основные научные результаты диссертации на соискание ученой степени доктора философии (PhD), доктора по профилю публикуются не менее чем в 7 (семи) публикациях по теме диссертации, в том числе:

… * 1 (одной) в международном научном

издании, имеющем по данным информационной базы компании Томсон Рейтер (ISI Web of Knowledge, Thomson Reuters) ненулевой импакт-фактор или входящем в базу данных компании Scopus…”

Page 3: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

* Ученое звание ассоциированного профессора (доцента) присваивается лицам, имеющим ученую степень и работающим в данной организации на полной ставке, при наличии: - не менее 2 (двух) — в международных научных журналах, имеющих по данным информационной базы компании Томсон Рейтер (ISI web of Knowledge, Thomson Reuters) ненулевой импакт-фактор;

* Ученое звание профессора присваивается лицам, имеющим ученую степень и ученое звание доцента или старшего научного сотрудника, ассоциированного профессора и работающим в данной организации, при наличии: - не менее 3 (трех) в международных научных журналах, имеющих по данным информационной базы компании Томсон Рейтер (ISI web of Knowledge, Thomson Reuters) ненулевой импакт-фактор

Page 4: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Удельный вес России в общем числе публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (Web of Science);

Число публикаций российских авторов в научных журналах, индексируемых в БД Scopus, в расчете на 100 исследователей;

Число цитирований в расчете на 1 публикацию российских исследователей в научных журналах, индексируемых в базе данных «Сеть науки» (Web of Science);

Удельный вес публикаций в соавторстве с зарубежными учеными в общем числе публикаций российских авторов в научных журналах, индексируемых в базе данных Scopus

Page 5: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

интернационализации и распространения результатов научной деятельности российских исследователей через увеличение к 2015 году доли их публикаций в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных "Сеть науки" (Web of Science), до 2,44 процента. (к 2020 г. – 3%)

Page 6: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Базы данных – индексы цитирования Web of Science - WoS ScopusПриложения к ним:к WoS:

InCitesEssential Science IndicatorJournal Citations Report

к Scopus: SciVal Spotlight (один из 3-х линейки SciVal)

Page 7: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

оценка существующих направления развития науки и технологий в национальном и международном масштабах, их динамика (положительная, отрицательная), точек роста, фронтов науки (“Research fronts”), выявление на этой основе новых направлений и т.п.

оценка (экспертиза) предлагаемых учеными проектов, их перспективности, обоснованности, инновационности и т.д.

оценка результативности деятельности научных организаций на национальном и международном уровнях;

выявление и оценка успешности сотрудничества организаций как в рамках конкретных проектов, так и в целом по всем направлениям, выявление успешных проектов организаций, выполняемых совместно как внутри одной страны, так и в международном масштабе;

Page 8: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

оценка результативности научной деятельности конкретных ученых, выявление наиболее успешных (авторитетных) как по направлениям, конкретным проблемам, так и в рамках одной организации, страны и в международном масштабе;

формирование научных групп для выполнения проектов на национальном или международном уровне;

составление рейтингов организаций и авторов внутри страны; участие в международных рейтингах; оценка обоснованности и определение размеров финансовой

поддержки научных исследований на различных уровнях на индивидуальном, организационном, региональном, национальном, международном уровнях

Page 9: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Реферативная информация = метаданные о публикациях, в основном, из научных журналов: библиографическое описание статьи (автор, название, источник (журнал), выходные данные: год, том, номер, страницы) + авторское резюме (аннотация, реферат) + ключевые слова

Адресная информация – место работы авторов = организация, город, страна

Пристатейная библиография (списки литературы) = ссылки на использованные в статье источники

Аналитическая часть – статистика по числу публикаций + по числу ссылок на каждую публикацию + рассчитываемые показатели (индекс Хирша, количество ссылок на 1 статью и т.п.) + диаграммы + таблицы + анализ качества журнала + профили авторов + профили организаций + другие данные для анализа

Page 10: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

общее число публикаций: по теме, автору или группе авторов, организации, городу, стране, источнику (журналу), году и т.д., а также по сочетанию этих данных и распределением по этим показателям, в зависимости от запроса (WoS, Scopus);

число цитирований отобранных публикаций (по теме, авторам, организациям, журналу и т.д., см. выше) в сумме и с распределением по годам и публикациям (WoS, Scopus) общее, по каждой публикации и с распределением по годам;

число цитирований без самоцитирования (авторов, организаций и т.д.) в сумме, по каждой публикации и с распределением по годам и публикациям (WoS, Scopus)

число публикаций, ссылающихся на полученную подборку (WoS, Scopus); число публикаций, ссылающихся на полученную подборку, без

самоцитирования (WoS, Scopus); среднее число ссылок на одну статью в подборке (WoS); - среднее число ссылок в год (WoS); индекс Хирша публикаций подборки (WoS, Scopus)

Page 11: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

«Журнальные» индексы - показатели качества журналов, вычисляемые по данным о цитируемости их статей, позволяющие ранжировать журналы по предметным областям и определять качество научных публикаций страны, организации, авторов в зависимости от полученных с применением этих показателей оценок публикаций.

«Нежурнальные» индексы: показатели публикационной деятельности ученого, организации, области знаний

Page 12: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

- «импакт-фактор» (ИФ) журнала, вычисляемый по данным WoS, обновляемый ежегодно и публикуемый в аналитическом инструменте к WoS (приложении) Journal Citation Reports (JCR);

- SNIP (Source-Normalized Impact per Paper, Moed H. F.) – показатель, рассчитываемый на основе данных БД Scopus;

– SJR (SCIMago Journal Ranking) – также показатель, рассчитываемый на основе БД Scopus.

Показатели SNIP и SJR ежегодно публикуются на открытом сайте SCimago Journals Ranking (http://www,scimagojr.com) в системе анализа журналов, включаемых в Scopus

Page 13: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Индекс Хирша

Среднее число цитирований публикаций автора, организации, на статью в журнале

Page 14: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Импакт-фактор (Impact-Factor, фактор влияния), - наиболее широко применяемый показатель качества опубликованных в журналах результатов научных исследований\

Предложен создателем Института научной информации США Ю. Гарфилдом в середине ХХ в.

Рассчитывается на основе статистической обработки публикаций в журналах естественнонаучной и общественно-научной тематики, включаемых в базы данных Web of Science (Science Citation Index (SCI) и Social Science Citation Index (SSCI)).

Для гуманитарных журналов, входящих в БД Art and Humanities Citation Index (A&HCI) импакт-фактор не рассчитывается

Получаемые в результате расчетов численные показатели импакт-факторов журналов ежегодно публикуются в базе данных Journal Citation Reports.

.

Page 15: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

импакт-фактор журнала в конкретном году рассчитывается как частное от деления числа цитирований в этом году статей, опубликованных в данном журнале в течение двух предыдущих лет, на число статей, опубликованных в данном журнале в течение двух предыдущих лет

Page 16: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

различия в периоде наращивания цитирования в различных областях (по годам цитирования, недостаточность 2-х летнего периода);

разные уровень цитирования, следовательно, показатели ИФ для разных областей, что не допускает сравнения ИФ по всем областям

Page 17: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

График возраста цитирования статей для разных областей знаний

Page 18: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

сейчас JCR включает также показатель ИФ, рассчитанный из 6-ти летнего периода (в исследуемом году изучаются ссылки на публикации журнала пятилетнего периода).

шестилетний импакт-фактор лучше отражает различия между журналами в областях с традиционно низким цитированием, связанным со сравнительно короткими списками цитируемой литературы в статьях и, соответственно, недостаточно достоверной статистикой, набираемой за период, используемый для расчета традиционного импакт-фактора

Page 19: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Immediacy Index - индекс оперативности, показывающий, насколько быстро становятся известны в научном мире статьи, опубликованные в журнале. Индекс оперативности 2011 года вычислен как отношение числа полученных журналом в 2011 году ссылок на статьи, опубликованные в нём в 2011 году, к суммарному числу статей, вышедших в журнале в 2011 году;

Eigenfactor Metrics - при расчете этого показателя учитывается не только количество цитирований за 5 лет, но и источник цитирования, при этом самоцитирования (т. е. ссылки в конкретном журнале на статьи в этом же журнале) не учитываются. Таким образом, ссылки в статьях, опубликованных в Nature или Science, оказывают значительно большее влияние на этот показатель, чем ссылки в статьях малозначимого журнала.

Page 20: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

рейтинг журналов, учитывающий не только общее количество цитирований, но и взвешенные показатели цитирований по годам и качественные показатели, такие как авторитетность ссылок – вес ссылки в журнале Nature на статью в журнале «А» будет отличаться от веса ссылки на ту же статью в журнале «Вестник N-ского университета»

в целом SJR подобен импакт-фактору, привлекает более широким спектром журналов и полностью открытым характером — публикацией в свободном доступе в интернете (http://www.scimagojr.com)

Page 21: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Учитывает уровень цитирований в каждой научной области, поэтому может быть использован для сравнения публикаций в разных научных направлениях.

Основные особенности расчета; учитываются ссылки, сделанные в текущем году, на статьи,

вышедшие в течение трех предыдущих лет; вводится специальное определение «индивидуальной области

науки» для журнала, или «окружения журнала»: все статьи, опубликованные в текущем году (в любом издании), которые хотя бы однажды цитировали выпуски журнала, вышедшие за последние десять лет;

для определения потенциала цитирования (средняя «длина» списков цитируемой литературы в статьях «окружения») подсчитывается среднее число ссылок в статьях, составляющих «окружение журнала». Но учитываются только те ссылки, которые:

а) ведут на статьи, вышедшие в течение трех предыдущих лет;б) ведут на статьи, имеющиеся в базе данных, по которой идет расчет.

Показатель разработан в Лейденском университете профессором Х. Ф. Моэдом (Moed H. F)..

Page 22: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования
Page 23: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Индикаторы, демонстрирующие размер исследований, их глубину, влияние на научный мир и связь с международным научным сообществом:

O::Output - публикации IC::International Collaboration – доля соавторства в публикациях (статьи,

авторы которых работают за рубежом) NI::Normalized Impact – процентный показатель цитируемости

организации по отношению к общемировому, взятому за 1 (0,7 – цитируемость ниже на 30%, 1,3 – выше на 30% мирового уровня)

Q1::High Quality Publications – доля публикаций, вышедших в самых важных научных журналах, к которым относятся попавшие в первую квартиль (25%) согласно индексу SCImago Journal Rank SJR indicator.

SI::Specialization Index – уровень разброса публикаций, варьируется от 0 до 1 (общее - узкоспециализированное), расчет идет на основании Gini Index взятого из экономики.

ER::Excellence Rate уровень превосходства. Какой процент публикаций организации входит в число наиболее цитируемых (10%)

Page 24: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Индекс Хирша (h-index) ученого, опубликовавшего N статей, равен h, если:

h его статей получили не менее h цитирований, остальные N–h его статей получили не более h цитирований.

Индекс Хирша является количественной характеристикой продуктивности учёного, организации, публикаций по предметной области ; он представлен в реферативных базах данных Scopus и Web of Science.

В профиле ученого в Scopus он дается в расчете на весь период научной деятельности ученого (по всей хронологии публикаций).

Рассчитывается на любую подборку публикаций, в т.ч. для журналов

Page 25: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

он будет одинаково низким как для автора одной сверхпопулярной статьи, так и для автора множества работ, процитированных не более одного раза;

позволяет отсеивать т. н. "случайных соавторов";

будет высоким лишь для тех, у кого достаточно публикаций, и все они (или, по крайней мере, многие из них) достаточно востребованы, т. е. часто цитируются другими исследователями

Page 26: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

иногда даёт неверную оценку значимости исследователя. Например, короткая карьера учёного приводит к недооценке его работ;

значение показателя существенно зависит от области науки. В биологии и медицине h-индекс намного выше, чем в физике или химии;

не позволяет учитывать единичные высоко цитируемые статьи автора, если все остальные не являются таковыми (например, одна статья, которая получила 200 ссылок не будет учтена как высоко цитируемая, а будет приравнена к публикациям который входят в эту формулу

Page 27: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

ESI – приложение к WoS, где представлены статистические данные за последние 10 лет по областям знаний, странам, организациям. Нормируя конкретные данные по цитируемости статей отдельного ученого или организации в конкретной области знаний на среднестатистические данные, приведенные в ESI, можно оценить уровень ученого или организации в конкретной научной области по сравнению с мировыми данными или данными по стране

Page 28: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

- количество опубликованных статей: является показателем продуктивности учёного, группы учёных или организации;

- суммарный объём цитирования: является показателем авторитетности или влиятельности учёного, группы учёных или организации;

- индекс Хирша: количество статей N, собравших как минимум N ссылок – рассчитывается для автора, группы авторов или организации в целом;

- среднее цитирование: является показателем эффективности исследований, однако средние уровни цитирования различаются для в разных предметных областей, для решения этой проблемы существует показатель, приведённый ниже;

- нормализованное цитирование по предметной области: цитирование статьи делится на цитирование всех статей того же типа (оригинальное исследование, обзорная статья и т.д.), опубликованных в этой же предметной области в том же году.

- перцентили: процент наиболее цитируемых работ в данной предметной области, в которую попадает конкретная статья или группа статей.

(рассчитывемых на основе данных и функциональных возможностей инструмента InCites:

Page 29: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

(в скобках приведены данные отчета по России)- общее число цитирований (3596001) с переходом на список цитируемых публикаций в WoS;- общее число документов (628953); - среднее число цитирований на документ (5,72);- процент цитируемых документов (56%);- h-индекс (343)

Page 30: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

- число уникальных авторов (577540);

- среднее число авторов на документ (7,6).

Page 31: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

число документов страны (организации) в WoS, всего ; число цитирований, всего; среднее число цитирований одного документа; процент цитируемых документов; влияние (импакт), оказываемый на мировую науку; процент цитируемых документов в сравнении с мировым

показателем документов; процент цитируемых документов в отношении ко всем

цитируемым документам в мире; агрегированный показатель влияния

(представительности) страны (организации)

Page 32: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

(20 стран мира и отдельно – страны Европы, Россия – на 16-м месте) используются следующие показатели: общее число публикаций; динамики роста или падения публикаций (Россия показала рост – 4,54%); распределения публикаций по секторам науки (академический, государственный, промышленный); сумма ссылок на публикации за 5 лет; среднее число ссылок на статью, опубликованную за 5 лет (СРА); показатель «современного состояния страны», оцениваемое по показателю среднего цитирования по стране относительно этого же показателя по всем странам (State of the art – SotA)).

Page 33: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

При определении организации в рейтинге организаций страны приводятся следующие показатели:- общее число статей;- показатель роста публикационной активности или падения; - процент публикаций в компетенциях;- процент совместных публикаций (показатель коллаборативности): всего, национальная, международная; - всего ссылок на публикации ученых организации;- среднее число ссылок на статью, опубликованную за 5 лет;- показатель современного состояния организации

Page 34: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

общее количество ссылок на статьи ученого (организации, страны) , деленное на общее количество статей. Средняя цитируемость может определяться по любой подборке, полученной по основного массиву WoS или в Scopus. В WoS ‘рассчитывается автоматически по каждой выдаче и приводится в «Обзоре цитирования».

Page 35: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Анализ публикаций в Scopus

Page 36: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Представление данных в SciVal Spotlight (Scopus)

Page 37: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Представление данных о публикациях и их цитировании (отчет о цитировании) в Web of Science

Page 38: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Раздел «Обзор цитирования» в Scopus

Page 39: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Данные об импакт-факторе журнала по предметной области в Journal Citation Reports (JCR, WoS)

Page 40: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Данные в системе InCites (сравнение стран)

Page 41: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

все перечисленные показатели являются статистическими и не могут отражать качество какой-либо отдельно взятой статьи или однозначно характеризовать уровень конкретного ученого;

высокое количество цитирований может означать как очень высокий уровень представленных в статье результатов, так и наличие в статье грубейших ошибок

Page 42: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Times Higher Education World University Rankings (далее, коротко Times) из 13-ти учитываемых показателей, к наукометрическим относит 2 показателя, рассчитываемого с учетом массива WoS:

– средняя цитируемость публикаций, нормализованная относительно разных областей исследований (32,5% вклада в общую оценку);

- среднее количество опубликованных статей в расчете на одного (научного) сотрудника организации (4,5%).

Page 43: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

создается на основе опроса ученых в конкретных областях, проводимого Thomson Reuters, касающегося научной репутации ученого

зарубежные эксперты при рассмотрении этого показателя также учитывают публикационную активность и цитируемость ученого по WoS

этот показатель также относится к наиболее весомым по вкладу в общую оценку и составляет 19,5%

таким образом, наукометрические показатели составляют большую часть вклада в общую оценку организации в рейтинге Times (56,5%).

Page 44: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Академический рейтинг университетов мира (ARWU) учитывает:

- «часто цитируемых исследователей в 21 категории» (20%) ( т.е., как можно понять, по WoS – число часто цитируемых ученых;

- индексы цитирования для естественных и гуманитарных наук Института научной информации США, т.е. по WoS (20%).

Page 45: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

аналогичный Шанхайскому, но рассчитываемый по данным Scopus; учитывает уровень цитируемости публикаций сотрудников университета (в расчете на факультет) (CITATIONS PER FACULTY) (20%).

Page 46: Как измеряют науку:  основные  показатели и индикаторы индексов цитирования

Выражаю благодарность Ольге Васильевне Москалевой, начальнику управления НИР СПбГУ за предоставленные материалы, частично использованные в презентации