多面的に多様なインパクトを測るaltmetrics

-現況、期待と誤解-

林 和弘 科学技術・学術政策研究所

科学技術動向研究センター

2014年11月5日(水) 第16回図書館総合展

オルトメトリクスとディスカバリーサービスによる研究評価と研究支援のこれから

http://2014.libraryfair.jp/node/2107

投稿

査読

組版

論文誌の電子ジャーナル化 ・投稿査読システムの開発 ・郵送時代からの運用経験 ・投稿者 ・編集委員、審査員代理

・J-STAGEの開発協力 ・Web先行公開、OA対応(2005) ・新着お知らせ＋RSS ・化学会HPの改善とPR ・EJ購読管理体制の構築 ・マーケティング、宣伝

投稿者 電子投稿

読 者 アクセス

他機関とのリンク

査読者

投稿者 著者校正

・SGMLからXML出版を確立 ・ePub ・論文校正アルバイト

査読依頼

結果

投稿・掲載の流れ

冊子体 web公開

1994-2010

Research Interest 2006-2014+

電子ジャーナルの未来

電子ジャーナルの先の 学術コミュニケーション

学会 大学図書館、 出版社の将来

国産電子ジャーナルの 地位確立

研究評価と政策（大学、URA）

Agenda

• Altmetricsとは（教科書的） – 外形的な説明

• Altmetricsを生み出した背景 – 繋がる情報 – 被引用数を用いた研究インパクト計量の功罪 – 電子ジャーナル化が引き起こしたパラダイムシフト – オープンアクセス、クラウド、出版後査読

• Altmetricsとは（より深く） – 現況 – 期待 – 誤解

Altmetricsとは

Altmetrics：Alternative Metricsの略語 • 論文やデータセットなど様々な研究成果物の影響を – ①ソーシャルメディアの反応を中心に 定量的に測定する

– ②その手法を用いて新しい研究の影響度を 測定・評価し、被引用数を代替、補完する。

研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測定を可能とするAltmetrics―，科学技術動向，2013，134，20-29．

研究論文とAltmetrics

6

So what?

Altmetricsを理解するために

電子ジャーナル化の新しい局面

学術情報流通の近未来

メッセージ1

電子ジャーナル化によって、情報管理、情報探索は便利になり、あらゆる情報はしかるべき単位毎に、多次元、多様なリンクで繋げられるようになった

Digital Resources management tools

E-journal E-journal

E-journal

DB DB

DB

E-journal E-journal

E-journal

DB

Google (Scholar)

Secondary information DB

Citation DB

Reference-linking

Via portal site

Secondary DB

Titles Packages

Institutional Knowledge DB

Packaging

Internet

（linking each article with DOI, OpenURL）

Specialty of readers

# of readers

High

Low Many

Few

License Management by Libraries

EJ:Many Routes, Many Readers

Reader

Publisher

Librarian

Government Officer, Citizens

DB Vendor

Source by Mark Miller, Brandeis University; Virgo Consortium for Cosmological Supercomputer Simulations; www.visualcomplexity.com.

メッセージ2

電子ジャーナル化により、引用による研究論文のインパクト計量が効率化され、被引用数をベースとした研究評価のメリット・デメリットが改めて浮き彫りになった。

ある工学系研究者のぼやき

「被引用数ゲームに最適化したものが勝つ」

電子ジャーナルはその状況を打破できるか

インパクトファクターゲーム

被引用数を用いた研究評価

被引用数利用のメリット ・論文の質を測る上で現在最も優れている

(他に代替する候補がなかなか無い：視聴率、偏差値) ・研究者の明確な意思を掴んでいる デメリット、注意点 ・論文を主な研究成果としない分野がある ・引用量、引用サイクル（期間）に分野の差がある ・引用にも色々な種類がある

思想の引用、手法の引用、ネガティブ引用

・すぐに評価できない →IFを誤用してしまう要因（被引用数の期待値として） ・引用の分布には歪みがある（skewed) 平均値を取る意味

メッセージ3

現在は、研究評価に複合的な視点が持てる、あるいは、持たざるを得ない時代である

ID(識別子)の浸透により、 どの研究機関の誰がどの研究費を使ってどんな研究をし、 その成果とインパクトはどうだったかがわかる時代へ

Internet

研究者

研究機関

論文

(成果)

研究費

ORCID E-Rad KAKEN-研究者リゾルバー READ

DOI

データマイニング Open ID オープンアクセス

研究費の透明性の確保 社会への説明

引用・アクセス数などによる横断的パフォーマンス解析＋Altmetrics

論文誌の電子ジャーナルをめぐる最近の動き，科学技術動向, 2009/7, 100, 10-18. (改変)

識別子の発展による複合評価の時代

From Journal Level Metrics (ISSN, IF) • Article Level Metrics (DOI, CrossRef) • Author Level Metrics (ORCID)

– Institution Level Metrics InCites, SciVal – National Level Metrics OECD, NISTEP

In addition to Scholarly Impact • Societal Impact • Economic Impact • Educational Impact • ROI (Return of Investment)

ID(識別子)の浸透により、 どの研究機関の誰がどの研究費を使ってどんな研究をし、 その成果とインパクトはどうだったかがわかる時代へ

Internet

研究者

研究機関

論文

(成果)

研究費

ORCID E-Rad KAKEN-研究者リゾルバー READ

DOI

データマイニング Open ID オープンアクセス

研究費の透明性の確保 社会への説明

引用・アクセス数などによる横断的パフォーマンス解析＋Altmetrics

論文誌の電子ジャーナルをめぐる最近の動き，科学技術動向, 2009/7, 100, 10-18. (改変)

Source by Mark Miller, Brandeis University; Virgo Consortium for Cosmological Supercomputer Simulations; www.visualcomplexity.com.

SciVal, SciVerse WOS, InCites

多面性、多次元性

メッセージ4

電子ジャーナル化はオープンアクセス（OA）モデルを生み出し、研究論文については手法が整いつつある

オープンアクセス（OA）とは

誰もが学術情報へ自由にアクセスできるようにする活動 • [理念]学術情報へのアクセスは本来無料であるべき

– 知の発展とオープンイノベーションの推進 • [発端]論文の増大、商業出版者による寡占と価格高騰

– 図書館が買い支えられない • [転換]公的研究資金で得られた研究に対する社会説明責任

– 米NIHによる義務化（2005- 医療情報のPublic Access） • [実態]電子ジャーナルを無料で読者に提供する活動が中心

– Green（著者最終版利用）, Gold（ジャーナル自体がOA）, エンバーゴ（一定期間後にOA)

• [展開] – 単なるフリーアクセスから、再利用と改変を可能とすることを重

視 – 論文だけで無く、データを中心とした研究成果に関してもOAの

動きが活発に（G8, GRC, ICSU)

The development of open access publishing 1993–2009.

Laakso M, Welling P, Bukvova H, Nyman L, et al. (2011) The Development of Open Access Journal Publishing from 1993 to 2009. PLoS ONE 6(6): e20961. doi:10.1371/journal.pone.0020961 http://www.plosone.org/article/info:doi/10.1371/journal.pone.0020961

49ヵ国、>400のOA義務化ポリシー

実施 計画中助成機関 85 12研究機関 248 15学位 108 -合計 441 27*2014年1月現在

OA義務化ポリシー数 http://roarmap.eprints.org

OAメガジャーナルと軽量査読

PLoS One http://www.plosone.org/ Public Library of ScienceのOA誌 幅広い分野からの投稿を受け付ける • 新規性やインパクトを問わない査読（早く

軽い査読） • 出版後の評価、評判を測る仕組みを用意

（Article level metrics) – OAだからフェア

• 事業としては電子ジャーナルのスケールメ

リットを最大限に生かす • 前評判は芳しくなかった

→一定のインパクトも持つことが判明（PLoS Oneのファーストインパクトファクターが4を超える）して、状況が一変

2010年以降、（保守的、静観していた）学会、出版者からのOAメガジャーナルの創刊が続く

http://www.nii.ac.jp/sparc/event/2011/pdf/5/3_binfield.pdf

ピアレビューの限界と出版後評価

• 出版論文数の増大 • 研究分野の細分化による査読者探しの難化 • 早期出版（査読を早く）のプレッシャー ↓ • 事前に査読することがどんどん難しくなっている

• 評価は市場が決めれば良い（集合知） • オープンなら幅広く（公平に）評判がわかる • 出版後評価へ

メッセージ5

被引用数以外のインパクト計量への期待が高まる中、オープンアクセスと出版論文数の増大がaltmetricsを生み出したと見ることもでき、研究成果の新しいインパクト軽量手法を生み出す可能性が、被引用数との関係を含めて議論されている。

ということでおさらい

• 電子ジャーナル化は多面・多次元のリンク・連携を生んだ

• 被引用数以外の手法でも、科学的インパクトや、その他の経済・社会・教育的なインパクトを測りたい

• 論文数の増大により従来の査読の限界も見え始め、オープンアクセスと集合知によって出版後に質のフィルタリングをすることが可能か検討されている

＋もう一つ（政策科学的には） • 公的資金を用いた研究のインパクトアセスメントの議

論が盛んになっている – 国民のために役立つという意味では、時には科学的インパクト

より経済的インパクトが重視される

Altmetricsとは（補訂版）

Altmetrics：Alternative Metricsの略語 • 論文やデータセットなど様々な研究成果物の影響を – ①現在はソーシャルメディアの反応を中心に定量的に測定する

– ②その手法を用いて新しい研究の影響度を様々な観点から測定・評価し、被引用数を代替（科学インパクト）、補完（測れないものを測る）する可能性を持つ。 研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測

定を可能とするAltmetrics―，科学技術動向，2013，134，20-29．

研究論文とAltmetrics

31

影響度測定範囲の拡大

http://www.mendeley.com/graphics/common/privacy_1005816904095846.jpg

Altmetricsの多面性

専門家 社会

科学者の評判 学術的影響度の計量

社会の評判 科学技術の理解

科学コミュニケーションの定量化

ソーシャルメディアの計量範囲

これまでの研究影響度を補完するAltmetrics （被引用数の先行指標など）

新たな指標候補としてのAltmetrics （社会的影響度など）

The 3rd SPARC Japan Seminar 2013 "Redefining the Impact of Research Outputs in the Age of Open Access: Current State of Reuse and Altmetrics” Jason Priem(this table), Mark Hahnel http://www.nii.ac.jp/sparc/en/event/2013/20131025en.html

Altmetricsの特徴

• 広域・社会性：社会の評判など、専門家以外への影響度が測定可能になった

• 補完・代替性：引用以外の手法で、または、引用では測りにくい分野の専門家への影響度が把握できる可能性がある

• 即時性・予測可能性：論文公開直後からその影響度を定量的に測定でき、将来予測等に素早く活用可能な可能性を持つ

メッセージ6

現況は多くの出版者が研究論文を中心とした研究成果にaltmetricsを採用。日本独自の試みも含め、研究者プロファイル、ディスカバリーサービスにも使われている。

定着するaltmetricsスコア

Altmetric社（altmetric.com） • Springer、Elsevier、Wiley • HighWire Press、BioOne, PNAS • Silverchair SCM6プラットフォーム（JAMA, ASHA) • ScienceOpen • 岡山大学機関リポジトリ PlumX (https://plu.mx/) • ピッツバーグ大学 • ロード・アイランド大学

日本の取り組み例と中国の事情

• 論文検索Qross（アトラス） – PubMed, J-STAGE, CiNii等を検索

• Ceek.jp Altmetrics – CiNii, J-STAGE, JAIRO, NII ID, NDLデジタル化資料 – レファレンス協同データベース、Facebook、

Google+、はてなブックマーク、Twitter、Wikipedia – 文献カレンダー表示

• 中国はWikipedia, Twitter, Facebookのアクセスは遮断 – 微博（研究者もよく使うとされるマイクロブログ）を採用

ディスカバリーとaltmetrics

× (Qross）

https://qross.atlas.jp/top

文献カレンダー by Ceek.jp Altmetrics

吉田光男氏に許可を得て掲載 http://altmetrics.ceek.jp/

研究者プロファイルとaltmetrics

よくある誤解

• その１：altmetricsがあれば被引用数がいらない世界が来る

• その2：altmetricsは単にソーシャルメディアの評判（popularity）を示すだけだから無視して良い

• その3：altmetricsは研究論文のインパクト計量に使われる

最近のさまざまな検証、論考

• Altmetric.com – Altmetric 2013 Top100 http://www.altmetric.com/top100

• オランダライデン大学 科学技術研究センター – Do altmetrics correlate with citations?

http://arxiv.org/abs/1401.4321 • Colquhoun & Plested

– Why you should ignore altmetrics and other bibliometric nightmares http://www.dcscience.net/?p=6369

• マックスプランク協会、Lutz Bornmann – Alternative metrics in scientometrics: a meta-analysis of

research into three altmetrics http://arxiv.org/abs/1407.8010

図表、データ自体が単体でメディア化

まとめ

• Webを通じた学術情報流通の発展は、多次元の情報の

リンクを生み、論文の被引用数に限らない多面的なインパクト測定を可能にした

• また、研究成果として論文以外のメディアをオープンに流通させ、そのインパクトを測ることも可能になり、altmetricsに注目が集まっている

• 今現在、altmetricsの有効性を断定的に語るのは難しい • これから様々な観点から、研究成果の影響度が測ら

れ、社会的（一般社会、研究者社会双方）にコンセンサスを得て評価手法として定着していくだろう

ご清聴ありがとうございました Twitter : hayashi_kaz Facebook, LinkedIn, Mendeley Kazuhiro Hayashi (with a picture)

参考資料

Altmetrics • What’s altmetrics (altmetrics.org）http://altmetrics.org/about/ • Altmetricsの可能性：ソーシャルメディアを活用した研究評価指標

/ 坂東慶太 http://dx.doi.org/10.1241/johokanri.55.638 • 研究論文の影響度を測定する新しい動き ―論文単位で即時かつ多

面的な測定を可能とするAltmetrics― http://hdl.handle.net/11035/2357

電子ジャーナル、学術時報流通の将来 • 論文誌の電子ジャーナルをめぐる最近の動き

http://hdl.handle.net/11035/2056

• 今後の学術情報流通 : 新しいフレームワークの構築に向けた一考察 http://ci.nii.ac.jp/naid/110009662000