トップ 最新 追記

豊田正史のSLとは関係ございません


2009-05-09

_ [研究] 査読システムの破綻

もっと緻密な議論が他にあるはずですし、当たり前の結論になってしまうのですが一応書いてみます。100人の研究者コミュニティがあったとしましょう。1人の研究者が年間平均k本の査読付き論文を投稿するとします。論文1本の採否を判定するためには査読が平均s本必要です。コミュニティの中で実際に査読をしている人の割合はaだとしてみましょうか。さて、1人の査読者が年間に行う査読本数は何本になるでしょうか(単位をサドークとでもしてみましょうか)。単純に計算すると k * s / aですね。実際の数値はなかなか推測しにくいのですが、乱暴にk=4, s=2.5, a=.3としてみます。結果は約33サドークです(もっとしてるぞという方もいるかと思いますが。。。)10日に1本は査読している計算ですね。これが意味するところは、1人の研究者が3カ月以上かけた仕事を10日をはるかに下回る時間で評価しなくてはならないような重い負荷がまじめな査読者に圧し掛かっているということです。査読者の割合が増えたとしても、仕事にかけた時間に対してかなり少ない時間で評価をしなくてはいけないことに変わりはありません。という訳で現状の査読システムはもうこれ以上持ちません。さっさと次世代の論文評価システムを構築するか、論文の本数で研究者を評価する風潮を改めないと(査読をしている)研究者は死んでしまいます。

本日のツッコミ(全6件) [ツッコミを入れる]

_ ハル [数年前と比べてもかなり大変になりましたね.理由を考えると, 1) 情報分野に関していえば,コアの部分は衰退気味である..]

_ とよだ [kが増加し、aが減少しているために、サドークが急増しているという感じですね。ポイントまではいきませんが、査読者の年間..]

_ いとー [「数年前と比べてもかなり大変になりました」に全く同感です。 ハルさんの指摘されている事情に加えて、日本固有の事情と..]

_ あかほ [査読システム撲滅委員会初代会長(自称)のあかほです. twitter で言及されているのを見て通りすがりました. こ..]

_ とよだ [いとーさん、それはさすがに引き受けすぎでは。。。 学生が論文を書くのは良いことなのですが、照会するともう卒業してたり..]

_ とよだ [あかほさんはじめまして。そんな委員会があったとは。。。実際に査読担当数分布がどのようになっているかなどを調べて裏付け..]


2009-05-14

_ [学会] WWW2009のサーベイ@情報爆発キックオフ

情報爆発のキックオフミーティングでWWW2009の15分サーベイという無謀な試みをやらされたので、発表資料を以下に置いてみます。キーノート2本、論文数の多い3セッションから流行りを抜き出すため、タイトル、アブストをタグクラウド化してトレンド論文をリストアップ。いくつかの論文についてちょっとだけ紹介。と言う形にしました。全体的に、Yahoo!, MSの論文が多く、ちょっとおもしろ目のアイデアを、検索エンジン会社の実データで実験してしっかり評価するという論文が多く通っている印象です。大学の教員が企業を兼務していたり、インターンの学生が検索エンジン会社に行って仕事したのをまとめていたりと、企業と大学の連携がうまくいっているということでしょうね。

WWW2009survey.pdf


2009-05-27

_ [研究] CHI2009勉強会@お茶大

今日はお茶の水女子大学で行われたCHI2009勉強会に参加してきました。CHI2009で発表された300本くらいの論文を1本1分ですべてクイックレビューするという野心的な試みで、ここ数年行われているものですが、私は今回が初参加です。改めてこの分野の発散具合を体感できたと同時に、全ての論文を眺めたことで私の興味に合うものもいくつか見つけることができ、大変に有意義でした。運営の皆さんまとめをしてくださった皆さんありがとうございました。とりあえず、私の気になった論文タイトルをリストアップしておきます。ご参考まで。(リンクにしたかったけど力尽きた。。。)

What do you see when you're surfing?: using eye tracking to predict salient regions of web pages

Make new friends, but keep the old: recommending people on social networking sites

Predicting tie strength with social media

Pathfinder: an online collaboration environment for citizen scientists

NewsCube: delivering multiple aspects of news to mitigate media bias

Fly: a tool to author planar presentations

Remembrance of things tagged: how tagging effort affects tag production and human memory

Signpost from the masses: learning effects in an exploratory social tag search browser

Facts or friends?: distinguishing informational and conversational questions in social Q&A sites

mimir: a market-based real-time question and answer service

Questions in, knowledge in?: a study of naver's question answering community

Videolyzer: quality analysis of online informational video for bloggers and journalists

Feed me: motivating newcomer contribution in social network sites

'Helpfulness' in online communities: a measure of message quality

The problem of conflicting social spheres: effects of network structure on experienced tension in social network sites

Comparing usage of a large high-resolution display to single or dual desktop displays for daily work

EnsembleMatrix: interactive visualization to support machine learning with multiple classifiers

FacetLens: exposing trends and relationships to support sensemaking within faceted datasets

Sizing the horizon: the effects of chart size and layering on the graphical perception of time series visualizations

Resonance on the web: web dynamics and revisitation patterns

So you know you're getting the best possible information: a tool that increases Wikipedia credibility

WikiFolders: augmenting the display of folders to better convey the meaning of files

Discriminating the relevance of web search results with measures of pupil size

A user study on visualizing directed edges in graphs

Topology-aware navigation in large networks

本日のツッコミ(全2件) [ツッコミを入れる]

_ よしき [一本一分でも5時間ですか。すごいですね。発散具合というのは私もかなり当たっている表現だと思いました。]

_ とよだ [のわりにはだいぶ早く終わったので平均1本40秒くらいだったかも。HPC関係だとクラウドでスーパースケーリングとか分り..]


README日記の書き方