1月19日公布的一個(gè)新的在線工具可通過(guò)分析已發(fā)表論文的引文數(shù)量，衡量該論文可再現(xiàn)性。

這個(gè)軟件出現(xiàn)得可謂正當(dāng)其時(shí)，很多證據(jù)已經(jīng)給科學(xué)界和期刊行業(yè)敲響警鐘，它們表明許多已發(fā)表文章的研究結(jié)果是不可重復(fù)的，為此科學(xué)界正在努力尋找可靠的方法來(lái)評(píng)估它們是否可以再現(xiàn)。

新工具由美國(guó)康涅狄格州紐黑文市Verum分析公司開發(fā)，它生成了一個(gè)叫作r-因子的指標(biāo)，該指標(biāo)依據(jù)其他證明或駁斥其研究結(jié)果的研究數(shù)量，來(lái)說(shuō)明一篇期刊文章的可再現(xiàn)性。但r-因子指標(biāo)卻引來(lái)了學(xué)者的大量批評(píng)，他們認(rèn)為這種相對(duì)簡(jiǎn)單的方法可能不足以解決衡量可重復(fù)性的多方面問(wèn)題。

對(duì)新工具的初步反饋表明，Verum公司并沒有完全消除這些擔(dān)憂。該公司開發(fā)者承認(rèn)新工具仍然存在局限性；他們表示開放該工具的目的是接受相關(guān)反饋，以獲得關(guān)于其工作效果以及如何改進(jìn)的建議。Verum公司自愿開發(fā)了該工具，其聯(lián)合創(chuàng)始人Josh Nicholson說(shuō)，他們希望公開該工具的初步版本能吸引潛在的投資人助力改善它。

Verum去年8月在一篇預(yù)印文本中報(bào)告了該工具基于r-因子的方法，并在新工具中對(duì)其進(jìn)行了改進(jìn)。它僅依賴于受歡迎的生物醫(yī)學(xué)搜索引擎PubMed網(wǎng)站上可免費(fèi)獲取的研究論文的數(shù)據(jù)。

在開發(fā)之初，Nicholson和同事手動(dòng)分析了4.8萬(wàn)個(gè)引用其他已發(fā)表文章的論文文本的片段。Verum和同事將每個(gè)片段分別歸類為“證實(shí)、反駁或是提及”其他的文章。然后，Verum利用這些分類來(lái)訓(xùn)練一個(gè)算法自動(dòng)識(shí)別樣本群之外的每類片段。

基于約1萬(wàn)個(gè)摘錄的片段樣本，Verum公司的開發(fā)人員稱，新工具可以在93%的情況下對(duì)段落進(jìn)行正確的分類。與證實(shí)或反駁性的引用片段相比，它能更準(zhǔn)確地檢測(cè)到“提及”其他文章的引用，因?yàn)樽C實(shí)或反駁類的樣本更少。分析發(fā)現(xiàn)，絕大多數(shù)文章都提到了以前的研究，但卻沒有證實(shí)或反駁它們的主張；只有約8%的引用是證實(shí)性的，而反駁性的約有僅1%。