For Big Data in evaluation research: an operational proposal to manage the product-reviewer matching in the VQR

Journal title RIV Rassegna Italiana di Valutazione
Author/s Lorenzo Barbanera, Federica Floridi, Federica Fusillo
Publishing Year 2018 Issue 2017/68 Language Italian
Pages 17 P. 103-119 File size 354 KB
DOI 10.3280/RIV2017-068007
DOI is like a bar code for intellectual property: to have more infomation click here

Below, you can see the article first page

If you want to buy this article in PDF format, you can do it, following the instructions to buy download credits

Article preview

FrancoAngeli is member of Publishers International Linking Association, Inc (PILA), a not-for-profit association which run the CrossRef service enabling links to and from online scholarly content.

Moving from some critical issues that characterized the management of the product-reviewer matching in the VQR 2011-2014 this article proposes an operational solution that allows improving the consistency of the attribution process, by bringing the gap between the reviewer’s skills and the evaluand. This is achieved through the use of text analysis techniques applied to big corpora, made by the publications/abstracts of the actors involved. The paper is structured as follows: an introduction about the use of Big Data in the context of the Italian university system evaluation; then, the main problems faced in the last VQR exercise will be presented; finally, a textual analysis procedure, designed to provide univocal labels, both for the products under review and for those belonging to referees, will be presented in the last paragraph.

Keywords: Big Corpora; Big Data; Evaluation of Quality Research; Content Analysis; Textual Analysis; Peer Review.

  1. Amico A. e D’Alessandro A. (2016). Strategie di gestione e analisi di grandi basi di dati amministrativi: l’utilità di trasformare dati sincronici in vettori diacronici. Sociologia e Ricerca Sociale, 109: 127-142. DOI: 10.3280/SR2016.10901
  2. Agnoli M. S. (1992). La costruzione delle variabili tra rilevazione e analisi dei dati: il caso dei sondaggi, in Marradi A., Gasperoni G., a cura di, 1992, Costruire il dato 2. Vizi e virtù di alcune tecniche di raccolta delle informazioni, Milano: Angeli.
  3. Angoli M. S. (2016). L’arte intellettuale al cospetto dei big data. Sociologia e Ricerca Sociale, 109: 7-17. DOI: 10.3280/SR2016-10900
  4. Anvur (2017a). Valutazione della qualità della ricerca (VQR 2011-2014). Rapporto finale di Area (GEV 14).
  5. Anvur (2017b). Valutazione della qualità della ricerca (Vqr 2011-2014). Rapporto finale di Area (GEV 14). Appendice A-Criteri per la valutazione dei prodotti di ricerca.
  6. Anzera G., Fasanella A., Liani S., Martire F. e Palmieri M. (2016). L’auto-valutazione della produzione di una comunità scientifica: una proposta metodologica. RIV-Rassegna Italiana di Valutazione, 64: 112-131. DOI: 10.3280/RIV2016.06400
  7. Aragona B. (2016). Big data o data that are getting bigger? Sociologia e Ricerca Sociale, 109: 42:53. DOI: 10.3280/SR2016-10900
  8. Battistin E., Checchi D. e Verzillo S. (2014). La riforma di decentramento dei concorsi universitari in Italia. RIV-Rassegna Italiana di Valutazione, 58: 51-79. DOI: 10.3280/RIV2014-05800
  9. Benvenuto G., Decataldo A. e Fasanella A., a cura di (2012). C’era una volta l’università? Analisi longitudinale delle carriere degli studenti prima e dopo la grande riforma. Acireale-Roma: Bonanno. Bolasco S. (2013). L’analisi automatica dei testi. Fare ricerca con il text mining. Roma: Carocci.
  10. Bruschi A. (1999). Metodologia delle scienze sociali. Milano: Mondadori.
  11. Crane D. (1965). Scientists at major and minor university. A study of productivity recognition, American sociological review, 30: 699-714.
  12. Crane D. (1967). The gatekeepers of science. Some factors affecting the selection of articles in scientific journals, American sociologist, 2: 195-201.
  13. Della Ratta-Rinaldi F. (2007). L’analisi testuale computerizzata. In: Cannavò L. e Frudà L., a cura di, Ricerca sociale, Tecniche speciali di rilevazione, trattamento e analisi. Roma: Carocci editore.
  14. Di Franco G. (2011). Tecniche e modelli di analisi multivariata. Milano: FrancoAngeli.
  15. Faggiano M. P. (2016). L’analisi del contenuto di oggi e di ieri. Testi e contesti on e off line. Milano: FrancoAngeli.
  16. Fasanella A e Di Benedetto A. (2014). Luci ed ombre nella VQR 2004-2010: un focus sulla scheda di valutazione peer. Sociologia e ricerca sociale, 104:59-84. DOI: 10.3280/SR2014-10400
  17. Hillard R. (2012). It’s time for a new definition of big data (-- http://www.infodrivenbusiness.com/post.php?post=012/03/18/its-time-for-a-new-definition-of-big-data/).
  18. Hoiat M., Gonnella J. S., Caelleigh A. S. (2003). Impartial judgment by the “gatekeepers” of science: fallibility and accountability in the peer review process. Advances in health science education, 8: 75-96.
  19. Kitchin R. (2014). The data revolution. Big data, open data, data infrastructures and their consequences. London: Sage.
  20. Laney D. (2001). 3D Data management: controlling data volume, velocity and variety, MetaGroup (https://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Mana-gement-Controlling-Data-Volume-Velocity-and-Variety.pdf).
  21. Lazer et al. (2009). Computational Social Science. Science, 323: 721-723.
  22. Lee C. J., Sugimoto C. R., Zhang G. e Cronin B. (2013). Bias in Peer Review. Journal of the American Society for Information Science and Technology, 1: 2-17.
  23. Losito G. (1993). L’analisi del contenuto nella ricerca sociale. Milano: FrancoAngeli.
  24. Mahoney M. J. (1977). Publication prejudices: an experimental study of confirmatory bias in the peer review system. Cognitive therapy and research, 1: 161-175. DOI: 10.1007/BF0117363
  25. Marradi A. (1993). Fedeltà di un dato, affidabilità di una definizione operativa. Rassegna Italiana di Sociologia, 1: 55-96.
  26. Marz V., Warren J. (2012). Big Data: principles and best practices of scalable realtime data system. New York: Meap Edition.
  27. Mauceri S. (2003). Per la qualità del dato nella ricerca sociale. Strategie di progettazione e conduzione dell’intervista con questionario. Milano: FrancoAngeli.
  28. Mayer-Schonberger V, Cukier K. (2013). Big Data: a revolution that will change how we live, work and think. London: John Murray.
  29. Wenneras C., Wold A (1997). Nepotism and sexism in peer review. Nature, 387: 341-343.

  • Considerazioni metodologiche sulla Vqr 2011-2014 e possibili sviluppi della valutazione Antonio Fasanella, Fabrizio Martire, in SOCIOLOGIA E RICERCA SOCIALE 114/2017 pp.89
    DOI: 10.3280/SR2017-114005

Lorenzo Barbanera, Federica Floridi, Federica Fusillo, Per i Big Data nella ricerca valutativa: una proposta operativa per la gestione del matching prodotto-revisore nella VQR in "RIV Rassegna Italiana di Valutazione" 68/2017, pp 103-119, DOI: 10.3280/RIV2017-068007