Reflections on the bibliometric evaluation of research and a proposal: the real impact factor

Journal title MANAGEMENT CONTROL
Author/s Antonella Paolini, Alberto Quagli
Publishing Year 2014 Issue 2013/3 Language Italian
Pages 14 P. 115-128 File size 672 KB
DOI 10.3280/MACO2013-003007
DOI is like a bar code for intellectual property: to have more infomation click here

Below, you can see the article first page

If you want to buy this article in PDF format, you can do it, following the instructions to buy download credits

Article preview

FrancoAngeli is member of Publishers International Linking Association, Inc (PILA), a not-for-profit association which run the CrossRef service enabling links to and from online scholarly content.

The recent exercise of Evaluation of Quality and Research boosted by the Italian Agency for the Evaluation of University and Research has reopened reflections on the evaluation methods, including the bibliometric ones. The purpose of this paper is to analyse the impact factor as the main instrument of bibliometric evaluation, "old" in the field of natural and technological sciences but recently introduced by Law and by the Agency also for business and economic disciplines (Bonaccorsi, 2012). The reflections proposed come to the conclusion that the impact factor is not suitable and then it is proposed a new indicator capable of taking into account the usefulness for all users (both primary and secondary): the real impact factor.

Keywords: Bibliometric analysis, impact factor, real impact factor

  1. Adler R., Ewing J., Taylor P. (2008), Citation Statistics, A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS), Corrected version, 6/12/08.
  2. Baccini A. (2012), La VQR ed il vino a due stadi, disponibile su www.roars.it (2012-03-03).
  3. Baccini A. (2013), La valutazione della ricerca in Italia: in ritardo e tecnicamente inadeguata, disponibile su www.roars.it (2013-08-10).
  4. Bonaccorsi A. (2012), Potenzialità e limiti dell’analisi bibliometrica nelle aree umanistiche e sociali. Verso un programma di lavoro, disponibile su www.anvur.org.
  5. Canziani A. (2012), La ricerca scientifica dalle scuole europee al relativismo anglosassone, Sinergie, 86.
  6. Dalli D. (2012), La valutazione della ricerca nelle scienze aziendali: aspettative e istanze individuali, professionali e istituzionali, Sinergie, 86, pp. 1-16.
  7. De Nicolao G. (2012), VQR: la bibliometria fai-da-te dell'ANVUR, disponibile su www.roars.it (2012-01-24).
  8. De Nicolao G. (2013), Impact Factor: nuovo record, 66 riviste squalificate per doping, disponibile su www.roars.it (17.10.2013).
  9. De Robbio A. (2007), Analisi citazionale e indicatori bibliometrici nel modello Open Access, Bollettino AIB, 3, pp. 257-288.
  10. Figà Talamanca A. (2000), L’Impact Factor nella valutazione della ricerca e nello sviluppo dell’editoria scientifica, IV Seminario Sistema Informativo Nazionale per la Matematica SINM 2000: un modello di sistema informativo nazionale per aree disciplinari, Lecce, 2 ottobre 2000.
  11. Kostoff R.N. (1994), Research impact quantification, R&D Management, 24, 3, pp. 207-218. DOI: 10.1111/j.1467-9310.1994.tb00874.x
  12. Kuruvilla S., Mays N., Pleasant A., Walt G. (2006), Describing the impact of health research: a Research Impact Framework, BMC health services research, 6, 1, pp. 134. DOI: 10.1186/1472-6963-6-134
  13. Longo G. (2013), Science, Problem Solving and Bibliometrics, disponibile su www.roars.it (2013-10-19).
  14. Manaresi A. (2012), Scienze manageriali: metodo scientifico o applicazione rituale di metodi quantitativi, Sinergie, 12, 87 gennaio-aprile, pp. 53-70.
  15. Marchi L., Marasca S., Giuliani M. (2013), Valutare la ricerca nella prospettiva europea e internazionale: prime riflessioni, Management Control, 3.
  16. Palumbo R., a cura di, (2011), La valutazione periodica della ricerca nelle discipline economico-aziendali, Milano, FrancoAngeli.
  17. Parker L.D., Guthrie J., Linacre S. (2011), The relationship between academic accounting research and professional practice, Accounting, Auditing & Accountability Journal, 24, 1, pp. 5-14. DOI: 10.1108/09513571111098036
  18. Rebora G. (2012), Venti anni dopo: il percorso della valutazione dell'università in Italia e alcune proposte per il futuro, Liuc Papers, pp. 1-17.
  19. Redazione ROARS (2013), I “dieci comandamenti” della bibliometria individuale, disponibile su www.roars.it (2013-10-01).
  20. San Francisco Declaration on Research Assessment (2012), Putting science into the assessment of research, disponibile su www.ascb.org/dora/.
  21. Sangwal K. (2013), Some citation-related characteristics of scientific journals published in individual countries, Scientometrics, 97, pp.719-741. DOI: 10.1007/s11192-013-1053-1
  22. Sargiacomo M. (2013), Al via la Valutazione della Ricerca in UK: No all’utilizzo di dati citazionali, gerarchie di journals, IF ed analisi bibliometrica, Business and Management Studies, disponibile su: www.accademiaaidea.it.
  23. Scapens R.W. (2006), Understanding management accounting practices: a personal journey, The British Accounting Review, 38, 1, pp. 1-30. DOI: 10.1016/j.bar.2005.10.002

  • I sistemi di misurazione della performance nelle università: considerazioni critiche sul sistema italiano Natalia Aversano, Francesca Manes Rossi, Paolo Tartaglia Polcini, in MANAGEMENT CONTROL 1/2017 pp.15
    DOI: 10.3280/MACO2017-001002
  • Distorsioni nel sistema di accountability delle Università: analisi di un caso Andrea Francesconi, Enrico Guarini, Francesca Magli, in MANAGEMENT CONTROL 1/2020 pp.59
    DOI: 10.3280/MACO2020-001004
  • La valutazione della ricerca tramite indici bibliometrici: riflessioni da una prospettiva economico-aziendale Marco Giuliani, Stefano Marasca, in MANAGEMENT CONTROL 1/2015 pp.133
    DOI: 10.3280/MACO2015-001006
  • Temi e medodologie di ricerca nell'area Management Control: stato dell'arte e prospettive Luciano Marchi, in MANAGEMENT CONTROL 2/2021 pp.165
    DOI: 10.3280/MACO2021-002009
  • Quale metodologia di ricerca sulle tematiche di Management Control? Luciano Marchi, in MANAGEMENT CONTROL 2/2018 pp.5
    DOI: 10.3280/MACO2018-002001
  • Il risk management approach nelle Università italiane: prime riflessioni su vincoli e opportunità Manuela Lucchese, Giuseppe Sannino, Paolo Tartaglia Polcini, in MANAGEMENT CONTROL 1/2020 pp.111
    DOI: 10.3280/MACO2020-001006

Antonella Paolini, Alberto Quagli, Una riflessione sugli strumenti bibliometrici per la valutazione della ricerca e una proposta: il real impact factor in "MANAGEMENT CONTROL" 3/2013, pp 115-128, DOI: 10.3280/MACO2013-003007