Impactfactor

Journal Citation Reports är en kommersiell databas där man kan hitta en tidskrifts impactfactor. Databasen finns bara på GU och vi kommer inte åt den på SU’s intranät. Men, många tidskrifter anger idag sin impact factor på den egna webbplatsen - så titta där. I databasen CINAHL kan du även begränsa din sökning till att söka enbart i peer-reviewed-tidskrifter.

Impactfactorn - ett mått på vetenskaplig kvalitet?
sammanställd av Eva-Lotte Daxberg och Ulla Wikberg Adania, Medicinska biblioteken, Sahlgrenska Universitetssjukhuset.

Introduktion

En förutsättning för rationell användning av forskningsmedel är att forskare och forskningsprojekt utvärderas på något sätt. Starka ekonomiska intressen ligger bakom i form av beslut som rör anslagstilldelning, befordran och tjänstetillsättning. Forskningens vetenskapliga värde måste bevisas och det är viktigt att publicera sina resultat i prestigefyllda tidskrifter och bli citerad av andra forskare. För många forskare blir den omtvistade impactfactorn avgörande för vilken tidskrift manuskriptet ska sändas till.

Impactfactorn som utvärderingsparameter av vetenskaplig kvalitet får stark kritik.

 

Kan man värdera forskningskvalitet utifrån en tidskrifts impactfactor? Finns det ett samband mellan citeringsfrekvens och forskningskvalitet? Är tidskriftens impactfactor representativ för enstaka artiklar och tidskrifter?
Impactfactorn är ständigt föremål för diskussion i den vetenskapliga pressen och denna genomgång belyser en del av den diskussionen.

Upp

Hur mäter man vetenskaplig kvalitet?

Idag används två alternativ: den traditionella expertutvärderingen(peer-review) och bibliometrisk utvärdering s.k.citeringsanalys. Metoderna är tänkta att kvalitativt värdera både den vetenskapliga artikeln och den enstaka tidskriften. Citeringsanalys kan sägas vara ett navigeringshjälpmedel från en given författare eller artikel då man söker sig framåt i tiden, till arbeten som citerat författaren eller ursprungsartikeln. Science Citation Index [SCI] är en databas som ger uppgift om vilka författare/vetenskapliga artiklar som citerats samt vilka författare/artiklar/tidskrifter som citerade dem, allt ordnat alfabetiskt efter förste författaren. Citeringarna baseras på artiklarnas referenslistor i de tidskrifter som indexeras i databasen

Journal Citation Reports [JCR] är ett supplement till Science Citation Index [SCI] och består av en systematisk lista där tidskrifterna värderas inom sin disciplin, samt en alfabetisk lista där tidskrifterna sorteras bla. efter impactfactor. För varje tidskrift ges det totala antalet publicerade artiklar samt det totala antalet erhållna citeringar dessa erhållit. Utgivare av SCI och JCR är Thomson Scientific [f.d. Institute for Scientific Information], Philadelphia, USA.

Upp

Vilka faktorer påverkar impactfactorn?

Varför citerar forskaren andras arbeten? Spelar de citerade referenserna ett faktiskt inflytande? Forskaren refererar till andras artiklar först och främst för att dokumentera de metoder, idéer och fakta som artikeln bygger på, inte för att de citerade artiklarna är av särskild hög kvalitet. Man inkluderar kanske vissa referenser för att visa sin grundliga kunskap om litteraturen eller så kopierar man helt enkelt andras referenslistor utan att ha studerat originalartikeln, s.k. sekundära citeringar. Dessutom är det vanligt med ömsesidiga citeringar inom en grupp sk. citeringsringar.

Matteus-effekten

 

Ofta kan ett mer känt författarnamn fungera som dragplåster, den sk. Matteus-effekten. Sannolikheten är stor att författaren får en del extraciteringar genom att samarbeta med en etablerad forskare.

Självciteringar

 

De flesta tidskrifter visar en utpräglad tendens till självcitering. Vissa t.e.x. Journal of Biological Chemistry, Biochemistry, Febs letter m.fl. citerar sig själva i genomsnitt tre gånger så ofta som de blir citerade av andra forskare inom samma områden. Antalet självciteringar påverkar direkt impactfactorn och förstärker verkan av tillåtna antal referenser per artikel.

Bruket av tidskriftsimpact har en nivellerande effekt

 

Alla författare i en tidskrift tilldelas samma impactvärde oavsett om de citeringsmässigt ligger högt eller lågt i förhållande till tidskriftsgenomsnittet eller inte är citerade alls.

Olika discipliner - olika citeringsvanor

 

Olika discipliner har olika citeringspraxis och det påverkar citeringsfrekvensen. Biokemi och molekylärbiologi är dynamiska forskningsområden vars artiklar citeras fem gånger oftare än farmakologiska artiklar. Journal of Biochemistry är en av de största och mest citerade tidskrifterna med över 4000 forskningsartiklar per år. Annual Review of Biochemistry är en av dem med högst impactfactor på 40,782 (1999).
Citeringsfrekvensen inom ett område i snabb utveckling når gärna en topp efter ett par år för att därefter avta. Resultatet blir en obalans med relativt hög övervikt av citeringar i förhållande till citerbara artiklar och hög citeringsfrekvens ger automatisk citeringsvinst, s.k. pyramidspeleffekten. Områden med långsammare utvecklingstakt visar en långsammare stigning och stabilitet. Att använda impactfaktorn som utvärderingsmetod innebär att forskningsområden i snabb förändring favoriseras. För att få ett rättvist intryck bör därför citeringsanalysen sträcka sig över en längre tidsperiod.

Kliniska tidskrifter kommer till korta

 

Hansson [7] valde ut 15 ryktbara tidskrifter som representerade olika medicinska forskningsområden. Citeringsmönstret i varje tidskrift fick representera citeringsvanan inom den specialiteten. Studien visade att de kliniska tidskrifterna inte klarar tvårsgränsen och kommer till korta eftersom kliniska studier ofta tar lång tid att genomföra. Det är svårt att hinna publicera en klinisk studie tillräckligt snabbt för att "belöna" källartikeln med en citering inom en tvårsperiod. Genomgående har flertalet kliniska discipliner relativt låga impactvärden och inom flertalet kliniska specialiteter är det knappast någon eller högst ett fåtal tidskrifter som når över impactfactor 2(.000).

Reviewtidskrifter favoriseras

 

Dessa är sekundära publikationer som inte rapporterar färska forskningsresultat utan innehåller en sammanställning av översikter och sammanfattningar av tidigare forskning. Översiktsartiklar kan inte ha samma inflytande som en innovativ forskningsartikel men de citeras ofta. Författaren spar både tid och utrymme genom att använda en översiktsartikel istället för de refererade originalartiklarna. Första titeln i den systematiska delen av Journal Citation Report är ej sällan en reviewtidskrift.

Allmänna vetenskapliga tidskrifter

 

New England Journal of Medicine och Science kan tillåta sig att vara selektiva i sitt val av artiklar eftersom de inte är begränsade till ett specifikt område inom vetenskap och medicin utan täcker alla discipliner. Därför är det inte så konstigt att dessa tidskrifter tenderar att publicera artiklar av generellt hög kvalitet. Specialtidskrifter däremot, är förpliktade till att täcka en större spännvidd av forskningsresultat inom sitt område, liksom att publicera artiklar av bekräftande natur som backar upp det ursprungliga "genombrottet". De accepterar ofta artiklar från "smalare" forskning och från mindre kända forskningsprojekt, kanske från icke-engelskspråkiga länder. Allmänna tidskrifter och specialtidskrifter bör därför inte blandas.

Science Citation Index [SCI] indexerar drygt 4700 tidskrifter men täckningsgraden varierar starkt från disciplin till disciplin. 3500 av dessa är biomedicinskt relaterade s.k. källtidskrifter och ca 500 står för 50% av vad som publiceras och 75% av vad som citeras. 

Upp

Några felkällor

Språklig täckning i databasen

Science Citation Index [SCI] domineras av engelskspråkiga och amerikanska tidskrifter, vilket bidrar till en låg impact för de få icke-engelska tidskrifter som finns med i databasen.

Nationella fördomar

 

Forskare i USA och Storbrittanien citerar främst artiklar från de egna länderna. En studie [6] av citeringar i tidskrifterna New England Journal of Medicine (NEJM) and Lancet visade, att amerikanska författare som publicerar sig i NEJM och britter som publicerar sig i Lancet tenderar citera tidskrifter som produceras i deras egna länder mer än vad som förväntades och citerar knappast alls material från andra länder. Författare från andra länder citerar amerikanska författare oftare än vice versa. NEJM publicerar mycket få artiklar av författare utanför USA.

Publikationstyper

Journal Citation Reports gör ingen skillnad mellan letters, översiktsartiklar eller originalartiklar.

Tillbakadragen/ogiltigförklarad

 

Artikel kan få en citering till originalartikeln.

Tidskrifter som byter namn

 

Titelbyte påverkar impactfactorn under två år efter bytet ägt rum. Den gamla och den nya titeln sammanfaller inte, såvida de inte står alfabetiskt i samma position. Första året får den nya titeln ingen impactfactor.

Antalet tillåtna referenser är av betydelse

 

En av orsakerna till att den genomsnittliga citeringsfrekvensen skiljer sig är, att den står i direkt proportion till det genomsnittliga antalet referenser per artikel inom fackområdet - ett tal som kan variera betydligt från disciplin till disciplin.

Meriterande författarskap

 

Alla medförfattare till en artikel får samma citeringsvärde som den förste författaren

"Följetongspublikation"

 

Segment av en artikel som rör ett och samma forskningsprojekt publiceras som separata arbeten, när en samlad publicering hade varit riktigare [13].

Multipel publicering

Innebär att publicera väsentligt samma data i olika tidskrifter genom att ändra lite på ordningen av författarnamnen och titelorden. Eftersom publicering och citering är så viktigt försöker många forskare publicera mer än vad deras forskning kanske förtjänar.

Registrering av citeringar i Science Citation Index [SCI]

 

Sättet de presenteras på är ett annat problem. Artiklarna indexeras alfabetiskt bara efter förste författaren, något som försvårar citeringsanalys när artikeln har fler författare. Man måste ha en komplett publikationslista och söka på samtliga artiklar var för sig, vilket är mycket tidskrävande.Tryckfel är ett betydande problem. Felstavning av författarnamn både av de citerande författarna själva och vid inmatning i databasen. Namnvarianter av samma författare t.ex. vid dubbelnamn. Olika antal initialer samt bortfall av initialer är vanligt, vilket leder till att citeringen inte hittas där den borde vara. Homonymer d.v.s. författare med samma efternamn och åtminstone en gemensam initial. Varianter på tidskriftsförkortningar, oriktigt publiceringsår, fel volym, sidnummer m.m. samt risken med multipla translittereringar mellan SCIs notering och ursprungsreferensen.

Upp

Kan impactfactorn användas som utvärderingsmetod?

Den avgörande förutsättningen för användande av tidskriftsimpact som utvärderingsmetod, är att korrelationen mellan citeringsfrekvens och tidskriftsimpact är god. Men, citeringsfrekvensen för enstaka artiklar visar en enorm spridning och kan variera från 0 till flera hundra i en och samma tidskrift. Värdena är icke normalfördelade utan starkt skevfördelade med riktning mot låg citeringsfrekvens. Det är med andra ord ett litet antal högt citerade artiklar som i väsentlig grad bestämmer storleken på tidskriftens impactfactor, medan det stora flertalet av artiklarna ligger långt under genomsnittet. Det finns alltså ingen korrelation mellan en särskild artikels citeringsfrekvens och tidskriftens impactfactor där den publicerats.[7][15]

Tidskriftens impact bör uppenbarligen inte användas som kvalitetsutvärderare, vare sig av enstaka artiklar, enstaka forskare eller grupper av forskare. Felkällorna är alldeles för många och risken för orättvisa resultat stor. Impactfactorn är enbart ett kvantitativt mått på en kvalitet som inte kan kvantifieras. Den kan däremot användas för att bedöma tidskriftens kvalitet eftersom ISI räknar citeringarna till tidskriften och inte till författaren. En studie [12] visade följande: 560 st. förste författare får 3493 citeringar. Dividerat blir det 6,24 i impactfactor för tidskriften, inte de individuella författarna. Dessutom hittade man 422 fel och omräknat blir impactfactorn istället 6.97. Skillnaden beror på att författarna citerats felaktigt t.ex. blir Breithardt citerad som Breithart och räknas som en citering till en författare som inte existerar.

Expertutvärdering (peer-review)

 

Är den enda användbara metoden, anser många. Det gäller att bedöma originalitet och resultat och då krävs specialistkunskaper inom fackområdet. Expertutvärderingen är å andra sidan subjektiv och olika experter kan komma fram till olika resultat. Dessutom är den tidskrävande och tär på högkvalificerade mänskliga resurser. Även förhandsgranskningen har sina svagheter och man efterlyser standardiserade utvärderingsprocedurer och kriterier. Eugen Garfield [Chairman Emeritus på f.d. Institute for Scientific Information]grundaren av bl.a. Science Citation Index och Journal Citation Reports säger, att impactfactorn är ett mycket användbart verktyg för utvärdering av just tidskrifter, men att den måste användas med försiktighet och att den ska användas tillsammans med expertutvärdering. Han varnar för ett urskiljningslöst användande för kvalitetsbedömning av artiklar och enstaka forskare. Flera års samlade data för ett antal ledande medicinska tidskrifter ger en kvantitativ indikator på dessa tidskrifters långsiktiga inflytande och impact speglar helt enkelt utgivarnas förmåga att dra till sig de bästa artiklarna. Garfield erkänner att ett fem-års impact kan vara mer användbart för vissa med tanke på variationer mellan olika discipliner.


Upp

 

Referenser

  1. Reedijk J. Is the impact of journal impact factors decreasing?
    J Doc 2008; 64: 183-192
  2. Brown H. How impact factors changed medical publishing - and science.  
    BMJ 2007; 334:561-64
  3. Campbell FM. National bias: a comparison of citation practices by health
    professionals. Bull Med Libr Assoc 1990;78:376-82
  4. Drettner B, Seglen PO,Sivertsen G. Inverkanstal som fördelningsinstrument .
    Läkartidningen 1994;91:744-5
  5. Gallagher EJ. Evidence of methodologic basis in the derivation of the Science  
    Citation Index Impact Factor. Ann Emerg Med 1998;31:83-6
  6. Garfield E. How can impact factors be improved?
    BMJ 1996;3:411-13
  7. Garfield E. "The meaning of the  impact factor" 
  8. Hanen HB. Videnskabelig aktivitet på klinisk fysiologisk/nuklearmedicinska afdelningar i Danmark under perioden 1989-
    1994:en bibliometrisk analyseaf impact og citeringsfrekvens.
    Ugeskr Laeger 1998;160:4621-5
  9. Hansson S. Impact factor as a misleading tool in evaluation of medical journals. 
    Lancet 1995;345:906-7
  10.  Hecht F. The Journal "Impact Factor: a misnamed, misleading, misused  measure". Cancer Genet Cytogenet 1998;104:77-81
  11.  Korwitz U. Citation analysis of biomedical publications (föredragsmanus), EAHIL sixth European Conference of Medical and Health Libraries; 1998 June 22-27; Utrecht. The Netherlands, 1998
  12.  MacRoberts MH, MacRoberts BR: Problems of citation analysis
    Scientometrics 1996;36:435-44
  13.  Opthof T. Sense and nonsense about the impact factor
    Cardiovasc Res 1997;33:1-7
  14.  Rabow I., Rabow L. Fungerar bibliometrisk metodik för meritvärdering?
    Läkartidningen 1991;88:2652-4
  15.  Schoonbaert D., Roelants G. Citation analysis for measuring the value of scientific publications. Trop Med Int Health 1996;1:739-52
  16.  Seglen PO. Why the impact factor of journals should not be used for evaluating research. BMJ;314:498-502
  17.  Tell B. Citeringsanalys och Infometric Studies
    T. Dokument 1998;53:35-7
  18.  Tsay Ming-Yueh. The relationship between journals use in a medical library and citation use. Bull Med Libr Assoc 1998;86:31-9
  19.  Wade N. Citation analysis
    Science 1975;188:429-33

 

Upp

uiqt|wBIvv5TqtrmozmvH%vozmoqwv5{mIvv5TqtrmozmvH%vozmoqwv5{muiqt|wB{iptozmv{si5}vq%vmz{q|m|{{r}sp}{m|H%vozmoqwv5{m{iptozmv{si5}vq%vmz{q|m|{{r}sp}{m|H%vozmoqwv5{m