A tudományos teljesítmény mérése a hazai politikatudományban

1. Tudománymetria

A társadalomtudományok területén az utóbbi években előtérbe kerülő eredményorientált szemlélet következtében egyre elterjedtebbe válnak a tudománymetriai kutatások. E megközelítés alkalmazásával teljesebb képet kaphatunk egy adott tudomány belső koherenciájáról, szerveződéséről és az adott tudományterületen megjelenő egyéni és intézményes teljesítményekről. Kutatásom célja a tudományos teljesítménymérés nemzetközileg elfogadott módszereinek alkalmazásával bemutatni a mai magyar politikatudomány területén megjelenő tudományos közösség tagjait, a tudományos közösség azon szereplőit, akik munkásságukkal hatást fejtenek ki a szűkebb és tágabb tudományos közösségre egyaránt.

Hazánkban a politológia relatíve fiatal tudomány, ezért a gyökerek tisztázása és a múlthoz való viszony különösen fontos helyet foglal el történetében. Mi sem bizonyítja ezt jobban, mint a Politikatudományi Szemle hasábjain kibontakozó vita a magyar politikatudomány hagyományairól, illetve feladatairól, fejlődőséről és tartalmáról, továbbmenve pedig az intézményes képzés oldaláról megjelenő hivatásos politológus generáció színrelépéséről, szerepéről és lehetőségeiről. Mostanára azonban a hazai politikatudomány intézményesülése és kibontakozása folytán a  tudománymetriai vizsgálódást is lehetővé vált.

A hazai politikatudomány önállósulása egészen az 1970-es évek végéig váratott magára. Ekkori kezdeményezői különböző társadalomtudományos határterületek felől érkeztek, így – többek között – a filozófia, a szociológia, és a jog területéről, hogy aztán sikerrel tegyék le e tudomány alapjait. Ekkor jelentek meg az első politikaelméleti publikációk és empirikus vizsgálatok is, amelyek a politikatudomány lehetőségéről, alapfogalmairól, a politikai közösség szerepéről valamint a közvélemény alakulásáról szóltak, azonban még ideológiai determináció hatása alatt. (Bihari, 1993) A politika, mint tudomány iránti érdeklődés hamarosan az intézményesülés útjára lépett a Magyar Politikatudományi Társaság 1982-es megalakulásával. „Ettől kezdve ugyan nem volt megkérdőjelezhető a politikatudomány létjogosultsága, a politikatudomány, mint önálló tudomány kibontakozása Magyarországon mégis az 1990-es évek eredménye.” (Balogh, 1999) A rendszerváltás meghatározó fordulatot hozott a hazai politikatudomány számára. A demokratikus átmenetben való értelmiségi részvétel tapasztalatainak feldolgozása, illetve a rendszerváltás értékelése, kutatása megtermékenyítőleg hatott, és jelentős mértékben gazdagította a hazai politikatudományi gondolkodást és kutatásokat. Napjainkra kiépült a tudományos és szaktevékenységet folytató szakemberek felsőfokú szakképzése, létrejött a tudományág szakosodott oktatási és kutatási intézményrendszere, megalakult és működnek a tudományág művelésére és terjesztésére szolgáló szakmai szervezetek, fórumok és testületek, illetve nemzetközi szervezetekkel való kapcsolódás és együttműködés, oktatási, kutatási  programokhoz való csatlakozás. Több éve folyamatosan megjelenik a tudomány szakmai folyóirata, a Politikatudományi Szemle, rendszeres a politikatudományi könyvkiadás. Így napjainkra lehetővé vált e tudomány empirikus vizsgálata.
Azonban nyitott még a kérdés milyennek tűnik ez a szakma, és kik a meghatározó képviselői?

2. A tudományos teljesítmény mérése és a tudomány szerkezete

A tudományos teljesítmény értékelése Magyarországon is komoly hagyományokkal rendelkezik, különösen akadémikusi, egyetemi tanári kinevezésnél, MTA-doktori címek és PhD fokozatok elbírálásánál, habilitációs eljárásnál, valamint, pályázatok, kutatási támogatások odaítélésénél. A tudományos teljesítmény meghatározásánál azonban felmerül a kérdés, hogyan lehet e teljesítményt empirikus alapokon megközelíteni. A nemzetközi tudományos életben számos mérce létezik a tudományos teljesítmény mérésére, mint a publikációs tevékenység, a hazai és nemzetközi díjak, a szerkesztőbizottsági tagságok, könyvfordítások, az egyetemi oktatói minősítések, a hallgatók elismerése, és egyéb presztízzsel bíró tudományos társaságokban való tagságok, amelyek jelzik a szakma megbecsülését. Azonban a tudományos teljesítmény nemzetközileg alkalmazott mérésének alapmódszerei, mint a szakértői teljesítményvizsgálat (peer review), a szakértői felmérés (expert survey) és az idézetelemzés alkalmazása Magyarországon még várat magára. Angolszász országokban, ahol régóta használják az idézettséget, - amely megmutatja, hogy az adott tudományterületen belül kiket idéztek leggyakrabban a kortársak-, mint az akadémiai státusz, és egyetemi presztízs mércéjét (Buttler and McAllister, 2009), gyakran hangoztatott kifejezés a „publikálj vagy pusztulj”(„publish or perish”)  hazánkban is egyre fontosabb lesz.
Ezért érdemes megnézni, hogy a természettudományokban már régóta nagy hagyománnyal bíró, illetve a hazai közgazdaságtudományban már meghonosodott és elfogadott gyakorlat,- az idézettségi index alapján létrehozott mutató milyen képet fest a hazai politikatudományról.

Az idézettségi indexek objektivitását azonban megszorításokkal kell kezelni, illetve értelmezni, ugyanis maga az idézettség ténye elsősorban a tudományos gondolatok megtermékenyítő hatását bizonyítja, azonban „a magas idézettség, demokratikus közösségekben olyan tudományon kívüli tényezők befolyásolhatják, mint a tudományos divatok, meghökkentő kijelentések, tudományon kívül megszerzett tekintély átvitele a tudomány területére – ezek mind torzíthatják a tudományos idézettségi indexet”. (Lánczi, 2001) Az idézettségi mutatóra ható torzító tényezőket veszi számba Tóth István János A magyar közgazdászok tudományos hatásának és produkciójának mérése 1969-2004 c. tanulmányában, melyben olyan torzító tényezőre hívja fel a figyelmet, mint a ”negatív elismerés” amely azonban hasznos, hiszen egy tudományos tézis cáfolása, vitatása a tézis hatását bizonyítja a tudományos életre. Egy tudományos munka idézettségét fokozhatja a mű témáját adó tudományterület ezoterikussága is, ugyanis egy zártabb kutatási területen dolgozó kutató kevesebb idézettségre számíthat, mint a mainstream vagy felkapottabb tudományterületen dolgozó kollégája. Az idézettség továbbá összefügg az adott tudományterületre jellemző hivatkozási szokásokkal, illetve az önhivatkozások számával. Az idézettség továbbá függ a kutatóra jellemző publikációs szokásoktól is. Vannak olyanok, akik keveset publikálnak ám amikor közreadják műveiket jelentős tudományos hatást érnek el vele, és vannak olyanok, akik gyakran publikálnak, mégsem idézik őket. A ténylegesen tudományos feladatokon kívül is számos területre korlátozódik egy kutató tevékenysége, az adminisztratív feladatok ellátására szánt munkaidő mellett egy kutató tanít, más tanulmányát bírálja, kutatást szervez, szakmai vitákon és konferenciákon vesz részt. Elképzelhető, hogy egy kutató úgy is hatást gyakorol a szélesebb kutatói közösségre, ha soha nem ír le egyetlen szót sem, hiszen lehetnek olyan tanítványai, akikre gondolatai nagy hatással vannak, vagy kiváló tudományszervező készséggel is bírhat valaki. (Tóth, 2004) Azonban általánosságban megállapítható, hogy aki gyakrabban publikál, annak nagyobb esélye van arra, hogy többször idézzék, mint ritkábban publikáló kollégáját. Az idődimenzió szerepe társadalomtudományok esetén az idézettségi mutatónál nem annyira jelentős, mint a természettudományokban, ahol a tudomány fejlődésének dinamikájának következtében bizonyos tudományos felfedezések az idő múlásával meghaladottá válnak. „Nem természettudományos területeken megesik, hogy egy bármikor publikált anyagra ugyanakkora eséllyel történik hivatkozás a megjelenés időpontjától teljesen függetlenül.” (Price, 1979) A társadalomtudományok vizsgálódásai és tudományos eredményei tehát nincsenek annyira kiszolgáltatva az időnek, mint a természettudományok tudományos közlései. A mai magyar politikatudomány tudománymetriai vizsgálatával bemutatható és leírható kik alkotják, és mely tudományterületekről rekrutálódtak a mai politikatudomány legfőbb képviselői.

3. Egyéni és intézményi teljesítmény vizsgálata

A politikatudomány művelőinek tudományos teljesítménye azonban sok esetben intézményi keretek között bontakozik ki. Ezért a tudományos hálózatok és intézményi háttér feltárása is fontos szempont a kutatásban. Ebből a szempontból érdemes megvizsgálni a politikatudomány intézményi infrastruktúráját közelebbről is. A kutatóintézetek vagy egyetemek teljesítményértékelése, rangsorolása vagy pusztán összehasonlítása nem  újkeletű, és az utóbbi évtizedekben jelentős elmozdulás következett be ezen a területen. A korábbi és viszonylag egyszerűbb szakértői értékelési folyamatok (peer-review) helyett a modern információs technológiai eszközök megjelenésével olyan új és kifinomultabb értékelési eljárások váltak elérhetővé, amelyek számos objektív kritérium és teljesítménymérő szempont alkalmazását teszik lehetővé. (Thelwall, 2008) Így a tudományos teljesítmény mérésére használt eszköztár új módszertani és elméleti lehetőségekkel bővült.

A szakértői értékelést két fő területen használják elsősorban, egyrészt a folyóiratokhoz beérkező kéziratok elbírálásánál, másrészt az ösztöndíjak és kutatási támogatások odaítélésének eldöntésénél. Ezen értékeléshez az adott tudományterület magas szintű ismerete szükséges. Ezzel szemben a tudománymetriai megközelítés lehetővé teszi, hogy egy tudományos közösség tagjainak teljesítményét és hatását mennyiségi mutatók alapján összesített formában is értékelni lehessen. (Bornmann, 2011)

Az intézményi teljesítmény értékelésének nemzetközi mintái többek között az angol  Research Assessment Exercise (RAE), és a REF 2014 Panel criteria and working methods kiindulópontként szolgáltak számos ország tudományos intézményhálózatának teljesítmény értékeléséhez. A tudományos teljesítmény átfogó vizsgálata - amely középpontjában már nem pusztán az individuális, hanem egyre inkább az intézményi szint teljesítmény értékelése áll -  a kutatások finanszírozása, a különböző nemzetközi pályázatok és támogatások, illetve a kutatói hálózatok nemzetközivé válása miatt is egyre szélesebb érdeklődésre tart számot. 
Disszertációmban ezen szempontokat is figyelembe véve próbálok meg teljes képet adni a hazai politikatudomány intéményi teljesítményéről is. 

4. Tudományos teljesítmény meghatározása, mérése:

A nemzetközi tudományos életben a tudományos alkotómunka egyik fontos része az új eredmények publikálása, ezért a legismertebb tudománymetriai mérési eljárások a publikációk mennyiségét, minőségét és visszhangját próbálják meg számszerűsíteni. Az idézettség mérésére egyre változatosabb statisztikai eljárások jelentek meg.

Az egyik legelterjedtebb az impakt faktor (hatástényező), a tudományos folyóiratok átlagos idézettsége alapján megalkotott mutatószám, amely azon a feltételezésen alapul, hogy a cikkekre való hivatkozás az eredmények valamiféle további felhasználását, a többi kutatóra gyakorolt hatását igazolja. Az impaktfaktor egy adott folyóirat két egymást követő évfolyamában közölt cikkeinek – a cikkek számával arányosított – átlagos idézettsége a rákövetkező harmadik tárgyévben. Az érték kiszámítása a Thomson Institute for Scientific Information (korábbi nevén: Institute for Scientific Information, ISI) adatbázisai alapján történik. A szerzők általában a lehető legmagasabb impakt faktorú lapban igyekeznek publikálni cikkeiket, hiszen ott egyrészt több hivatkozást remélhetnek, másrészt szakmai szempontból ezek a folyóiratok általában nagyobb presztízsűek. Ezen alapszik, hogy a szerzők egyes cikkeire, illetve teljes munkásságára is szokás összesített (kumulatív) impaktfaktor értékeket számolni, noha ez ellenkezik a mérőszám bevezetésének eredeti céljával. A folyóiratok impaktfaktora évről évre változik. Konkrét esetben a cikk megjelenésének évére vonatkozó értékről – az egyszerűség kedvéért, ennek hiányában – a legutóbbi értékről beszélünk.

Idézettség

Az idézettségi index alkalmazása lehetőséget biztosít egy adott cikk hatásának feltárására. Egy publikáció jelentős&´gét azzal is becsülhetjük, ha megszámoljuk a forrásmunkaként rá hivatkozó más publikációkat. Hasonlóképpen, egy kutató munkájának jelentőségét kifejezheti az, hogy műveire összesen hány, mások által írott hivatkozást (citációt) kap.  A hivatkozások száma csak a formálisan is publikált hivatkozó művek esetében értelmezhető. A nem publikált művekben, például kéziratokban, szakdolgozatokban fellelt hivatkozások száma e szempontból lényegtelen. A világ rangosabb nemzetközi szakfolyóiratainak hivatkozási listáit feldolgozza például az ISI Web of Science, vagy a Scopus adatbank. Nyílt elérésű, és emiatt egyre népszerűbb, de a teljesség szempontjából megkérdőjelezhető rendszert indított  Google Scholar néven az ismert informatikai óriásvállalat. Ezeket használva a különböző kutatók idézettsége az adott indexelő szolgáltatás körén belül vizsgálható. Az újabban előfeltétellé váló idézettségi adatok nyilvántartása érdekében sok kutató saját listát is vezet, ami általában a fentiektől eltérő eredményt ad.

Hirsch-féle h-index

Definíció szerint: "Egy kutató indexe h, ha pontosan h darab olyan cikke van, ami legalább h idézetet kapott (vagyis a többi cikkei ennél kevesebbet kaptak)." A magas h-indexű kutató tehát sok, erősen idézett cikket publikált. A kutatói gyakorlatban 6-7-es értéket viszonylag könnyű elérni, de az index további növelése innen már nehéz. A 20-as h-index már nemzetközileg is figyelemre méltó teljesítmény.

Publikációs index

A publikációs index az életkorból adódó esélyegyenlőtlenség kiküszöbölésével mutatja az adott szerző tudományos hatását A pályán eltöltött évek kiszámítása megegyezik a nemzetközi standard számításmóddal, azaz a szerző 25. életévétől kezdődően számit, ugyanis körülbelül ekkortól van elvi lehetőség a megszerzett tudás birtokában a tudományos pályára lépésnek. Ezzel a meghatározással a pályára lépés becsült évet kapjuk, nem pedig a személyenként gyakran eltérő tudományos pályára lépes konkrét évet.

A kutatásban főként a publikációk és idézetek számára, és az ezen adatokból létrehozott arányskála mérési szintű publikációs és idézettségi indexre támaszkodik. Ezen változók mellett a szerzők biográfiai adatai is fontosak, melyek főként nominális és ordinális változókat foglalnak magukban, mint az életkor, nem, legmagasabb tudományos fokozat, tudományterület, inézményi háttér, oktatói-kutatói tevékenység…stb.

5. Citációs adatbázis
A kutatás kiinduló vázát, egy az MTA PTI keretein belül létrehozandó citációs adatbázis adja, amely elsősorban a Politikatudományi Szemlében megjelent tanulmányok szerzőinek publikációira és az általuk hivatkozott művekre, illetve ezen művek szerzőire fókuszál, lehetővé téve a Szemlében közölt publikációkban megjelenő adatok objektív mennyiségi mutatókkal történő olyan elemzését és leírását, amely alkalmas a tudományterületen jelenlévő egyéni és intézményi teljesítmény mérésére egyaránt.

Az alapsokaság a Politikatudományi Szemle alapítása óta eltelt években megjelent publikációk és az általuk hivatkozott szerzői képezik.
A tudománymetriát már régóta foglalkoztatja a szerzők és az általuk írt cikkek száma közötti összefüggés, melyet A. J. Lotka vizsgált először. A vizsgálat tárgyát képező publikációk számának megoszlása ugyanis nem normál eloszlást követ, mivel sokan publikáltak egy tanulmányt, és egyre kevesebben publikáltak kettő vagy több cikket. Lotka törvényének lényege, hogy az n dolgozatot írt szerzők száma 1/n²-tel arányos. „Azaz  minden 100, meghatározott időintervallum alatt mindössze egy cikket írt szerzőre 25 két dolgozatos, 11 háromdolgozatos jut, és így tovább.” (Price, 1979)  Tehát törvényének értelmében, egy adott szakterületen a szerzők 60 százalékának csak egy publikációja lesz, 15 százalékának két közleménye 7 százalékának három publikációja valószínűsíthető és így tovább.
Egy szerző publikációinak száma és a szerző idézettségének gyakorisága összefügg. Bizonyos esetekben azonban vannak sokat publikáló de keveset idézett, vagy sokat idézett de keveset publikáló szerzők is, akik hatást fejtenek ki a tudományra, azonban a legtöbb esetben a legnagyobb arányt a vagy csak egyszer publikáló, vagy csak egyszer idézett szerzők képezik. A vizsgált alapsokaság (publikálók és hivatkozottak) igen terjedelmes, ezért a fentiekből adódó aránytalanságok elkerülése érdekében szükség van bizonyos szelekcióra, hogy csak a meghatározó szereplők kerüljenek a mintába, akik tudományos teljesítményük révén jelentősen hatottak a tudományos közösségre.

A minta kialakításának legfőbb célja, hogy a politikatudományra hatást kifejtő tanulmányok szerzői és a leggyakrabban hivatkozott szerzők feltárása megvalósuljon, így ezen elemzés tárgyát és egyben elemzési egységét nem cikkek, hanem személyek, azaz a publikálók és/vagy hivatkozottak vizsgálata képezte. A mintába az a szerző került be, akinek a Szemlében megjelenő publikációinak száma és/vagy az idézettségének száma együttesen eléri a legfelső decilist.

6. Az adatbázis kialakítása

A kiinduló adatbázis felépítése a vizsgálandó változók köré csoportosul:
Az adatbázis felépítése, főbb változók:

  1. Közlő folyóirat

Politikatudományi Szemle – a továbbiakban bővülne a hazai társadalomtudományos és politikatudományhoz kötődő folyóiratokkal.

  1. Évfolyam       
  2. Szerző neve
  3. Születési éve  
  4. Tudományos fokozata
  5. Munkahelye
  6. Tanulmány címe        
  7. Rovat 
  8. Kulcsszavak  
  9. Tudományterület
  10. Idézett tanulmány szerzője   
  11. Címe  
  12. Típusa: A különböző jellegű művek munkaigénye és szerepe más és más, ezért ezen kategória megkülönböztetése és használata egyre fontosabbá válik. Ilyen kategóriák például könyvek, könyvfejezetek, lektorált cikkek idegen nyelvű szakfolyóiratokban, lektorált cikkek magyar nyelvű sza´kfolyóiratokban, nem lektorált cikkek, térképek, digitális adathordozón megjelent művek, ismeretterjesztő cikkek, internetes cikkek, stb.
  13. Folyóirat/tanulmánykötet esetén – közlő folyóirat/tanulmánykötet címe
  14. Kiadás éve
  15. Idézett mű nyelve

Így az adatbázisban szereplő Szemle adatok fenti szempontok alapján válnának a felhasználó számára hozzáférhetővé, lehetővé téve:
egy adott szerző Szemle-publikációra, Szemlében kapott hivatkozásaira, a szerző intézményi hátterére, fokozatára, biográfiai adataira,
egy adott cikk Szemle-hivatkozásira, alapvető struktúrájára (hivatkozott szerzőkre, hivatkozott művek típusára, címére, nyelvére, megjelenési évére) kulcsszavaira
történő keresést.
A hazai adatbázis létrehozása és elemzése mellett a kutatás a szerzők nemzetközi idézettségét és tudományos hatását is vizsgálja a rendelkezésre álló külföldi adatbázisok alapján, ezzel lehetőség nyílik a hazai és külföldi hivatkozott munkák és szerzők részletes bemutatása, a nemzetközi és hazai hatást kiváltó művek bemutatására, feltárására.
A szerzők és műveik hatásának bemutatása mellett fontos szerepet játszik a biográfiai háttér, és a kutatóintézeti, egyetemi kutatói é oktatói tevékenység is. Az intézményi háttér feltérképezése révén vizsgálható, hogy a tudományos siker és a finanszírozás között van-e kapcsolat.

Felhasznált irodalom

Balogh István(1999): A politikatudomány Magyarországon az 1990-es években In.: Politikatudományi Szemle 1999. 2. 131. o.
Bihari Mihály (1993): Mérlegen a politikatudomány  In Politikatudományi Szemle 1993. 1. 104 -110.o.
Bornmann, Lutz (2011) Peer Review and Bibliometric: Potentials and Problems” in Jung Cheol Shin, et al. (eds.): University Rankings Theoretical Basis, Methodology and Impacts on Global Higher Education 145-164 pp.
Butler, Linda –McAllister, Ian (2009) : Metrics or Peer Review? Evaluating the 2001 UK Research Assessment Exercise in Political Science In: Political Studies Review: 2009 VOL 7, 3-17 pp.
Körösényi András-Tóth Csaba-Török Gábor (2008): Ki a politológus? Tudós, elemző és más szerepek In.: Politikatudományi Szemle 2008/2 XVII. évf.  8.o.
Lánczi András (2001): A politikatudomány helyzetéről és állapotáról In: Lánczi András: A politika reneszánsza Budapest,  Pallas stúdió – Attraktor Kft. 147.o.
de Solla Price, Derek (1979): A kutatás kutatása. In.: Kis tudomány – Nagy tudomány  Budapest, Akadémia Kiadó, 168.o
Such György - Tóth István János (1989): A Közgazdasági Szemle tudománymetriai vizsgálata In Közgazdaságtudományi Szemle, XXXVI. évf.,1989 10.sz. 1163-1241. o.
Thelwall, Mike (2008) Bibliometrics to Webometrics  Journal of Information Science, 34/4 605-621
Tóth István János (2004): A magyar közgazdászok tudományos hatásának és produkciójának mérése 1969-2004 , Budapest
http://www.wargo.hu/kutatasok/letoltes/kozgazdaszok_2004_041116.pdf (A letöltés időpontja 2008. november 13-a)
Oszti Judit: A tudománymetria eredményeinek alkalmazása a tudományos kutató munkában http://www.zmne.hu/Forum/06harmadik/metria_.htm (A letöltés időpontja: 2009. február 6-a)
http://www.rae.ac.uk/2001/AboutUs/  letöltés: 2012.12.13.
http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12_1.pdf  letöltés: 2012.12.13.

 





A weboldal megfelelő működéséhez ajánlott böngészők:
Chrome v15 Firefox v7 Opera v11 Safari v5 IE v9

A weboldal az MTA TK Politikatudományok Intézetének az üzemeltetése alatt áll. 
© MTA TK PTI 2012-2013

powered by web-prog | framework
Powered By Web-Prog Media - TE framework - Database - Váczi Zsolt web developer