REFORMY (311) Pavlát: "věda" a Věda na VŠ/4

7. prosinec 2015 | 07.00 |

Mimořádně velký zájem na 18. ročníku vědecké konference Lidský kapitál a investice do vzdělání vzbudil příspěvek doyena konference doc. Vladislava Pavláta nazvaný "K vědeckému výzkumu na vysokých školách". Myslím, že je na něm hodně pravdy. Dostal jsem několik řádostí od účastníků konference o jeho zaslání. Tak jsem se rozhodl zveřejnit jej na pokračování pro širší okruh zájemců, byť zatím jen v pracovní (ještě nedokončené) podobě:

K vědeckému výzkumu na vysokých školách – část VI.

Doc. Vladislav Pavlát

Vraťme se nyní ke Špálovu článku a uveďme (zkráceně) autorovy názory na impakt faktor, shrnuté – po obsáhlém předchozím pojednání – na závěr jeho úvah. Podle Špály impakt faktor (dále jen i.f.) nemůže nahradit citovanost článku. Na časopis (v němž byl článek uveřejněn) se i.f. vztahuje pouze jako na celek. I.f. je platný pouze pro daný časopis a pro daný rok. I.f. neplatí pro jednotlivé články, ani pro jejich autory. I.f. odhaduje průměrnou pravděpodobnost citovanosti. "...je třeba si uvědomit, že "...časopis má dobrý i. f. proto, že se v něm za významné účasti editorů a recenzentů publikují právě ty kvalitní práce. A ne naopak, že by článek byl kvalitní proto, že je v časopise s dobrým i.f." http://ikaros.cz/impakt-faktor-%E2%80%93-dobry-sluha-ale-spatny-pan (2006)

Špála své úvahy o impact faktoru uzavírá upozorněním na to, že i.f. "nějakého časopisu, bez citačních ohlasů k danému článku v tom časopise uveřejněném, nestačí k hodnocení vědecké práce. Svou jednoduchostí a dostupností může být jedním z řady kritérií pro hodnocení publikační činnosti jednotlivců i institucí. I. f. sám jediný, zvláště bez posouzení kvality výzkumu nezávislým expertem z daného oboru, nikdy nemůže stačit. Pokud ovšem nemá posloužit hodnotitelské administrativě jako domnělá záruka objektivity."

I když Špálův pohled, výrazně ovlivněný E.Garfieldem (tvůrcem citačního indexu a jedním z nejvýznamnějších odborníků v otázce hodnocení výsledku vědeckých výzkumů),již je částečně překonán pozdějším vývojem scientometrie, dodnes je zdrojem cenných informací a zasvěcených názorů. Viděno dnešní optikou, dnešní význam uvedeného hodnocení impaktů spočívá předně, v upozornění na jednostrannost i.f. jako biobliometrického ukazatele, vyplývající z jeho povahy kvantitativního ukazatele, za druhé, v kritice názoru, že by tento bioblimetrický ukazatel měl být (právě jako pouze kvantitativní ukazatel) jakousi garancí objektivity. Z mylného spoléhání na tuto fiktivní objektivitu pravděpodobně dodnes pramení přeceňování impakt faktoru v "české kotlině", ponecháme-li (raději) stranou jiné motivy této skutečnosti.

Diktát mocných globálních "impaktovlastníků", kteří se pokusili přivlastnit si "právo" monopolního hodnocení výsledků vědeckého bádání, dnes již je zčásti nahlodán kritikou, podloženou novým vývojem scientometrie.

Některé kritické reakce na problematiku aplikace impakt faktoru však ještě i dnes pravděpodobně mohou pramenit i z toho, že tito kritikové přesně nevědí, co vlastně "impact factor" znamená. Mohou však oprávněně pramenit i ze zneužívání impakt faktoru k hodnocení kvality hodnocení instituce nebo jedince. Tato osudná (a ostudná) záměna otevírá dokořán dveře nejen nedorozuměním, ale vytváří i prostor pro manipulace, machinace a přímé podvody. Tato otázka však již přesahuje rámec našich úvah.

Slova "impaktománie" jsem použil proto, že existující honba za impakty leckdy svědčí o nepřesném vnímání (nebo zneužívání) tohoto scientometrického a bibliometrického údaje. Impakt faktor nelze uznávat za rozhodující kritérium ani pro hodnocení instituce, ani pro hodnocení autora uveřejněného článku.

Obdobně panují falešné představy také o tzv. citačním indexu. Zde jen stručně: citační indexy neboli rejstříky sledují citace vědeckých článků podle jejich citovanosti. Americký "The Institute for Scientific Information" (ISI) vede jednak rejstřík ISI Web of Science, který sleduje citovanost uveřejněných článků, a zároveň slouží jako mezinárodní bibliografická databáze. Kromě toho ISI analyzuje výsledky citovanosti článků ve vybraných vědeckých časopisech, které soustavně sleduje, a uveřejňuje je v časopise Journal Citations Reports. Kromě WebofScience se sledováním citací soustavně zabývá další rejstřík Scopus (zavedený r.2004 paradoxně v Elsevier).

Na první pohled se uvedené rejstříky pro sledování výsledků vědeckých výzkumůjeví jako velmi užitečné a potřebné. O tom v podstatě není pochyby.

"Dábel však tkví v detailu," neboť uvedené nejznámější rejstříky ve světě výběr sledovaných časopisů stanovují podle vlastních kritérií a pravidel. Jistě lze pochopit, že veškeré vědecké časopisy na světě stěží lze (i při dnešních možnostech výpočetní techniky) sledovat. Nekontrolovaný a v podstatě nekontrolovatelný výběr časopisů, který ISI provádí, však nemusí být přijatelný jako "arbitr" významnosti autorů nebo časopisů, do nichž tito autoři "jsou vpuštěni", ani jako "nejvyšší soudce" rozhodující o přínosu (a míře přínosu) daného vědeckého článku, a tím i o významnosti jeho autora. Jinak řečeno, podobně jako u všech existujících metod měření (rating, skóring, ranging apod.) i v případě uvedených rejstříků nelze a priori vyloučit nebezpečí subjektivního, nahodilého, příliš úzkého nebo naopak širokého výběru, anebo i diskriminačního přístupu. Tyto a podobné nedostatky o hrozby stěží lze úplně vymýtit, avšak jistě existují možnosti, jak jim předcházet a jak je důslednou kontrolou alespoň omezovat. Podle mého názoru jediným účinným nástrojem je důsledné dodržování etických zásad, jejichž porušením by se v dané chvíli provinilec fakticky vyloučil z dané komunity.

Dosavadní stav však – zdá se - signalizuje, že k tomu nejspíše chybí všeobecná vůle, a to nejméně z těchto důvodů: předně, brání tomu monopolní, resp. oligopolní postavení soukromě vlastněných institucí – majitelů rejstříků; za druhé, zachování status quo podporované financializací přístupu k vědeckým poznatkům a globalizací; za třetí, jde také - par excellence - o otázku výrazně politickou, resp. mezinárodně politickou. Přes pádnost těchto argumentů a nízkou pravděpodobnost prosaditelnosti potřebných reforem, považuji za povinnost každého vědce usilovat o nápravu (alespoň v lokálním měřítku, protože globálně to za dnešních poměrů často nebývá možné). Domnívám se, že diskuse o tom - v žádné zemi na světě – nejsou zbytečné, protože každá pozitivní změna je žádoucí.

K impaktům se nyní pokusím formulovat některé dílčí závěry: předně, rozhodně se nedomnívám, že by sledování impakt faktorů bylo zcela zbytečné: nemělo by však být fetišizováno; za druhé, rovněž se nedomnívám, že by existující systém ISI měl být nahrazen jiným, podobným systémem (i takové návrhy totiž již existovaly). Ostatně je známo, že řada zemí ve světě se - podobně jako např. u ratingu – brání proti diktátu "světově uznávaných" tím, že si pro danou zemi zavádějí vlastní systémy hodnocení výsledků vědy a výzkumu, což je přirozené, racionální a naprosto oprávněné. Nedostatkem tohoto počínání však bohužel často bývá značná byrokratizace systému národního řízení vědy, a pokud vznikají "na zelené louce", obvykle i neprofesionálnost některých rozhodnutí a předpisů. Konečně za třetí, domnívám se, že aplikace impaktů jako hlavního měřítka pro hodnocení výsledků vědecké práce individuálních badatel měla být obohacena o využití kvalitativních přístupů.

http://veda.vse.cz/publikace/citacni-index-a-impakt-faktor/co-je-impakt-faktor-citacni-index-apod/

Kritika některých stránek praktické aplikace impakt faktorů poskytla některé významné impulzy pro bádání v oblasti bibliometrie i scientometrie. Nakonec došlo k tomu, k čemu vlastně dříve nebo později dojít muselo: začalo být zřejmé, že výsledky vědecké práce a jejich kvalitu kvantitativními ukazateli vlastně ani nelze. Byly hledány a nalezeny alternativní způsoby, jimiž lze kvalitu vědeckého výzkumu hodnotit dokonaleji na základě kvalitativních hledisek.

Cestu k tomuto vyústění kritických diskusí otevřely zejména požadavky vyjádřené v dokumentu DORA (r. 2013), které zde stručně uvádím ve vlastní interpretaci, která nemusí být zcela přesná.

Přidaná hodnota nových poznatků spočívá především v tom, že se postupně od preferování jednoho způsobu hodnocení vědeckých poznatků přechází k využívání alternativních přístupů, kterými je úspěšně doplňován. Potvrdilo se totiž, že pro různé účely je vhodnějším řešením volba více než jednoho přístupu. Tuto tézi v r. 2013 razila i Deklarace ze San Francisca (DORA).

"Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist's contributions, or in hiring, promotion, or funding decisions.”1

Přivrženci DORA vystoupili s těmito konkrétními návrhy, resp. požadavky: 1. Od využívání metriky založené hlavně na impakt faktoru jednotlivých časopisů při rozhodování o financování vědy, o jmenování výzkumných pracovníků do funkcí a při rozhodování o jejich kariérních postupu musí být vymýceno. 2. Hodnocení kvality výzkumu musí být založeno na vlastním přínosu publikací spíše než na skutečnosti, v kterém časopise posuzovaý článek byl uveřejněn . 3. Je nutno využívat možnost publikace on-line (a zbavit se v článcích zbytečných limitů jako je povolený počet slov, obrázků a odkazů na literaturu, a zkoumat nové ukazatele významností a dopadu obsahu uveřejňovaných statí).

Dnešními alternativami impakt faktoru a původních citačních indexů jsou zejména nové způsoby měření, jako je Eigenfactor, Altmetrics a h-index. Odůvodnění nových způsobů hodnocení v americké diskusi o tom, zda elektronické publikace (on-line) mají tutéž platnost jako vytištěné. X

Poznámka. Jason Priem, University of North Carolina—Chapel Hill, presented at the Allen Press 2013 Emerging Trends in Scholarly Publishing™ Seminar and argued that online publishing is just as valid as print publishing, and that our metrics should reflect and grow as the industry changes.

Rozhodujícím argumentem ve prospěch on-line publikací jsou nové možnosti, které otevírají pokroky v informačních technologiích.

V České republice dosud řada akademických pracovišť (možná i většina? Nemám zjištěno) stále využívá přednostně nebo výhradně impakt faktoru (např. 1.Lékařská a 3. Lékařská fakulta UK). Naproti tomu CERGE (UK) spolu s impakt faktorem aplikuje Altmetrics

Zpráva UK z r. 2014:Jason Priem, University of North Carolina—Chapel Hill, presented at the Allen Press 2013 Emerging Trends in Scholarly Publishing™ Seminar and argued that online publishing is just as valid as print publishing, and that our metrics should reflect and grow as the industry changes.7

4.3. Pozor na predátory a na úřední předpisy.

Nechci zde otevírat Pandořinu skřínku nebo almaru s číhajícím kostlivcem, nemohu se však nezmínit i o využívání neznalosti nebo nemístné důvěřivosti kolegů činných na poli vědy. Uvedu jen několik poznámek k nesolidnímu nebo podvodnému jednání vydavatelů některých vědeckých (nebo spíše pseudovědeckých a zlatokopeckých) časopisů. Podotýkám, že jsou to doložitelné příklady ze soudobé praxe.

Počet časopisů vědeckého typu ve světě – zejména v posledních letech - neustále roste; je to celkem zákonitý koloběh: některé staré přežívají, jiné tradiční se modernizují, zcela nové vznikají – a často zanikají. Orientovat se v tomto kolotání je obtížné a pro většinu vysokoškolských pedagogů, kteří jsou zároveň výzkumníky, je časově naprosto neúnosné se do tohoto galimatiáše snažit proniknout. Proto jsou tak důležité služby erudovaných knihovníků, kteří znají know-how, jak včas (než vzniknou finanční a jiné ztráty) odhadnout, kdo je tzv. predátorem. Představte si situaci, kdy se někomu podaří uveřejnit příspěvek z vědecké konference ve Sborníku, který např. se dostane do rejstříku Scopus. Predátor si potenciální "kořist" vyhledá (na to má automatické vyhledávání) a lichotivě ji osloví. Láká ji pak všemi možnými prostředky marketingové manipulace (nikoli komunikace!) a slibovanými výhodami k zaslání "papers," které hodlá za "výhodných" podmínek uveřejnit. Zájem je o nové příspěvky z autorova oboru, i o příspěvky z autorova "šuplíku", které tam (z nějakého důvodu) uvízly. Pak už jde všechno svou cestou (jako po másle) – pozitivní "review" (obvykle s úpravou drobných úprav), ale hlavně zaplatit první (ale nikoli nutně poslední) "fee". Důvěřivý autor pak už musí jen čekat. Někdy se nemusí ani dočkat, protože mezitím daný časopis přestal vycházet.

Oblíbení jsou marketingové hrátky s nabídkou uveřejnění "for free". Někdy se po údajném schválení uveřejnění jeho článku dozví, že "for free" neznamená bezplatně, ale že něco je "payable" (jako režie, náklady na opravu formátování apod.). Důvod se vždycky najde. Jindy se zájemce dozví, že si manipulátor for free" za neznámým účelem stahuje autorova data prostřednictvím "cookies" (a jiných (víceméně neregulérních?) nástrojů. Pak je beztrestně přeprodává nějakým dalším (i podezřelým?) zájemcům.

Diktát vydavatelů různých "journals"(jimiž se dnešní svět vědy hemží), se někdy projevuje požadavkem, aby autoři články zaslali v podobě "dodávky na klíč" (opět po zaplacení nějakého "fee"), aby se dodaný "paper" dalo jen zasunout do nějaké předem připravené šablony daného časopisu, čímž se má zajistit, aby "journal" "sypal dostatečný zisk" (podle odhadu kritiků až 60% ročně).

Kritika tohoto globálně diskriminačního počínání je nezbytná, aby se situace ještě dále nezhoršovala. To však neznamená, že by v uveřejňování výsledků vědeckého bádání neměl být nějaký řád. Ovšem řád, a nikoliv (nyní dosti běžné) rozmanité "zlořády".

Řízení vědy a výzkumu je dnes z řady důvodů považováno ve většině zemí za nezbytné. Předpisy obvykle bývají nejen komplikované, ale často i nesrozumitelné (mj. snad i proto, aby vyžadovaly dodatečný výklad, snímající z "úřadu" povinnost nějakého placení). Vnucuje se mi analogie s daňovými předpisy některých (všech?) zemí.

Každému badateli lze doporučit, aby si relevantní předpisy ve vlastním zájmu alespoň "v kostce" přečetl, popřípadě později i prostudoval. Jinak se např. může ex post dozvědět (poté, kdy do hlášení napíše, že úspěšně publikoval svůj článek v některém časopise), že nedostane "čárku", protože ten časopis není řazen mezi "ty správné." Vydané "ceníky" jsou neúprosné a jejich zkoumání autorům nelze doporučit, protože úřední hodnotitel je ex post může změnit.

Řízení vědy http://www.vyzkum.cz/FrontClanek.aspx?idsekce=18748

Pro autory relativně bezpečné většinou jsou universitní časopisy. Ale pozor: jejich status bývá každoročně úředně zkoumán a může být změněn: ze seznamu registrovaných časopisů může některý být vyškrtnut; jistou útěchou pro autory může být, že jiný časopis tam může být připsán. Tím nejhorším však může být i déletrvající nejistota, kam některý časopis vůbec patří.

Namísto závěru

Jednou z podmínek pro zkvalitňování vysokoškolské výuky cestou aplikace výsledků vědeckých výzkumů (prací výzkumníků z vlastních řad dané university i využíváním výsledků z jiných universit) do výuky je vytvořit prostředí, umožňující diskuse o aktuálních problémech vyučovaných oborů.

Vědecké diskuse, nejsou-li vedeny jako demokratická svobodná výměny názorů, nemají smysl. Musí být vedeny bez "umravňování" nositelů jiných názorů, než které silově (prostřednictvím medií) často prosazuje módní "mainstream."

Bylo by užitečné, kdyby se na universitách vytvářela zvyková pravidla, která by měla etický význam. Někde již podobná pravidla existují. Heslo "Audiatur et altera pars" by v oblasti diskusí mělo platit bez výjimky.

Bez diskusí o výsledcích výzkumů, konaných na universitách, a bez aplikace ověřených vědeckých poznatků do výuky, je permanentní zkvalitňování VŠ výuky téměř nemožné.

Mnohé dnešní nedostatky v oblasti universitního výzkumu lze omezovat nebo odstraňovat v podstatě bez dodatečných finančních nákladů. Musí k tomu však existovat dostatečná vůle, rozhodnost a organizační schopnost.

(Pokračování dalším příspěvkem)

Zpět na hlavní stranu blogu

Hodnocení

1 · 2 · 3 · 4 · 5
známka: 0.00 (0x)
známkování jako ve škole: 1 = nejlepší, 5 = nejhorší

Komentáře

 zatím nebyl vložen žádný komentář