Как се определя качеството

Ст.н.с. I ст. Константин Хаджииванов, Ст.н.с. І ст. Николай Малиновски
25 Август 2009, брой 193

Нов начин за оценка на изследователската дейност в света сочи, че у нас само БАН и 4 университета са добри в науката

Общоприето е мнението, че точната оценка на научната дейност е не само трудно, но и невъзможно нещо. В света обаче милиони хора се трудят на попрището на науката и затова са разработвани множество методики за оценка на техния труд.
Най-лесният и популярен начин за индивидуална оценка на един изследовател е броят научни трудове, на които той е автор или съавтор. Подобно е и положението с научните институции, като, разбира се, се отчита и числеността на персонала им. Немалка част от научните трудове обаче са безполезни и от тях има по-скоро вреда (безсмислени издателски разходи, тривиална научна информация), отколкото полза. Ето защо по света се е наложила практиката да се отчитат само научни трудове, публикувани в т.нар. реферирани международни списания. Има различни рефериращи институции, но Институтът за научна информация ISI в САЩ (част от корпорация "Томсън") се е утвърдил като най-авторитетната. В базата данни ISI Web of Knowledge се реферират 6598 списания от различни кътчета на света, включително и три от България ("Доклади на Българска академия на науките", "Oxidation Communications" и "Propagation of Ornamental Plants").
Публикуването в реферирано от ISI списание не е гаранция, че научният труд е качествен. Във всички случаи обаче вероятността той да се причисли към информационния шум е доста ниска. Повечето от реферираните от ISI списания поддържат качество чрез система от рецензенти: задължително условие за публикуване в тези списания е научният труд да се одобри от двама, трима, понякога четирима анонимни рецензенти. Въпреки това "сивият поток" от научни статии не може да бъде напълно спрян - част от тях успяват да се промъкнат и през ситото на рецензентите.

Ясно е, че отчитането само на международно реферираните статии е по-добър начин за оценка на научната дейност, отколкото броенето на всички научни трудове. Това се отнася особено за интернационални науки, като математика, физика, химия, биология, медицина, икономика, социология и т.н. Изниква и въпросът за съавторството - естествено е колкото по-голям е научният колектив, толкова по-качествена да е научната работа. На практика обаче за всеки учен се разглежда броят на всички научни трудове, в които той е съавтор, което поставя в по-неизгодна позиция учените, които нямат "вкус" към големи научни колективи.  

Тук обаче изниква въпросът за количествено определяне на качеството на научните трудове. Макар и все още този въпрос да е дискусионен в някои среди, наложената световна практика е качеството на един научен труд да се определя посредством цитиранията му. С други думи, колко пъти други учени са използвали резултатите от един научен труд в подкрепа на собствените си изследвания. Истина е, че е възможно един по-качествен научен труд да събере по-малко цитати от някой посредствен труд. Цитируемостта зависи не само от качеството, но и от много други фактори. На първо място - времето. Колкото повече време минава (в разумни граници), толкова повече цитати събира един научен труд. Има научни области, които са по-модерни и там цитируемостта е по-висока. Цитатите зависят и от списанието, в което е публикувана статията, съавторите (ако някой от тях е Нобелов лауреат, естествено и цитируемостта ще скочи) и т.н.
Във всички случаи обаче, когато се оценява дейността на учен с достатъчно дълъг стаж, например над 10 години, статистическата грешка намалява и броят на забелязаните цитати върху научните му трудове дава доста добра представа за влиянието, което е оказал върху световната наука. Доскоро на практика отделните учени се оценяваха най-вече по броя на забелязани цитати или по индекс на цитируемост (среден брой цитати за статия). Понякога обаче простото съпоставяне на цитатите води до лъжливи резултати. Така например има случаи, когато около някой изявен учен се формира колектив - сътрудници, докторанти, постдокторанти и т.н. Невинаги тези сътрудници са на достатъчно високо ниво, но те "черпят" от научната известност на ръководителя си.
Нека си представим, че един докторант публикува 3 научни труда с ръководителя си, като всеки от тези трудове е цитиран средно по 100 пъти. След това този докторант започва да работи самостоятелно, но без особен успех, статиите му почти не се цитират (Табл. 1, колона 1). Нека сега сравним този учен с друг, който има същия брой публикации, но поддържа постоянно качество на научната си дейност и е цитиран същият брой пъти (Табл. 1, колона 3). За научната общност е ясно, че вторият учен е с по-високи качества, но това не личи нито от броя на работите, нито от броя на цитатите. Индексът им на цитируемост (15.75) също съвпада. Ако си представим, че първият учен е публикувал само първите три научни труда и след това се е отказал от научна дейност, то неговият индекс на цитируемост е 100. Това показва, че индексът на цитируемост, макар и да дава някаква информация, не може да се използва изолирано от другите научни показатели. Като пример в това отношение ще отбележим, че сред отделните държави и територии с най-висок индекс на цитируемост се отличава британската територия Бермуда, а на второ място е Панама, изпреварващи най-развитата страна в научно отношение - САЩ (5-о място).   
Опит за разрешаване на тези проблеми бе предложен преди около 4 години от Хирш (Hirsch). Той въвежда т.нар. h-индекс, който е цяло число и се дефинира като:
- един учен има индекс h, ако h от неговите статии имат поне h цитата всяка.
По този начин се елиминира влиянието на малък брой високоцитирани работи и се отчита по-точно цялостната научна дейност на даден изследовател.  
Ако се върнем отново към Табл. 1, ще видим, че h-индексът на Учен 1 е 4, а на Учен 2 е 11. Т.е. в случая h-индексът дава доста реална и обективна оценка на научната дейност.  
Макар и h-индексът да е въведен сравнително отскоро, той вече е добил огромна популярност. В повечето научни бази данни има предвидени възможности за изчисляване на h-индекса. В множество конкурси в ЕС, САЩ и други страни първо се гледа h-индексът на кандидата. Тази популярност се дължи на две основни причини: сравнително лесното изчисляване на h-индекса и  сравнително доброто съответствие между реномето на един учен и неговия h-индекс. Трябва да се подчертае, че ако един учен има два пъти по-висок h-индекс от друг, то той е "по-добър" не два пъти, а около 4 пъти (h2). Естествено е, че h-индексът расте с времето. Счита се, че повишаването на h-индекса с единица за една година (след известен индукционен период от 3-4 години) e отлична атестация за един изследовател.    
Разбира се, има и много критики. Основната е, че h-индексът се лимитира от броя на публикуваните статии. Ако един учен е публикувал 20 статии, колкото и качествени и цитирани да са те, то неговият h-индекс не може да бъде по-висок от 20. По тази причина и h-индексът на Айнщайн не е много висок. Друга съществена критика е, че се игнорират високоцитираните статии, които все пак имат значение. В последните 2 години има множество опити за въвеждане на по-обективни критерии, но поради сложността при изчисляването им, а може би и поради известен консерватизъм, те не са придобили популярност.  
С течение на времето h-индексът започва да се използва за оценка не само на отделни учени, но и на тежестта на отделни научни области. Тъй като смисълът на h-индекса е много ясен, напоследък той се използва и като характеристика на научни институции. Разбира се, директно сравнение на институциите на тази база е некоректно, тъй като най-общо научната продукция зависи от броя на учените в една институция. Но споменаването на h-индекса като част от "визитната картичка" на един институт или университет вече става задължително.
Интерес за нашето общество представлява h-индексът на българските научни институции. Определили сме този индекс въз основа на базата данни на ISI за периода 1 януари 1965 - 1 август 2009 г. и резултатите са представени в Табл. 2. Въпреки старанието ни, възможни са минимални вариации, произтичащи от неточно изписване на адресите на отделните научни институции в публикуваните научни трудове.
Таблица 2 ясно показва, че основната научна институция в България е БАН. Във втората група се нареждат Софийският университет и Медицинският университет - София. Техните показатели са много добри, като се имат предвид числеността и ангажираността на учените в тези институции с преподаване и (за медицинския университет) с лечебна дейност. В третата категория са Бургаският университет и Химико-технологичният и металургичен университет - София. Като се има предвид сравнително малобройният преподавателски състав на тези университети, показателите също могат да се приемат за много добри. Отлично впечатление прави и Институтът по онкология. За съжаление показателите на повечето от останалите университети са по-ниски от индивидуалните показатели на множество отделни учени от БАН и от Софийския университет (българският учен с най-висок h-индекс - 44, е С.Т. Петков от БАН).
В последната колона на Таблица 2 са показани и статиите с по над 100 цитата. За разлика от h-индекса, този показател може да се нормира по брой учени. И в този случай обаче ясно се вижда, че основната научна институция на страната ни е БАН, следвана от Софийския университет и Медицинска академия - София.
В скоби са представени статиите с по над 100 цитата, които са без чуждестранни съавтори. Разбира се, международното сътрудничество е важен фактор за високото качество на научните изследвания. Резултатите обаче показват, че само две институции в страната - БАН и Софийският университет, могат да провеждат висококачествена научна дейност със собствени сили.  

 

Висше образование на колела Велиана Христова 22 Август 2009, брой 191 Ще шашнем Европа - колеж предлага приватизация на държавни вузове		Преподавателско начало на сесията
Преди четири дни частният Земеделски колеж в Пловдив даде пресконференция. За да обясни, че е получил нова институционална акредитация, която важи до 2015 г.  При този нов Длиценз" висшето училище е получило оценка Ддобър". Националната агенция за оценяване и акредитация (НАОА) е определила, че то има капацитет да обучава 6500 студенти със своите 260 преподаватели. Акредитацията е дадена на 23 април т.г. Само 23 дни преди това - в края на март т.г., по повод на публикация на ДУМА акредитационната агенция с официално съобщение в сайта си призна, че при предишната си акредитация през 2003 г. (пак с оценка Ддобър") колежът е имал признат капацитет за обучаване на максимум 1200 студенти, но към февруари  2009  г.  реално е имал 8875. Сиреч - със 7675 повече от тези, които му е разрешила държавата. По закон нито едно висше училище не може да приема и да обучава повече студенти от тези, които с му предписани с акредитацията. Нещо повече - в Министерството на образованието, младежта и науката се води регистър на всички реално записани студенти и то отдавна е трябвало да установи несъответствието в бройките. И понеже министърът отговаря за спазването на закона, ексшефът на министерството, което тогава се наричаше МОН, е трябвало да санкционира колежа и да не признае дипломите на обучаваните вповече студенти. Тогавашният министър Даниел Вълчев само санкционира всички вузове, надхвърлили приема за годината, като им намали парите с издръжката на студентите, влезли да учат над разрешената бройка. Мярката обаче можа да разбуни само държавните вузове, понеже частните не получават субсидия от държавата,  а законът фактически не предвижда санкции за тях, ако не спазят изискванията.   Сега се оказва, че от 2009 г. НАОА рязко увеличава капацитета на колежа - с цели 5300 студенти или почти 5 пъти. Пак остават едни  2375 записани младежи, които са вповече и над този капацитет, но поне разликата се намалява. Ректорът на колежа доц. Димитър Димитров заявява, че има 260 преподаватели. Можем да направим извода, че преподавателите на колежа са се увеличили, щом така рязко се увеличава капацитетът му. Само преди три седмици обаче ДУМА оповести един интересен документ на НСИ - "Основни статистически характеристики на образованието през 2008 година". Според националната ни статистика, преподавателите в 9-те колежа у нас са общо 1566, но от тях само 666 (едва 42,5 на сто) са на щат в тези колежи.  Следователно, не е трудно да се сметне, че останалите или са пенсионери, или прииждат на хонорар от средите на 13 100 преподаватели, които работят на щат в университетите. 8900 преподаватели пътуват из цялата страна, за да наливат знания в главите на увеличаващите се на брой студенти, личи от данните на НСИ. Дали акредитационната агенция може да застане зад твърдението, че от общо 666 щатни преподаватели, работещи в колежите, 260 са в пловдивския Земеделски колеж? И, представете си - в двата му филиала в Русе и Велико Търново! Кой точно преподава в тези филиали - щатни преподаватели на колежа, или хора от вузовете на двата университетски града и от София? Ако видим списъка им, ще знаем. Проблемът е, че няма да го видим. Защото в дълбока тайна от обществото се държи колко преподаватели има реално в България и колко от тях водят курсове и легитимират вузове на хонорар. Случаят е само повод да повдигнем за кой ли път основния проблем на необичайно разрасналата се мрежа от структури на висшето образование в България. Вече никой не оспорва, че вузовете ни са много, че съществуват благодарение на едни и същи преподаватели и че това е една от основните причини качеството на обучението спада с всяка година (пази, Боже, нямам предвид конкретно Земеделския колеж). Всички признават факта, но никой нищо не прави. А нещата са повече от ясни - елементарна справка в регистъра на преподавателите (който също се води в просветното министерство, но - забележете, е засекретен за обществото) би показала веднага кой вуз съществува наистина и кой - благодарение на приходящи лектори. Кой спазва законовите изисквания за брой преподаватели на щат и кой не ги спазва. Тази елементарна информация отдавна трябваше да се събира в министерството и още повече - в НАОА, от която зависят всяка акредитация и структурата на цялата система. Защо тези две институции се страхуват да направят елементарното и да сложат ред в системата, можем само да подозираме. Защо в акредитация на всеки вуз НАОА обявява само оценката му, но не и неговия капацитет, само агенцията си знае. За да се реши проблемът, трябва да се промени законът и длъжностите да са конкретно за всяко висше училище, а не да се дават вместо тях звания на национално равнище, коментира зам.-министър доц. Сергей Игнатов. Когато към длъжността има изисквания за лоялност към работодателя, професорът не може да преподава на няколко места, може само да изнася академична лекция, ако го поканят някъде като професор на еди кой си университет, каза за ДУМА Игнатов. Как си представяте професор от Оксфорд да тръгне да обикаля цяла Англия или да си избира две места, на които да участва за целите на акредитацията, както е по закон в България, добави зам.-министърът. Според него това положение в закона трябва да се промени и да се въведат изисквания за длъжност. Вероятно големите вузове ще подкрепят тази идея. Вярно е, че преподавателите обикалят къде ли не, защото са финансово притеснени, но то е като в семейството - поне за пред хората имаш едно семейство, нямаш 10, каза Сергей Игнатов. Но засега само вестниците често пишат по темата, иначе нищо не се случва, освен, че те си навличат гнева на  някои от висшите училища (включително на незаконните, които пък са друга тема, но също дълбоко свързана с висшето образование в страната). Нещо повече, напоследък се лансират мнения, че не трябвало да има изисквания за брой щатни преподаватели в структурите на висшето образование,  Дпазарът"  щял да реши всичко. ДПазарът" може да направи само едно - да създаде още 51 вуза за 7 милиона българи. И какво означава Днамаляване на държавната поръчка за студенти, които се реализират в бизнеса" - увеличаване на изцяло платените студенти? Явно е, че от въртене на бизнес с висшето образование се печели. Иначе нямаше да има в НАОА 14 заявки за откриване на нови частни вузове. Засега одобрените са само 4. Държавните вузове обаче и у нас, и в цяла Европа, пък и в света не са бизнес. Колко държавни висши училища биха подкрепили идеята, лансирана от същия Земеделски колеж - да се удвоят парите на фонд ДНаучни изследвания", като всеки вуз дава 50 %  съфинансиране? Колко държавни вузове могат да извадят да речем 300 000 лв., та да съфинансират един научен проект? Вероятно само частните? Но нека първо и държавните, и частните вузове - особено колежите, сложат на масата научните си резултати, признати като качество не в Крива паланка, а в световната научна класация. Пък тогава може да минем към темата наука. И  накрая - най-интересното ново предложение на Земеделския колеж на споменатата в началото пресконференция, както го съобщиха агенциите: ДДа се приватизират част от държавните университети и техните колективи"! Не знам как се приватизират колективи, знам обаче кой ще иска да ги купи и за колко пари. А с приватизация на държавните вузове по български модел вече със сигурност ще шашнем Европа.