Как оценить продуктивность работы ученого
Как оценивать результативность ученых
31 марта 2016 года прошло четырнадцатое заседание Совета по науке при Министерстве образования. Заявления, принятые Советом, можно прочитать на его сайте.
Заседание совета по науке в основном было посвящено обсуждению весьма актуального — как для отдельных ученых, так и для научных учреждений в целом — вопроса о критериях результативности и качества работы ученого. Цитируемость того или иного автора является не только вопросом престижа, но и одним из важнейших инструментов оценки его деятельности. С точки зрения членов Совета способы такой оценки должны быть разработаны подробнее и при этом необходимо учитывать специфику различных дисциплин. Были приняты два заявления об специфике оценки гуманитарных и технических наук.
В сфере гуманитарных наук была отмечена необходимость при оценке научной продуктивности в полной мере учитывать монографии, включая коллективные труды. Также необходимо учитывать такие сложные и требующие большого труда публикации, как введение в оборот новых источников и отчеты об экспедициях. Совет также предложил соблюдать определенный баланс при учете публикаций на различных языках и сделать так, чтобы для положительной оценки деятельности ученого у него было не менее 20% публикаций на одном из международных языков, но и не менее 20% на русском языке.
Кроме того, Совет считает неадекватными данные, приводимые в международных базах данных WoS и Scopus и предложил при подсчете журнальных статей наравне с ними использовать списки ERIH+ и RSCI. При этом особо было оговорено, что по-настоящему адекватных международных индексов цитирования для гуманитарных наук пока что не существует, и поэтому при оценке исследований в этих областях (не считая социальных и экономических наук) следует отказаться от наукометрических способов оценки, прежде всего от индекса цитирования.
Что касается технических наук, то здесь, по мнению членов Совета, оценка деятельности ученого должна опираться на следующие факторы: качество научных исследований, продуктивность, значимость для общества, устойчивость научной траектории и финансовые показатели. При этом оценка должна дополняться независимой экспертизой. В данной сфере базы данных WoS и Scopus тоже были признаны не слишком подходящими для полноценного оценивания работы исследователя. Помимо индекса цитирования было предложено обращать внимание на такие результаты как технические отчеты, публикации программного обеспечения, патентную деятельность, особенно международные патенты, показатели внедрения научных разработок и т.д.
В общем, Совет хотел бы, чтобы работа ученых оценивалась с учетом специфики сферы их деятельности и указывает, что индекс цитирования — еще далеко не все.
Как измерить продуктивность ученого – немецкий опыт
Проблемы измерения продуктивности ученых и основанной на этих измерениях и расчетах научной политики активно обсуждают как у нас, так и за рубежом. Бюрократы, стремящиеся управлять наукой, хотят иметь ясное представление о том, что, как и с какими результатами делают ученые, когда и какую конкретно прибыль можно ожидать от научных исследований. Они мечтают иметь объективные показатели для измерения продуктивности и креативности как отдельных ученых, так и научных коллективов, чтобы знать, на кого делать ставку, кому и какую платить зарплату. В последнее время составляются всевозможные рейтинги и списки успешных и неуспешных научных и учебных предприятий. Но на этом пути подстерегают самые различные подводные камни и трудности.
Выбранные индикаторы качества научных исследований не являются общепринятыми, имеют различные характеристики в разных направлениях науки и в разных странах. Они могут оказывать сильное обратное влияние на развитие науки и притом часто негативное. Как, например, это произошло с австралийской наукой, финансирование которой было поставлено в зависимость от количественных показателей, что привело к резкому сокращению качества проводимых в Австралии научных исследований.
Не случайно университет Гамбурга (Германия) отказался выдавать свои данные в международную и национальную рейтинговую организацию, хотя и занимает не последнее место в списке ведущих немецких университетов. Основанием отказа было заявление о том, что «рейтинги не отражают реального положения дел в вузе, а это приводит к искажению представления о нем как у абитуриентов, так и у властей». Университет Лейпцига также заявил о подобном бойкоте в 2013 году. Ожидается, что такое же решение примет вскоре и университет Марбурга. В Германии данные для составления рейтингов собирает Центр развития высшего образования (CHE), на международном уровне – Шанхайский университет транспорта и связи.
Немецкий философ и социолог науки Петер Вайнгарт подчеркивает, что выбранные индикаторы качества научных исследований, во-первых, не являются общепринятыми, во-вторых, имеют различные характеристики в разных направлениях науки и, в-третьих, могут оказывать сильное обратное влияние на развитие науки. «Это, в конечном счете, может означать, что академическая культура производства знаний, которая покоится на традициях уникальной комбинации конкуренции, взаимного доверия и коллегиальной критики, будет безвозвратно утеряна. А будет ли то, что появится вместо этого, более легким и не таким дорогим для использования, остается еще открытым вопросом…».
Экспертные оценки, на которых основывается принятие решений о финансировании тех или иных направлений научных исследований, могут зависеть от личных интересов экспертов и представляемого ими научного или ненаучного лобби. Чрезмерная зависимость научной политики от общественных ожиданий может нанести серьезный ущерб науке как социальному институту, привести к инструментализации научного исследования и технического действия, поставить их на службу узкокорпоративным интересам отдельных социальных групп.
Побудителем этому является коммерциализация «знаниевого товара», который рассматривается теперь как особый информационный товар с определенными и приспособленными к его экономическому использованию правами собственности. Но именно этот вопрос в России в настоящее время вообще не прояснен. Старая система государственного владения «знаниевым товаром» перестала функционировать, а новая еще не создана.
В последнее время упор делается на внутринаучные критерии и, в особенности, на публикации в журналах, включенных так называемый список Томсона – Thomson Reuters Master Journal List. Ученые, даже если они не согласны с такой оценкой, вынуждены приспосабливаться к имеющимся критериям оценки и перестраивать научную реальность в соответствии с этой искусственно насаждаемой виртуальной бюрократической реальностью. Этот факт отмечается в докладе экспертной группы MASIS (Monitoring Activities of Science in Society – мониторинг деятельностей науки в обществе) в Европе, подготовленный для Еврокомиссии. Ситуация с социометрическими измерениями сильно зависит от особенностей различных научных областей и стран. Статьи из области фундаментальных биомедицинских исследований цитируются в шесть раз чаще, чем в сфере математики. Кроме того, проведение дисциплинарных границ часто бывает достаточно условным, а междисциплинарные области вообще могут выпасть из такого рода измерительной процедуры.
Интересно, что некоторые наши журналы, например, «Вопросы философии» и «Исследовано в России» также попали в список Томсона. Сейчас, чтобы туда попасть нужно пройти нудную формальную процедуру, и наши журналы вообще на это не обращают внимания. А могли бы повысить свой международный рейтинг.
Научное сообщество довольно быстро приспосабливаются к применяемым вышестоящими органами критериям. Ученые будут дробить тексты, если сегодня в почете не число изданных монографий, а количество статей.
Несколько слов об оценке продуктивности ученого в Германии, которое носит название «оплата труда, ориентированная на конечный результат» (Leistungsorientierte Bezahlung). Я как раз недавно присутствовал на обсуждении таких результатов одного из подразделений Института оценки техники и системного анализа Исследовательского центра г. Карлсруэ Сообщества Гельмгольца, т.е. научно-исследовательской организации. Во-первых, дирекция института открыто обсуждала в форме диалога результаты работы своего подразделения со всеми сотрудниками. Во-вторых, в качестве главного критерия и на первом месте рассматривается публикация в журналах, включенных в вышеупомянутый список Томсона, на втором месте – журнальные статьи в журналах, где есть «слепое» рецензирование и к ним приравниваются выступления на конференциях (независимо от того печатались тезисы или нет) и в сборниках, где есть такое же рецензирование. Причем объем статей не играет никакой роли, а только их число. Монографии стоят на последнем месте. У нас монографии – на первом месте, и важно выбрать план по объему.
В-третьих, специально обсуждался вопрос, как сделать так, чтобы увеличилось число публикаций в англоязычных журналах. Научные сотрудники говорили о том, что они не могут написать качественный английский текст, а руководство предлагало все-таки написать по-английски и дать корректировать перевод специально взятым для этого в штат или внештатно сотрудникам.
Безусловно поддерживаю тот тезис, что «ученых разных типов надо оценивать по-разному». В технических науках социологи науки выделяют «информационных изолянтов», которые занимаются экспериментальной и технической разработкой, но мало публикуются, и «информационных диспетчеров», распространяющих общие результаты в печати. «Связники» – это сотрудники, «которые не являются «диспетчерами», но имеют по две и более связей между отделами и их коллегами по организации.
Нанотехнология попала в фокус библиометрического анализа сравнительно недавно. Это обусловлено тем, что такой анализ возможен только тогда, когда происходит самоидентификация исследователей и в название их работ попадает термин «нано». Иначе просто невозможно в социометрическом анализе по формальным основаниям отделить нанорелевантные работы от публикаций в других, хотя может быть и содержательно весьма близких областях исследования. Библиометрические данные, характеризующие рост числа публикаций и патентов в данной новой области науки и техники, могут быть полезными для определения тенденций и устойчивого ускоряющегося развития нанотехнологии. При этом, конечно, следует отдавать себе отчет в относительности такого рода данных, поскольку, например, некоторые явно нанотехнологические исследования до сих пор выступают под иными вывесками. А в других случаях, наоборот, за нанотехнологию выдаются традиционные научные разработки.
Проведенный анализ публикационного массива показал, что Германия находится на пятом месте в мире, а по количеству патентов в этой области – даже на втором. Германия инвестирует в настоящее время в нанотехнологию государственные средства в объеме примерно лишь в два раза меньшем, чем их выделяется во всем Европейском союзе на эти исследования. В этом плане важную рекламную функцию для науки начинает играть пресса.
Библиометрические исследования с 1995 по 2003 годы показывают отчетливый рост числа публикаций. На их основе можно, например, сделать вывод, что, являясь междисциплинарным направлением науки, нанотехнология тем не менее постепенно консолидируется в новую научную дисциплину, в которой происходит процесс институализации.
Если в такой междисциплинарной области науки статья какого-нибудь физика попадет на рецензию к биологу, хотя оба они работают под вывеской нанотехнонауки, то исход экспертной оценки нетрудно предсказать. В Нанотехнологическом подразделении Института технологий г. Карлсруэ специально взяли физика с дополнительным биологическим образованием, чтобы он переводил с языка структурной биологии на физический устройство ротационной машины, которую можно обнаружить в жгутиковом моторе бактерии.
Физикам легче. Их журналы, например, «Успехи физических наук» или «Вопросы радиоэлектроники», переводятся на английский язык. Прекрасный пример – открытие российским профессором В.Г. Веселаго принципа отрицательного преломления, опубликованное в журнале «Успехи физических наук» еще в 1967 году. Начиная с 2000 года появляется серия публикаций американских ученых о наноматериалах, теоретическое объяснение которых возможно стало именно благодаря ранней публикации нашего ученого. Это было бы невозможно, если бы журнал «Успехи физических наук» не издавался на английском. Многие же (особенно гуманитарные) журналы просто неизвестны за рубежом, но это совсем не значит, что уровень и качество публикаций в них уступает мировому уровню.
К этому нужно добавить еще, что некоторые наши эмигранты просто переписывают старые, но высококачественные работы российских исследователей на английский язык. И вообще, как мне кажется, гораздо серьезнее стоит проблема плагиата. Многие даже не понимают, что это такое, переписывая чужие статьи и книги без ссылок на них. И это не только наша национальная проблема, но и общая мировая тенденция. В университете г. Клагенфурт (Австрия) не только сняли степень с ученого, в диссертации которого был обнаружен плагиат, но и уволили научного руководителя.
Научная продуктивность может измеряться оценкой работы каждого ученого его коллегами или руководителями и отчетами самих ученых о произведенной ими научной работе. Тогда продуктивность каждого ученого оценивается с точки зрения двух критериев: вклада ученого в данную область науки и его полезности для выполнения задач того научного учреждения, в котором он работает. Если же научная продуктивность ученых оценивается по числу созданных им «научных продуктов» (патенты, опубликованные статьи, книги и неопубликованные сообщения, отчеты и официальные выступления), необходима корректная интерпретация полученных показателей.
В принципе можно себе представить такой случай, когда некая группа недобросовестных
«ученых» конституируется в новое исследовательское направление, имитируя дисциплинарную организацию, создавая по форме научное сообщество, однако, не создавая при этом никакого научного знания, а лишь потребляя финансовые средства. Этот гипотетический пример показывает, что, пользуясь одними только социометрическими параметрами, невозможно отличить действительную науку от не науки, или фальшивой, шарлатанской науки, если псевдонаучное сообщество по форме организовано подобно научному. Так было с печально известной лысенковщиной, сопровождавшейся гонением на генетику.
Уровень признания – приглашенный докладчик и т.п. – также как и получение грантов и премий связан часто с круговой порукой. А известная языковая изолированность не обязательно является наследием советского режима. Такую изолированность можно наблюдать, например, и у западных немцев. Я говорю в первую очередь о гуманитарных науках. И преодолеть ее можно скорее институционально, чем индивидуально. В этом смысле стоит поучиться у голландцев, которые в последнее время активно выступили единым фронтом на мировом философском поле. Ими за последние десятилетия опубликованы коллективные монографии на английском языке с привлечением ведущих ученых из других стран. Они выходят на мировую арену не поодиночке, а целой скоординированной командой, активно привлекая своих молодых ученых. В этой ситуации к ним начинают прислушиваться и охотно кооперироваться с ними.
Виталий Георгиевич Горохов, доктор философских наук, профессор
«Управление большими системами». Специальный выпуск 44: «Наукометрия и экспертиза в управлении наукой»
Опубликовано в сокращении. С полным текстом статьи вы можете ознакомиться в приложенном файле.
«Наукометрия и библиометрия»: зачем измерять результативность научного труда и как это делают в 2020 году
Такие понятия, как информетрия, наукометрия, библиометрия и вебометрия, уже прочно встроились в жизнь преподавателей и библиотекарей, даже если мы еще этого не заметили. Сегодня высокая оценка публикационной активности и научной результативности ученого и организации, к которой он принадлежит, ― пропуск в мир авторитетной науки (и объемной господдержки!).
Но как и когда возникла идея оценивать публикационную активность и научную результативность? И как эта оценка происходит? Как базы данных научного цитирования, в которых мы обычно ищем тексты научных статей, решили проблему копирайта и авторского права? Как научное цитирование соответствует вопросам этики научных публикаций? И главный вопрос ― на каких основаниях научные и учебные организации, чьи авторы публикуются в журналах, получают финансирование от государства?
На эти и многие другие вопросы ответил Александр Елизаров, доктор ф.-м. наук, профессор Казанского (Приволжского) федерального университета, главный редактор Объединенной редакции журналов LJM и ЭБ.
На прошедшем 18 и 19 ноября первом учебном модуле «Школы Лани» ― «Наукометрия и библиометрия» ― ученый выступил с лекцией, в основу которой лег личный двадцатилетний опыт профессора.
Действительно, в XXI веке занятие высоких административных и научно-педагогических позиций невозможно без владения на достаточно высоком уровне наукометрическими навыками. Несмотря на то, что в соответствующих должностных обязанностях нигде четко не прописаны подобные требования, их важность неопровержима.
На основе лекции Александра Елизарова «Двадцать лет в наукометрии: опыт директора НИИ, университетского профессора и главного редактора научного журнала» ЛаЛаЛань представляет первый материал из серии публикаций, посвященных недавно прошедшему учебному модулю «Школы Лани».
Познакомиться с первоисточником и записаться на следующий учебный модуль «Академическая грамотность» вы можете по ссылке: https://e.lanbook.com/courses.
Информетрия: определение и объем понятия
Прежде чем перейти непосредственно к наукометрии и библиометрии, познакомимся с понятием, которое вмещает в себя обе названные предметные области, ― информетрия.
Информетрию определяют по-разному, сохраняя единую основу в каждом толковании. Базовое определение звучит так:
Информетрия в современном мире приобретает особенное значение: сказывается все усиливающееся значение информации и прогресс в информационно-коммуникационных технологиях.
Помимо формирования новых областей исследования, связанных с оценкой и изучением социальных сетей, сайтов, интернет-источников и т. д., современная информетрия ставит своей целью разработку современных методов картографии и визуализации научных областей, введение новых показателей (например, h-индекс) и создание новых баз данных научного цитирования.
Информетрия старается определить, куда движется современная наука и насколько это движение эффективно и результативно, для чего и использует свой терминологический аппарат, разветвленную систему формул и перечень сложных индикаторов.
Библиометрия и наукометрия
Чуть выше вы уже познакомились с отношением таких понятий, как информетрия, библиометрия и наукометрия, друг к другу. Но что значит каждое из них?
Истоки библиометрии и наукометрии восходят к 1923 году, когда появилась статистическая библиография. Сейчас, практически спустя сто лет, обе предметные области особенно важны для оценки результативности научной деятельности ученых и преподавателей вуза ― авторов научных публикаций.
Прикладная наукометрия сегодня ― это, в сущности, система показателей, построенная на сопоставлении библиографических данных: количества публикаций и их цитирований. Такие формализованные показатели, разумеется, не являются исчерпывающими, но в современной массовой и коммерциализированной науке их важность общепризнана.
Научные библиографические базы данных
База данных, индексирующая множество научных публикаций, называется научной библиографической базой данных. Ранее ЛаЛаЛань уже подробно писала о базах данных вот здесь.
Научные библиографические базы данных не содержат полных текстов документов (поэтому не связаны проблемами копирайта), а именно индексируют их, то есть содержат метаданные документов. Метаданные содержат следующую информацию:
По-другому база данных научного цитирования называется индексом цитирования. Отсюда, например, и происходит название РИНЦ. Эта аббревиатура расшифровывается как Российский индекс научного цитирования. РИНЦ представляет собой библиографическую базу данных научных публикаций российских ученых и индекс цитирования научных статей.
Один из важных показателей подобных баз данных ― их авторитетность. Она определяется и поддерживается балансом двух показателей:
Эти показатели могут отличаться как алгоритмически, например, 2-летний и 5-летний импакт-факторы, так и численно для одного и того же алгоритма в силу различия контента, на котором этот алгоритм реализуется (например, импакт-факторы в Journal Citation Reports и в РИНЦ могут отличаться в разы). Поэтому любой наукометрический показатель имеет смысл лишь при указании базы, на которой он вычислен.
В системе научных коммуникаций научная статья является основным звеном распространения нового знания. Распространение этого знания происходит по определенным каналам связи ― научным журналам.
Особым языком научной коммуникации являются ссылки, пронизывающие тексты научных исследований, выстраивающие преемственность научного знания, формирующие доказательную базу исследования.
Так создается необходимая традиция цитирования, характерная для научного текста. Цитирование ― выразитель этики научных публикаций.
Каковы причины цитирования?
Можно выделить следующие причины:
Индексы цитирования и индикаторы
Обратившись к истории, можно заметить, что первые индексы цитирования и библиометрические индикаторы появились практически 150 лет назад, например:
Крупнейшие индексы цитирования подразделяются на международные и национальные в зависимости от индексируемых публикаций.
Публикации как оценка результативности научной деятельности при бюджетировании учебных заведений и научных организаций
Во многих странах на основе оценки результативности научной деятельности внедрены системы бюджетирования НИОКР.
Базовая схема систем финансирования НИОКР выглядит примерно так:
Эта система бюджетирования пытается совместить экспертную и наукометрическую оценку ― оценку человека и математический расчет ― и представить сбалансированный анализ результативности и продуктивности научной деятельности организации.
Опыт зарубежных коллег в этом вопросе значительно отличается от российской практики. Так, в странах ЕС, в КНР, в США не существует единой системы оценки, многие организации оцениваются в частном порядке, самостоятельно или с помощью отдельных ведомств.
В России система формирования «рейтинга результативности» однопрофильных научных организаций появилась как идея в 2005 году. Минобрнауки тогда озвучило, что оценка будет основана на традиционных статистических инструментах измерений и использовании количественных индикаторов. В 2008 году были разработаны и утверждены положения об оценке, а также утвержден «Порядок оценки результативности научных организаций Российской Федерации».
В качестве одного из основных критериев оценки используется публикационная активность. В это понятие вкладываются данные о количестве публикаций работников научной организации в РИНЦ и WoS, их цитируемость в названных базах данных, импакт-фактор в WoS, а также число опубликованных докладов и тезисов, представленных на крупных конференциях, симпозиумах, чтениях.
В 2020 году была сформирована новая методика оценки. Теперь баллы за все публикации отражаются в формуле, по которой высчитывается так называемый КБПР — комплексный балл публикационной результативности. Формула определяет его как сумму баллов за каждую из строк публикационного отчета организации перед Миннауки.
Главное новшество по сравнению с версией 2019 года — фракционный счет, то есть разделение «веса» статьи в баллах между всеми авторами, указанными в журнале. КБПР исходит из предположения, что вклад всех авторов в статью равен. По правилам 2019 года качественным показателем считалось количество публикаций.
В методике коэффициенты отличаются для журналов, отнесенных к разным квартилям по индексу цитирования в Web of Science, а также для изданий Scopus, RSCI, списка ВАК и монографий. И разброс значений тут весомый:
Однако и у нее есть существенные минусы. Так, страдают коллаборации и аффилиации, монографии по своему весу приравниваются к статьям, а публикации в Web of Science оцениваются в несколько раз дороже, чем для журналов Scopus. Более подробно о плюсах и минусах КБПР, а также о самой методике ЛаЛаЛань расскажет в одном из следующих материалов.
Сегодня наукометрия и библиометрия ― те области знания, которые стали неотъемлемой частью жизни любой научной организации. Ориентироваться в терминах, отличать индикаторы и разбираться в механике оценки результативности научной деятельности необходимо как авторам ― преподавателям вуза, так и библиотекарям, которые чаще становятся экспертами и консультантами для коллег-ученых.
Разумеется, любые наукометрические показатели ― это лишь термометр, сигнализирующий о болезни или выздоровлении, но никак не лекарство. Диагноз термометром не поставить, нужен врач. И тем более нельзя ставить целью достижение индикаторов ― надо развивать и осуществлять научные исследования и адекватно представлять их результаты, иначе любые индикаторы теряют смысл.
Но понимать причины и внутренние процессы необходимо любому сотруднику университета, чтобы в гонке за количеством публикаций не потерялось качество, оценка результативности только радовала, а ваша научная организация демонстрировала заслуженно высокие показатели.