Михаил Фейгельман,
докт. физ.-мат. наук, зам. директора Института теоретической физики им. Л. Д. Ландау РАН, член Рабочей группы ФАНО по определению методики и регламентов оценки результативности деятельности научных организаций

С лета 2014 года действует рабочая группа ФАНО по разработке детальных правил проведения оценки результативности научно-исследовательской деятельности научных организаций, вошедших в состав ФАНО после известных событий лета-осени 2013 года. Задача рабочей группы — создать свод правил, согласующихся с общими положениями, уже утвержденными документами правительства РФ [1], и, несмотря на это, позволяющих проводить оценку осмысленным, с точки зрения работающих в науке людей, образом — то есть учитывая содержание научной и исследовательской работы, а не только комбинации разного рода формальных показателей. В рабочей группе трудится более 20 представителей различных отраслей науки под общим руководством ФАНО. К настоящему времени документация практически полностью готова, во вполне обозримом будущем ожидается ее утверждение. Представляется уместным уже сейчас, перед летними отпусками, рассказать об основных заложенных в нее принципах, чтобы ученые коллеги имели время и возможность обдумать то, что будет происходить, и найти свое место в этом процессе. Вот эти принципы.

1. Принимается примат экспертной оценки над «нумерологической»: формальные показатели (число статей и/или патентов, объем вырученных от разработок средств, число док-торов наук или аспирантов и многое другое) будут собираться и приниматься во внимание при оценке, но лишь как часть сведений, не-обходимых для профессионального экспертного анализа.
2. Экспертный анализ может быть профессиональным лишь в том случае, если имеется механизм, позволяющий сопоставить область работы научного коллектива (объекта оценки) и эксперта, призванного эту работу оценивать. Иначе говоря, требуется современный рубрикатор (классификатор) областей научной и научно-технической деятельности. Такой рубрикатор был создан [2], несколько месяцев продолжалось его публичное обсуждение и согласование с отделениями РАН.
3. Экспертный анализ нескольких сотен научных организаций, входящих в ФАНО, требует большого количества экспертов, причем крайне существенно, чтобы они пользовались доверием коллег именно как достойные эксперты в своей научной области. Поэтому полный корпус экспертов ФАНО будет сформирован путем обращения к ученым (научно-техническим) советам всех организаций ФАНО с предложением выдвинуть экспертов по каждому из научных направлений данной организации (определенных рубрикатором) и предоставить минимально необходимый набор профессиональных сведений о каждом эксперте.
4. Сравнительная оценка результативности будет проводиться внутри так называемых референтных групп (РГ) научных организаций, которые должны быть сформированы по принципу близости областей их научной деятельности и типов получаемых результатов (фундаментальные исследования, технологические разработки, научно-технические услуги и т. п.). Рабочей группой ФАНО выработаны предложения по формированию РГ [3].
5. Для каждой такой референтной группы должен быть сформирован свой экспертный совет (ЭС), организующий процедуры оценки каждой входящей в РГ организации. Основная тяжесть работы ложится именно на эти советы. Общий контроль за процессом и утверждение (или требование коррекции) результатов работы ЭС возлагается на единую комиссию по оценке результативности при ФАНО. Комиссия и ЭС действуют в соответствии с детальным общим регламентом оценки.
6. Каждый ЭС формируется из числа экспертов ФАНО с научными специализациями, отвечающими данной РГ, путем рейтингового голосования среди всех экспертов, принадлежащих этой РГ. Ожидается, что таким образом из общего числа экспертов, относящихся к данной РГ (примерно 50–100), будет отобрано 10–15 членов ЭС.
7. Для оценки организации ЭС РГ назначает экспертов по каждому на-правлению работы организации (определенному рубрикатором), а также небольшую экспертную группу для обобщения результатов оценки — из числа всех экспертов, относящихся по специальности к данной РГ. Назначение производится по принципу соответствия научных специализаций и с учетом необходимости исключения конфликта интересов; это понятие определено Регламентом весьма конкретно.
8. При оценке многопрофильных и междисциплинарных организаций неизбежно часть направлений окажется вне компетенции ЭС РГ, к которой отнесена организация. Эксперты по таким направлениям должны назначаться по рекомендации других, профильных советов.
9. В ряде случаев (низкие формальные показатели организации, несогласие организации с ее оценкой в целом) должна быть реализована более детальная оценка, включающая экспертизу работы каждого подразделения.

В апреле 2015 года начат одновременный опрос представителей всех естественных наук с целью пополнения «Корпуса экспертов» [4]. За два года, прошедших после последнего специализированного опроса, существенно пополнился и продолжает пополняться список рекомендателей (известных также как «списки Штерна») [5] — сейчас в нем более 7 тыс. человек, и он включает, наряду с работающими в России, также и представителей диаспоры.

В каждую рассылку включается около 500 человек, всего до летних каникул предполагается провести пять рассылок, а затем продолжать опрос осенью. Рассылки формируются в порядке включения рекомендателей в списки [5]. Рекомендации можно дать по почте kor.expert@gmail.com или онлайн, используя полученный код доступа (бессрочный). К сожалению, иногда наши письма не пропускают спам-фильтры.

В мае были также разосланы письма специалистам, уже получившим пять и более рекомендаций коллег, с просьбой о согласии войти в «Корпус экспертов» [4] — он постепенно пополняется.

Обращаем внимание рекомендателей на необходимость очень тщательно определить специализацию — как свою, так и рекомендуемых в эксперты коллег — по Единому научному рубрикатору [2], который будет использоваться ФАНО. Естественные науки — в разделе А, можно указывать коды и из других разделов.

Рабочая группа проекта «Корпус экспертов»

Все эти принципы заложены в созданных проектах документов, причем пути их реализации детально прописаны. Возможно, предложенная процедура многим покажется слишком сложной, особенно из-за некоторых ее витков, вынужденно введенных для соблюдения утвержденных Минобрнауки общих правил оценки. Она может также вызвать раздражение необходимостью представить содержательные сведения для экспертной оценки («еще бумаги… опять бумаги»). Однако следует понимать, что в отсутствие такой четко фиксированной экспертной процедуры оценка научных организаций будет развиваться по сценарию арифметического подсчета формальных показателей, что наверняка не оставит камня на камне от многих еще сохранившихся научных коллективов. Следует также иметь в виду, что привычно-упрощенная организация оценки узким кругом научных администраторов оказалась бы, как это обычно и бывало ранее, лишь имитацией экспертизы.

Соображения по поводу экспертной оценки, использованные при работе над документацией, основаны на восьмилетнем опыте функционирования инициативного проекта «Корпус экспертов по естественным наукам» [4]. Именно на основе данных этого проекта удалось составить первичную версию рубрикатора, оценить различия в публикационной активности и цитировании для разных научных направлений (а не просто для областей знания), представить себе, как на практике может работать процедура выдвижения экспертов и что требуется от регламента экспертизы. Позднее удалось найти коллег из других областей науки (гуманитариев, инженеров, медиков), которые помогли учесть специфику своих областей.

Рис. В. Шилова

Сложно предсказать, как будет развиваться процесс оценки и в какой степени удастся соблюдать регламент, даже если он будет утвержден без искажений. Но в значительной степени это зависит сейчас от самого «объекта оценки», то есть от всех нас. Прежде всего — и лучше заранее — в каждой научной организации нужно однозначно определить все основные и дополнительные научные направления по рубрикатору, чтобы не оказаться в референтной группе, не соответствующей реальной деятельности организации. Затем необходимо продумать список коллег, которые будут предложены ученым советом как эксперты по всем направлениям работы института. Следует иметь в виду, что в составе каждого ЭС должна быть определенная доля специалистов, работающих вне институтов ФАНО. Поэтому существенно, чтобы ученые советы рекомендовали как экспертов не только сотрудников институтов ФАНО: почти всегда можно отыскать подходящих по профилю и научно авторитетных коллег из вузов или НИИ или же из числа коллег, работающих в настоящее время вне Российской Федерации.

1. http://government.ru/docs/8002/

2. http://rascommission.ru/rubricator

3. http://rascommission.ru/refgroups

4. http://expertcorps.ru

5. http://expertcorps.ru/science/whoiswho

Автор:  Михаил Фейгельман

Источник: сайт газеты «Троицкий вариант — Наука», № 182, c. 1-2, 30 июня 2015 г.

Совет рассмотрел вопрос о новых подходах к финансированию научных исследований и принял по этому вопросу заявление и обращение к руководству Федерального агентства научных организаций.

В заявлении выражается поддержка идеи адресной поддержки ведущих ученых и ведущих лабораторий путем усиления конкурсного начала в распределении субсидий научным организациям в рамках государственного задания, выраженной в недавно опубликованном МОН для общественного обсуждения проекте соответствующих методических рекомендаций. Одновременно Совет сформулировал те поправки, которые, по его мнению, следует внести в данный проект.

В обращении к руководству ФАНО отмечено, что в институтах ФАНО нарастает беспокойство ученых, связанное с их недостаточной информированностью о политике руководства ФАНО по проблеме финансирования организаций ФАНО в 2015 году и далее. Совет призывает руководство ФАНО четко сформулировать свои намерения по данному вопросу.

В рамках заседания Совета прошла также дискуссия с коллегами, приславшими свои замечания к проекту методических рекомендаций в ходе егообщественного обсуждения.

Совет рассмотрел вопрос о референтных группах, применяемых при оценке эффективности научных организаций. По этому вопросу были заслушаны сообщения рабочих групп ВШЭ (Л.М.Гохберг) и ФАНО (М.С.Гельфанд).

Совет считает целесообразным проводить разделение по референтным группам, следуя как основной тематике, так и профилю проводимых исследований. С другой стороны, тематика исследований должна пониматься достаточно широко. Нецелесообразно дробление референтных групп на мелкие подобласти. Сравнение показателей будет эффективным, если в рамках одной референтной группы оценивается не менее двадцати научных организаций. Необходимо также предложить адекватную методику мониторинга и оценки научной деятельности в университетах и других организациях междисциплинарного профиля, включая прозрачную и разумную схему участия организации различными своими частями в нескольких референтных группах.

Совет рекомендовал рабочим группам ВШЭ и ФАНО совместно доработать методику разбиения научных организаций на референтные группы при участии Совета и межведомственной комиссии по оценке результативности.

Совет рассмотрел вопрос о регламентах работы Экспертных советов ВАК. Совет принял по этому вопросу предложения по изменениям положения об Экспертном совете ВАК.

Совет рассмотрел вопрос о российском опыте реализации проекта «Институт перспективных исследований», и поручил членам Совета проанализировать возможности организации нескольких институтов перспективных исследований в России.

Совет также рассмотрел вопрос о плановой ротации членов Cовета по науке.

Источник: сайт Совета по науке при Министерстве образования и науки РФ, 23 июня 2015 г.

Выполняем просьбу Алексея Николаевича и публикуем его новое письмо, распространенное в Сети координации институтов.

Уважаемые коллеги!

В течение этой недели в сотнях институтов Академии сотрудники ломали себе голову, как ответить на вопросы по оценке эффективности научных организаций, составленные для нас сотрудниками Экспертно-аналитического управления ФАНО (руководитель Елена Ивановна Аксенова, данные о ней и ее работах см. на http://sarmedinfo.ru/list/16378). Ровно в это же время мы должны были ознакомиться, дополнить и представить в ФАНО новые Уставы институтов, кардинально меняющие нашу жизнь.

Эти базовые документы, составляющие основу нашей будущей жизни, нам пришлось делать в условиях крайней спешки. Документы по оценке эффективности поступили, к примеру, в математические институты 16 апреля, срок ответа в письме ФАНО определен до 25 апреля (заметим, что документ подписан 10 апреля!). И если работа над уставом была для нас не новой, то продумывание ответов на поставленные вопросы по оценке нашей деятельности — это задача более сложная и требующая взвешенного и длительного обсуждения.

После отсылки наших предложений 25 апреля, нам предлагается собраться 22 мая на общественное обсуждение проекта оценки эффективности деятельности научных организаций в ФАНО. Представьте себе, что на этом «обсуждении» будет присутствовать примерно около тысячи человек. Ясно, что такое собрание вряд ли будет особенно эффективным.

После 25 апреля ФАНО будет иметь груду сырого, не слишком продуманного материала, где мнения сотен институтов никак не согласованы и зачастую противоречат друг другу. Трудно представить как сотрудники ФАНО смогут «свести» эти мнения в единую систему, которая могла бы нас удовлетворить.

Представляется, что в этой ситуации необходимо предпринять некоторые действия. Мои предложения:

1. Институты отправляют письмо руководителю ФАНО с указанием на следующие обстоятельства, связанные с подготовкой этих данных:

а) сильный временной прессинг, что не могло не отразиться на качестве работы,

б) подготовленный документ ФАНО использует материалы, подготовленные Минобрнауки и которые не согласованы с требованием постановления Правительства РФ от 1 ноября 2013 г. N 979. В нем говорится, что материалы, подготовляемые Минобрнауки должны, помимо прочего «учитывать показатели результативности деятельности научных организаций экономически развитых стран, осуществляющих сходные типы исследований». Минобрнауки, неоднократно заявлявшее об отсталости нашей наука по сравнения с западной, сознательно или по неведению грубо игнорирует в своей деятельности международный опыт организации и оценки научный деятельности именно экономически развитых стран.

В связи с этим просьба к М. М. Котюкову: материалы, посланные в ФАНО до 25 апреля, не считать окончательным выражением позиций институтов по вопросам оценки и институты производят их дальнейшие уточнение и доработку. Насколько мне известно, некоторые институты уже послали такие письма.

2. В нашей дальнейшей работе по подготовке принципов оценки институтов учитывать опыт Великобритании (http://www.ref.ac.uk). Вот его особенности, особенно впечатляющие на фоне МОНовских таблиц:

1) Оценка научной деятельности основана прежде всего на научной экспертизе, проводимой профессионалами в соответствующих областях науки.

2) Предметом оценки научных групп служат их публикации за определенный срок (в данном случае 5 лет), выбранные в ограниченном количестве (в данном случае 4 публикации) из всех публикаций группы. Общее количество публикаций НЕ играет никакой роли.

3) Формальные численные показатели допускаются к рассмотрению в качестве дополнительного средства лишь для части наук (физика, химия, биология и ряд других) и не допускаются для остальных (математика, инженерные и гуманитарные науки). Их ОТСУТСТВИЕ не может служить основанием для негативных выводов.

4) Использование импакт-фактора журнала, в котором опубликована работа, не разрешается ни для каких наук. Это положение было введено в правила оценки после многочисленных дискуссий в научном сообществе в результате постановления Комитета по науке Палаты общин Британского парламента.

Я не предлагаю буквальное копирование этой системы, но это очень продуманная и взвешенная система, которая создана людьми, заботящимися о развитии науки в своей стране и готовившими и тестировавшими ее в течение нескольких лет, а не восьми дней.

3. Действия ДО 22 мая. Не дожидаясь, пока начальство создаст нам правила нашей жизни, по которым нас будут исчислять, реорганизовывать и сокращать, начать определять САМИМ эти правила. Это прежде всего относится к референтным группам.

Создание референтных групп требует особой осторожности в силу последующего их использования для разделения институтов на три категории (см. постановление Правительства РФ N 979 и заявление ОМН РАН по этому вопросу). В имеющейся ситуации мы вряд ли сможем добиться отказа от такого разделения институтов. Дело в том, что их создание предусмотрено постановлением Правительства РФ N 979 и ФАНО будет настаивать на следовании этому постановлению. С другой стороны, приказ МОН (тем более проект) менее значим в бюрократической иерархии и следовательно доступен для критики.

Я предлагаю институтам САМИМ начать работу над созданием СВОИХ референтных групп и прикидывать как может происходить в них оценка и к каким последствиям она может привести в данной референтной группе. В каждой такой группе подбор показателей для сравнения должен быть СВОЙ.

Приведу возможные примеры условий для институтов, которые можно использовать в качестве исходных, но необязательно окончательных, для создания референтных групп:

• Теоретические/ прикладные
• Относящиеся (преимущественно) к одной области/ мульти-дисциплинарные
• Большие по численности/ небольшие
• С большим бюджетом/ с небольшим
• Зарабатывающие деньги/ не занимающиеся этим

Сюда можно добавить и другие, но хорошо бы иметь несколько базовых, пригодных для всей науки в целом, которые будет отстаивать все научное сообщество. Это не исключает специальных условий для дальнейшего деления групп в разных областях науки.

Общий принцип: в одну референтную группу не должны входить институты различающиеся хотя бы по одному из членов этих оппозиций.

Замечание: ясно, что эти свойства институтов достаточно размыты и их использование должно основываться на здравом смысле.

Некоторые группы однородных институтов довольно легко просматриваются. Некоторые, очень мультидисциплинарные, не имеют сравнимых аналогов и трудно представить их в какой-то референтной группе более 1 института именно в силу их уникальности? Это отдельная непростая проблема, которую надо обсуждать.

Майские праздники не должны быть помехой этой работе. Если нас волнует наша судьба, то чем-то надо и пожертвовать. Это дополнительный тест на нашу готовность бороться по-настоящему.

У нас есть время это сделать. По имеющемуся плану Правительства РФ эта работа должна быть завершена к 1 июля.

Приложения:

• постановление Правительства РФ N 979
• заявление ОМН РАН о 25 %
• обзор британской системы REF: общая схема, выдержки из нормативных документов.

А. Н. Паршин

зав. отделом алгебры и теории чисел Математического института им. В. А. Стеклова РАН

Обращаем внимание также на следующий материал по этой теме: заявление Комиссии общественного контроля в сфере науки в связи с принятием Постановления Правительства РФ № 979 от 1 ноября 2013 г. — редакция saveras.

Разработаны критерии для оценки научных организаций. В общей сложности их 25. Но по факту для оценки каждой референтной группы институтов или вузов (допустим, биологического или физического профиля) будет применяться особая комбинация из нескольких параметров, при этом каждый критерий будет иметь определённый вес. В итоге организации науки поделят на три группы: лидеров, стабильно работающих и отстающих. Судьбу организаций-аутсайдеров решат их учредители.

Продолжение: S&T RF. Наука и технологии РФ. 6 декабря 2013 г.