Реорганизация Российской академии наук 2013 » Фейгельман

Газета.ru: Как защитить науку от анонимных «реформаторов». Почему запускать «хиршемерку» бессмысленно

Fri, 15 Jan 2016 14:21:37 +0000

Обсуждение реформы РАН, начатой в 2013 году, продолжается на страницах «Газеты.Ru»: ответ на оценку реформы профессором Генри Норманом и его предложение по формированию сообщества ведущих ученых публикуют Аскольд Иванчик, Андрей Цатурян и Михаил Фейгельман.

В недавней статье в «Газете.Ru» с красноречивым подзаголовком «Как справиться с сопротивлением научного сообщества проведению реформы» Генри Норман предлагает новый план «зачистки» территории российской науки от еще сохранившихся, несмотря на старания начальства, бойцов научного «сопротивления» реформе РАН 2013 года.

В самом начале своей статьи он заявляет, что исходит из «презумпции позитивных намерений» инициаторов реформы российской науки. На каком основании он делает свое предположение — неизвестно.

Начатая летом 2013 года «реформа науки», по высказанным тогда же нами оценкам, осуществлялась в режиме операции спецназа на вражеской территории либо напоминала налет отряда янычар на женское общежитие.

Алексей Ничукин/РИА «Новости»

Стратегические цели и тактические задачи реформы как были, так и остались глубоко засекреченными — если они вообще существуют. Во всяком случае, никто их ясно не сформулировал. Более того, никто из авторов реформы не осмелился признать свое авторство. Реформа готовилась в таком секрете, что не только президент РАН Владимир Фортов, но и такой высокопоставленный ее сторонник, как Дмитрий Ливанов, узнали о ней, видимо, буквально накануне ее оглашения. Ответственность за реформу публично взяла на себя вице-премьер Ольга Голодец, курировавшая в тот момент науку, однако это была ответственность политическая, да и от нее она очень быстро избавилась, после того как кураторство науки в правительстве перешло к другому вице-премьеру, Аркадию Дворковичу.

Пропагандист этих «реформ» Генри Норман тоже ничего не сказал об их сути (упомянув лишь создание Российского научного фонда, что вообще не имеет отношения к «реформе РАН»). Обычно реформаторы с «позитивными намерениями» не прячутся от реформируемых, а, наоборот, активно вербуют сторонников, публикуют и всячески пропагандируют план реформ и соответствующую «дорожную карту», в которой детально расписано, какие именно реформы и когда будут проведены, каковы их цели и задачи, какими средствами их предполагается достичь, каковы возможные издержки и как их будут минимизировать. Но ничего подобного не было.

Люди с «позитивными намерениями» не стремятся скрывать своих имен — так поступают те, кто понимает, что совершает нечто постыдное. Так почему же надо верить в «позитивные намерения» тех, кто ни разу не удосужился рассказать, что и как он намерен изменить в системе управления и финансирования науки в России, да к тому же предпочел скрыть свои имена? Впрочем, вопрос о «намерениях» не так важен — гораздо важнее результат: «по плодам их узнаете их».

Пока же, спустя два с половиной года, никаких результатов, кроме ухудшения условий работы ученых, не видно.

Ведь трудно поверить, что цель реформы науки состоит в том, чтобы объединить несколько научных институтов в более крупные, собрав, как, например, в Нальчике, под одной вывеской агрономов, математиков и гуманитариев, чтобы новому руководству академической науки в лице ФАНО было легче запомнить имена своих подчиненных. Другая цель реформ науки в России, объявленная указом президента РФ, — достижение «сакральной» цифры в 2,44% от общего числа публикаций, индексируемых международной базой данных Web of Science (WoS), — ничего, кроме удивления, вызвать не может. Не говоря уж о том, что непонятно, откуда взялась эта цифра (с точностью до сотых), уже сейчас ясно, что она недостижима: хотя количество российских публикаций в WoS в последние годы немного растет, их доля в общемировом потоке статей снижается из-за бурного роста числа публикаций из развивающихся стран.

Что более существенно, она бессмысленна: подобные «показатели», пригодные для расчетов национальной доли добываемой нефти или выплавляемой стали, имеют мало общего с реальной оценкой роли российской науки в науке мировой. Но и для достижения этого надуманного показателя реформа ничего не дает — скорее, наоборот. Ведь сотрудники дореформенной РАН, которые составляли примерно 14% занятых в гражданской науке российских исследователей, обеспечивали почти 60% российских публикаций, а процент публикаций, попадавших в международные базы данных, был еще выше. И именно по этой наиболее эффективной в России научной институции реформой был нанесен удар.

Сообщив о своем отношении к авторам реформы, Генри Норман переходит к оценке нынешней ситуации. По его мнению, она проста — среди научного сообщества имеются противники реформы и ее сторонники. При этом противники хорошо организованы и объединены в два связанных между собой центра — это академики РАН и Конференция научных работников, якобы организованная тремя академиками совместно с профсоюзом академии. Им противостоит, по мнению автора, Совет по науке, созданный Минобрнауки «в поддержку реформам», на стороне которого якобы находятся «активно работающие на мировом уровне» ученые. Главная их беда в неорганизованности, поскольку они предпочитают «заниматься наукой, а не организационно-научной деятельностью».

На самом деле, представленная автором картина не имеет никакого отношения к реальности. Главное искажение истины состоит в изобретении активно работающих ученых, поддерживающих реформу, мнение которых выражает Совет по науке Минобрнауки. В действительности совет был создан значительно раньше начала реформы (то есть конца июня 2013 года). Его первое заседание состоялось 1 апреля 2013 года. Соответственно, целью его создания никак не могла быть поддержка не начатой еще реформы: он создавался для экспертной оценки планов и документов министерства, которое ощущало необходимость учета мнения научного сообщества, а также для формулирования предложений по улучшению положения в российской науке, и выполняет эти задачи и сейчас.

Когда началась реформа РАН, отношение к ней совета было однозначно отрицательным. Более того, совет был, по-видимому, первым, кто выступил с публичным протестом против нее: его заявление было опубликовано уже 27 июня, в день, когда появились первые сообщения о рассмотрении правительством РФ закона о реформе РАН. В следующие дни совет сделал еще три заявления, подтвердив свое неприятие реформы, и ни один из его членов в ее поддержку не высказывался. Более того, совет активно участвовал и в организации того, что Генри Норман считает одним из двух центров сопротивления реформам. Трое членов совета, включая его председателя Алексея Хохлова и заместителя председателя Аскольда Иванчика, вошли в оргкомитет Конференции научных работников, совет был одним из учредителей Комиссии общественного контроля в сфере науки, трое его членов вошли и в оппозиционный «Клуб 1 июля». Таким образом, никакого раскола в научном сообществе не было — все общественные и официальные организации ученых, включая Совет по науке Минобрнауки, ясно высказались против реформы РАН. Более того, практически все «активно работающие на мировом уровне» ученые, высказывавшиеся публично на эту тему, реформу осудили (можно назвать только одно исключение — Константин Северинов).

Одни и те же люди входят в объединения, которые Генри Норман пытается противопоставить друг другу. Разумеется, после того, как научное сообщество, хотя и добившись некоторых уступок, проиграло борьбу с «реформой» РАН, и соответствующий закон вступил в силу, Совет по науке был вынужден принять отделение институтов от РАН и создание ФАНО как данность и направил свои усилия на то, чтобы проводимые в дальнейшем преобразования улучшали ситуацию в науке, а не наносили ей вреда (с результатами этих усилий можно ознакомитьсяна сайте совета).

Именно такую позицию заняли и другие упомянутые выше организации — и оргкомитет Конференции научных работников, и Комиссия общественного контроля в сфере науки, и «Клуб 1 июля», и сама РАН. Так что и позже существенного противоречия между ними не возникло.

В изложении Генри Нормана искажены и детали. Вот несколько примеров.

«Чтобы придать протестам характер массовости, академики Кулешов, Рубаков и Захаров совместно с профсоюзом академии организовали второй центр сопротивления — Конференцию научных работников».

Массовость в данном случае была вполне естественного происхождения. Достаточно обратиться к собранным академиком Алексеем Паршиным текстам с реакциями ученых и научных коллективов на реформу академической науки, чтобы увидеть масштаб ее неприятия именно массовой научной средой. Заметим, что бюджетов на оплату интернет-троллей или участников митингов у конференции или комиссии нет (как нет и бюджета вообще). Неверно и то, что конференцию организовали академики Кулешов, Рубаков и Захаров. Оргкомитет конференции сложился стихийно, в его организации участвовали не только члены «Клуба 1 июля», но и представители советов молодых ученых институтов РАН, Общества научных работников, просто сотрудники институтов РАН.

Тот факт, что огромную конференцию (зарегистрировалось больше 2500 человек) удалось организовать за месяц, без каких-либо финансовых средств, причем в период летних отпусков, также свидетельствует как о массовости движения, так и о том, что речь идет о самоорганизации. Упомянутые академики не организовали конференцию, они стали лидерами научного сообщества в результате конференции, в частности, были избраны сопредседателями Комиссии общественного контроля, созданной по ее решению.

«На заседаниях конференции также не выносится никаких предложений о реформах и озвучивается желание сохранить все по-старому».

Это утверждение ложно, и, чтобы убедиться в этом, достаточно посмотреть конкретные предложения в материалах конференций здесь, а также, например, эти, эти и эти материалы Комиссии общественного контроля. Кроме того, члены комиссии постоянно участвовали в многочисленных рабочих группах по разработке документов, регулирующих организацию науки, которые создавались ФАНО и Минобрнауки. Выступая против реформы РАН 2013 года, ее члены являются сторонниками позитивных преобразований в российской науке.

«В итоге реформу ведут управленцы, слабо разбирающиеся в сути дела, пусть даже и с хорошими намерениями. Опираться при этом они вынуждены на тех же самых академиков. Отсюда возникают и проблемы, вызывающие обоснованное непонимание и растущее раздражение активно работающих ученых, к ним относится, например, растущий вал бюрократических запросов, обрушившийся на дирекции институтов».

Этот пассаж уже напоминает конспирологические фантазии, вчитайтесь: вал бюрократических запросов возник из-за того, что «управленцы опираются на академиков» (тех самых, которые «сопротивляются реформам»). Видимо, по мысли автора, «академики» подсказывают «управленцам», что надо создать «вал запросов» — конечно, для дискредитации «реформ» с помощью такой изощренной DDoS-атаки. А сами при этом коварно выступают с протестами против этого вала, видимо, чтобы замести следы и скрыть, что именно на них опираются реформаторы.

Что касается хороших намерений, то кажется очевидным, что управленцам, «пусть и с хорошими намерениями», не следует браться за реформу, если они слабо разбираются в сути дела. Это называется «некомпетентность», и пользы такая деятельность принести не может.

«Однако складывается впечатление, что сторонники Совета по науке — ученые, активно работающие на мировом уровне, — предпочитают заниматься наукой, а не организационно-научной деятельностью. А вот противники хорошо организованы, очень шумны и делают все для создания видимости, что они пользуются поддержкой большинства ученых».

Здесь реальность искажается несколько более изощренно: без всякого обоснования за очевидный факт выдается тождественность следующих групп людей: «сторонники реформы РАН», «сторонники любых реформ науки», «активно работающие на мировом уровне ученые», «сторонники Совета по науке». Соответственно, противостоящие им противники реформы РАН выдаются за противников любых реформ, за неактивных плохих ученых и противников Совета по науке.

В действительности же большинство активно работающих на мировом уровне ученых России (включая многих членов Совета по науке) относятся к реформе РАН резко отрицательно, а к ряду других преобразований — по меньшей мере настороженно. Во всяком случае, это касается тех, кто высказывается публично и о чьей позиции можно судить. Комиссия общественного контроля, «Клуб 1 июля», Общество научных работников состоят именно из «активно работающих ученых», только еще и готовых тратить свое время на попытки защиты коллег от административного безумия и предлагающих преобразования, которые могут улучшить ситуацию в науке. Большую часть своего времени они занимаются своей профессиональной научной работой, не имеют ничего, кроме своих личных мозгов и ноутбуков, и с трудом успевают реагировать на особенно выдающиеся пируэты «научных менеджеров», чтобы хоть как-то сгладить наносимый ими урон делу.

Набросав искаженную до неузнаваемости картину ситуации в российской науки, Генри Норман переходит к позитивной программе — изложению того, как справиться с непокорным научным сообществом. По его мысли, для этого надо сформировать некий Союз ведущих ученых России, причем при отборе его членов нужно использовать наукометрические показатели, основанные на индексе цитирования. Предполагается, что этот союз будет «опорой реформе». Последнее утверждение свидетельствует или о полном непонимании реальной ситуации, или является довольно наивной попыткой ввести в заблуждение начальство, к которому, по-видимому, в первую очередь адресуется автор статьи.

В самом деле, оценка реформы РАН наиболее цитируемыми российскими учеными хорошо известна — и эта оценка негативная. Лидеры протестного движения, академики Захаров и Рубаков, которых упоминает Норман, — одни из самых цитируемых российских ученых, практически все члены «Клуба 1 июля» принадлежат к числу самых цитируемых в своей области, то же касается и членов Совета по науке Минобрнауки. Таким образом, если планируемый Генри Норманом союз будет создан, он станет еще одной оппозиционной «реформе» организацией, а состав его членов будет сильно пересекаться с составом уже имеющих организаций-«оппозиционеров». Сам же Норман, который мог бы в нем представлять позицию сторонников реформы, в Союз ведущих ученых, скорее всего, не войдет: его собственные наукометрические показатели для его области науки более чем средние.

К этому стоит добавить, что и метод, по которому Генри Норман собирается отбирать «ведущих ученых России», имеет ряд недостатков и не приведет к адекватному результату.

«Рейтинги по каждой группе формируются в четыре этапа: на первом составляется рейтинг по полному индексу цитирования на работы, опубликованные с 2001 года (так как нас интересуют только действующие ученые, этот интервал — максимальный)».

Ограниченная польза этого занятия нам хорошо известна, поскольку один из нас участвует в поддержании и ежегодном обновлении Индексов цитирования работ российских ученых. В сущности, список «ведущих ученых России», если причислять к таковым просто по цитированию, для большинства естественнонаучных, медицинских и технических дисциплин, а также для математики уже составлен. Хотите увидеть список опытных и маститых — пожалуйста: он включает более 4600 человек с уровнем «полного» цитирования выше 1000 по WoS.

Хотите список активно работающих именно в последние годы — и такой есть: более 6400 человек с цитированием работ, опубликованных за последние семь лет, выше 100 по WoS. Вопрос только в том, как использовать эти «рейтинги». Опыт, в том числе международный, показывает, что использовать «индекс цитирования» в процессе оценки работы ученых можно лишь как один из подсобных инструментов. Но делать заключения о качестве труда ученых только на его основе недопустимо. При таком подходе мы лишимся как минимум половины научных областей, в том числе находящихся на мировом уровне. Есть много инструментов, которые можно использовать на пользу делу, но иногда они могут стать смертоносными. Как, например, топор. Топор сам по себе — полезный инструмент, но в салон самолета вас с ним не пустят, и правильно сделают. Возможности использования топора в таких областях, как нанотехнология или хирургия глаза, также весьма ограничены.

«Они разбиваются на пять групп по таким областям, как математика, физика, химия, биология, науки о Земле».

Генри Норману безразлично, что внутри каждой из обозначенных крупных областей наук имеется много разделов, в каждом из которых разное число ученых, разные традиции написания статей, а как результат — различное типичное цитирование. Это как раз те самые «мелочи», из-за которых не надо пускать в самолет человека с топором. Странно также, что Норман игнорирует существование большой группы областей знаний, кроме им перечисленных.

«При всей смысловой ограниченности наукометрических показателей лучших способов отбора ведущих ученых я не вижу».

А мог бы и увидеть — если бы интересовался, чем на самом деле занимается «созданная академиками Захаровым, Кулешовым и Рубаковым» Комиссия общественного контроля в сфере науки.

«Кроме того, сегодня для научного сообщества это главный способ отстаивать национальный приоритет на международном уровне».

Если планировать конкуренцию с представителями Китая, Ирана и подобных великих научных держав, то это, возможно, так. А вот в Англии, например, с 2014 года исключили использование «наукометрических показателей» для оценки эффективности работы ученых в большей части областей науки, оставив их лишь кое-где и лишь как справочные материалы для профессиональной экспертизы. В США или Франции их вообще никогда не принимали слишком всерьез, полагаясь куда более на персональные заключения специалистов (которые могут и в индексы посмотреть, но решения принимают сами).

Таким образом, запускать предложенную Генри Норманом «хиршемерку» бессмысленно: она не принесет пользы науке в России. Но даже и ожидаемого автором результата — создания «Союза хиршастых лоялистов» — достигнуть не удастся: если этот союз будет достаточно «хиршастым», то окажется в большинстве своем оппозиционным, а если будет лоялистским, то не будет достаточно «хиршастым».

В оргкомитете конференции и в Комиссии общественного контроля собрались вовсе не противники реформ в сфере науки, как пишет Генри Норман, а преимущественно именно те ученые, которые много лет боролись за ее реформирование. Вопреки очевидности, он приравнивает реформу РАН 2013 года любым реформам в сфере науки, и людей, возражавших против этой разрушительной реформы, объявляет противниками любых преобразований. Это, конечно, еще одно существенное искажение реального положения дел, которыми наполнена его статья.

Мнение членов оргкомитета конференции и Комиссии общественного контроля в принципиальных вопросах, как правило, совпадает с мнением многих членов Совета по науке Минобрнауки, что неудивительно, учитывая, что это отчасти одни и те же люди. Разумеется, разногласия между ними могут возникать, но они успешно решаются в режиме диалога, как было недавно при обсуждении методических рекомендаций по финансированию научных учреждений: ученые в состоянии договориться между собой, поскольку говорят на одном языке.

И проблемы, стоящие перед нашей наукой, они тоже видят в основном одинаково. Многолетнее недофинансирование; сословная, почти феодальная иерархическая структура; отсутствие нормальных социальных лифтов для молодежи; появление среди научных администраторов все большего числа беспринципных и безграмотных карьеристов, готовых на все, чтобы угодить начальству или подняться по карьерной лестнице; маргинализация многих ученых и научных коллективов, десятилетиями «изучающих» то, что уже давно не является предметом науки; появление все большего числа «имитаторов» науки, некоторые из которых уже научились накручивать себе «индекс Хирша»; все сильнее сжимающиеся бюрократические тиски и многое другое.

Ни одну из этих проблем реформа 2013 года не решает, а некоторые из них, наоборот, усугубляет. Именно поэтому против нее и выступили многие активно работающие ученые — как в личном качестве, так и в составе общественных и официальных объединений.

Что же касается реальных реформ, улучшающих положение науки и ученых в России, то они не только их поддерживают, но и формулируют предложения таких преобразований.

Основное различие в подходах ученых, собравшихся в разных общественных организациях, — это степень готовности вести диалог и сотрудничать с представителями власти. Одни склонны высказывать конструктивные предложения, рискуя тем, что в руках чиновников эти предложения превратятся в свою противоположность и нанесут ущерб их собственной репутации (не раз уже так было).

Другие считают, что следует ограничиться арьергардными боями за остатки здравого смысла, стараясь, чтобы новые инициативы руководства не выгнали на улицу и без того не слишком многочисленных ученых, работающих на современном мировом уровне, и не ухудшили и без того некомфортные условия научной работы в России.

Среди большинства членов общественных организаций ученых имеется определенный консенсус о том, что и как следовало бы предпринять, если бы во главе реформы науки стояла компетентная команда реформаторов, имеющих не только «позитивные намерения», но и необходимую профессиональную квалификацию. Следовало бы незамедлительно провести профессиональную экспертизу научных коллективов всех бюджетных научных организаций страны независимо от их ведомственной принадлежности, с обязательным привлечением не только российских, но и иностранных экспертов. Провести такую экспертизу нужно на уровне отдельных лабораторий, а не только целых институтов. Только после этого можно будет понять, какая наука осталась в России и кто, собственно говоря, является объектом реформ.

Методы формирования корпуса экспертов и регламенты проведения экспертизы для академических институтов уже давно подготовлены силами научного сообщества совместно с группой сотрудников ФАНО, заинтересованных в осмысленном проведении этой экспертизы. Однако запуск этой профессиональной экспертизы заморожен (не очень понятно, на каком уровне). Вместо этого продолжается начальственная кампания по «реструктуризации институтов», причем аргументы в ее пользу приводятся чисто административные, а соображения научной целесообразности игнорируются. При этом никто из «реформаторов» не знает, чем и на каком уровне на самом деле занимаются имеющиеся на сегодня институты. Их это вообще не интересует, им надо «отчитаться наверх о проделанной работе», а эффект от этой «работы» для них не имеет значения.

Понятно, почему законспирированные авторы реформы науки и руководители государственных организаций, формально отвечающих за ее проведение, сторонятся содержательного обсуждения и реализации этой необходимой предпосылки любой разумной научной реформы. Привлечение к планированию и проведению научной политики профессионального корпуса независимых экспертов, пользующихся доверием научного сообщества, неизбежно уменьшит власть околонаучных администраторов.

Говоря коротко: наука призвана искать истину, и этому занятию очень мешает безбрежная ложь, давно захватившая почти все пространство нашего общества. По нашему мнению, статья Генри Нормана — на стороне лжи.

Мнение авторов может не совпадать с позицией редакции.

Об авторах

Аскольд Иванчик — доктор исторических наук, член-корреспондент РАН, научный руководитель отдела сравнительного изучения древних цивилизаций Института всеобщей истории РАН, и.о. декана Исторического факультета ИОН РАНХиГС.
Андрей Цатурян — доктор физико-математических наук, ведущий научный сотрудник НИИ механики МГУ.
Михаил Фейгельман — доктор физико-математических наук, зам. директора Института теоретической физики им. Л.Д. Ландау, профессор МФТИ.

Источник: Газета.ru, 14 января 2016 г.

См. также: «Правильные» ученые против «неправильных». Погоня за цитируемостью превращает науку в бессмысленную игру (Павел Чеботарев, Газета.ru, 12.01.2016)

газета «ТрВ»: Как оценивать результативность работы институтов ФАНО. Частный взгляд участника процесса

Tue, 07 Jul 2015 06:42:16 +0000

Михаил Фейгельман,
докт. физ.-мат. наук, зам. директора Института теоретической физики им. Л. Д. Ландау РАН, член Рабочей группы ФАНО по определению методики и регламентов оценки результативности деятельности научных организаций

С лета 2014 года действует рабочая группа ФАНО по разработке детальных правил проведения оценки результативности научно-исследовательской деятельности научных организаций, вошедших в состав ФАНО после известных событий лета-осени 2013 года. Задача рабочей группы — создать свод правил, согласующихся с общими положениями, уже утвержденными документами правительства РФ [1], и, несмотря на это, позволяющих проводить оценку осмысленным, с точки зрения работающих в науке людей, образом — то есть учитывая содержание научной и исследовательской работы, а не только комбинации разного рода формальных показателей. В рабочей группе трудится более 20 представителей различных отраслей науки под общим руководством ФАНО. К настоящему времени документация практически полностью готова, во вполне обозримом будущем ожидается ее утверждение. Представляется уместным уже сейчас, перед летними отпусками, рассказать об основных заложенных в нее принципах, чтобы ученые коллеги имели время и возможность обдумать то, что будет происходить, и найти свое место в этом процессе. Вот эти принципы.

Принимается примат экспертной оценки над «нумерологической»: формальные показатели (число статей и/или патентов, объем вырученных от разработок средств, число док-торов наук или аспирантов и многое другое) будут собираться и приниматься во внимание при оценке, но лишь как часть сведений, не-обходимых для профессионального экспертного анализа.
Экспертный анализ может быть профессиональным лишь в том случае, если имеется механизм, позволяющий сопоставить область работы научного коллектива (объекта оценки) и эксперта, призванного эту работу оценивать. Иначе говоря, требуется современный рубрикатор (классификатор) областей научной и научно-технической деятельности. Такой рубрикатор был создан [2], несколько месяцев продолжалось его публичное обсуждение и согласование с отделениями РАН.
Экспертный анализ нескольких сотен научных организаций, входящих в ФАНО, требует большого количества экспертов, причем крайне существенно, чтобы они пользовались доверием коллег именно как достойные эксперты в своей научной области. Поэтому полный корпус экспертов ФАНО будет сформирован путем обращения к ученым (научно-техническим) советам всех организаций ФАНО с предложением выдвинуть экспертов по каждому из научных направлений данной организации (определенных рубрикатором) и предоставить минимально необходимый набор профессиональных сведений о каждом эксперте.
Сравнительная оценка результативности будет проводиться внутри так называемых референтных групп (РГ) научных организаций, которые должны быть сформированы по принципу близости областей их научной деятельности и типов получаемых результатов (фундаментальные исследования, технологические разработки, научно-технические услуги и т. п.). Рабочей группой ФАНО выработаны предложения по формированию РГ [3].
Для каждой такой референтной группы должен быть сформирован свой экспертный совет (ЭС), организующий процедуры оценки каждой входящей в РГ организации. Основная тяжесть работы ложится именно на эти советы. Общий контроль за процессом и утверждение (или требование коррекции) результатов работы ЭС возлагается на единую комиссию по оценке результативности при ФАНО. Комиссия и ЭС действуют в соответствии с детальным общим регламентом оценки.
Каждый ЭС формируется из числа экспертов ФАНО с научными специализациями, отвечающими данной РГ, путем рейтингового голосования среди всех экспертов, принадлежащих этой РГ. Ожидается, что таким образом из общего числа экспертов, относящихся к данной РГ (примерно 50–100), будет отобрано 10–15 членов ЭС.
Для оценки организации ЭС РГ назначает экспертов по каждому на-правлению работы организации (определенному рубрикатором), а также небольшую экспертную группу для обобщения результатов оценки — из числа всех экспертов, относящихся по специальности к данной РГ. Назначение производится по принципу соответствия научных специализаций и с учетом необходимости исключения конфликта интересов; это понятие определено Регламентом весьма конкретно.
При оценке многопрофильных и междисциплинарных организаций неизбежно часть направлений окажется вне компетенции ЭС РГ, к которой отнесена организация. Эксперты по таким направлениям должны назначаться по рекомендации других, профильных советов.
В ряде случаев (низкие формальные показатели организации, несогласие организации с ее оценкой в целом) должна быть реализована более детальная оценка, включающая экспертизу работы каждого подразделения.

В апреле 2015 года начат одновременный опрос представителей всех естественных наук с целью пополнения «Корпуса экспертов» [4]. За два года, прошедших после последнего специализированного опроса, существенно пополнился и продолжает пополняться список рекомендателей (известных также как «списки Штерна») [5] — сейчас в нем более 7 тыс. человек, и он включает, наряду с работающими в России, также и представителей диаспоры.

В каждую рассылку включается около 500 человек, всего до летних каникул предполагается провести пять рассылок, а затем продолжать опрос осенью. Рассылки формируются в порядке включения рекомендателей в списки [5]. Рекомендации можно дать по почте kor.expert@gmail.com или онлайн, используя полученный код доступа (бессрочный). К сожалению, иногда наши письма не пропускают спам-фильтры.

В мае были также разосланы письма специалистам, уже получившим пять и более рекомендаций коллег, с просьбой о согласии войти в «Корпус экспертов» [4] — он постепенно пополняется.

Обращаем внимание рекомендателей на необходимость очень тщательно определить специализацию — как свою, так и рекомендуемых в эксперты коллег — по Единому научному рубрикатору [2], который будет использоваться ФАНО. Естественные науки — в разделе А, можно указывать коды и из других разделов.

Рабочая группа проекта «Корпус экспертов»

Все эти принципы заложены в созданных проектах документов, причем пути их реализации детально прописаны. Возможно, предложенная процедура многим покажется слишком сложной, особенно из-за некоторых ее витков, вынужденно введенных для соблюдения утвержденных Минобрнауки общих правил оценки. Она может также вызвать раздражение необходимостью представить содержательные сведения для экспертной оценки («еще бумаги… опять бумаги»). Однако следует понимать, что в отсутствие такой четко фиксированной экспертной процедуры оценка научных организаций будет развиваться по сценарию арифметического подсчета формальных показателей, что наверняка не оставит камня на камне от многих еще сохранившихся научных коллективов. Следует также иметь в виду, что привычно-упрощенная организация оценки узким кругом научных администраторов оказалась бы, как это обычно и бывало ранее, лишь имитацией экспертизы.

Соображения по поводу экспертной оценки, использованные при работе над документацией, основаны на восьмилетнем опыте функционирования инициативного проекта «Корпус экспертов по естественным наукам» [4]. Именно на основе данных этого проекта удалось составить первичную версию рубрикатора, оценить различия в публикационной активности и цитировании для разных научных направлений (а не просто для областей знания), представить себе, как на практике может работать процедура выдвижения экспертов и что требуется от регламента экспертизы. Позднее удалось найти коллег из других областей науки (гуманитариев, инженеров, медиков), которые помогли учесть специфику своих областей.

Рис. В. Шилова

Сложно предсказать, как будет развиваться процесс оценки и в какой степени удастся соблюдать регламент, даже если он будет утвержден без искажений. Но в значительной степени это зависит сейчас от самого «объекта оценки», то есть от всех нас. Прежде всего — и лучше заранее — в каждой научной организации нужно однозначно определить все основные и дополнительные научные направления по рубрикатору, чтобы не оказаться в референтной группе, не соответствующей реальной деятельности организации. Затем необходимо продумать список коллег, которые будут предложены ученым советом как эксперты по всем направлениям работы института. Следует иметь в виду, что в составе каждого ЭС должна быть определенная доля специалистов, работающих вне институтов ФАНО. Поэтому существенно, чтобы ученые советы рекомендовали как экспертов не только сотрудников институтов ФАНО: почти всегда можно отыскать подходящих по профилю и научно авторитетных коллег из вузов или НИИ или же из числа коллег, работающих в настоящее время вне Российской Федерации.

1. http://government.ru/docs/8002/

2. http://rascommission.ru/rubricator

3. http://rascommission.ru/refgroups

4. http://expertcorps.ru

5. http://expertcorps.ru/science/whoiswho

Автор: Михаил Фейгельман

Источник: сайт газеты «Троицкий вариант — Наука», № 182, c. 1-2, 30 июня 2015 г.

Пресс-центр ФАНО: ФАНО России подвело предварительные итоги отбора в Комиссию по оценке результативности

Thu, 20 Nov 2014 14:09:48 +0000

ФАНО России подвело предварительные итоги отбора в Комиссию по оценке результативности научных организаций. Открытое голосование началось 10 ноября в 12:00 и завершилось 16 ноября в 23:59 по московскому времени. Всего было зарегистрировано 18959 голосов. Таким образом, в общественном отборе приняли участие 26% от общего числа исследователей научных организаций, входящих в структуру Агентства.

90% голосов было отдано за кандидатов из институтов, подведомственных ФАНО России, причем 60% из них – за представителей естественных наук и математики. Всего за кандидатов из этих сфер проголосовали 8365 человек. На втором месте – с большим отрывом – представители историко-филологических наук. Им отдали свои голоса 1590 исследователей. Далее идут соответственно кандидаты от медицинских, общественных, сельскохозяйственных, технических и компьютерных наук.Были определены тройки лидеров по каждому из направлений. Что касается тех, кто набрал наибольшее число голосов из списка кандидатов от институтов, входящих в структуру ФАНО России, то ими стали:- по направлению «Естественные науки и математика» — Фейгельман Михаил Викторович (Институт теоретической физики им. Л.Д. Ландау, Зам. директора)
- по направлению «Историко-филологические науки» — Иванчик Аскольд Игоревич (Институт всеобщей истории РАН, Главный научный сотрудник)
- по направлению «Медицинские науки» — Вышлов Евгений Викторович (ФБГНУ НИИ кардиологии, г. Томск, Ведущий научный сотрудник)
- по направлению «Общественные науки» — Михайлов Игорь Анатольевич (Институт философии РАН, Старший научный сотрудник)
- по направлению «Сельскохозяйственные науки» — Смирнов Анатолий Михайлович (ГНУ ВНИИВСГЭ, Директор)
- по направлению «Технические и компьютерные науки» — Кулешов Александр Петрович (ИППИ РАН, Директор)

Лидерами списка кандидатов от организаций, не подведомственных ФАНО России, стали:

- по направлению «Естественные науки и математика» — Рыкованов Георгий Николаевич (РФЯЦ-ВНИИТФ)
- по направлению «Историко-филологические науки» — Чернышева Елена Геннадьевна (Федеральное государственное бюджетное образовательное учреждение Высшего профессионального образования «Московский государственный педагогический университет (МПГУ)», Институт филологии и иностранных языков, кафедра русской литературы, Профессор)
- по направлению «Медицинские науки» — Покушалов Евгений Анатольевич (федеральное государственное бюджетное учреждение Новосибирский научно-исследовательский институт патологии кровообращения имени академика Е.Н. Мешалкина Министерства здравоохранения Российской Федерации, Зам. директора)
- по направлению «Общественные науки» — Еремин Алексей Роальдович (ФГБОУВПО Мордовский государственный университет имени Н.П. Огарева, Заведующий кафедрой)
- по направлению «Сельскохозяйственные науки» — Умаров Марат Мутагарович (Московский государственный университет имени М.В. Ломоносова, Профессор)
- по направлению «Технические и компьютерные науки» — Федоров Михаил Петрович (Санкт-Петербургский государственный политехнический университет, профессор)

Следует отметить, что список кандидатов, победивших в голосовании пока предварительный. 20 ноября 2014 он будет передан в Российскую академию наук на согласование. После того, как РАН выскажет свои замечания, рабочая группа ФАНО России по оценке результативности подведет окончательные итоги отбора.

Ведомственная комиссия по оценке результативности деятельности научных организаций, подведомственных ФАНО России, будет включать 36 человек. Из них 9 – представители ФАНО России. 9 представителей бизнес-сообщества, общественных объединений, некоммерческих организаций, являющихся получателями и (или) заинтересованными в результатах (продукции) оцениваемых научных организаций. 9 – представители научных организаций, подведомственных ФАНО России и 9 – представители научных организаций и ведущих образовательных организаций, не находящихся в ведении Агентства.

Источник: официальный сайт ФАНО, 20 ноября 2014 г.

rascommission.ru: Вопросы грантового финансирования науки (Письмо Комиссии в РНФ и Ответ РНФ на предложения Комиссии)

Mon, 10 Nov 2014 20:18:11 +0000

Комиссия общественного контроля в сфере науки начинает публикацию своей официальной переписки с государственными научными фондами по проблемам грантового финансирования науки в России.

Письмо Комиссии в РНФ

Исх. No2/9 от 19 августа 2014 г.

О предложениях по изменению конкурсной документации РНФ

Генеральному директору Российского научного фонда

А.В. Хлунову

Глубокоуважаемый Александр Витальевич!

Направляем Вам предложения, разработанные нами по поручению Комиссии общественного контроля в сфере науки по изменению конкурсной документации Российского научного фонда (далее – РНФ, Фонд). Эти предложения суммируют результаты обсуждения итогов первых конкурсов РНФ научным сообществом. Обсуждение проводилось на заседаниях Комиссии, а также на форумах Общества научных работников (ОНР) и газеты «Троицкий вариант – Наука» в мае – июле 2014 года. Поводом для обсуждения стали многочисленные сообщения авторов заявок и экспертов РНФ, относящиеся к процедурным вопросам, некорректным формулировкам в документах Фонда, а также к принципам формирования и к деятельности экспертного совета Фонда.

Ключевыми вопросами организации работы Фонда нам представляются следующие:

- использование современного научного классификатора;
- введение института координаторов экспертизы по всем разделам наук;
- обеспечение коллегиального принятия решений профильными специалистами;

-коррекция форм документов с целью повышения эффективности экспертизы.

Наши предложения изложены ниже в следующих материалах.

1. Обоснование необходимости изменения классификатора РНФ.

2. Обоснование необходимости коррекции документов «Положение об экспертных советах РНФ» и «Порядок проведения экспертизы научных, научно- технических программ и проектов, представленных на конкурс РНФ».

3. Необходимые изменения в формах 1 и 4 заявки для конкурса научных групп.

4. Проект формы экспертной анкеты для конкурса научных групп.

5. Предложения об организации и регламентах новых конкурсов РНФ.

6. Единый научный классификатор.

Эти предложения были рассмотрены и одобрены Секретариатом Комиссии общественного контроля в сфере науки, а затем направлены членам Попечительского совета РНФ академикам А.И. Григорьеву и Л.М. Зеленому, которые, как нам известно, также одобрили эту инициативу.

Практическая реализация этих предложений, безусловно, представляет собой не вполне тривиальную задачу, требующую выработки определенного «плана производства работ», согласованного с проектом результата, которого желательно достигнуть. Проект такого плана у нас имеется. В этой связи мы предлагаем руководству Фонда провести в ближайшее время практическое обсуждение затронутых вопросов с нашим участием.

Приложение на 41 листе.

От имени Секретариата Комиссии общественного контроля в сфере науки

Член-корреспондент РАН, доктор исторических наук, научный руководитель отдела сравнительного изучения древних цивилизаций Института всеобщей истории РАН

А.И. Иванчик

Доктор физико-математических наук, заместитель директора по науке Института теоретической физики им. Л.Д. Ландау РАН

М.В. Фейгельман

От имени Секретариата Комиссии общественного контроля в сфере науки

А.П. Кулешов

Ответ Российского научного фонда на предложения Комиссии

исх. № 01-06.1/249 от 21.10.2014 г.

Уважаемые члены комиссии!

Российский научный фонд рассмотрел письмо от 19 августа 2014 г. № 2/9 и благодарит вас за высказанные замечания и предложения. Ряд предложений комиссии Фонд считает полезными, они учтены в работе Фонда.

В Порядок проведения экспертизы научных, научно-технических программ и проектов, представленных на конкурс Российского научного фонда, попечительским советом Фонда внесены следующие изменения:

«При распределении заявок экспертам Фонда и проведении экспертизы не допускается «конфликт интересов», который возникает, если координатор секции экспертного совета, член экспертного совета или эксперт Фонда:

- является участником представленной для участия в конкурсе заявки, потенциально способной конкурировать с рассматриваемым проектом;»

«Члены экспертного совета обязаны сообщать председателю экспертного совета Фонда о наличии конфликта интересов при распределении на экспертизу или рассмотрении соответствующих заявок. В этом случае по поручению председателя экспертного совета Фонда распределение таких заявок на экспертизу осуществляет иной член экспертного совета Фонда, а члены экспертного совета, имеющие конфликт интересов, не участвуют в рассмотрении упомянутых заявок.»

Также указано, что рассмотрение заявок на секциях экспертного совета производится в соответствии с указанными в заявках отраслями науки, а отклонение проекта на основании его несоответствия тематике секции экспертного совета Фонда допустимо лишь в случае, если такое предложение было сделано по крайней мере одним из экспертов Фонда.

Предложения Комиссии общественного контроля в сфере науки по изменению классификатора Фонда были переданы в экспертный совет Фонда для рассмотрения.

Фонд информирует, что форма экспертного заключения разрабатывалась, исходя из перечня критериев конкурсного отбора, утвержденных попечительским советом Фонда, и согласована с экспертным советом Фонда. Предложения по ее изменению переданы в экспертный совет Фонда.

Фонд на данном этапе не поддерживает предложения по изменению конкурсных процедур, поскольку такие изменения существенно увеличат время рассмотрения заявок. Кроме того, Фонд не считает, что физические объемы заявок, поступающие в адрес Фонда являются чрезмерными и обременительными для экспертов, учитывая, что эксперт для оценки использует только часть информации из заявки.

Фонд прорабатывает вопрос об организации международной экспертизы проектов и отмечает, что главная проблема в такой экспертизе состоит в оплате работы экспертов, не являющихся гражданами Российской Федерации или постоянно проживающими вне пределов России. Фонд был бы признателен Комиссии за организацию обсуждения вопроса о возможности проведения экспертизы (по крайней мере — международной) на безвозмездной основе, учитывая необходимость привлечения значительного количества экспертов по всем отраслям знания.

Хотел бы поблагодарить вас за проявленное беспокойство, связанное с вопросами совершенствования процедуры отбора проектов. Фонд и впредь будет благодарен научному сообществу за конструктивные предложения по улучшению конкурсных и экспертных процедур

Генеральный директор А. Хлунов

http://rascommission.ru/images/docs/V_RNF_7a.pdf

Источник: сайт Комиссии , 07 ноября 2014 г.

Рабочая группа ФАНО России согласовала проект методики оценки эффективности научных организаций

Mon, 11 Aug 2014 20:59:10 +0000

Рабочая группа по определению методики и регламентов оценки результативности деятельности научных организаций, подведомственных ФАНО России, утвердила проект методики, по которой будет проводиться экспертиза институтов, а также согласовала проект положения о ведомственной Комиссии по оценке деятельности научных организаций.

В заседании приняли участие глава ФАНО России Михаил Котюков, начальник экспертно-аналитического управления Елена Аксенова, главный научный сотрудник Института проблем развития науки РАН Андрей Кулагин, член совета молодых ученых РАН Александр Сафонов, заместитель директора Института теоретической физики им. Л.Д. Ландау Михаил Фейгельман, заместитель директора Института проблем передачи информации РАН Михаил Гельфанд, директор Физико-технического института им. А.Ф. Иоффе Андрей Забродский и другие представители академического сообщества.

Согласно проекту положения о Комиссии по оценке результативности деятельности научных организаций, ее состав формируется сроком на пять лет. Предполагается, что в нее войдут 30–40 человек. Не менее половины членов Комиссии должны представлять научные организации, одну четверть – сотрудники ФАНО России. Еще четверть мандатов выделяется для представителей бизнес-сообщества, заинтересованных некоммерческих организаций и государственных фондов поддержки научной и инновационной деятельности.

Проект методики оценки результативности деятельности научных организаций, подведомственных ФАНО России, разработанный по результатам работы Экспертных сессий, включает цели, задачи и правила оценки институтов, порядок представления информации научными организациями, этапы проведения оценки, а также критерии распределения организаций по трём категориям. Предусматривается, что аудит результативности НИИ будет проводиться в пять этапов: подготовительный (сбор сведений и уточнение состава референтных групп), всесторонний экспертный анализ, подготовка предложений о предварительном отнесении научных организаций к категориям, разрешение спорных ситуаций и окончательная классификация институтов по категориям.

Отдельно члены рабочей группы обсудили перечень показателей, по которым будет оцениваться результативность деятельности научных организаций. Предварительный список содержит 25 обязательных параметров эффективности и 10 дополнительных. При этом для оценки каждой из научных организаций будет использовано от 5 до 10 критериев из общего списка, в зависимости от отраслевой специфики института.

Представители академического сообщества оценили работу над методикой как эффективную. Заместитель директора Института проблем передачи информации РАН Михаил Гельфанд отметил: «Академическое сообщество неоднородно. ФАНО получает в свое распоряжение весь спектр мнений и имеет возможность их учитывать – в этом смысле, его роль не столько «главы», сколько арбитра. До сих пор основные содержательные развилки были пройдены удовлетворительно, и получившиеся документы представляются хотя и не идеальными, но позволяющими наладить адекватную процедуру оценки. Теперь надо посмотреть, как это будет работать. Многое будет зависеть от состава комиссии ФАНО, экспертных советов референтных групп и всего корпуса экспертов. Если удастся включить туда ученых, активно занимающихся наукой, имеющих хорошую репутацию, и при этом готовых тратить свое время на административные дела, можно надеяться на разумные результаты».

В дальнейшем проект методики будет согласован с профильными управлениями ФАНО России и Министерством образования и науки РФ. Также в августе пройдет третья Экспертная сессия, которая будет посвящена обсуждению подходов к использованию результатов оценки деятельности научных организаций в интересах их дальнейшего развития.

Источник: сайт ФАНО
28 июля 2014 г.