В настоящее время качество научной экспертизы – понятие весьма туманное. И не только потому, что рецензенты научных проектов могут быть связаны конфликтом интересов с авторами проектов. Существует и объективная причина, по которой к экспертизе не может быть полного доверия: это возрастающие с каждым днём объёмы научно-технической информации, проанализировать которые человек не в состоянии. Подсчитано, что если возможности экспертов в этом отношении были бы безграничны, каждый из них, прежде чем вынести вердикт по проекту, должен был бы прочитывать еженедельно минимум 1000 научных публикаций в конкретной области знания. Но максимум, на что способен самый ответственный и работоспособный рецензент, – прочесть 10 публикаций. Таким образом, вершители судеб научных проектов, на мнения которых сегодня полностью полагаются инвесторы науки, владеют не более чем 1 процентом информации, формирующей на сегодняшний день мировое научное знание в определённой предметной области. Любой рецензент, который берет на себя смелость заявить, что проект актуален и никто в мире его не начинал, с большой долей вероятности заблуждается, так как не прочел 99 процентов написанного коллегами по цеху.

Специалисты Центра научно-технической экспертизы РАНХиГС пришли к выводу, что для повышения качества оценки актуальности и перспективности научных направлений и проектов, помогающей инвесторам быстро реагировать на меняющийся мир знаний и технологий, необходимы некие универсальные рецепты, в которых исходными ингредиентами стали бы независимые сведения, разбросанные по разным базам данных. Такие рецепты, по сути, представляющие собой системы критериев оценки, поддающихся автоматизированному исчислению, и были разработаны.

В качестве потенциального объекта применения таких инструментов их авторы называют условные проекты федеральных целевых программ поддержки науки. Для определения количественных показателей перспективности этих проектов, по мнению авторов методики, потребуется выявить с опорой на автоматизированные базы данных мировые тренды по вовлечению исследователей и организаций в конкретную тематику, разработке технологических подходов, появления продуктов на рынке.

Если графики, отражающие эти тренды, резко устремляются вверх, то можно с большой долей вероятности говорить о том, что мировая практика науки и технологий подходит к этапу научно-технологического прорыва. Следовательно, проект по этой тематике актуален и жизнеспособен. Если график стагнирует, то есть показывает, что на протяжении нескольких лет не происходит существенного роста научных проектов по тематике, заявок на патенты и т.д., то, возможно тема завела учёных в тупик и не предполагает в обозримом будущем технологического выхода.

«Рецепт» предполагает не простое использование формальных показателей из существующих баз данных, а довольно хитрый подход, с тонкостями в деталях.

Вот что говорит на этот счёт директор Центра научно-технологического прогнозирования РАНХиГС Наталия Куракова: «Если по показателю «активность патентования» лидерство захватили промышленные компании, направление можно считать если не упущенным, то очень сложным для прорыва. Период освоения и конвертации в технологии будет очень коротким, от 2 до 3 лет. Если в числе патентообладателей лишь несколько университетов, то шансы войти в это направление можно считать высокими, так как путь от университетской лаборатории до конвейера будет раз в пять длиннее. Ещё один нюанс: чем больше регистрируется заявок, и чем больше их количество превосходит выданные патенты, тем более перспективным является направление. Это означает, что по нему пока обнаружено не много оправданных технологических подходов, но идёт их активный поиск».

Наталия Куракова также полагает, что формализованный подход, в данном случае на основе библиометрического и патентного анализа, а также ряда других критериев, годится и для мониторинга, позволяющего оценить текущие тренды в науке и технологиях и дать краткосрочный прогноз по развитию новых направлений.

Пример – незамеченное вовремя в России научное направление – «перепрограммирование стволовых клеток», фундаментальный прорыв которого фиксировался в 2006–2008 годах.

Динамика его развития впечатляет: в 2006 начинают публиковаться статьи в журналах Web of Science, в 2012 – по этому направлению присуждена Нобелевская премия, в 2013 – принято решение о развитии индустрии, в 2014 – индустрия начинает развиваться, но, к сожалению, не в России, а в Японии. К 2023 году японцы ставят задачу обеспечить 80 процентов нуждающихся в своей стране искусственными органами.

«Мы в 2006 году об этом направлении ничего не знаем, не замечаем его и в 2008 году, и только в 2014 году оно возникает в прогнозе научно-технологического развития РФ, – отмечает Наталия Куракова. – То есть в Японии уже стартует производство по данному направлению, а у нас направление только получает статус прорывного. Отставание более пяти лет».

Разработчики методики при этом не считают, что формализованный подход должен вытеснить экспертный. Его предлагают использовать как вспомогательный инструмент, способный повысить степень объективности и информационного обеспечения решения. «Если взгляды независимой системы и эксперта сильно расходятся, мы просим эксперта обратить особое внимание на объект оценки и посмотреть результаты формальной экспертизы», – поясняет Наталия Куракова.

При помощи нового подхода специалистам Центра научно-технической экспертизы в тестовом режиме удалось выявить незамеченное в России научное направление, претендующее на статус мирового прорыва, – оптогенетику.

По нему фиксируется экспоненциальный рост публикационной и цитатной активности. Кстати, ещё в 2010 году журнал Science назвал оптогенетику направлением десятилетия. Все расчёты по представленной методике также указывают на то, что в ближайшие годы авторы этого направления станут лауреатами Нобелевской премии.

Наталия Куракова также отмечает, что данный научный вектор имеет реальные перспективы технологического выхода. По нему экспоненциально растёт и патентная активность, причём, хороший знак и в том, что обладателями патентов пока являются университеты. Это, по мнению авторов методики, свидетельствует о том, что волну еще можно поймать.

Методология, предложенная Центром научно-технической экспертизы РАНХиГС, представлена в аналитическом докладе «Национальная научно-технологическая политика «быстрого реагирования»: рекомендации для России. Некоторые СМИ, анализируя доклад, обратили внимание на сочетание «быстрое реагирование» и решили, что поддержка государства теперь будет направлена лишь на тематики и направления, предполагающие, судя по их формальным показателям, быстрый выход. Это не так. К долгосрочному прогнозированию, инструментом которого служит форсайт, ставящий целью обсуждение глобальных вызовов и формирование согласованного мнения по их преодолению, это не имеет отношения. Предложенные инструменты ничего не заменяют, а только предлагают дополнительные ориентиры в мире научно-технической информации.

Вместе с тем, такой формализованный подход, с использованием лингвистических технологий, не считается новым. В частности, в том же Форсайте он успешно применяется. Вот как комментирует его и в целом предложения коллег из РАНХиГС замдиректора Форсайт-центра Института статистических исследований и экономики знаний НИУ ВШЭ Александр Чулок:

– В докладе РАНХиГС предложен набор рекомендаций, многие из которых уже давно имплементированы в российскую научно-техническую политику.
Например, такие методы, как мониторинг глобальных вызовов и окон возможностей (о важности этой задачи говорил Президент в послании ФС в 2013 году), анализ слабых сигналов или событий – «джокеров» (это сейчас одна из ключевых задач в исследовательской повестке Еврокомиссии) давно применяется в практике научно-технологического прогнозирования.

Хочу только обратить внимание на то, что нельзя однобоко использовать только одну группу методов – это как ножки стула – убери одну, и вся конструкция зашатается. В практике современного Форсайта качественные результаты базируются на следующих четырех принципах: использование доказательной базы, привлечение лучших экспертов, стимулирование креативности и широкое обсуждение, в том числе, общественное.

Убери только один принцип – и результаты будут ущербны. Поэтому, например, использовать только автоматические системы для определения приоритетов развития страны, отрасли, компании – принципиально неверно. Если бы всё было так просто, можно было бы одним нажатием кнопки каждый день делать по 100 прогнозов. То некодифицированное знание, которое находится в голове у эксперта, незаменимо, и определять прорывные направления развития науки и технологий простой экстраполяцией трендов непрофессионально. Конечно, любой анализ начинается с инвентаризации заделов, но это только первый шаг, первая глава исследования.

Отдельный вопрос – как определять приоритеты, который поднимается в докладе РАНХиГС. Он очень серьезный, и «в легкую» на него отвечать нельзя. Критерии отбора приоритетности областей не могут основываться только на данных обзора патентов или библиометрии – нужны еще как минимум две составляющих: это оценки самых серьезных экспертов и комплексный анализ на стыке рыночного спроса и предложения со стороны науки (экономисты называют это «market pull» и «technology push»).

О проведении коллегами такого исследования я ничего не слышал. Так что не очень понятна практическая ценность проделанной работы: предложения по методам прогнозирования не новы, и многое уже используется в текущей практике Форсайта, а проанализированные области все взяты из рассматриваемого ими долгосрочного прогноза.

Быкова Наталья

Источник: STRF.ru
23 июня 2014 г.

Первый конкурс Российского научного фонда (РНФ) собрал 11750 заявок на 700 грантов. Можно порадоваться за научное сообщество, получившее доступ еще к одному источнику финансирования исследований. Впрочем, финансирование получит лишь один из 12–16 претендентов. И здесь можно только посочувствовать РНФ: отобрать победителей при таком раскладе – чрезвычайно трудная задача.

Она осложняется размытостью главного критерия отбора – «соответствие мировому уровню исследования».

Что подразумевает фонд под «проектами мирового уровня»? Соответствие их тематики самым динамично развивающимся направлениям исследований мировой науки или наличие у авторов высокоцитируемых публикаций в международных журналах? Или речь идет о намерении авторов получить результаты, которые будут опубликованы в рейтинговых журналах и удостоены высокого цитирования? Однако трудно представить себе конкурсную заявку, которая не содержит утверждений о конкурентоспособности научных заделов, имеющихся у авторов. Но тогда, как и по каким формальным, понятным и принимаемым научным сообществом критериям можно сделать этот отбор?

Выделять приоритетные для финансирования направления с каждым годом становится все сложнее не только в России, но и во всех странах развитой науки. Слишком велик поток научно-технической информации, лавинообразно нарастающий год от года. Поэтому Национальный научный фонд США (NSF) совместно с Национальными институтами здоровья (NIH) в 2012 году инициировал межведомственный проект Core Techniques and Technologies for Advancing Big Data Science and Engineering (BIGDATA) с бюджетом 10 миллионов долларов. Он направлен на «развитие ключевых научно-технологических подходов к сбору, управлению, анализу и визуализации информации из объемных, распределенных и гетерогенных источников, что позволит ускорить процесс научных открытий и инноваций; привести к появлению новых областей исследований».

Но пока новые инструментальные подходы еще не сформированы, развитые страны используют в своей повседневной практике три аналитических инструмента, позволяющих определять актуальный уровень и перспективы развития мировой науки.

Речь идет об аналитической базе данных «Essential Science Indicators» (ESI) и аналитических веб-приложениях к Web of Science – InСites (Thomson Reuters) и к Scopus – SciVal Spotlight (Elsevier). Все три сервиса основаны на разной методологии оценки результатов исследований, но каждый из них позволяет в той или иной степени формализовать статус «исследования мирового уровня». ESI анализирует высокоцитируемые публикации (Highly Cited Papers) на основании анализа именно этого сегмента публикаций выделяет тематические направления, соответствующие передовому рубежу современных исследований – фронты исследований (Research Fronts). В InCites разработана система средневзвешенных показателей, позволяющая произвести бенчмаркинг по отношению к среднемировому уровню. Иными словами, результаты мирового уровня могут появиться только в продуктивной научной организации, у которой показатель нормированной оценки цитирования в определенной научной области выше единицы. Наконец, SciVal Spotlight определяет уникальные тематические области или «компетенции», активно развиваемые в мире, а также позволяет оценить степень участия организации в их формировании.

Но как с использованием этих сервисов можно устанавливать соответствие «мировому уровню исследований» в России, если 90% научных публикаций пишутся на русском языке и миром не оцениваются, т.е. признанные в мире критерии соответствия мировому уровню применимы лишь для небольшой части национальных исследований.

А если уровень исследований России нельзя сравнивать с уровнем США, Китая и Великобритании, то зачем использовать критерий «мировой уровень»?

Так или иначе, но проекты отбирать придется. Эта сложнейшая работа легла на плечи большого корпуса экспертов РНФ (около 3 тысяч ученых). Чтобы оценить конкурентоспособность отечественных исследований в мировом научном контексте, необходимо этим контекстом владеть, а для этого знакомиться с десятки тысяч публикаций и патентов. Например, каждый год в течение последних пяти лет Web of Science индексирует более 200 тысяч статей по клинической медицине и десятки тысяч по отдельным направлениям медицинской науки. Так, если эксперт в области клинической неврологии последние 5 лет читал по 2 статьи ежедневно в течение 5 рабочих дней каждой из 50 недель года, он ознакомился лишь с 1% (!) из написанного мировым профессиональным сообществом за 2008–2012 гг. А ведь еще есть тысячи патентов в год. Как, не обозрев весь этот объем нового знания, наделять результаты статусом «мирового уровня»?

Вопросы обоснования выделения приоритетного финансирования на научные исследования сами по себе сегодня становятся мейнстримом направления «экономика науки», поскольку остро стоят во всех странах развитой науки. Широкое обсуждение вызвала статья государственного секретаря по научным исследованиям Испании К. Велы, которая считает, что средства государственного бюджета должны «поддерживать лишь самые конкурентоспособные проекты, приносящие ощутимые плоды или имеющие реальные перспективы, которые подтверждаются промежуточными результатами».

С такими подходами не согласны канадские исследователи Жан-Мишель Фортен и Дэвид Карри из Оттавского университета. Они доказывают, что стратегии финансирования науки, нацеленные на диверсификацию поддерживаемых проектов, а не поддержание лучших, гораздо продуктивнее.

Канадские ученые делают вывод о невозможности предсказать важное открытие или добиться конкретных результатов с помощью целевого финансирования. Ученые обнаружили, что два небольших гранта увеличили количество часто цитируемых статей на 20% больше, чем один крупный грант.

Скоро мы узнаем о результатах конкурсного отбора в РНФ. И тогда представится возможность проанализировать их с точки зрения мирового научного контекста. Однако уже сейчас можно говорить о том, что необходимо организовать систему информационной поддержки принятия экспертных решений, чтобы сделать процесс отбора проектов максимально объективным. Система сможет предоставить экспертам совокупность количественных или однозначно трактуемых показателей развития того или иного научно-технологического направления. Например – динамику публикационной и патентной активности в мире, количество новых фронтов исследований, показатели цитируемости организаций и научных коллективов-лидеров, данные о нормированном цитировании, расшифровки концепций патентов технологических драйверов и т.д. Иными словами, эксперт получает научный ландшафт, в котором сможет определить место рецензируемого проекта.

И, конечно же, необходимо более четко формализовать понятие «проект мирового уровня» применительно к российским реалиям. На наш взгляд, правильно выделить три типа «проектов мирового уровня»:

– проекты по новым, динамично развивающимся направлениям, получившим, как, например, оптогенетика, статус «прорыва десятилетия», по которым у российских исследователей пока нет научных заделов мирового уровня и высоких показателей цитируемости статей, но уже получены первые результаты;

– проекты, поданные российскими исследовательскими группами, в состав которых входят ученые с высокой публикационной активностью в интернационализированном сегменте научных публикаций мира;

– проекты, поданные российскими исследовательскими группами, не имеющими значимого числа публикаций, проиндексированных в международных индексах цитирования, однако ведущих разработки по темам, отраженным в динамично развивающихся фронтах исследований.

Такая формализация критерия «проект мирового уровня», как нам представляется, не только сделает процедуру конкурсного отбора для грантового финансирования более прозрачной, но и послужит стимулом к выбору актуальной тематики исследований, к анализу научной информации и изучению мировых подходов и методик в этой области.

Источник: STRF.ru