Проблема обработки и хранения больших объемов научных данных и подходы к ее решению
Исаев Е.А., Корнилов В.В.
Пущинская Радиоастрономическая обсерватория Астрокосмического центра ФИАН
Институт математических проблем биологии, Российская академия наук
Национальный исследовательский университет «Высшая школа экономики»
Аннотация. В статье рассматривается актуальная проблема значительного роста объёмов данных, получаемых, хранимых и обрабатываемых в ходе научной деятельности, в первую очередь в таких областях как биоинформатика и астрофизика. Рассматриваются современные программные методы и компьютерные технологии, используемые для работы со сверхбольшими объёмами данных. Проводится анализ состояния дел в институтах Пущинского научного центра РАН – Институте математических проблем биологии РАН и Пущинской радиоастрономической обсерватории Астрокосмического центра ФИАН им. Лебедева.
Ключевые слова: большие данные, биоинформатика, физика элементарных частиц, астрофизика, облачные вычисления, центр обработки данных, компьютерные системы обработки больших данных, компьютерный кластер, Apache Hadoop, MapReduce, NoSQL, GRID.