Год назад в Сибирском отделении была начата реализация масштабного проекта: на базе информационно-вычислительных ресурсов Института вычислительных технологий СО РАН и инфраструктуры Западно-Сибирского регионального центра приёма и обработки спутниковых данных разворачивается комплекс по мониторингу природных и социально-экономических процессов в режиме реального времени. Работа еще не закончена, но некоторые результаты уже есть.
ЗапСибРЦПОД — один из трёх аналогичных центров Росгидромета (есть ещё в Москве и Хабаровске). История его начинается с1968 года. Тогда в Новом посёлке, что между Академгородком и Бердском, подальше от всех городских источников радиопомех на площади в 7,5 гектаров был построен специально вынесенный пункт, решающий задачи по приёму и обработке данных с космических аппаратов метеорологического и природно-ресурсного назначения, как отечественных, так и зарубежных. В настоящее время в оперативном режиме Центр наблюдает в зоне радиовидимости территорию от Урала до Забайкалья и от побережья Северного Ледовитого океана до южных границ России и далее, включая Монголию, Китай, Афганистан, вплоть до Пакистана и Индии. В настоящее время ЗапСибРЦПОД входит в состав ГУ НИЦ «Планета» в форме Сибирского центра этой организации.
Территория центра полностью автономна: есть своя газовая котельная и 10-киловольтная подстанция, запитанная от двух независимых линий электропередач, имеется обширный парк специализированного приёмного оборудования.
— На вооружении центра стоит уникальная антенна системы ТНА-57П, в гражданском употреблении единственная за Уралом, — рассказывает главный инженер ЗапСибРЦПОД Александр Викторович Калашников. — Параболическое зеркало диаметром 12 метров позволяет при некоторой доработке оконечных средств «распаковки» данных уже сегодня принимать любой космический аппарат с потоками до 300 Мбит/сек. Для справки: это сравнимо с передачей видеосигнала высокого разрешения по проводам. Сейчас ТНА-57 используется для приёма данных с отечественного спутника МЕТЕОР.
В том же диапазоне 8,2 ГГц работает станция УниСкан разработки ИТЦ СканЭкс. На неё в оперативном режиме идёт приём с американских космических аппаратов Terra, Aqua и французского SPOT.
В октябре 2009 года в рамках реализации Федеральной целевой программы «Создание системы геофизического мониторинга на территории Российской Федерации» в ЗапСибРЦПОД установлены две норвежские станции фирмы Kongsberg. Под радиопрозрачными шарообразными куполами находятся уникальные двухдиапазонные антенные системы, позволяющие вести приём в двух диапазонах одновременно. Станции современные, полностью автоматизированные. Вся электроника находится под осушенным воздухом высокого давления, что, естественно, сказывается и на качестве: пыль не попадает внутрь куполов, промерзание исключено. На эти станции тоже идёт приём с платформ Terra, Aqua и серии американских спутников NOAA.
В 2010 году в ЗапСибРЦПОД был смонтирован и введён в опытную эксплуатацию наземный комплекс приёма, обработки и распространения данных российского геостационарного метеорологического космического аппарата «Электро-Л». Комплекс состоит из пяти антенн и аппаратно-приёмных средств, которые будут принимать поток исходной информации, производить её предварительную обработку и транслировать на КА для дальнейшей передачи пользователям.
В 2011 году планируется установка комплекса на базе 5-метровой антенны для работы с перспективным КА «Ресурс-П».
В соответствии с Федеральной космической программой в ближайшие годы будет наращиваться российская группировка КА метеорологического и природно-ресурсного назначении. В связи с этим в 2012 году планируется установка ещё одной 9-метровой уникальной антенны.
Всего за сутки центр принимает 20 сеансов NOAA, по шесть сеансов Terra и Aqua, три SPOT и три с отечественного МЕТЕОРа — в общей сложности порядка 70 Мбайт сырой информации в сутки. Дальнейшая её обработка с минувшего года осуществляется в рамках созданного на базе Института вычислительных технологий СО РАН Центра мониторинга социально-экономических процессов и природной среды.
На базе предварительно обработанной спутниковой информации создаются продукты, оперативно передаваемые потребителям, среди которых оперативно-прогностические подразделения Росгидромета, лесоохранных служб, водных управлений, МЧС и др.
Объединив усилия
Центр мониторинга создан в рамках соглашения между ИВТ и ЗапСибРЦПОДом (есть соответствующее постановление Президиума № 504), в котором Институт вычислительных технологий выступал от имени всего Сибирского отделения. Координирует работу директор ИВТ СО РАН академик Ю. И. Шокин.
— Ничего принципиально нового мы пока не изобрели, — скромничает руководитель Центра к.г.-м.н. Николай Николаевич Добрецов. — Развернули обработку информации, получаемой с американских спутников по американской же технологии. Доступ к исходным кодам программных продуктов получили от НАСА бесплатно, зарегистрировавшись как пользователи. Неоценимую помощь в этом проекте оказала третья сторона — очень интересная, активная и инициативная группа из Алтайского государственного университета, которую возглавляет профессор Анатолий Алексеевич Лагутин.
Собственно говоря, они были первыми в России, кто освоил технологии полной обработки данных со спутников Terra и Aqua. Принимать информацию со спутников, в принципе, дело нехитрое, тем более при наличии автоматизированных станций. Но обрабатывать её хотя бы даже до полуфабрикатов, не говоря уже о продуктах конечного пользования, которые можно использовать в прогнозах, фактически первыми в стране начали наши алтайские коллеги. В своё время при АГУ они создали совместный с МЧС региональный центр мониторинга, работающий на Алтайский край. И вот мы организовали совместный коллектив и перенесли технологию сюда. Здесь, в Новосибирске, мы вместе с коллегами проделали большую работу по автоматизации технологической цепочки, и сегодня весь процесс практически на 100 % идёт в автоматическом режиме.
Вся принимаемая со спутников информация автоматически архивируется и каталогизируется на центральном сетевом узле в Институте вычислительных технологий, куда для этого проведён оптоволоконный гигабитный канал. Для обработки информации задействован специализированный вычислительный сегмент сети Института вычислительных технологий, состоящий из комплекса высокопроизводительных серверов с общей параллельной файловой системой. Объём ежедневно перерабатываемых данных достигает 50–60 гигабайт.
На земле, в небесах и на море
Надо сказать, датчики на современных спутниках — это универсальные приборы комплексного назначения. Так, на спутниках Terra и Aqua установлен уникальный прибор, который знают все дистационщики в мире — спектрорадиометр MODIS, выдающий 36 спектральных каналов с пространственным разрешением от 250 м в видимом диапазоне до 1 км в термальном (инфракрасном) диапазоне. Плюс на спутнике Aqua «летают» гиперспектрометр и СВЧ-радиометр, которые позволяют измерять вертикальный профиль атмосферы, включающий большое количество метеорологических параметров: влажность, давление, силу ветра и т.д.
В настоящее время наш Центр способен выдавать набор базовых «стандартных» продуктов, получаемых в оперативном режиме, а также, по мере необходимости или востребованности, наборы более сложных «многодневных» продуктов. Все получаемые продукты соответствуют требованиям НАСА, что фактически означает — требованиям международных стандартов.
— Под «стандартным продуктом» понимается неким образом специально подготовленный для последующей работы полуфабрикат, — объясняет Н. Н. Добрецов. — Вообще, для MODIS насчитывается более 30 стандартных продуктов — некий джентльменский набор. Они раскладываются на три группы: наземные, атмосферные и водные. Внутри каждой группы — свои подразделения.
К наземным, например, относится мониторинг лесных пожаров, что было особо актуально в 2010 году. Большинство спутниковых систем мониторинга лесных пожаров исторически началось с американских спутников NOAA, которые дают километровое разрешение. Казалось бы, что такое точка километр на километр. Тем не менее, доказано и экспериментально проверено, что если есть очаг пожара размером 20×20 м (большая скирда) и его температура больше 700 градусов Кельвина (открытое пламя), то «километровый» детектор уже подсветится. А нам, в принципе, не важно, в каком углу горит. Главное, мы определили, что здесь есть источник огня.
Существуют продукты для мониторинга состояния снега, паводков. Перед паводком мы начинаем считать площадь заснеженности на водосборных площадях Алтая, которые потом стоком приходят в Новосибирское водохранилище. В оперативном режиме с повышением температур эти данные должны пересчитываться в объём паводка. Когда оценивается не просто площадь снежного покрова, но и его толщина, а потом, на момент начала снеготаяния, в динамике — фазовое состояние снега, в принципе, легко переходить к моделям объёмов воды. Но МЧС нужен прогноз, причём прогноз точечный. А для этого нужно, начиная с осени, всю зиму следить. И обработка должна быть глубокой, а не только констатация факта.
На базе некоторых данных можно делать прогноз урожайности — если тщательно отслеживать динамику вегетационного цикла, параллельно зная температуру приземного слоя воздуха, информацию о влажности и пр. А когда несколько лет назад случилось памятное нашествие саранчи, фронт её движения был очень хорошо виден из космоса.
— Обширна серия атмосферных продуктов, — продолжает тему А. В. Калашников. — Один из самых популярных — это маска облачности. И метеорологу, и любому обработчику, который в последующем собирается использовать спутниковые данные, она нужна просто как фильтр — чтобы убрать облачность. Не менее интересны численные параметры облачности. По исходному снимку мы даём такую классификацию: тип облаков, их водозапас, фазовое состояние (вода, лёд, смешанные фазы), мощность облачного образования (толщина облака), высота верхней границы (что важно авиационным метеорологам, когда они дают прогноз борту, можно ли эту тучу обойти или «перепрыгнуть»), прогноз, развалится туча или, наоборот, приведёт к какому-то опасному явлению. С одинаковым успехом можно измерять давление на верхней границе облачности и температуру приземного воздуха и т.д. и т.п.
Очень много морских продуктов. Для Сибири они менее актуальны. Тем не менее, и у нас есть обширные водоёмы. Возможности спутниковых датчиков позволяют даже измерять содержание хлорофилла в воде.
Есть так называемые «многодневные» продукты. Считается, что за срок в 8–16 дней каждая точка хотя бы раз побывает без облаков, и можно полностью восстановить картину наблюдаемой земной поверхности. Производство таких продуктов предъявляет более высокие требования к вычислительным ресурсам, поскольку ежедневно пересчитывается весь принятый за день поток данных.
— В своё время на полпреда Президента РФ в СФО А. В. Квашнина произвёл очень большое впечатление кадр ночной съёмки территории Сибири, — вспоминает Н. Н. Добрецов. — На нём хорошо видно, что освещена только узкая полоса на юге вдоль Транссиба, а всё остальное — сплошная чернота. Только дистанционный контроль позволяет узнать, что в данный момент происходит на безлюдных территориях, где-нибудь в районе Подкаменной Тунгуски. Огромная важность этой работы осознаётся. Но...
Тридцать восемь попугаев
Ситуацию с выполнением отечественных программ спутникового мониторинга Н. Н. Добрецов сравнивает с известным мультфильмом про удава, которого последовательно измеряли в слонятах, мартышках и попугаях.
— Первое, что сразу бросается в глаза: под каждый спутник Роскосмос зачем-то ставит свою уникальную антенну. В результате возникает полная чересполосица внутренних стандартов. Привезёт Роскосмос в этом году ещё две очередных антенны с двумя комплектами периферийного оборудования, и ребята начнут его «с нуля» осваивать, потому что почти наверняка они будут несовместимы с уже работающими! Поэтому на каком-то уровне количество проблем будет просто возрастать.
Наши спутники традиционно передают информацию «в попугаях», в отличие от американских, где мы можем температуру переводить в градусы и т.д., пусть с какой-то погрешностью. А наши «попугаи» остаются «попугаями» навечно, потому что Роскосмос во время конструирования приборов не проводит наземные калибровочные испытания. Только после того, как «забросили» спутник на орбиту, начинают оценивать, а что же он измеряет.
Американская Terra, хоть и разрешением 250 метров, но даёт возможность проводить мониторинг в автоматическом режиме. А у того же МЕТЕОРа разрешение 70 метров, но он не позволяет считать машине — нет калибровки.
Как правило, отечественное наземное оборудование рассчитано под работу оператора на терминале. В чём принципиальная разница? Глазами можно увидеть очень много. Диапазон съёмки известен, опытный специалист различит и разделит те же фазы состояния снега. Но эти наблюдения нельзя сопоставить со вчерашними. Потому что из «мартышек» в «попугаи» перевести невозможно. А для того, чтобы сделать прогноз на завтра, нужно знать не только сегодня, но и вчера, причём в сопоставимых единицах. И вот этим принципиально страдает вся отечественная космическая программа дистанционного зондирования Земли.
Сибирские ноу-хау
Говоря, что ничего принципиально нового они пока не изобрели, наши специалисты слегка лукавят. Свои ноу-хау у сибиряков есть.
Например, чтобы получить информацию о лесных пожарах, существует серия продуктов MOD14, использующих информацию инфракрасных и тепловых каналов. Если применять алгоритмы атмосферной коррекции, информация о наличии очагов возгорания содержится также в продукте MOD09. Но по какой-то причине американцы считают MOD09 закрытым и не выкладывают на свои сервера. Но теперь мы умеем производить этот продукт в России.
Некоторые продукты сибиряки генерируют значительно быстрее, чем сами американцы. Это связано, с одной стороны, с более ограниченной контролируемой территорией, с другой стороны — с применением ряда технологических приемов, позволяющих получать необходимые продукты с минимальными временными задержками. Так, время получения продуктов уровня 2 не выходит за пределы 30–40 минут после завершения приема. Аналогичные продукты НАСА становятся доступны через несколько часов или даже несколько суток.
А в иных случаях вступают в действие «положительные» особенности нашей суровой действительности. Так, в Европе данные спутников с разрешением 250 метров для прогноза урожайности использоваться не могут — размер сельхозугодий меньше размера пиксела. У нас же, где поля простираются «отсюда и до обеда», такой масштаб съёмки вполне применим.
— Обработка спутниковых данных требует очень больших вычислений, — говорит инженер-исследователь ИВТ СО РАН Валентин Валентинович Смирнов. — У Росгидромета за Уралом для этого ранее просто не было своих возможностей, и один из важнейших плодов нашего сотрудничества — технология передачи данных в режиме реального времени непосредственно на вычислительные мощности новосибирского Академгородка.
Сейчас в этом направлении ведётся большая работа, потому что задача оказалась вовсе не тривиальной. Производительности суперкомпьютеров вполне достаточно. Но данные идут в непрерывном потоке, а все суперкомпьютеры ориентированы на так называемые пакетные задачи. Технологии реализации на суперкомпьютерах потоковой обработки, в том числе в режиме реального времени, пока только разрабатываются.
Возникает и другая задача. Объём архивируемых данных — порядка 30 терабайт за год. При этом по-хорошему хотелось бы иметь данные и за прошлые годы. Следовательно, объём хранения возрастает в разы. Опять-таки, данные нужно хранить все, но не все должны быть в оперативном доступе. Есть такое понятие — долговременный архив, куда люди заходят от случая к случаю. Задача — разделить систему хранения на долговременную и оперативную, откуда эти данные могли бы непосредственно после приёма получать все заинтересованные пользователи, по крайней мере, все институты СО РАН, которые занимаются мониторингом.
— Одна из совместных задач, которые мы рассчитываем решить в ближайшем будущем, — заключает Н. Н. Добрецов, — отладить автоматический приём и вовлечение в процесс обработки данных с наземных метеостанций Росгидромета, которые пригодились бы нам для калибровки спутниковых данных. Мы ещё не до конца всё наладили. Но, тем не менее, лично я горжусь, что являюсь одним из участников этого совместного проекта.