| Автор |
Сообщение |
CorvusCorax
Автор сайта
|
# Дата: 9 Jun 2020 19:14
У Рединга в свободном доступе есть мизерное количество переменных на период 240 ч с шагом 24 ч
https://www.ecmwf.int/en/forecasts/datasets/wmo-es sential
Short name Long name Unit ID Level Steps Domain Access
MSL Mean sea level pressure Pa 151 Surface 0 to 240 by 24 G Public
GH Geopotential Height gpm 156 500 0 to 240 by 24 G Public
T Temperature K 130 850 0 to 240 by 24 G Public
U U component of wind m s**-1 131 850 0 to 240 by 24 G Public
V V component of wind m s**-1 132 850 0 to 240 by 24 G Public
S
|
CorvusCorax
Автор сайта
|
# Дата: 9 Jun 2020 19:16
Но есть их же модель CAM "почти в реальном времени" на 120 ч с шагом 3 ч
https://apps.ecmwf.int/datasets/data/cams-nrealtim e/levtype=sfc/
Там помимо химических параметров есть и ряд метеорологических.
Для получения данных надо зарегистрироваться в интерфейсе MARS, вроде бы бесплатно
https://confluence.ecmwf.int/display/WEBAPI/Access +MARS
|
qwerty_96
Участник
Владимирская область, Киржач
|
# Дата: 14 Jun 2020 17:37
У Рединга появилась параллельная версия:
https://www.wetterzentrale.de/en/topkarten.php?map =1&model=ecm&var=2&time=0&run=0&lid=PARA&h=0&tr=24 &mv=0
|
CorvusCorax
Автор сайта
|
# Дата: 29 Авг 2020 13:24
Оказывается, у американской модели GEOS-5 (NASA)
открытый исходный код, доступный для скачивания
https://gmao.gsfc.nasa.gov/GEOS_systems/geos5_acce ss.php
https://geos5.org/wiki/index.php?title=GEOS_GCM_Do cumentation_and_Access
|
CorvusCorax
Автор сайта
|
# Дата: 29 Авг 2020 16:27
Список продуктов модели ГЕОС-5
https://gmao.gsfc.nasa.gov/GMAO_products/NRT_produ cts.php
Описание файлов
https://gmao.gsfc.nasa.gov/pubs/docs/Lucchesi865.p df
Доступ к скачиванию через систему GES DISC
https://disc.gsfc.nasa.gov/data-access
|
matrix145
Участник
Курган
|
# Дата: 24 Сен 2020 15:10 - Поправил: matrix145
Ансамбль GEFS перешёл на новую версию. Плюшек очень много. Они полностью заменили ядро, увеличили количество членов до 31, увеличили сетку до 0.25, даже у членов. НО! Самое главное, что нулевой прогон теперь будет рассчитываться на 35 дней!
Подробности и грибы здесь https://www.emc.ncep.noaa.gov/users/meg/gefsv12/
|
CorvusCorax
Автор сайта
|
# Дата: 25 Сен 2020 07:40
matrix145
Видимо, эта версия ещё тестовая и не принята в "продакшен"?
Я полазил по папкам
https://para.nomads.ncep.noaa.gov/pub/data/nccf/co m/gens/para/gefs.20200923/
там в основном пусто, данных нет.
|
matrix145
Участник
Курган
|
# Дата: 25 Сен 2020 14:51
CorvusCorax
Она уже официально внедрена и публикуется вместо старой версии. Там должны быть грибы
|
matrix145
Участник
Курган
|
# Дата: 25 Сен 2020 16:10
Эволюция GEFS. Прошлое обновление было 5 лет назад.
|
CorvusCorax
Автор сайта
|
# Дата: 25 Сен 2020 16:29
matrix145
Тем не менее там пусто.
Последнее обновление было за 06 ВСВ 23 сентября (и то оно выразилось только в создании пустых папок). Далее вообще тишина.
Может, временный сбой.
|
CorvusCorax
Автор сайта
|
# Дата: 25 Сен 2020 16:31
Вот тут в папке пара тоже пусто
https://nomads.ncep.noaa.gov/pub/data/nccf/com/gen s/para/
А в папке прод данные есть
https://nomads.ncep.noaa.gov/pub/data/nccf/com/gen s/prod/gefs.20200925/
Может быть, в связи с принятием в эксплуатацию, данные новой версии теперь уже идут как продакшен?
|
matrix145
Участник
Курган
|
# Дата: 27 Сен 2020 16:07
CorvusCorax
Об этом и речь. Тесты уже завершены, новая версия выходит вместо старой. Правда пока нулевой прогон всё ещё на 16 дней выходит, хотя многие сайты уже подготовили загрузочные слоты под 35 суток. Видимо, позже появится.
|
Spasatel
Участник
Талдом
|
# Дата: 27 Сен 2020 19:46
matrix145
Самое главное, что нулевой прогон теперь будет рассчитываться на 35 дней!
Не понимаю, какой в этом смысл. Прогноз на 14-16-е сутки представляет собой как правило генератор случайных чисел. Что же будет с прогнозом на 30-35-е сутки :(((
|
CorvusCorax
Автор сайта
|
# Дата: 27 Сен 2020 20:15
Что же будет с прогнозом на 30-35-е сутки :(((
Spasatel
Будет некое подобие КФС.
По-видимому, на сроки более 10 дней это будет в большей степени климатический прогноз, чем классический гидродинамический.
|
Spasatel
Участник
Талдом
|
# Дата: 27 Сен 2020 20:48 - Поправил: Spasatel
CorvusCorax
Да, кстати ВМО настоятельно рекомендует увеличивать прогностический интервал в целях климатического прогноза. И в ГМЦ пришла такая рекомендация/
Хотя и климатические модели на срок свыше 10-ти суток тоже не блещут.
Вот к примеру сообщение на нашем форуме от 8-го сентября
Пока CFS упрямо рисует теплый сентябрь, у климатического Рединга появилась более пессимистичная картинка: норма во вторую и третью недели месяца и холодная погода в последнюю неделю. Т.е. о теплом сентябре речь уже не идет...
А последняя неделя как раз оказалась очень теплой :)
|
Spasatel
Участник
Талдом
|
# Дата: 28 Сен 2020 12:58
И вчерашний пример прогона GFS за 12, когда с 11-го октября был мощный арктический АЦ с очень большой отрицательной ТАН. Ошибочный прогон. Если считать дальше, вся 2-я декада октября получилась бы ОХ. И какой смысл в таких расчетах и трате вычислительных ресурсов?
|
matrix145
Участник
Курган
|
# Дата: 28 Сен 2020 15:44
Spasatel
Это называется амбициозность. Когда-то люди думали, что кусок железа не может летать. Построение ансамблевых прогнозов на 35 суток позволяет выявить уровень качества таких прогнозов, возможные ошибки, которые надо исследовать и нивелировать в будущем, поняв какие факторы настоящего формируют ошибки будущего. За такими прогнозами скрывается большая исследовательская работа, они прокладывают дорожку к более качественным прогнозам.
Качество прогнозов растёт каждое десятилетие и это не значит, что мы должны топтаться в пределах 10 суток.
|
CorvusCorax
Автор сайта
|
# Дата: 28 Сен 2020 21:51
Лет 5 назад о бесплатности большинства своих данных объявила немецкая метеослужба, с тех пор большое количество данных свободно
доступно на их сервере (в том числе модель ICON).
Пока бастионом платных метеоданных остаются английские модели (Рединг, УКМО) и австралийская (ACCESS-G).
Но вот пришла интересная новость:
Towards free and open weather data for all
The European Centre for Medium-Range Weather Forecasts (ECMWF) is moving towards open data, writes Umberto Modigliani.
https://www.theparliamentmagazine.eu/news/article/ towards-free-and-open-weather-data-for-all
|
CorvusCorax
Автор сайта
|
# Дата: 28 Сен 2020 21:57
Автоперевод:
В начале октября Европейский центр среднесрочных прогнозов погоды (ЕЦСПП) сделает важный шаг к тому, чтобы сделать сотни своих карт прогнозов бесплатными и доступными для всех. Эти изменения являются частью более широких шагов по всей Европе, направленных на то, чтобы сделать данные государственного сектора бесплатными и открытыми, чтобы поощрять инновации и поддерживать процветающую цифровую экономику, основанную на данных .
Карты будут охватывать весь мир, все типы погодных ситуаций, включая экстремальные явления, и, что очень важно, также будут включать информацию, основанную на вероятности, предоставляющую рекомендации по достоверности прогнозов.
До сих пор полный доступ к этим прогнозным картам был ограничен национальными метеорологическими и гидрологическими службами стран-членов ЕЦСПП и сотрудничающих с ними государств, членов Всемирной метеорологической организации и коммерческих клиентов. Доступ был обусловлен целым рядом специальных лицензий и часто требовал оплаты.
Прогнозы осадков и среднего давления на уровне моря - лишь один пример из сотен карт ЕЦСПП, которые будут доступны.
Диаграммы прогнозов будут бесплатными и открытыми, поэтому пользователи смогут обмениваться, распространять и адаптировать информацию по мере необходимости, даже для коммерческих приложений, при условии, что они признают ECMWF в качестве источника.
Энди Морс, профессор климатических воздействий Ливерпульского университета, прокомментировал: «Потенциальные возможности использования и выгоды, которые эти продукты приносят широкому кругу пользователей и секторов, огромны и особенно важны в менее экономически развитых странах. Теперь, когда удаленный доступ в Интернет широко распространен через современные сети мобильной связи; доступность этой информации, вероятно, изменит правила игры для многих малых предприятий. По моему опыту, люди в этих самых удаленных частях мира жаждут такой информации ".
Изменения также означают переход к политике открытых данных для исторической информации в огромном хранилище ECMWF, которое содержит миллиарды метеорологических полей, включая недавние и прошлые прогнозы. Он представляет собой самый большой архив таких данных в мире.
|
CorvusCorax
Автор сайта
|
# Дата: 28 Сен 2020 21:58
«Социальные выгоды, связанные с бесплатными и открытыми данными, огромны. Мы понимаем, что этот шаг связан с финансовыми проблемами, но преимущества перевешивают эти проблемы » Рольф Бреннерфельт, председатель Консультативного комитета по политике ЕЦСПП.
В соответствии с Директивой ЕС об открытых данных государства-члены ЕС должны будут предоставлять как можно больше информации для повторного использования. Прогнозы погоды считаются «ценными» данными, повторное использование которых связано с особенно важными преимуществами для общества и экономики.
Программа наблюдения Земли «Коперник» ЕС , некоторые элементы которой реализуются ЕЦСПП, с момента своего создания проводила политику бесплатных открытых данных. Имея тысячи пользователей, программа предлагает множество примеров преимуществ, которые могут принести открытые данные.
В начале пандемии COVID-19 группа итальянских эпидемиологов использовала данные о загрязнении атмосферы, полученные от Службы мониторинга атмосферы Коперника ЕС (CAMS), чтобы исследовать связи между уровнем загрязнения в данной местности и уровнем и серьезностью заражения COVID. . Служба по изменению климата Copernicus (C3S) разработала приложение, которое позволяет органам здравоохранения и центрам эпидемиологии исследовать, влияют ли температура и влажность на распространение коронавируса.
Обширный репозиторий ECMWF, содержащий сотни петабайт данных, является воплощением термина «большие данные». Он предлагает огромные возможности для машинного обучения, когда компьютер использует данные для «изучения» отношений между различными переменными. Если данных для обучения достаточно, машинное обучение можно использовать для разработки числовых инструментов, имитирующих сложные системы. Фактически, исследователи объединяют эти данные ECMWF и машинное обучение, чтобы исследовать развитие «цифрового двойника» земной системы. Можно также предусмотреть более широкие применения, такие как прогнозирование погодных воздействий на финансовые рынки.
Рольф Бреннерфельт, председатель Политического консультативного комитета ЕЦСПП, прокомментировал: « Государства-члены ЕЦСПП очень хотели, чтобы данные Центра были открытыми и бесплатными в течение некоторого времени.
Социальные выгоды, связанные с бесплатными и открытыми данными, огромны. Мы понимаем, что этот шаг сопряжен с финансовыми проблемами, но преимущества перевешивают эти проблемы.
Мы находимся в переходном периоде, и этот первый пакет данных, предоставляемый в свободный доступ, является очень хорошим началом и хорошо иллюстрирует нашу приверженность этому принципу ».
Этот поэтапный переход к свободным и открытым данным направлен на поддержку творчества и инноваций в области научных исследований, а также погодных приложений и должен способствовать более необходимым и важным научным, социальным и экономическим достижениям.
|
Spasatel
Участник
Талдом
|
# Дата: 29 Сен 2020 02:21 - Поправил: Spasatel
matrix145
Построение ансамблевых прогнозов на 35 суток позволяет выявить уровень качества таких прогнозов, возможные ошибки, которые надо исследовать и нивелировать в будущем
Качество таких прогнозов понятно и так. Исследовать прогнозы на такой срок бессмысленно, надо находить критические точки гораздо раньше. Если прогноз на срок +240 уже не имеет ничего общего с фактом, се последующие итерации абсолютно бессмысленны.
Достаточно много случаев, когда в прогнозе на +144 прогон за 0 utc не видит кардинальную перестройку син процесса, а прогон за 6 видит.
Вот это и надо ислледовать, а не прогнозы на 35-е сутки!
Пока мы не разберемся с прогнозами на +144, бесполезно идти дальше.
Зы По этой теме готовится к защите кандидатская диссертация на кафедре моделирования ВМК МГУ. Я был на обсуждениях и участвую в руководстве, материал очень интересный должен получиться и надеюсь полезный.
|
matrix145
Участник
Курган
|
# Дата: 29 Сен 2020 04:08
Spasatel
Какие дельные замечания. Вот электронная почта Юджина Чи из NOAA. Он поддерживает GEFS и отвечает за обратную связь. Напишите ему. Думаю, что его заинтересуют Ваши наработки.
Yuejian.Zhu@noaa.gov
|
matrix145
Участник
Курган
|
# Дата: 29 Сен 2020 04:21 - Поправил: matrix145
Spasatel
А пока Вы набираете сообщение, рекомендую ознакомиться с реальными фактами по оправдываемости ансамблевых прогнозов.
Корреляция аномалий приземной температуры. Лето 2020
RMSE
Как видите, никаким "генератором случайных чисел" и не пахнет. У Рединга на 15 сутки корреляция аномалии 0.8, а ошибка ниже 3 градусов.
|
matrix145
Участник
Курган
|
# Дата: 29 Сен 2020 04:27 - Поправил: matrix145
Обращаю внимание на ещё один важный момент. У детерминированного прогноза ECMWF корреляция на 10 сутки составляет 0.466. Это прогноз температуры на уровне 850.
У ансамбля ECMWF на этот срок корреляция в районе 0.65
Это говорит о том, что использование ансамбля для прогнозирования знака температурной аномалии более значимо, чем использование детерминированного прогноза.
|
matrix145
Участник
Курган
|
# Дата: 29 Сен 2020 04:53 - Поправил: matrix145
Ещё один интересный пример, это ансамбль NAEFS, который совмещает в себе 40 членов. 20 от GEFS и 20 от GEPS. Это комбинирование позволяет значительно повысить качество прогноза.
Лето 2020. Корреляция аномалии приземной температуры. На 16 сутки у NAEFS 0.8. Остальные ансамбли выдают на уровне 0.7. NAEFS я часто посматриваю и могу сказать, что это действительно очень качественный ансамбль для прогнозов в среднесрочной перспективе.
Можно смотреть здесь и здесь
|
Spasatel
Участник
Талдом
|
# Дата: 29 Сен 2020 13:05
matrix145Напишите ему. Думаю, что его заинтересуют Ваши наработки.
Главная цель работы - понять, каким образом изменения граничных условий всего за 6 часов приводят к существенному различию прогностич полей уже на +144. Именно с точки зрения вычислительной математики , ну и метеорологическая часть будет. Исследуется действительно GEFS, а вот содействовать ее развитию в наши планы не входит. Этим пускай в НМЦ США занимаются.Цель - определение достоверности прогонов различных ГДМ.
|
Spasatel
Участник
Талдом
|
# Дата: 29 Сен 2020 13:07
matrix145 У Рединга на 15 сутки корреляция аномалии 0.8, а ошибка ниже 3 градусов.
А можете привести корреляцию и ошибку на 15-е сутки по ЕТР для последней недели сентября?
|
matrix145
Участник
Курган
|
# Дата: 29 Сен 2020 14:55
Spasatel
Таких данных у NOAA нет. Это цифры по северному полушарию. По ЕТР верификацию прогнозов делает Гидрометцентр, но ансамблей у них нет.
|
Spasatel
Участник
Талдом
|
# Дата: 29 Сен 2020 17:19 - Поправил: Spasatel
matrix145
Оценки ГМЦ у меня как раз есть по всем зарубежным моделям, в тч и ансамблям.
Но мы делаем то, что реально интересно для прогноза, те ЕТР (и даже центр ЕТР отдельно) ,Урал и тп.
Так вот , тут по ансамблю ECMWF после 10-х суток все обстоит гораздо хуже, чем интегральные оценки по северному полушарию.
Что и понятно.)
В пределах 10-ти суток ансамбль Рэдинга самый лучший по оценкам для ЕТР/
|
matrix145
Участник
Курган
|
# Дата: 29 Сен 2020 17:34
Spasatel
Оценки ГМЦ у меня как раз есть по всем зарубежным моделям, в тч и ансамблям.
Не хотите их представить общественности?
|
