2019-05-18 23:13:57
Производительность моей сборки (по данным Linpack) в среднем на уровне 40 гигафлопса, у NOAA же 5,78 петафлопса.
https://www.noaa.gov/stories/6-tools-our-meteorolo gists-use-to-forecast-weather
1 прогон GFS у меня будет длиться 144500 часов (16 лет и 181 день)
2019-05-19 09:29:40
2019-05-19 10:34:05
осилить можно только небольшой домен размером порядка 150х150 км по широте и долготе.
А если ещё упростить задачу, для одного конкретного пункта такое возможно? Чтобы получать прогноз на сутки-двое.
2019-05-19 11:05:36
Александр, это в корне ничего не меняет. Пора подключить логику.
Допустим, вы хотите создать модель исключительно только для Киевской области. Скорость зонального переноса максимальна в январе и в среднем составляет 32 км/ч над Киевом. Если горизонт прогноза расширить до 48 часов, то получится, что на погодные условия в столице Украины завтра может оказать влияние циклон, который был вчера на расстоянии ~1536 км (к примеру, из Германии)
Из этого каков основной вывод? Верно! Вам понадобится в идеале кругозор в радиусе до 1600 км! Вычисляем площадь круга с заданным радиусом: p*r^2=3.1415*1600^2=8042240. Округленно 8 млн. кв. км. А глобальная модель NOAA учитывает всю площадь: ~510 млн. кв. км.
То есть общий объём данных уменьшится примерно всего в 64 раза, соответственно у меня и время для обработки сократится с 16 лет 181 дня до 94 дней.
Прогноз на послезавтра придется ждать больше одного сезона.
2019-05-19 11:56:56
Хороший у вас компьютер. У моего 4-ядерного старенького Dell только 20 Гигафлопс.
2019-05-19 14:24:01
GAO
Да, можно считать по маленькому домену типа 50х50 км. Но вряд ли кардинально улучшится прогноз большинства элементов по сравнению с классическими глобальными моделями. Основной выигрыш мезомодели дают (и то не всегда) в прогнозе гроз, града, шквалов, конвективных осадков.
2019-05-19 14:25:48
isamegrelo
Граничные и начальные условия мезомодель ВРФ берёт из прогнозов ГФС. Так что собственный объём расчётов для домена порядка 100..150 км (сторона квадрата) в общем небольшой. 1-2 часа счёта на домашнем ПК. Есть статьи на всяких Хабрах про то, как это делать.
2019-05-19 17:23:28
Производительность моей сборки (по данным Linpack) в среднем на уровне 40 гигафлопса, у NOAA же 5,78 петафлопса.
Можно разделить процесс вычислений среди нескольких компьютеров, то есть найти единомышленников, которые установят программу и пусть она раскидывает вычисления среди нескольких машин - так вроде проект SETI работает. Интересно, сколько среднестатистических компьютеров понадобиться, чтобы достичь вычислительной мощности как у NOAA?
2019-05-19 19:22:02
Интересно, сколько среднестатистических компьютеров понадобиться, чтобы достичь вычислительной мощности как у NOAA?
Таких, как меня, примерно 300 тысяч нужно. Если взять их оптом по 100 баксов каждый, то цена вопроса - 30 миллионов долларов и можете гонять дома GFS. Правда дома они не поместятся, так что добавляется еще покупка или аренда какого-нибудь склада под это дело + выделение мощности от ближайшей подстанции. Короче, если есть лишние 50 миллионов долларов, можно заняться.
2019-05-19 19:58:47
Название статей не помните на Хабре?. Не могу найти их
2019-05-20 08:19:02
Sanek06
Яндекс. Найдётся всё :)
https://yandex.ru/search/?clid=2186620&text=wrf%20 site%3Ahabr.com&rdrnd=732965&lr=163&redircnt=15583 29470.1
https://habr.com/ru/post/117140/
2019-05-20 13:41:09
CorvusCorax
Производные данные не столь интересны, как от собственной независимой модели. К тому же не раз замечал, что эта WRF часто глючит с осадками похлеще UKMET'а.
Есть статьи на всяких Хабрах про то, как это делать.
Там далеко не детальное описание, вдобавок всё про старые версии.
Для новой пошаговая инструкция только на английском языке.
http://www2.mmm.ucar.edu/wrf/users/docs/user_guide _V3.9/ARWUsersGuideV3.9.pdf
2019-05-20 13:55:45
Explorer
Верно, речь про распределенные вычисления, для Python-проектов можно их организовать с помощью библиотеки RPyC.
Интересно, сколько среднестатистических компьютеров понадобиться, чтобы достичь вычислительной мощности как у NOAA?
При мощности 100 GFlops чтобы достичь уровня NOAA понадобится их около 58 тыс.
Есть альтернатива: подключиться к облачным вычислениям от Amazon. Цена по требованию за 1 час чуть более 31 тыс. долларов для мощности в 1 петафлопс, если зарезервировать на 1 год, то будет большая скидка, одноразово заплатить 160 тыс. (тариф 18,3 USD/час)
https://aws.amazon.com/ru/ec2/instance-types/p3/
2020-03-21 15:00:54
Techniques and Tools for Data Analysis Tasks
Marc Rautenhaus, Michael Bottinger, Stephan Siemen, Robert Hoffman, ¨
Robert M. Kirby, Mahsa Mirzargar, Niklas Rober, and R ¨ udiger Westermann
http://www.sci.utah.edu/publications/Rau2017a/286c 33cb985b759cef6df8cd5568f430a49d.pdf
Фундаментальная статья (использовано 376 источников) об эволюции софта для визуализации метеоданных (2017 г.).
2020-03-21 15:21:43
Фундаментальная статья (использовано 376 источников)
Т.е. 376 источников по программам для того что-бы просто визуализировать метеоданные, а не что-то там посчитать?
2020-03-22 21:37:30
Фундаментальная статья
Спасибо! Хорошо проработанная статья!
Из перечисленных свободных средств немного использовал McIDAS в исследованиях. Удобно в наложении спутниковых и модельных данных. Вообще, функционал там обширный, включая обработку данных. Правда, по удобству использования, есть много моментов.
Есть еще разработка Финского метеорологического института, система SmartMet: https://en.ilmatieteenlaitos.fi/documents/30106/48 6066512/SmartMet_Leaflet.pdf/7c6cfb50-1278-4caf-88 40-19b79ca194ab
ПО с открытым кодом: https://en.ilmatieteenlaitos.fi/open-source-code
2020-03-22 21:44:30
https://rmets.onlinelibrary.wiley.com/doi/full/10. 1002/met.1345
Для визуализации grib, netcdf - вполне удобна, но многие источники данных заточены под Китай
2021-01-07 18:32:48
https://en.ilmatieteenlaitos.fi/open-source-code
2021-01-21 11:42:21
Презентация 2017 года
http://www.scert.ru/conferences/cites/2017/present ation/Presentation/School/30.08.17/9-Tolstykh2.pdf
2021-01-21 11:45:49
атмосферы ПЛАВ в 2009–2019 гг.
http://method.meteorf.ru/publ/tr/tr374/05.pdf
2021-01-22 11:03:45
https://www.nco.ncep.noaa.gov/pmb/codes/nwprod/
2021-07-19 15:31:39
https://habr.com/ru/company/yandex/blog/565238/
2021-07-19 15:35:30
Как Яндекс создал глобальный прогноз осадков с использованием радаров и спутников
https://habr.com/ru/company/yandex/blog/425517/
2021-07-19 15:37:31
Как Вы оцениваете в данный момент качество наукастинга Яндекса?
2021-07-19 19:23:48
Стало получше, по крайней мере по нашему региону.
2021-09-30 13:59:47
Товарищ подкинул ссылку на работу DeepMind, которая обучила нейросеть предсказывать время и место дождей. Прогноз 90 минут.
Шо интересно, что DeepMind обучила свой ИИ работе с данными метерадара. Читайте https://habr.com/ru/news/t/580832/
Обученная модель для Великобритании доступна на гитхабе https://github.com/deepmind/deepmind-research/tree /master/nowcasting
2023-03-31 18:58:58
https://meteoinfo.ru/images/misc/sovet/bykov/bykov _avtoreferat_2_sign.pdf
2023-04-01 14:35:09
Спасибо. Тов. Быков ранее участвовал в Метеоклубе.
Автор ряда статей, в частности об анализе и прогнозе конвективных осадков и явлений.
2023-04-21 14:25:55
Алгоритм уже может предсказывать Эль-Ниньо (повышение температуры воды в Тихом океане) на 1,5 года вперед. Перепады температур способны вызывать лесные пожары, наводнения, засуху, неурожай и малярию в отдельных регионах мира. Если алгоритму удастся предсказывать аномалию раньше, это может решить множество экологических и социальных проблем, сообщили в пресс-службе платформы Yandex Cloud.
https://www.rbc.ru/life/news/644002209a7947494e28d f65
2026-01-18 06:52:54
Provide tools for unit-aware, meteorological calculations.
https://unidata.github.io/MetPy/latest/api/generat ed/metpy.calc.html