| Автор |
Сообщение |
Sanek06
Участник
|
# Дата: 17 Май 2019 22:19 - Поправил: Sanek06
Здравствуйте форумчане. ПОдскажите, возможно ли осуществить создание собственной скажем прогнозтической модели(на языке программиования). Есть ли релевантные данные в открытых источниках для точного анализа,
|
isamegrelo
Участник
Zugdidi
|
# Дата: 17 Май 2019 23:16
Sanek06
Начнём с того, что вам в первую очередь необходимо повысить уровень внимательности, именно она является неотъемлемой частью программистов. Одна ошибка в синтаксисе порой может завалить весь код.
Большинство моделей NWP написаны на Fortran. Вы должны располагать своими математическими уравнениями и естественно огромной вычислительной мощностью.
|
Sanek06
Участник
|
# Дата: 18 Май 2019 00:46
isamegrelo
А вам бы очень и очень не помешало повысить уровень аналитического мышления и наблюдательность, без этого вы не можете быть программистом вообще. хотя вы не в теме по-ходу...
Разработка и русская письменная ничтожно слабо коррелируются.
|
isamegrelo
Участник
Zugdidi
|
# Дата: 18 Май 2019 00:58 - Поправил: isamegrelo
Sanek06
Речь про опечатки, а не грамматические ошибки, типа жи-ши пиши через "и".
Вы ДВАЖДЫ пропустили букву "р" в слове "программирование", это непростительно.
Поехали дальше...
Вам очень легкая задача.
Суперкомпьютер NOAA обрабатывает большой объем данных за 1 час (1 прогон GFS), а за сколько часов справится ваш процессор?
Если правильно ответите, то значит ещё не всё потеряно, сможете дальше прогрессировать и достичь своей цели.
|
Sanek06
Участник
|
# Дата: 18 Май 2019 01:43
Ксати сейчас проверил букву р. НА старом ноуте с которого сейчавс сижу она не хило так залипает и не нажимается... По-поводу NOAA это все считается, но в игушки здесь не хочется играться. Если есть что-то конструктивное - пишите.
|
isamegrelo
Участник
Zugdidi
|
# Дата: 18 Май 2019 09:48
в игушки здесь не хочется играться.
Sanek06
Никакие это не игрушки. Поставленный вопрос имеет самую прямую связь с вашей основной целью.
Не зная вычислительную мощность, как вы вообще собираетесь запускать модель?
Тот вопрос адресую всем участникам метеоклуба...
Подожду ответ до вечера.
|
CorvusCorax
Автор сайта
|
# Дата: 18 Май 2019 18:26
Подожду ответ до вечера.
isamegrelo
Тема интересная, но в двух словах не ответишь. Чуть позже напишу.
|
CorvusCorax
Автор сайта
|
# Дата: 18 Май 2019 21:25 - Поправил: CorvusCorax
Глобальные модели атмосферы требуют
а) наличия большого коллектива квалифицированных учёных-метеорологов и специалистов-программистов (это десятки, а возможно даже сотни человек )
б) наличия суперкомпьютера или большого кластера мощных серверов.
И то и другое требует значительных финансов.
Условно глобальные модели можно разделить (по качеству и применяемости) на три класса.
1 (лидеры). США, Соединённое Королевство, Германия.
2 (средний класс). Франция, Канада, Япония, Корея, КНР, Австралия, Швейцария.
3 (маргинальный). Россия, Индия, Бразилия.
|
CorvusCorax
Автор сайта
|
# Дата: 18 Май 2019 21:32
Что же касается мезомасштабных (региональных) моделей, то они есть не только у перечисленных выше стран, но и у ряда других стран Европы, Америки, Азии. Но зачастую это не самостоятельные модели, а основанные на какой-то модели одной из стран-лидеров. Наиболее известна свободно распространяемая модель WRF (ВРФ), американская, работающая на основе данных ГФС.
http://meteoclub.ru/index.php?action=vthread&forum =24&topic=2796&page=0
Вот модель ВРФ при большом желании можно запускать на домашнем компе, но при этом осилить можно только небольшой домен размером порядка 150х150 км по широте и долготе.
|
CorvusCorax
Автор сайта
|
# Дата: 18 Май 2019 21:34
Наиболее реальный путь для индивидуального творчества - это построение карт разных параметров по разным моделям (ГФС и другие), в этой сфере до сих пор поле непаханное.
Раньше несколько метеоклубовцев занимались таким творчеством
http://meteoclub.ru/index.php?action=vthread&forum =6&topic=2805&page=0
|
kostian
Участник
В печали. Нет бессмысленной войне!
|
# Дата: 18 Май 2019 22:49
Вопрос довольно забавный и звучит примерно как "Могу ли я написать свой Амазон или Facebook"? Теоретически, наверное да, только вопрос в том, сколько человеко-часов, а точнее даже человеко-лет, на это потребуется и главный вопрос - кому и зачем это надо?
|
isamegrelo
Участник
Zugdidi
|
# Дата: 18 Май 2019 23:13 - Поправил: isamegrelo
Сам отвечу на тот вопрос.
Производительность моей сборки (по данным Linpack) в среднем на уровне 40 гигафлопса, у NOAA же 5,78 петафлопса.
https://www.noaa.gov/stories/6-tools-our-meteorolo gists-use-to-forecast-weather
1 прогон GFS у меня будет длиться 144500 часов (16 лет и 181 день)
|
Sanek06
Участник
|
# Дата: 19 Май 2019 09:29
Только Corvus оказался внимательным.... Я нигде не писал что я собираюсь строить глобальную прогнозтическую модель.
|
GAO
Участник
Россия, Краснодарский край (запад)
|
# Дата: 19 Май 2019 10:34 - Поправил: GAO
CorvusCorax
осилить можно только небольшой домен размером порядка 150х150 км по широте и долготе.
А если ещё упростить задачу, для одного конкретного пункта такое возможно? Чтобы получать прогноз на сутки-двое.
|
isamegrelo
Участник
Zugdidi
|
# Дата: 19 Май 2019 11:05 - Поправил: isamegrelo
Sanek06
Александр, это в корне ничего не меняет. Пора подключить логику.
Допустим, вы хотите создать модель исключительно только для Киевской области. Скорость зонального переноса максимальна в январе и в среднем составляет 32 км/ч над Киевом. Если горизонт прогноза расширить до 48 часов, то получится, что на погодные условия в столице Украины завтра может оказать влияние циклон, который был вчера на расстоянии ~1536 км (к примеру, из Германии)
Из этого каков основной вывод? Верно! Вам понадобится в идеале кругозор в радиусе до 1600 км! Вычисляем площадь круга с заданным радиусом: p*r^2=3.1415*1600^2=8042240. Округленно 8 млн. кв. км. А глобальная модель NOAA учитывает всю площадь: ~510 млн. кв. км.
То есть общий объём данных уменьшится примерно всего в 64 раза, соответственно у меня и время для обработки сократится с 16 лет 181 дня до 94 дней.
Прогноз на послезавтра придется ждать больше одного сезона.
|
kostian
Участник
В печали. Нет бессмысленной войне!
|
# Дата: 19 Май 2019 11:56
isamegrelo
Хороший у вас компьютер. У моего 4-ядерного старенького Dell только 20 Гигафлопс.
|
CorvusCorax
Автор сайта
|
# Дата: 19 Май 2019 14:24
для одного конкретного пункта такое возможно? Чтобы получать прогноз на сутки-двое.
GAO
Да, можно считать по маленькому домену типа 50х50 км. Но вряд ли кардинально улучшится прогноз большинства элементов по сравнению с классическими глобальными моделями. Основной выигрыш мезомодели дают (и то не всегда) в прогнозе гроз, града, шквалов, конвективных осадков.
|
CorvusCorax
Автор сайта
|
# Дата: 19 Май 2019 14:25
Из этого каков основной вывод? Верно! Вам понадобится в идеале кругозор в радиусе до 1600 км! Вычисляем площадь круга с заданным радиусом: p*r^2=3.1415*1600^2=8042240. Округленно 8 млн. кв. км. А глобальная модель NOAA учитывает всю площадь: ~510 млн. кв. км.
isamegrelo
Граничные и начальные условия мезомодель ВРФ берёт из прогнозов ГФС. Так что собственный объём расчётов для домена порядка 100..150 км (сторона квадрата) в общем небольшой. 1-2 часа счёта на домашнем ПК. Есть статьи на всяких Хабрах про то, как это делать.
|
Explorer
Участник
Красноярск
|
# Дата: 19 Май 2019 17:23 - Поправил: Explorer
isamegrelo
Производительность моей сборки (по данным Linpack) в среднем на уровне 40 гигафлопса, у NOAA же 5,78 петафлопса.
Можно разделить процесс вычислений среди нескольких компьютеров, то есть найти единомышленников, которые установят программу и пусть она раскидывает вычисления среди нескольких машин - так вроде проект SETI работает. Интересно, сколько среднестатистических компьютеров понадобиться, чтобы достичь вычислительной мощности как у NOAA?
|
kostian
Участник
В печали. Нет бессмысленной войне!
|
# Дата: 19 Май 2019 19:22
Explorer
Интересно, сколько среднестатистических компьютеров понадобиться, чтобы достичь вычислительной мощности как у NOAA?
Таких, как меня, примерно 300 тысяч нужно. Если взять их оптом по 100 баксов каждый, то цена вопроса - 30 миллионов долларов и можете гонять дома GFS. Правда дома они не поместятся, так что добавляется еще покупка или аренда какого-нибудь склада под это дело + выделение мощности от ближайшей подстанции. Короче, если есть лишние 50 миллионов долларов, можно заняться.
|
Sanek06
Участник
|
# Дата: 19 Май 2019 19:58
CorvusCorax
Название статей не помните на Хабре?. Не могу найти их
|
CorvusCorax
Автор сайта
|
# Дата: 20 Май 2019 08:19
Название статей не помните на Хабре?. Не могу найти их
Sanek06
Яндекс. Найдётся всё :)
https://yandex.ru/search/?clid=2186620&text=wrf%20 site%3Ahabr.com&rdrnd=732965&lr=163&redircnt=15583 29470.1
https://habr.com/ru/post/117140/
|
isamegrelo
Участник
Zugdidi
|
# Дата: 20 Май 2019 13:41
Граничные и начальные условия мезомодель ВРФ берёт из прогнозов ГФС. Так что собственный объём расчётов для домена порядка 100..150 км (сторона квадрата) в общем небольшой. 1-2 часа счёта на домашнем ПК.
CorvusCorax
Производные данные не столь интересны, как от собственной независимой модели. К тому же не раз замечал, что эта WRF часто глючит с осадками похлеще UKMET'а.
Есть статьи на всяких Хабрах про то, как это делать.
Там далеко не детальное описание, вдобавок всё про старые версии.
Для новой пошаговая инструкция только на английском языке.
http://www2.mmm.ucar.edu/wrf/users/docs/user_guide _V3.9/ARWUsersGuideV3.9.pdf
|
isamegrelo
Участник
Zugdidi
|
# Дата: 20 Май 2019 13:55 - Поправил: isamegrelo
Можно разделить процесс вычислений среди нескольких компьютеров, то есть найти единомышленников, которые установят программу и пусть она раскидывает вычисления среди нескольких машин - так вроде проект SETI работает.
Explorer
Верно, речь про распределенные вычисления, для Python-проектов можно их организовать с помощью библиотеки RPyC.
Интересно, сколько среднестатистических компьютеров понадобиться, чтобы достичь вычислительной мощности как у NOAA?
При мощности 100 GFlops чтобы достичь уровня NOAA понадобится их около 58 тыс.
Есть альтернатива: подключиться к облачным вычислениям от Amazon. Цена по требованию за 1 час чуть более 31 тыс. долларов для мощности в 1 петафлопс, если зарезервировать на 1 год, то будет большая скидка, одноразово заплатить 160 тыс. (тариф 18,3 USD/час)
https://aws.amazon.com/ru/ec2/instance-types/p3/
|
CorvusCorax
Автор сайта
|
# Дата: 21 Мар 2020 15:00
Visualization in Meteorology – A Survey of
Techniques and Tools for Data Analysis Tasks
Marc Rautenhaus, Michael Bottinger, Stephan Siemen, Robert Hoffman, ¨
Robert M. Kirby, Mahsa Mirzargar, Niklas Rober, and R ¨ udiger Westermann
http://www.sci.utah.edu/publications/Rau2017a/286c 33cb985b759cef6df8cd5568f430a49d.pdf
Фундаментальная статья (использовано 376 источников) об эволюции софта для визуализации метеоданных (2017 г.).
|
Date84
Участник
Land of the Rising Sun
|
# Дата: 21 Мар 2020 15:21
CorvusCorax
Фундаментальная статья (использовано 376 источников)
Т.е. 376 источников по программам для того что-бы просто визуализировать метеоданные, а не что-то там посчитать?
|
MeteoR
Участник
Обнинск
|
# Дата: 22 Мар 2020 21:37
CorvusCorax
Фундаментальная статья
Спасибо! Хорошо проработанная статья!
Из перечисленных свободных средств немного использовал McIDAS в исследованиях. Удобно в наложении спутниковых и модельных данных. Вообще, функционал там обширный, включая обработку данных. Правда, по удобству использования, есть много моментов.
Есть еще разработка Финского метеорологического института, система SmartMet: https://en.ilmatieteenlaitos.fi/documents/30106/48 6066512/SmartMet_Leaflet.pdf/7c6cfb50-1278-4caf-88 40-19b79ca194ab
ПО с открытым кодом: https://en.ilmatieteenlaitos.fi/open-source-code
|
MeteoR
Участник
Обнинск
|
# Дата: 22 Мар 2020 21:44
Из свободных вспомнил еще китайскую MeteoInfo:
https://rmets.onlinelibrary.wiley.com/doi/full/10. 1002/met.1345
Для визуализации grib, netcdf - вполне удобна, но многие источники данных заточены под Китай
|
CorvusCorax
Автор сайта
|
# Дата: 7 Янв 2021 18:32
Финский метеорологический институт публикует программное обеспечение с открытым исходным кодом
https://en.ilmatieteenlaitos.fi/open-source-code
|
CorvusCorax
Автор сайта
|
# Дата: 21 Янв 2021 11:42
Модель бесшовного прогноза погоды ПЛАВ (история, текущее состояние, перспективы)
Презентация 2017 года
http://www.scert.ru/conferences/cites/2017/present ation/Presentation/School/30.08.17/9-Tolstykh2.pdf
|
