Метеорология и программирование

Полезные ссылки:
Метеоцентр.Азия - наш сайт с высокодетализированными прогнозами погоды по пунктам России и мира
Облегчённая версия Метеоклуба (для смартфонов)

Метеорология и программирование

Сейчас в Метеоклубе:
Участников - 5 [ Doof, svc, mehol2, Maks6824, SergeyYn_ ]
Максимальное одновременное количество посетителей: 6 [19 Июн 2019 16:34]
Гостей - 0 / Участников - 6

 - Начало - Ответить - Статистика - Регистрация - Поиск -
МЕТЕОКЛУБ : независимое сообщество любителей метеорологии (Европа и Азия) : ФОРУМ О ПОГОДЕ И ПРИРОДЕ / Компьютерная техника и интернет в метеорологии / Метеорология и программирование
Автор Сообщение
Sanek06
Участник
Письмо
Николаев/Киев
# Дата: 17 Май 2019 22:19 - Поправил: Sanek06


Здравствуйте форумчане. ПОдскажите, возможно ли осуществить создание собственной скажем прогнозтической модели(на языке программиования). Есть ли релевантные данные в открытых источниках для точного анализа,

isamegrelo
Участник
Письмо
Zugdidi
# Дата: 17 Май 2019 23:16


Sanek06

Начнём с того, что вам в первую очередь необходимо повысить уровень внимательности, именно она является неотъемлемой частью программистов. Одна ошибка в синтаксисе порой может завалить весь код.

Большинство моделей NWP написаны на Fortran. Вы должны располагать своими математическими уравнениями и естественно огромной вычислительной мощностью.

Sanek06
Участник
Письмо
Николаев/Киев
# Дата: 18 Май 2019 00:46


isamegrelo
А вам бы очень и очень не помешало повысить уровень аналитического мышления и наблюдательность, без этого вы не можете быть программистом вообще. хотя вы не в теме по-ходу...
Разработка и русская письменная ничтожно слабо коррелируются.

isamegrelo
Участник
Письмо
Zugdidi
# Дата: 18 Май 2019 00:58 - Поправил: isamegrelo


Sanek06

Речь про опечатки, а не грамматические ошибки, типа жи-ши пиши через "и".

Вы ДВАЖДЫ пропустили букву "р" в слове "программирование", это непростительно.

Поехали дальше...

Вам очень легкая задача.

Суперкомпьютер NOAA обрабатывает большой объем данных за 1 час (1 прогон GFS), а за сколько часов справится ваш процессор?
Если правильно ответите, то значит ещё не всё потеряно, сможете дальше прогрессировать и достичь своей цели.

Sanek06
Участник
Письмо
Николаев/Киев
# Дата: 18 Май 2019 01:43


Ксати сейчас проверил букву р. НА старом ноуте с которого сейчавс сижу она не хило так залипает и не нажимается... По-поводу NOAA это все считается, но в игушки здесь не хочется играться. Если есть что-то конструктивное - пишите.

isamegrelo
Участник
Письмо
Zugdidi
# Дата: 18 Май 2019 09:48


в игушки здесь не хочется играться.
Sanek06

Никакие это не игрушки. Поставленный вопрос имеет самую прямую связь с вашей основной целью.
Не зная вычислительную мощность, как вы вообще собираетесь запускать модель?

Тот вопрос адресую всем участникам метеоклуба...
Подожду ответ до вечера.

CorvusCorax
Автор сайта
Письмо
Байконур
# Дата: 18 Май 2019 18:26


Подожду ответ до вечера.

isamegrelo

Тема интересная, но в двух словах не ответишь. Чуть позже напишу.

CorvusCorax
Автор сайта
Письмо
Байконур
# Дата: 18 Май 2019 21:25 - Поправил: CorvusCorax


Глобальные модели атмосферы требуют
а) наличия большого коллектива квалифицированных учёных-метеорологов и специалистов-программистов (это десятки, а возможно даже сотни человек )
б) наличия суперкомпьютера или большого кластера мощных серверов.
И то и другое требует значительных финансов.

Условно глобальные модели можно разделить (по качеству и применяемости) на три класса.

1 (лидеры). США, Соединённое Королевство, Германия.

2 (средний класс). Франция, Канада, Япония, Корея, КНР, Австралия, Швейцария.

3 (маргинальный). Россия, Индия, Бразилия.

CorvusCorax
Автор сайта
Письмо
Байконур
# Дата: 18 Май 2019 21:32


Что же касается мезомасштабных (региональных) моделей, то они есть не только у перечисленных выше стран, но и у ряда других стран Европы, Америки, Азии. Но зачастую это не самостоятельные модели, а основанные на какой-то модели одной из стран-лидеров. Наиболее известна свободно распространяемая модель WRF (ВРФ), американская, работающая на основе данных ГФС.

http://meteoclub.ru/index.php?action=vthread&forum =24&topic=2796&page=0

Вот модель ВРФ при большом желании можно запускать на домашнем компе, но при этом осилить можно только небольшой домен размером порядка 150х150 км по широте и долготе.

CorvusCorax
Автор сайта
Письмо
Байконур
# Дата: 18 Май 2019 21:34


Наиболее реальный путь для индивидуального творчества - это построение карт разных параметров по разным моделям (ГФС и другие), в этой сфере до сих пор поле непаханное.

Раньше несколько метеоклубовцев занимались таким творчеством

http://meteoclub.ru/index.php?action=vthread&forum =6&topic=2805&page=0

kostian
Участник
Письмо
Знойные приполярные степи Евразии.
# Дата: 18 Май 2019 22:49


Вопрос довольно забавный и звучит примерно как "Могу ли я написать свой Амазон или Facebook"? Теоретически, наверное да, только вопрос в том, сколько человеко-часов, а точнее даже человеко-лет, на это потребуется и главный вопрос - кому и зачем это надо?

isamegrelo
Участник
Письмо
Zugdidi
# Дата: 18 Май 2019 23:13 - Поправил: isamegrelo


Сам отвечу на тот вопрос.
Производительность моей сборки (по данным Linpack) в среднем на уровне 40 гигафлопса, у NOAA же 5,78 петафлопса.
https://www.noaa.gov/stories/6-tools-our-meteorolo gists-use-to-forecast-weather

1 прогон GFS у меня будет длиться 144500 часов (16 лет и 181 день)



Sanek06
Участник
Письмо
Николаев/Киев
# Дата: 19 Май 2019 09:29


Только Corvus оказался внимательным.... Я нигде не писал что я собираюсь строить глобальную прогнозтическую модель.

GAO
Участник
Письмо
Россия, Краснодарский край (запад)
# Дата: 19 Май 2019 10:34 - Поправил: GAO


CorvusCorax
осилить можно только небольшой домен размером порядка 150х150 км по широте и долготе.

А если ещё упростить задачу, для одного конкретного пункта такое возможно? Чтобы получать прогноз на сутки-двое.

isamegrelo
Участник
Письмо
Zugdidi
# Дата: 19 Май 2019 11:05 - Поправил: isamegrelo


Sanek06

Александр, это в корне ничего не меняет. Пора подключить логику.

Допустим, вы хотите создать модель исключительно только для Киевской области. Скорость зонального переноса максимальна в январе и в среднем составляет 32 км/ч над Киевом. Если горизонт прогноза расширить до 48 часов, то получится, что на погодные условия в столице Украины завтра может оказать влияние циклон, который был вчера на расстоянии ~1536 км (к примеру, из Германии)

Из этого каков основной вывод? Верно! Вам понадобится в идеале кругозор в радиусе до 1600 км! Вычисляем площадь круга с заданным радиусом: p*r^2=3.1415*1600^2=8042240. Округленно 8 млн. кв. км. А глобальная модель NOAA учитывает всю площадь: ~510 млн. кв. км.

То есть общий объём данных уменьшится примерно всего в 64 раза, соответственно у меня и время для обработки сократится с 16 лет 181 дня до 94 дней.

Прогноз на послезавтра придется ждать больше одного сезона.

kostian
Участник
Письмо
Знойные приполярные степи Евразии.
# Дата: 19 Май 2019 11:56


isamegrelo

Хороший у вас компьютер. У моего 4-ядерного старенького Dell только 20 Гигафлопс.

CorvusCorax
Автор сайта
Письмо
Байконур
# Дата: 19 Май 2019 14:24


для одного конкретного пункта такое возможно? Чтобы получать прогноз на сутки-двое.
GAO

Да, можно считать по маленькому домену типа 50х50 км. Но вряд ли кардинально улучшится прогноз большинства элементов по сравнению с классическими глобальными моделями. Основной выигрыш мезомодели дают (и то не всегда) в прогнозе гроз, града, шквалов, конвективных осадков.

CorvusCorax
Автор сайта
Письмо
Байконур
# Дата: 19 Май 2019 14:25


Из этого каков основной вывод? Верно! Вам понадобится в идеале кругозор в радиусе до 1600 км! Вычисляем площадь круга с заданным радиусом: p*r^2=3.1415*1600^2=8042240. Округленно 8 млн. кв. км. А глобальная модель NOAA учитывает всю площадь: ~510 млн. кв. км.
isamegrelo

Граничные и начальные условия мезомодель ВРФ берёт из прогнозов ГФС. Так что собственный объём расчётов для домена порядка 100..150 км (сторона квадрата) в общем небольшой. 1-2 часа счёта на домашнем ПК. Есть статьи на всяких Хабрах про то, как это делать.

Explorer
Участник
Письмо
Красноярск
# Дата: 19 Май 2019 17:23 - Поправил: Explorer


isamegrelo
Производительность моей сборки (по данным Linpack) в среднем на уровне 40 гигафлопса, у NOAA же 5,78 петафлопса.


Можно разделить процесс вычислений среди нескольких компьютеров, то есть найти единомышленников, которые установят программу и пусть она раскидывает вычисления среди нескольких машин - так вроде проект SETI работает. Интересно, сколько среднестатистических компьютеров понадобиться, чтобы достичь вычислительной мощности как у NOAA?

kostian
Участник
Письмо
Знойные приполярные степи Евразии.
# Дата: 19 Май 2019 19:22


Explorer
Интересно, сколько среднестатистических компьютеров понадобиться, чтобы достичь вычислительной мощности как у NOAA?

Таких, как меня, примерно 300 тысяч нужно. Если взять их оптом по 100 баксов каждый, то цена вопроса - 30 миллионов долларов и можете гонять дома GFS. Правда дома они не поместятся, так что добавляется еще покупка или аренда какого-нибудь склада под это дело + выделение мощности от ближайшей подстанции. Короче, если есть лишние 50 миллионов долларов, можно заняться.

Sanek06
Участник
Письмо
Николаев/Киев
# Дата: 19 Май 2019 19:58


CorvusCorax
Название статей не помните на Хабре?. Не могу найти их

CorvusCorax
Автор сайта
Письмо
Байконур
# Дата: 20 Май 2019 08:19


Название статей не помните на Хабре?. Не могу найти их
Sanek06

Яндекс. Найдётся всё :)

https://yandex.ru/search/?clid=2186620&text=wrf%20 site%3Ahabr.com&rdrnd=732965&lr=163&redircnt=15583 29470.1

https://habr.com/ru/post/117140/

isamegrelo
Участник
Письмо
Zugdidi
# Дата: 20 Май 2019 13:41


Граничные и начальные условия мезомодель ВРФ берёт из прогнозов ГФС. Так что собственный объём расчётов для домена порядка 100..150 км (сторона квадрата) в общем небольшой. 1-2 часа счёта на домашнем ПК.
CorvusCorax

Производные данные не столь интересны, как от собственной независимой модели. К тому же не раз замечал, что эта WRF часто глючит с осадками похлеще UKMET'а.

Есть статьи на всяких Хабрах про то, как это делать.

Там далеко не детальное описание, вдобавок всё про старые версии.

Для новой пошаговая инструкция только на английском языке.
http://www2.mmm.ucar.edu/wrf/users/docs/user_guide _V3.9/ARWUsersGuideV3.9.pdf

isamegrelo
Участник
Письмо
Zugdidi
# Дата: 20 Май 2019 13:55 - Поправил: isamegrelo


Можно разделить процесс вычислений среди нескольких компьютеров, то есть найти единомышленников, которые установят программу и пусть она раскидывает вычисления среди нескольких машин - так вроде проект SETI работает.
Explorer

Верно, речь про распределенные вычисления, для Python-проектов можно их организовать с помощью библиотеки RPyC.

Интересно, сколько среднестатистических компьютеров понадобиться, чтобы достичь вычислительной мощности как у NOAA?

При мощности 100 GFlops чтобы достичь уровня NOAA понадобится их около 58 тыс.
Есть альтернатива: подключиться к облачным вычислениям от Amazon. Цена по требованию за 1 час чуть более 31 тыс. долларов для мощности в 1 петафлопс, если зарезервировать на 1 год, то будет большая скидка, одноразово заплатить 160 тыс. (тариф 18,3 USD/час)
https://aws.amazon.com/ru/ec2/instance-types/p3/

Ваш ответ

          Отменить *Что это?

 » Логин  » Пароль