| Автор |
Сообщение |
CorvusCorax
Автор сайта
|
# Дата: 8 Дек 2020 12:46
На первый взгляд, эта модель лучше прогнозирует Тприз зимой
чем ГФС
И не так сильно занижает, как канадка
|
matrix145
Участник
Курган
|
# Дата: 16 Дек 2020 12:46
Модель искусственного интеллекта обещает генерировать более быстрый и точный прогноз погоды
Сотрудничество между Вашингтонским университетом и Microsoft Research показывает, как искусственный интеллект может анализировать прошлые погодные условия для прогнозирования будущих событий, гораздо более эффективно и потенциально более точно, чем сегодняшние технологии.
Недавно разработанная глобальная модель погоды основывает свои прогнозы на данных о погоде за последние 40 лет, а не на детальных физических расчетах. Согласно статье, опубликованной этим летом в журнале Journal of Advances in Modeling Earth Systems, простая, основанная на данных модель ИИ может моделировать годовую погоду по всему земному шару гораздо быстрее и почти так же хорошо, как и традиционные модели погоды, делая аналогичные повторяющиеся шаги от одного прогноза к другому.
"Машинное обучение, по сути, делает прославленную версию распознавания образов", - сказал ведущий автор Джонатан Вейн, который провел это исследование в рамках своей докторской степени UW в области атмосферных наук. "Он видит типичный паттерн, распознает, как он обычно развивается, и решает, что делать, основываясь на примерах, которые он видел за последние 40 лет данных."
Хотя новая модель, что неудивительно, менее точна, чем сегодняшние лучшие традиционные модели прогнозирования, нынешний дизайн ИИ использует примерно в 7000 раз меньше вычислительной мощности для создания прогнозов для того же числа точек на земном шаре. Меньшая вычислительная работа означает более быстрые результаты.
Это ускорение позволило бы центрам прогнозирования быстро запускать множество моделей с немного отличающимися начальными условиями, метод, называемый "ансамблевым прогнозированием", который позволяет прогнозам погоды охватывать диапазон возможных ожидаемых результатов для погодного события—например, где может произойти ураган.
"В этом подходе гораздо больше эффективности, вот что в нем так важно", - сказал автор Дейл Дюрран, профессор атмосферных наук Калифорнийского университета. "Обещание состоит в том, что это может позволить нам справиться с проблемами предсказуемости, имея модель, которая достаточно быстра, чтобы управлять очень большими ансамблями."
Соавтор Рич Каруана из Microsoft Research первоначально обратился к UW group с предложением предложить проект с использованием искусственного интеллекта для прогнозирования погоды на основе исторических данных, не полагаясь на физические законы. Вейн проходил курс компьютерных наук UW по машинному обучению и решил заняться этим проектом.
"После обучения на прошлых данных о погоде алгоритм ИИ способен находить отношения между различными переменными, которые физические уравнения просто не могут сделать", - сказал Вейн. "Мы можем позволить себе использовать гораздо меньше переменных и, следовательно, сделать модель намного быстрее."
Чтобы объединить успешные методы ИИ с прогнозом погоды, команда нанесла на карту шесть граней куба на планету Земля, а затем выровняла шесть граней куба, как в архитектурной бумажной модели. Авторы по-разному трактовали полярные паттерны из-за их уникальной роли в погоде как одного из способов повышения точности прогноза.
Затем авторы проверили свою модель, предсказав глобальную высоту давления в 500 гектопаскалей, стандартную переменную в прогнозировании погоды, каждые 12 часов в течение всего года. В недавней статье, в которой Вейн был соавтором, WeatherBench был представлен в качестве эталонного теста для прогнозов погоды, основанных на данных. В этом тесте прогнозирования, разработанном для трехдневных прогнозов, эта новая модель является одной из лучших.
По словам авторов, модель, основанная на данных, нуждается в большей детализации, прежде чем она сможет конкурировать с существующими оперативными прогнозами, но эта идея обещает стать альтернативным подходом к составлению прогнозов погоды, особенно с учетом растущего количества предыдущих прогнозов и наблюдений за погодой.
https://phys.org/news/2020-12-ai-faster-accurate-w eather.html
|
CorvusCorax
Автор сайта
|
# Дата: 16 Дек 2020 14:35
matrix145
Спасибо!
Некий гибрид метода аналогов и ручного синоптического анализа, умноженный на мощь ИИ.
Не уверен, что это будет работать идеально и детально (вплоть до реалистичных полей приземной Т, осадков, ветра на месяц вперёд), но если даже общий прогноз синпроцессов по этой модели будет правдоподобным на более долгий срок, чем у классических моделей, уже будет серьёзный шаг вперёд.
|
matrix145
Участник
Курган
|
# Дата: 16 Дек 2020 16:39
CorvusCorax
Нейросеть нуждается в данных, которые можно использовать для обучения. Думаю, что нейросети можно использовать для калибровки гидродинамических прогнозов с учётом статистики оправдываемости и предыдущих аналогов.
|
kostian
Участник
В печали. Нет бессмысленной войне!
|
# Дата: 16 Дек 2020 17:17
matrix145
А климатические модели не этим занимаются? Они тоже делают расчеты, с учетом аналогов за последние 40 лет.
|
matrix145
Участник
Курган
|
# Дата: 27 Дек 2020 03:31
kostian
Нет, ничего у них такого нет)) Калиброваться по статистике оправдываемости может только вероятностный прогноз.
|
matrix145
Участник
Курган
|
# Дата: 27 Дек 2020 03:32
Эволюция качества прогнозов Немецкой метеослужбы. С учётом последней глобальной модели ICON
Развитие прогнозного качества эксплуатационных моделей на DWD за период с 1968 года продемонстрировано тенденцией коэффициента корреляции. С 1968 года DWD эксплуатирует модели, которые предсказывают, среди прочего, давление на уровне земли для региона Северной Атлантики и Центральной Европы.
В 1968 году прогнозы основывались на сухой Бароклинной модели, а в 1978 году на БКФ (Бароклинная модель с прогнозом параметров влажности).
В 1990 году Национальная метеорологическая служба начала выпуск прогнозов для всего земного шара (ГМ: глобальная модель, основанная на модели ECMWF).
В декабре 1999 года заработала GME (глобальная модель с горизонтальной икосаэдрической сеткой), которая в январе 2015 года была заменена моделью ICON. Цифры под аббревиатурами моделей указывают ширину горизонтальной сетки соответствующей версии модели в километрах. Отчетливо виден прогресс в качестве численного прогноза погоды.
Качество предсказания, которое было достигнуто в 1968 году для 24-часового прогноза, теперь даже превышено прогнозом на 168 часов.
|
matrix145
Участник
Курган
|
# Дата: 27 Дек 2020 04:47
На графике показана точность прогнозирования высоты изобарической поверхности 500 hPa осенью 2020 года.
10 глобальных моделей от 10 прогностических центров мира. Отечественная модель ПЛАВ занимает 10 место в этом рейтинге. Худший результат среди всех. Чем выше линия, тем хуже прогноз. Российский прогноз отмечен стрелочкой. Обратите внимание, что прогноз изначально стартует с низкого качества, что не позволяет его использовать даже в краткосрочной перспективе.
За последний год у ПЛАВ среднеквадратичная ошибка на 120 часов была на уровне 50 метров. Такая же ошибка была у ECMWF в 2002 году. Выходит, что отставание отечественной модели от европейской составляет 15-20 лет!
|
kostian
Участник
В печали. Нет бессмысленной войне!
|
# Дата: 27 Дек 2020 11:10
matrix145
Выходит, что отставание отечественной модели от европейской составляет 15-20 лет!
[censored] Насколько я помню, тут уже писали, что эта модель никому не нужна в мирное время и существует исключительно на случай крупномасштабной войны России с западными странами, когда она окажется в полной изоляции и не сможет получать модельные прогнозы из США и Великобритании. [censored]
|
Shadow1
Участник
Санкт-Петербург
|
# Дата: 27 Дек 2020 11:26
Зато мы делаем ракеты и первые в балете!
Каждая страна идет своим путем.
|
kostian
Участник
В печали. Нет бессмысленной войне!
|
# Дата: 27 Дек 2020 11:46
Shadow1
Зато мы делаем ракеты
Вот именно. У России особый путь. Чтобы ракеты полетели в правильном направлении и уничтожили клятых империалистов, большая точность прогнозов не нужна.
|
CorvusCorax
Автор сайта
|
# Дата: 27 Дек 2020 17:29
kostian
Не надо сюда политику тащить.
|
CorvusCorax
Автор сайта
|
# Дата: 27 Дек 2020 17:34 - Поправил: CorvusCorax
Эволюция качества прогнозов Немецкой метеослужбы. С учётом последней глобальной модели ICO
matrix145
При всей своей замечательности ИКОН (а значит и КОСМО) отвратительно прогнозирует Тприз (особенно Тмин) зимой на фоне АЦ, ещё хуже, чем ГФС. Примерно то же самое и у французской ARPEGE.
На троечку прогнозирует в таких условиях ГФС, на четыре с минусом УКМЕТ и Рединг. На пять с минусом - канадка.
Кстати, китайская модель CMA (она недавно появилась на Кахельмане) весьма посредственна и по Тприз, и по осадкам. Поля весьма грубые и слабо согласуются с ведущими моделями (ну а по Тмин вообще полный бред, она теплее всех моделей). Она примерно сопоставима по качеству с ПЛАВ. Всё это странно при громадных деньгах, вкладываемых Китаем в науку вообще и в метеорологию в частности.
|
matrix145
Участник
Курган
|
# Дата: 2 Янв 2021 02:28
Рейтинг глобальных моделей прогнозирования погоды за осень 2020 г.
Ранжирование выполнено на основе средней абсолютной ошибки прогноза атмосферного давления на уровне моря. Срок 120 часов. Территория Северного полушария.
Первое место модель ECMWF (2.184 hPa). Второе место британская модель UKMO (2.328 hPa). Третья позиция корейская модель (2.495 hPa).
Последнее место досталось модели ПЛАВ, которая поддерживается Гидрометцентром России.
Данные: WMO LC-DNV
|
matrix145
Участник
Курган
|
# Дата: 2 Янв 2021 02:30
CorvusCorax
Да, у COSMO беды с температурой, но у ICON таких проблем я не заметил. Сравнения COSMO и ICON можно увидеть в статистике ГМЦ. Они каждый месяц публикуют оценки для ЕТР. Вот цифры за ноябрь. ICON обходит COSMO.
|
matrix145
Участник
Курган
|
# Дата: 2 Янв 2021 02:58
Эволюция прогнозов ECMWF за 40 лет
Самая лучшая в мире модель прогнозирования погоды прошла большой путь. На графиках показана точность прогнозирования барического поля (высота изобарической поверхности 500 hPa) на разные сроки.
Например, в начале 80-х точность на 7 суток была 45%, а сейчас уже 80%. В начале нулевых точность на 10 суток была 30%, а сейчас 50%.
Для понимания. Сейчас точность прогноза на 5 суток сравнима с точностью прогнозов на 3-е суток в 1993 году.
|
CorvusCorax
Автор сайта
|
# Дата: 2 Янв 2021 11:17
у ICON таких проблем я не заметил
matrix145
"В среднем по больнице", наверное, проблем нет.
А на фоне мощного АЦ, каковой стоит у нас уже полтора месяца, завышение большое, как у ГФС.
|
Sinopticus
Участник
Ukraine
|
# Дата: 2 Янв 2021 11:42
matrix145
Последнее место досталось модели ПЛАВ
Не понимаю, какой вообще смысл поддерживать эту модель, которая пасёт задних с большим отрывом..? Не выгоднее ли покупать готовые данные у тех же европейцев? Или тут работает принцип выпендрежда, мол посмотрите, у нас тоже есть своя модель!
|
CorvusCorax
Автор сайта
|
# Дата: 2 Янв 2021 13:40
Sinopticus
Дело не в выпендрёже, а в независимости. Пусть модель паршивая, но на 2-3 дня по ней худо-бедно прогнозировать можно.
В случае серьёзной холодной войны с Западом (я уже не говорю о настоящей - горячей войне), если Россию отключат от свифта, визы и интернета, прогнозирование в Росгидромете будет осуществляться исключительно по ПЛАВ (не говоря уж о метеорологах МО и других специфических ведомств).
|
CorvusCorax
Автор сайта
|
# Дата: 2 Янв 2021 14:28
Это так же как с Роскосмосом. Многие недруги проклинают его за неэффективность и несовременность по сравнению с НАСА, но если отвлечься от банальной цели "космического извозчика" и задуматься о главной цели Роскосмоса - независимом доступе России к космосу (в т.ч. для нужд обороны), то эту цель госкорпорация выполняет.
|
kostian
Участник
В печали. Нет бессмысленной войне!
|
# Дата: 7 Янв 2021 12:40
Чтобы не потерять. Описание различных глобальных моделей атмосферы: https://windy.app/blog/what-is-a-weather-forecast- model-guide-on-forecast-models-all-around-the-worl d.html
|
CorvusCorax
Автор сайта
|
# Дата: 7 Янв 2021 18:38
Наборы данных численных моделей прогнозов доступны через Службу загрузки Финского метеорологического института. Некоторые из них упомянуты ниже:
Результаты погодной модели HIRLAM,
Результаты морской модели HBM для Балтийского моря,
Прогноз уровня моря OAAS и
Результаты волновой модели WAM для Балтийского моря.
Все эти результаты модели прогноза доступны в виде временных рядов для определенных точек (см. Примеры в данных временных рядов ). Кроме того, результаты HIRLAM, HBM и WAM доступны в формате с координатной сеткой, где значения прогнозируемых свойств даны в отдельных файлах для каждой точки сетки, охватывающей географическую область прогноза. В настоящее время предоставляются только данные о поверхности земли или моря (на уровне поверхности).
https://en.ilmatieteenlaitos.fi/open-data-manual-f orecast-models
|
CorvusCorax
Автор сайта
|
# Дата: 21 Янв 2021 12:06
ГРИБы модели ГМЦ (вероятно, ПЛАВ)
Очень низкое разрешение 2.5 градуса, шаг от 6 до 12 ч
http://193.7.160.230/web/osio/grib/LAG25/
Низкое разрешение 1.25 градуса, шаг 24 ч
http://193.7.160.230/web/osio/grib/LAG125/
|
CorvusCorax
Автор сайта
|
# Дата: 22 Янв 2021 18:50
Ряд серверов НОАА не работает со вчерашнего вечера. Интересно, причины технические или это как-то связано со сменой власти в стране?
|
Sunspot
Участник
Ульяновск
|
# Дата: 22 Янв 2021 19:43
Ряд серверов НОАА не работает со вчерашнего вечера. Интересно, причины технические или это как-то связано со сменой власти в стране?
CorvusCorax
Нет утверждённого бюджета, контракты не подписаны, сотрудники в вынужденном простое. Так было уже как-то.
|
CorvusCorax
Автор сайта
|
# Дата: 22 Янв 2021 21:04
Так было уже как-то
Sunspot
Да, я помню, 2-3 года назад. Но тогда официально об этом говорили и СМИ трещали о проблемах с финансированием американских бюджетных ведомств. Или на фоне инаугурации сейчас эта новость затерялась.
|
CorvusCorax
Автор сайта
|
# Дата: 10 Фев 2021 14:32
Краткая энциклопедия по оперативным прогностическим моделям
от обучающего центра COMET
https://sites.google.com/ucar.edu/operational-mode ls-encyclo/home
|
matrix145
Участник
Курган
|
# Дата: 6 Мар 2021 03:33
Верификация ансамблей за зимний сезон
Параметр - корреляция температурной аномалии. Из данных NOAA видно, что новый ансамбль GEFSv12, запущенный 23 сентября 2020 года, продемонстрировал очень неплохие результаты. На 1-7 сутки GEFS даже превосходил по качеству ансамбль ECMWF (EPS). На 7-15 сутки точность была либо равна EPS, либо в отдельные сроки чуть выше EPS. На 15 сутки точность прогнозирования температурной аномалии была на уровне 70%.
Канадский ансамбль GEPS на их фоне выглядит очень грустно.
|
CorvusCorax
Автор сайта
|
# Дата: 6 Мар 2021 10:07
matrix145
Интересно было бы посчитать корреляцию Тмин.приз на первые 3 суток. Вероятно, канадка вышла бы на первое место
|
matrix145
Участник
Курган
|
# Дата: 23 Мар 2021 15:53
GFS была обновлена до 16-й версии
Вчера 22 марта в 12 часов по UTC начала свою работу новая версия модели GFSv16. Это первое крупное обновление ядра FV3, которое теперь полностью интегрировано в модель. В этом обновлении NCEP увеличили количество вертикальных слоев модели с 64 до 127 и расширили верхние части модели от верхней стратосферы (~55 км высота) до мезопаузы (~80 км высоты). Больше информации по ссылке в источнике.
GFSv16 показал улучшение навыки прогнозирования в следующих областях:
- Улучшенные показатели корреляции аномалий высоты 500 ГПа и
синоптические паттерны в среднем диапазоне, включая лучшую позицию
соответствующих фронтальных границ. Качество заметно выросло до 6 суток.
- Смягчение низкоуровневого холодного смещения, наблюдаемого в GFS.v15 во время
холодного сезона
- Повышенная идентификация угроз тропических циклонов с помощью
более высокого коэффициента успеха и более длительного времени выполнения расчёта
- Улучшенные оценки справедливой угрозы QPF (ETS) и предвзятость в
средний диапазон
- Улучшенное расположение и количество снегопадов с более длительным временем выполнения заказа
- Улучшена возможность захвата температурного профиля в
неглубокие, холодные воздушные массы
- Улучшенные прогнозы стратосферной температуры, циркуляции,
озона и водяного пара.
|
