Оправдываемость долгосрочных прогнозов и голосований

Полезные ссылки:
Метеоцентр.Азия - наш сайт с высокодетализированными прогнозами погоды по пунктам Pоссии и мира
Облегчённая версия Метеоклуба (для смартфонов)

Оправдываемость долгосрочных прогнозов и голосований

Сейчас в Метеоклубе:
Участников - 3 [ artur, PavelSky, Sahara ]
Максимальное одновременное количество посетителей: 308 [2 Ноя 2013 22:42]
Гостей - 296 / Участников - 12

 - Начало - Ответить - Статистика - Pегистрация - Поиск -

МЕТЕОКЛУБ : независимое сообщество любителей метеорологии (Европа и Азия) : ФОРУМ О ПОГОДЕ И ПРИРОДЕ / Голосования / Оправдываемость долгосрочных прогнозов и голосований
. 1 . 2 . >>
Автор Сообщение
kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 17 Апр 2020 16:41 - Поправил: kostian


Задался вопросом, а насколько хорошо оправдываются прогнозы на месяц, которые дают участники Метеоклуба в ежемесячных голосованиях? Решил собрать всю статистику и построить график. Заодно провел исследование оправдываемости прогнозов Виталия Стальнова, которые опубликованы здесь: http://www.meteoweb.ru/lfc.php Получилась очень интересная картинка:



Видим, что если в первые годы оправдываемость была на уровне случайного гадания, то за последние 5 лет участники Метеоклуба неплохо научились предсказывать месячную аномалию в Москве. 1.2-1.5 градуса - весьма неплохо при среднем отклонении от климатической нормы 2.1-2.2 градуса. Но нет предела совершенству. :) Надо стремиться к тому, чтобы ошибка не превышала 1 градус.

Главное - результат стабилен. Только в последние месяцы из-за аномально теплой зимы ошибка резко возросла. Но в то же время ошибка климатического прогноза и вовсе улетела в космос!

А вот у Виталия Стальнова прогнозы стабильностью не отличаются. Бывают периоды, когда ему хорошо удается прогнозировать, но бывают и периоды плохих прогнозов. Отчего это зависит - непонятно, наверное от того, как как звезды сойдутся. Так в 2017 году он упорно давал теплые прогнозы с апреля по июль, несмотря на то, что погода по факту была холодная, чем серьезно испортил свою статистику: ошибка выскочила далеко за пределы ошибки климат-прогноза. Потом, правда, исправился: вторая половина 2018 - начало 2019 года - период весьма точных прогнозов, ошибка упала ниже 1 градуса. Вообще Стальнов любит давать тепло в своих прогнозах и часто эпично пролетает, когда месяц оказывается холодным. На эти грабли он наступает регулярно: так было в июле прошлого года и вот в апреле снова эпичный пролет: ну вот как можно было дать +9.4 на этот апрель? Интересно было бы узнать методику составления таких бредовых прогнозов.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 17 Апр 2020 20:16


Как это было:

Самый серьезный провал прогноза Метеоклуба случился в декабре 2006 года. Тогда еще никто не верил в серьезность ГП+ и после холодной зимы 2005/06 года все ждали настоящую русскую зиму и в сезон 2006/07. Однако эти ожидания потерпели фиаско: декабрь 2006 стал самым теплым за всю историю наблюдений со среднемесячной +1.2°! Многие участники Метеоклуба поставили на холодный декабрь, в том числе и я... Лоханулся тогда по полной программе. Средний прогноз был -5.3, пролет на 6.5 градусов!
http://www.pogodaiklimat.ru/votes/results_December 2006Moscow.html

Самые точные прогнозы Метеоклуба были в октябре 2009 и сентябре 2011, когда среднемесячная температура в Москве была угадана с нулевой ошибкой: +5.8 и +12.1 соответственно.
http://www.pogodaiklimat.ru/votes/results_Oct2009. html
http://www.pogodaiklimat.ru/votes/results_Sept2011 .html

За 2019 год очень хорошие прогнозы были в марте и августе: ошибка составила всего 0.1 градуса.

Shadow
Участник

Санкт-Петербург
# Дата: 17 Апр 2020 20:17


kostian

По оси У вас что отложено? Уточните, пожалуйста.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 17 Апр 2020 20:23


Виталий Стальнов с шумным плеском садился в лужу неоднократно и особенно преуспел в этом в 2010 году. Сначала с треском пролетел его прогноз на нормальный январь: средняя за месяц тогда составила -14.5 при прогнозе -7.9. Пролет 6.6 градуса. А буквально через полгода его прогноз еще раз потерпел оглушительное фиаско: средняя июля составила +26.0 при прогнозе +19.2. Пролет 6.8 градуса. Такой же эпичный пролет был в феврале 2011 года, когда Виталий Стальнов ждал -4.2, а по факту вышло -11.0. Но, надо отдать должное заслуженному прогнозисту: успешные прогнозы тоже случались. В том же 2010 году Стальнову удалось точно предсказать среднюю температуру апреля: +8.3 градуса.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 17 Апр 2020 20:25


Shadow
По оси У вас что отложено?

На графиках скользящая 12-месячная средняя абсолютной ошибки прогноза.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 17 Апр 2020 20:31


Ну и теперь климатический прогноз:

Как это ни удивительно, но всего лишь один раз за последние 17 лет среднемесячная температура соответствовала норме: это было в ноябре 2004 года. http://www.pogodaiklimat.ru/monitor.php?id=27612&m onth=11&year=2004
Самые значимые отклонения от нормы случились в 2010 году: январь оказался холоднее нормы на 7.0 градуса, июль - теплее нормы на 7.6 градуса!

Shadow
Участник

Санкт-Петербург
# Дата: 17 Апр 2020 20:32 - Поправил: Shadow


kostian

А почему ошибка всегда положительная?

А... Абсолютная погрешность- это когда из большего вычитают меньшее. Тогда ясно.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 17 Апр 2020 20:39 - Поправил: kostian


Shadow
А почему ошибка всегда положительная?

А какой она должна быть? Это же по модулю. Нам интересно узнать, насколько близки к факту значения прогнозов, поэтому берем абсолютную ошибку. Но если интересна относительная ошибка, то у Стальнова она +0.3 градуса, т.е. он оптимист и обычно дает слишком теплые прогнозы. А вот участники Метеоклуба - пессимисты и чаще дают слишком холодные прогнозы: ошибка -0.4 градуса. Вероятно это связано с тем, что мы, перед тем как дать свой прогноз, внимательно изучаем модельные прогнозы, а они нередко занижают, примерно на полградуса.

Shadow
Участник

Санкт-Петербург
# Дата: 17 Апр 2020 20:41


kostian

Но был бы интересен и знак погрешности прогнозов- что чаще всего дают: теплее или холоднее факта?

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 17 Апр 2020 22:00


За 15 лет значительно улучшилась точность предсказания очень теплых и очень холодных месяцев (с аномалией больше 4 градусов). Ошибка прогнозов Метеоклуба уменьшилась с 6 градусов (случайное гадание) до 2.5 градусов, очень хороший результат.



Виталию Стальнову тоже сопутствует успех: ошибка его прогноза для ОТ и ОХ месяцев уменьшилась с 4 до тех же 2.5 градуса. Хотя его график, в отличие от коллективного графика Метеоклуба, довольно рваный: точные прогнозы чередуются с эпичными пролетами.



Последний удачный прогноз был в прошлом марте: при аномалии месяца +4.8 градуса Метеоклуб предсказал его с погрешностью 0.8, а Стальнов и вовсе всего 0.2 градуса!

Примечательно, что за 15 лет не было ни одного случая, чтобы значительная температурная аномалия была переоценена прогнозистами. Она всегда недооценивается.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 17 Апр 2020 22:31 - Поправил: kostian


Что еще можно проанализировать? Можно посмотреть распределение ошибок отдельно для холодных, нормальных и теплых месяцев. И вот тут мы приходим к любопытной закономерности: оказывается, что мы отлично научились прогнозировать аномалию теплых месяцев. Особенно в этом преуспел Виталий Стальнов: у него ошибка прогноза для теплого по факту месяца составляет всего 1.2 градуса (улучшилась с 1.8 до 1.2 градуса за последние 15 лет). У Метеоклуба похуже: с 2.1 до 1.9 градуса. Это удивительно, т.к. аномальность теплых месяцев неуклонно возрастает: если 15 лет назад среднее отклонение от нормы теплого месяца равнялось 2.5 градуса, то сейчас оно возросло до 3.2 градуса! Т.е. оправдываемость наших прогнозов на теплый месяц в 2-3 раза лучше, чем оправдываемость климатических прогнозов. С другой стороны, несмотря на то что аномальностью холодных месяцев уменьшается, прогнозируются они все хуже и хуже. Так Метеоклуб дает для холодного месяца прогнозы на уровне ошибки климатического прогноза: около 2.6 градуса и эта ошибка в последнее время начала расти. У Стальнова и вовсе плохи дела: в холодные месяцы его прогнозы пролетают на 3.2 градуса и эта ошибка тоже только растет.
Отсюда вывод: прогнозы Виталия Стальнова на сайте Метеовеб целесообразно смотреть только для теплых по факту месяцев. Для нормальных месяцев его прогнозы не очень хороши, а для холодных - они ужасны и обычно проваливаются.
Яркий пример плохого прогноза на холодный месяц, который не надо смотреть, - это текущий апрель. http://www.meteoweb.ru/2020/forecast/lfc202004.php А ведь так неплохо все начиналось: оправдываемость в первую половину месяца довольно неплохая. Но потом что-то пошло не так...
Для Метеоклуба рекомендация: более тщательно относиться к анализу синоптической ситуации в том случае, если есть хоть малейшая вероятность отрицательной аномалии. Прогнозировать холодные месяцы всегда гораздо сложнее, чем теплые, но надо учиться это делать.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 17 Апр 2020 23:20 - Поправил: kostian


И наконец мы подходим к самому интересному: распределению ошибок долгосрочных прогнозов по месяцам и выводу об их практической пользе, к примеру для тех же дачников.



Нетрудно заметить, что Виталию Стальнову очень хорошо удается предсказывать погоду в августе: средняя ошибка минимальна и составляет всего 1.0 градуса. Хуже всего дела идут в феврале. А если сравнивать с климатической изменчивостью, то апрель - это обычно провальный месяц для прогнозов Виталия Стальнова. Разгадка проста: как уже было сказано выше, Стальнов - мастер прогнозирования погоды в теплые месяцы, а холодные у его обычно провальные. К счастью для его прогнозов, август ни разу за последние 15 лет не был холодным, поэтому не представилось шанса подпортить статистику. А вот февраль или апрель были холодными относительно часто, что и привело к промахам прогнозов.

Вывод: если мы предполагаем холодный апрель, как в этом году, то смело отправляем долгосрочный прогноз В.Стальнова в мусорную корзину; если предполагаем теплый август, то изучаем его прогноз внимательно.

У Метеоклуба, как ни странно, наоборот, апрель - удачный месяц. В этот месяц ошибка прогноза минимальная. Также хороши прогнозы в августе и сентябре. Очень удобен для прогнозирования март: ошибка прогноза Метеоклуба на целый градус меньше, чем ошибка климатического прогноза. Если рассматривать зиму, то зимой во все месяцы оправдываемость прогнозов как Метеоклуба, так и В.Стальнова, существенно выше оправдываемости прогноза по климату. А вот летом все не так радужно... С одной стороны, ошибки невелики: для июня это 1.3 градуса, для июля - 1.6 градуса, но и межгодовая изменчивость среднемесячных температур эти месяцы также невелика. И получается, что в те месяцы, в которые прогноз погоды на месяц вперед наиболее важно знать, чтобы планировать отпуск или работу в саду, на даче: период май - июль, мы не в состоянии спрогнозировать предстоящую погоду точнее, чем если взять просто климатические данные. Таким образом, практическая польза от наших прогнозов близка к нулю.

Есть над чем подумать и поискать методику, с помощью которой можно будет улучить точность прогнозов в летние месяцы, в период активной вегетации растений, чтобы они имели практическую ценность.

Shadow
Участник

Санкт-Петербург
# Дата: 18 Апр 2020 01:58 - Поправил: Shadow


kostian

Спасибо, интересно!
А eсли в эту таблицу добавить CFS?

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 19 Апр 2020 19:54 - Поправил: kostian


По просьбам трудящихся, добавил оценку ошибки прогноза SUNMAN.

Ситуация печальная: оправдываемость прогнозов оставляет желать много лучшего. Вот графики скользящей 12-месячной абсолютной ошибки прогноза.



Как видим, большую часть времени график ошибки прогноза идет выше ошибки прогноза по климату. Т.е. прогнозы SUNMAN57, в отличие от прогнозов, которые дает Метеоклуб или Виталий Стальнов на сайте Meteoweb, не просто не несут никакого практического смысла, а наоборот - вредят, т.к. вводят в заблуждение. Потребитель может получить более достоверный прогноз на месяц, посмотрев климатические нормы, чем прогноз SUNMAN57.

Кстати, я подсчитал среднюю ошибку прогноза и она оказалась равной -1.9 градуса! Исходя из этого, я бы порекомендовал к результатам, которые получаются по методике SUNMAN57, во все месяцы, за исключением апреля, июня и июля, прибавлять 2 градуса, тогда результаты будут значительно лучше и смогут составить конкуренцию как Виталию Стальнову, так и участникам Метеоклуба.



kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 19 Апр 2020 20:06


Shadow
А eсли в эту таблицу добавить CFS?

Ну так CFS - это просто модельные данные, которые нужно еще интерпретировать в прогноз. К тому же, у меня нет архива прогнозов по CFS.

Shadow
Участник

Санкт-Петербург
# Дата: 19 Апр 2020 21:37


kostian

Но судя по графикам, в 2019 году лучший был Стальнов!

я бы порекомендовал к результатам, которые получаются по методике SUNMAN57, во все месяцы, за исключением апреля, июня и июля, прибавлять 2 градуса, тогда результаты будут значительно лучше

Так это давно известно - прогнозы Виктора ценность все же представляют, нужно только их понимать в некотором роде наоборот. :)

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 19 Авг 2020 11:25


Обновил график по июль включительно. Посмотрите, как резко ухудшилось качество прогнозов Стальнова: сейчас у него скользящая абсолютная ошибка уже 2.3 градуса, это очень много, фактически рекордно высокая. А ведь длительное время он выдавал неплохие прогнозы с погрешностью 1.0...1.5 градуса. Но сейчас его уже обошел коллективный прогноз Метеоклуба, даже несмотря на то, что в нем присутствует в качестве членов такой откровенный бред, который дает Shura или Alexey_K.

Shadow1
Участник

Санкт-Петербург
# Дата: 19 Авг 2020 12:10


kostian
я бы порекомендовал к результатам, которые получаются по методике SUNMAN57, во все месяцы, за исключением апреля, июня и июля, прибавлять 2 градуса, тогда результаты будут значительно лучше

А вообще интересная идея- получить поправки, которые следует использовать для коррекции прогнозов каких-либо моделей или прогнозистов (имею в виду не только Виктора, но и вообще).
Вот для большинства прогнозов Стальнова нужно скорее всего вводить отрицательные поправки, т.к. он чаще завышает Тср.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 19 Авг 2020 12:23


Shadow1
Вот для большинства прогнозов Стальнова нужно скорее всего вводить отрицательные поправки, т.к. он чаще завышает Тср.

Вы невнимательно смотрите его прогнозы. Раньше так действительно было. Но в последний год он чаще дает слишком холодные прогнозы. С октября 2019 по март 2020 года он давал прогнозы, которые оказались холоднее факта. И в июне он тоже пролетел в холодную сторону. Было только два прогноза, где он зачем-то спрогнозировал уверенное тепло: апрель и июль. Причем июль - два года подряд. Это роковой месяц для Стальнова, перечеркнувший все его старания. Никто ему больше верить не будет после таких пролетов. Надо будет через Meteoweb передать, чтобы он не позорился и не публиковал больше такой бред.

PavelSky
Участник

ZOV
# Дата: 19 Авг 2020 12:25


Стальнов это кто, Alter?

Blitzz
Участник

Москва, троллей обтроллю
# Дата: 19 Авг 2020 14:04


Какая оправдываемость у meteoblue? И, кстати, на основе каких моделей (GFS? Рэдинг или микст) она основывается?

Blitzz
Участник

Москва, троллей обтроллю
# Дата: 19 Авг 2020 14:13


Стальнов это кто, Alter?

Да, это этот.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 19 Авг 2020 14:28


PavelSky
Стальнов это кто

https://vk.com/id466472403

Shadow1
Участник

Санкт-Петербург
# Дата: 19 Авг 2020 15:40


kostian
С октября 2019 по март 2020 года он давал прогнозы, которые оказались холоднее факта.

Откровенно говоря, спрогнозировать эти месяцы (особенно с декабря) теплее факта, было бы ну очень рискованным ходом. :)

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 1 Окт 2020 20:05 - Поправил: kostian


Обновил график оправдываемости прогнозов по сентябрь включительно.



Метеоклуб уже четвертый месяц подряд дает хорошие прогнозы, с погрешностью не более градуса. Последний пролет был в апреле.

Стальнов такой стабильностью похвастаться не может: он дважды садился в лужу в этом году, спрогнозировав апрель и июль значительно теплее, чем было по факту. За последние полтора года он серьезно испортил себе статистику и качество его прогнозов достигло дна. Наконец-то в сентябре он исправился и попал практически в яблочко, спрогнозировав +14.0°.

SUNMAN в 2020 году дал точные прогнозы только в марте, июне и августе. В остальные месяцы пролет его прогнозов составил 3 градуса и более.

Spasatel
Участник

Талдом
# Дата: 1 Окт 2020 20:17


kostian
SUNMAN в 2020 году дал точные прогнозы только в марте, июне и августе. В остальные месяцы пролет его прогнозов составил 3 градуса и более.

Те оправдываемость 3/9 = 33 %. Совпадает с моей оценкой с момента публикации его прогнозов на вашем сайте - около 30 %.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 1 Янв 2021 20:42


Обновил график оправдываемости прогнозов по декабрь включительно. Метеоклуб отлично предсказал среднюю декабря, за счет чего скользящая 12-месячная средняя ошибка уменьшилась до 1.5°. А вот SUNMAN1957 опять сел в лужу, за счет чего оправдываемость его прогнозов в декабре стала хуже климатической.

matrix145
Участник

Курган
# Дата: 1 Янв 2021 21:57


Оправдываемость долгосрочных прогнозов на 1 месяц в 2020 году для Кургана

В 2020 году точность прогнозирования средней температуры на 1 месяц составила 79%. Удалось точно спрогнозировать температурный режим в январе, феврале, марте, апреле, мае, августе и сентябре. За 6 лет с 2015 по 2020 гг. средняя оправдываемость была на уровне 79%. Самая высокая точность в мае и ноябре (92%), а самая низкая в апреле (50%).

Средняя абсолютная ошибка прогноза среднемесячной составила 2 градуса.

По осадкам точность была 75%, что на 10% выше, чем за период с 2015 по 2019 гг. Удалось точно спрогнозировать количество осадков в феврале, июне, июле, августе, сентябре, ноябре и декабре. Средняя абсолютная ошибка прогноза осадков за 2020 год 15 мм.

За последние 6 лет самые точные прогнозы по осадкам были в апреле, июле, августе, ноябре и декабре. Сложнее всего прогнозировать количество осадков в январе, мае и июне.









SUNMAN1957
Участник

Ярославль
# Дата: 1 Янв 2021 22:18


kostianА вот SUNMAN1957 опять сел в лужу, за счет чего оправдываемость его прогнозов в декабре стала хуже климатической.

Со Спасателем согласовали ваш пинок? Хорошо. А себя ставите на какое место? Поинтересовался как на голосовании меняете свое мнение в зависимости от прогонов ГФС и индексов. Смысл голосования быть ближе к климату. Последний месяц года стал очередным вашим триумфом. Попросите Спасателя разобраться насколько уважаете климатические прогнозы. И какова будет корреляция по вашим и его анализам.

kostian
Участник

В печали. Нет бессмысленной войне!
# Дата: 2 Jul 2021 02:29


Обновил график оправдываемости прогнозов по июнь 2021 включительно.



На графике видим, что Метеоклуб в мае достиг наилучшей точности прогнозов: средняя ошибка снизилась до 1.1 градуса. Метеоклуб был успешен в январе (0.2), марте (0.8), апреле (0.1), мае (0.5). К сожалению, не удалось развить успех в июне: участники посчитали, что июнь будет лишь на градус теплее обычного, а реально аномалия составила +3.2, поэтому ошибка составила 2.3 и скользящая 12-месячная средняя снова загнулась вверх.

Причина неудачного прогноза в июне кроется в том, что участники привыкли к норме: ошибка климатического прогноза в 5 из 6 последних месяцев не превышала 1 градуса. Поэтому Метеоклуб по инерции проголосовал за норму и в 7-ой подряд раз, за что и поплатился. 12-месячная скользящая средняя стремительно падала последние полгода и с максимума опустилась практически на минимум: на 1.7 градуса. Можно было догадаться, что в июне просто обязана была случиться существенная аномалия, т.к. трендовая климат-прогноза никогда не опускается ниже 1.6, поэтому нельзя было рассчитывать на норму в июне.

Что касается Стальнова, то у него плохи дела: последние полгода он зачем-то стабильно завышал среднемесячную на 1.5-2 градуса, а в июне, когда нужно было выдать решительно теплый прогноз, наоборот, поскромничал и пролетел на 2.2 градуса теперь уже в холодную сторону. Из-за этого точность его прогнозов снизилась уже практически до уровня случайного гадания или климат-прогноза. Это просто непозволительно для гуру ДПП с многолетним стажем!

Ну и SUNMAN1957. Тут вообще все очень грустно: оправдываемость прогнозов значительного хуже климатического прогноза. Стабильное занижение на 2 градуса, стабильная ошибка на 2.5 градуса в 12-месячной скользящей средней, при том что ошибка климат-прогноза снизилась до 1.8. Теперь уже можно сказать, что во все месяцы к прогнозу SUNMAN1957 нужно прибавлять поправку +2 градуса, только тогда результат будет близок к реальному. Рекомендация по поправке "+2" была вынесена больше года назад, но почему-то SUNMAN1957 ею не воспользовался и продолжает молоть чепуху.

. 1 . 2 . >>
Ваш ответ

          Отменить *Что это?

 » Логин  » Пароль 
 
 


Поддержка: miniBB forum software © 2001-2024