Автоматизированная статистика ошибок прогнозов

Полезные ссылки:
Метеоцентр.Азия - наш сайт с высокодетализированными прогнозами погоды по пунктам Pоссии и мира
Облегчённая версия Метеоклуба (для смартфонов)

Автоматизированная статистика ошибок прогнозов

Сейчас в Метеоклубе:
Участников - 1 [ Sunspot ]
Максимальное одновременное количество посетителей: 308 [2 Ноя 2013 22:42]
Гостей - 296 / Участников - 12

 - Начало - Ответить - Статистика - Pегистрация - Поиск -

МЕТЕОКЛУБ : независимое сообщество любителей метеорологии (Европа и Азия) : ФОРУМ О ПОГОДЕ И ПРИРОДЕ / Компьютерная техника и интернет в метеорологии / Автоматизированная статистика ошибок прогнозов
. 1 . 2 . >>
Автор Сообщение
Corvus
Автор сайта

###Corvus###
# Дата: 29 Янв 2016 12:41


Интересный любительский проект на эту тему

http://mrtland7.wix.com/weather-forecas

LESS
Участник

Приокский лесс на юге МО
# Дата: 29 Янв 2016 12:47


Corvus

Идея хорошая, но по факту сами знаете - антропоген там всякий дополнительные "ограничения" на расчёты накладывает, прочие "нац. особенности сети метеостанций Росгидромета".

Да и исходный массив данных им бы из оригинальных таблиц брать, а не "с экранов телевизоров".

Corvus
Автор сайта

###Corvus###
# Дата: 16 Фев 2016 12:48 - Поправил: Corvus


Ещё письмо от автора сайта:

На своем сайте (http://mrtland7.wix.com/weather-forecas) я добавил сведения об исследованиях точности прогноза погоды, которые мне попались в сети:
- простейшее исследование точности прогноза
http://www.the-village.ru/village/city/city/125007 -eksperiment-the-village-prognoz-pogody
- исследование точности на основе архивных данных https://geektimes.ru/post/112958/
- и эти архивные данные http://mycli.me/

Вот любопытная последняя ссылка на архив, но, как мне показалось, ничего там добыть уже нельзя. Тем более любопытным может быть сбор таких данных. Интересно, что кое-кто из хозяев сайтов предлагал автору ресурса http://mycli.me/ предоставить прямой доступ к данным (не через обращение к web-страницам). Это ценно.

На этом ресурсе была своеобразная оценка для сравнения различных ресурсов по точности, не бесспорная. Мне кажется, что обычная статистическая обработка вполне годится.

Какие мысли-предложения? Собирать прогнозы с различных источников (первоисточников) и создать некую базу данных. Обработка - это уже другой вопрос. Конечно, нужно решить несколько вопросов:
- откуда собирать (надо знать, кто первоисточник, а кто лишь ретранслятор);
- что собирать (по каким н.п., какая частота, какие подробности, какие параметры);
- где и как хранить (формат данных, тип сервера, его расположение).

Любые предложения будут очень ценны.


Corvus
Автор сайта

###Corvus###
# Дата: 16 Фев 2016 12:50


Сайт http://mycli.me/ не работает, выдаёт тестовую страницу Apache 2 Test Page

m_marat
Участник

Украина, Харьков
# Дата: 17 Фев 2016 10:18


Уважаемые товарищи, спасибо за внимание к сайту http://mrtland7.wix.com/weather-forecas.

Несомненно, что оценка точности прогнозов, как и собственно прогнозирование, требует множества оговорок. Начать надо с критерия оценки, а он, по-видимому, должен быть разным для разных сроков прогнозов. Одно дело прогноз на завтра: тут нам хотелось бы по возможности максимально возможного совпадения. А вот от прогноза на две недели достаточно было бы уловить тенденцию. Ничего страшного, если резкое изменение погоды произойдет через 13 дней, а не через 12 или 14, как было предсказано. И хотя по критерию совпадения прогноза с фактическим состоянием получим плохую оценку, ясно, что такой прогноз хорош (как это оценивать количественно, следует еще подумать).

Оценка точности, конечно, будет зависеть от места, для которого она выполняется, т.к. зависит от стабильности погодных условий: чем нестабильнее условия, тем сложнее прогнозировать и, соответственно, следует ожидать худших результатов по точности. Влияет и размер населенного пункта (если привязываться к населенному пункту). Когда размеры населенного пункта составляют десятки километров, то о чем говорит, например, прогноз "Погода в Москве"? Нечто среднее. Т.е. и прогноз по среднему, и фактическая погода по среднему. Не повлияет ли это на оценку точности? Можно предположить, что повлияет.

Осторожно нужно подходить и к данным по фактической погоде. На gismeteo, например, прогноз на четыре суточные отметки (2, 8, 14, 20 часов). Прогноз меняется (уточняется) несколько раз в сутки. Значит фактическую погоду следует брать в подходящее время, т.е. после прохождения точки прогноза, а не ранее (позже, наверное, можно, т.к. данные, как можно предположить, уже не будут меняться).

Исходные данные для оценки точности, разумеется, лучше было бы получать у первоисточника прогноза. Такие данные у них, конечно, есть. Но зачем им их раздавать? Они и сами их обработают и обрабатывают. Но результаты обработки - это их внутреннее дело, вряд ли доступное сторонним лицам. Так что приходится полагаться на то, что есть в интернете.

О перспективах. То, что сделано - это пробный набросок. Объемные исследования требуют подготовки, о чем частично сказано выше.

Corvus
Автор сайта

###Corvus###
# Дата: 17 Фев 2016 12:51 - Поправил: Corvus


Начать надо с критерия оценки, а он, по-видимому, должен быть разным для разных сроков прогнозов. Одно дело прогноз на завтра: тут нам хотелось бы по возможности максимально возможного совпадения. А вот от прогноза на две недели достаточно было бы уловить тенденцию.
m_marat

Для оценки краткосрочных прогнозов (на первые трое суток) есть руководящий документ, там всё описано

http://meteocenter.net/meteolib/nast_kratk_progn_2 009.pdf

Если совсем коротко, то оценивается Тмин и Тмакс за сутки (а не по срокам). Прогноз считается оправдавшимся, если Тпрогн отличается от Тфакт не более чем на 3 градуса.

Corvus
Автор сайта

###Corvus###
# Дата: 17 Фев 2016 13:00


значит фактическую погоду следует брать в подходящее время, т.е. после прохождения точки прогноза, а не ранее (позже, наверное, можно, т.к. данные, как можно предположить, уже не будут меняться).
m_marat

Гисметео хитрит. После наступления срока прогноза у них прогноз подменяется фактической (реально наблюдавшейся) погодой. Поэтому выбирать прогноз надо только до срока.

m_marat
Участник

Украина, Харьков
# Дата: 19 Фев 2016 01:09


Пожалуйста, обратите внимание: адрес сайта изменился добавлением в конец случайно пропущенной буквы t. Теперь http://mrtland7.wix.com/weather-forecast.

m_marat
Участник

Украина, Харьков
# Дата: 19 Фев 2016 01:56


Для оценки краткосрочных прогнозов (на первые трое суток) есть руководящий документ, там всё описано
Corvus

Владимир, спасибо. Руководящие документы надо знать. Изучу. Беглое изучение приводит к выводу: коридор допустимых погрешностей задан директивно, определяется попадание в него. Попали: оценка "прогноз оправдался", не попали - "не оправдался". Такая методика, скорее всего, более подходит для административной оценки, как формализованная и не требующая каких-либо дополнительных описаний и не допускающая иных толкований. Легко подводить итоги: там-то оправдываемость прогнозов составила 96%, а у этих - только 88%. Первых поощрить, со вторыми разобраться. Вполне приемлемая методика для таких целей.

В научном плане интерес представляет установление величин этих самых коридоров. Собственно, административная оценка опирается на предварительное изучение этих величин, т.к. произвольно коридор не задашь. Это как в обычном деле установления нормативных оценок. Чтобы получить пятерку, ученик должен решать примеры такой-то сложности. А какой? Это определяется экспериментально. Планку выбирают, исходя из человеческих возможностей. Пусть в эксперименте 30% учеников решили задачи определенной сложности. Можно было бы этот уровень принять за нормативное требование к отличной оценке. Но можно поставить вопрос так: 30% отличников - это слишком много. Поэтому планку поднимаем. До каких пор? А на сколько захотим сократить количество отличников. Например, хотим, чтобы их было в среднем не более 15%. Вот на эту величину настраиваем планку.

Так и с коридором для оценок "оправдался" - "не оправдался". Для административных целей вычислять статистические показатели (м.о., с.к.о.) было бы неоправданным, для научных - вполне.

Впрочем, продолжаю изучать документ.

surok
Участник

Санкт-Петербург (север)
# Дата: 19 Фев 2016 09:29


m_marat
адрес сайта изменился добавлением в конец случайно пропущенной буквы t

Только вы ещё зачем-то упорно добавляете в конец точку, которую надо потом удалять:)

Alter
Участник

Москва, ЮЗАО
# Дата: 19 Фев 2016 10:58


Уже не первый год настаиваю на том, что все шаблонные методы оценки ДПП давно и безнадежно устарели.
Реальная оценка должна основываться на климатической изменчивости.

А все эти 3 градуса и прочее взяты не от хорошей жизни, а от отсутствия статистической базы по метеостанциям. Но сейчас уже такой проблемы нет.
m_marat, почитайте.
http://meteoclub.ru/index.php?action=vthread&forum =3&topic=5355&page=4#20

m_marat
Участник

Украина, Харьков
# Дата: 19 Фев 2016 19:33


surok

Только вы ещё зачем-то упорно добавляете в конец точку, которую надо потом удалять:)

Да, виноват, некомпьютерная привычка.

m_marat
Участник

Украина, Харьков
# Дата: 19 Фев 2016 19:47


Alter

шаблонные методы оценки ДПП давно и безнадежно устарели

Возможно. Хотя у всякого метода (или почти у всякого) есть свои положительные стороны. Но я не использую указанные методы оценки, просто считаю обычные показатели рассеяния случайной величины - ошибки прогноза.

m_marat
Участник

Украина, Харьков
# Дата: 26 Фев 2016 03:10


Здравствуйте! На сайте http://mrtland7.wix.com/weather-forecast начато новое исследование - точности прогнозов от gismeteo на месяц. Размещена ссылка на программу и создаваемый ею архив прогнозов. Можно использовать эту программу для накопления архива прогнозов на месяц по желаемому списку населенных пунктов. Архив в виде хml-файла. Автор выбрал в настоящее время 26 населенных пунктов, расположенных в разных частях света и в различных условиях.

По мере накопления данных и их обработки результаты будут выкладываться на сайте. Архив ведется с 24 февраля 2016 г.

m_marat
Участник

Украина, Харьков
# Дата: 11 Мар 2016 01:26 - Поправил: m_marat


Здравствуйте! На сайте http://mrtland7.wix.com/weather-forecast опубликованы первые результаты оценки достоверности месячного прогноза погоды. Хотя с момента начала собирания прогнозов на месяц не прошел еще даже месяц, представлены первые результаты для качественной оценки. Оценивается оправдываемость прогнозов и с.к.о. ошибки прогноза температуры. Коротко, первый результат такой: оправдываемость прогноза на одни сутки - 93% и каждый день уменьшается примерно на 3% (это усредненно для всех 26 наблюдаемых пунктов). Как всегда, для общего пользования доступна сама программа и архив прогнозов.

m_marat
Участник

Украина, Харьков
# Дата: 20 Мар 2016 01:13 - Поправил: m_marat


Здравствуйте! на сайте http://mrtland7.wix.com/weather-forecast продолжается исследование точности прогнозов погоды от Gismeteo.ru. Поделюсь наблюдениями за прогнозами на месяц.
Прогноз погоды на месяц на сайте Gismeteo.ru обновляется, судя по наблюдениям, раз в 2-5 дней, в отличие от прогноза на 14 дней, который обновляется четыре раза в сутки. При этом обновление может быть двух видов: либо прогноз обновляется полностью, на весь месяц, либо обновляется только "хвост", т.е. только недостающее до месяца.
Например, 26 февраля был установлен полностью новый прогноз на месяц (фактически, на 31 день - до 25 марта). В последующие три дня прогноз не менялся и 29 февраля длина его сократилась до 28 дней. 1 марта был установлен новый прогноз снова на 31 день - до 31 марта. Этот прогноз затем в последующие два дня не менялся и сократился к 3 марта до 29 дней. Изменения были внесены 4 марта, но изменен был только оголившийся (оставшийся без прогнозов) "хвост" в три дня, а на первые 28 дней прогноз остался тем же самым. Поскольку за эти три дня прогноз на первые 14 дней поменялся существенно, можно сделать вывод об отношении "хозяев" прогноза к своему месячному прогнозу.
Относительно оцененной достоверности прогноза пока говорить рано, так как наблюдениям нет еще и месяца. Кроме того, нужно еще выбрать критерий оценки качества прогноза. Например, сравнивать его с прогнозом по среднему значению температуры за последние годы. Кстати замечено, что этот метод Gismeteo не использует, иначе прогнозы выходили бы плавными, а не как сейчас - с резкими перепадами, характерными для фактической реализации, а не для среднего. Существенные наблюдения будут сообщаться на указанном сайте и здесь, на форуме.

kir_vik
Участник

Рязань
# Дата: 21 Мар 2016 22:06


m_marat
Спасибо. Интересно.

Sadovnik
Участник

# Дата: 23 Jun 2016 08:45


Относительно оцененной достоверности прогноза пока говорить рано, так как наблюдениям нет еще и месяца.

Апрель, май, июнь - каковы результаты оценки прогнозов от GisMeteo?

matrix145
Участник

Курган
# Дата: 2 Jul 2016 14:20


m_marat На первые 10 дней гисметео использует данные европейской модели Рединга (ECMWF) с сайта yr.no. Они есть и здесь. Можете проверить цифры http://meteocenter.asia
Дальше 10 дней это уже GFS

m_marat
Участник

Украина, Харьков
# Дата: 16 Авг 2016 20:03


matrix145, спасибо за уточнение.

m_marat
Участник

Украина, Харьков
# Дата: 16 Авг 2016 20:22


Уважаемые товарищи, здравствуйте! Позвольте проинформировать вас о новых результатах по определению точности прогнозов погоды. Наблюдения перенесены на специально созданный для этого сайт

http://weath-forec-acc.ru/forecast/

Теперь в автоматическом режиме вычисляются ошибки прогнозов от двух источников: Гисметео (Фобос) и Рамблер (Форека). Наблюдения ведутся по 40 населенным пунктам. Прогноз до 30 суток.

Основной вывод из наблюдений таков. За пределами 10-12 суток точность прогноза настолько ухудшается, что можно пользоваться, в качестве альтернативы, средними значениями температуры, полученными по многолетним наблюдениям. Образно говоря, на этом отрезке метеорологов могут заменить "старожилы", которые, как утверждается, все помнят.

Такой вывод косвенно подтверждается и тем фактом, что прогноз на месяц дают лишь немногие метеосервисы. Большинство - на 10-14 дней. Хотя некоторые, в погоне за пользователями, заявляют о том, что и долгосрочные прогнозы все-таки имеют ценность. Есть даже прогнозы на больший срок (AccuWeather.com: три месяца!), хотя их бесполезность неоднократно доказывалась.

Об этом можно прочитать на указанном сайте и посмотреть полученные к настоящему времени результаты. Данные продолжают накапливаться.

Спасибо за внимание.

Bob74
Участник

Челябинск
# Дата: 17 Авг 2016 17:21


m_maratГисметео же,вроде, тоже перешел на Рединг?

matrix145
Участник

Курган
# Дата: 4 Дек 2016 18:12


m_marat

Из-за смены интерфейса сайта Gismeteo программа перестала работать. Пропали данные по оправдываемости, программа их больше не открывает. Сможете расшифровать данные?

Файл - https://yadi.sk/d/1iBWukcz32CVYf

m_marat
Участник

Украина, Харьков
# Дата: 1 Jul 2017 14:04


Уважаемые товарищи, здравствуйте!
Наши наблюдения, сравнивающие точность прогнозов по 40 городам мира от Гисметео и Рамблер-погода, продолжаются. Только сайт изменил адрес. Теперь это
http://weath-forec-acc.pp.ua/forecast/
Кроме того организованы новые наблюдения:
http://en.weath-forec-acc.pp.ua/
Городов меньше - 13, зато больше сайтов - сейчас 16. Также сравниваются точности по городам и сайтам.
Спасибо за внимание. Ваши замечания будут полезны.
Михаил.

Corvus
Автор сайта

###Corvus###
# Дата: 1 Jul 2017 14:28


Гисметео же,вроде, тоже перешел на Рединг?
Bob74

Да, уже лет 5 назад.

Bob74
Участник

Челябинск
# Дата: 10 Jul 2017 20:40


Corvus Спасибо.

m_marat
Участник

Украина, Харьков
# Дата: 19 Jul 2018 18:21 - Поправил: m_marat


Здравствуйте, уважаемые посетители Метеоклуба!

Исследования точности прогнозов погоды продолжаются - теперь на платформе Heroku (впрочем, это технические детали):

http://weath-forec-acc.herokuapp.com/

Сейчас наблюдается 21 город и Южный полюс. Сайтов под наблюдением - 16.

Анализ точности прогнозов выполняется путем сравнения с неметодическим прогнозом - по многолетним средним значениям или норме. Выводы все те же: 10-12 дней - и все, дальше можно не прогнозировать или прогнозировать с использованием нормы - это даже лучше. Речь идет о прогнозе температуры, другие параметры прогнозируются, разумеется, намного хуже.

Тем не менее, есть прогнозы и на три месяца (https://www.accuweather.com), и на шесть (http://www.metcheck.com) и даже на семь (https://nuipogoda.ru/). Причем детальные. Ну это все - недобросовестная реклама. Уважающие себя (и пользователей) службы ограничиваются максимум двумя неделями. Что уж там говорить: старейшая и точнейшая служба Met Office (Метеорологическая служба Великобритании, https://www.metoffice.gov.uk/) дает прогноз всего на шесть дней - ей реклама не нужна, а репутация дороже.

matrix145
Участник

Курган
# Дата: 19 Jul 2018 20:51


m_marat

Давайте разбираться по порядку.

Раньше я пользовался Вашим приложением, пока gismeteo не поменял интерфейс, потом всё слетело. На сайте методического кабинета Гидрометцентра появился раздел "Оценка прогнозов на разных интернет-сайтах". Там публикуются данные по разным городам и сайтам - http://method.meteorf.ru/ansambl/Estm_inet.html

Второй момент. Год назад я проводил исследование точности прогноза GFS на 15 сутки относительно климатических норм. Вывод - детерминированный прогноз превосходит климатические прогнозы.

Третий момент. Обозначенные Вами сайты не занимаются "недобросовестной саморекламой". Например, сайт "Ну и погода" использует файлы американской климатической модели CFSv2, которая рассчитывает прогнозы на 9 месяцев вперед. Обычно эти прогнозы используют для осреденения, а не для получения срочных прогнозов с заблаговременностью 2000 часов)))Это хитрость, но это по-прежнему данные модели, а не фантазии программистов.

Точность прогнозов на 10-15 сутки составляет 55-60%. Согласен, это не 95% на сутки, но это всё-таки лучше, чем совсем ничего. На 10-15 сутки модели улавливают общую тенденцию, помогают обозначить наиболее оптимальный коридор возможных значений.

m_marat
Участник

Украина, Харьков
# Дата: 21 Jul 2018 18:55


Уважаемый matrix145!

Отвечаю. Точность прогноза различается не только для разных сайтов (служб), но и для разных мест наблюдения для одного сайта. Что естественно: разная устойчивость погоды. По этой же причине точность прогноза различна и для разного времени года. Поэтому однозначно нельзя указать какие-либо оценки, распространив их на все случаи. Но в среднем получается, что за пределом 10-12 дней точность климатического прогноза выше точности методических прогнозов, от кого бы они не исходили. Доказательство - результаты наблюдений по указанному адресу.

Вы говорите, что "точность прогнозов на 10-15 сутки составляет 55-60%". Повторю: точность зависит от: 1) веб-службы (модели, программ); 2) места наблюдения; 3) времени года. По моим наблюдениям, например, для Пекина на 13 суток оправдываемость прогноза максимальной температуры для всех сайтов, кроме Weather Company, не превысила 52%, для указанной службы - 63%, точность климатического прогноза - 55%. Для Мехико на 13 суток точность климатического прогноза составила аж 93%, все другие прогнозы имеют худшую точность.

Я не утверждаю, что прогноз на семь месяцев - фантазии программистов. Думаю, что это - результат работы модели. Но утверждаю, что результат этот - бесполезный. Все по той же причине: климатический прогноз (норма) по точности выше. Да и подумать только: кому нужен, например, такой прогноз от "Ну и погода" аж на 1 января 2019 года 18:00 (интервал - 3 часа!): температура - 4 гр., ветер - ЮВ, 5 м/с, давление - 745 мм рт. ст., пасмурно, дождь. На 15:00 без дождя, но пасмурно. Или прогноз на 13 октября 2018 г. от AccuWeather: ветер - 11 км/ч, шквалы до 26 км/ч, осадки в виде дождя - 2 мм, дождь будет продолжаться 1,5 часа. Это только на день. Есть еще на ночь. Это не средние значения, это - специфический прогноз на данный день (и даже на данный час!). Ну это, как если бы кто выдал прогноз соотношения рубль/доллар: на 13 октября - 63,7, на 1 января - 62,1. Войти бы в коридор с десяток рублей! Даже обсуждать не хочется.

И спасибо за полезную ссылку. Проанализирую.

matrix145
Участник

Курган
# Дата: 21 Jul 2018 23:08


m_marat

По ссылке нет России, одни зарубежные города. У меня вот есть другие данные по Кургану. Процитирую своё сообщение, по ссылке оригинал
https://goo.gl/9mzsCV

-----
Помню как-то спасатель упоминал здесь на форуме, мол, климатические ряды легко уделывают хвосты GFS. Усомнился в этом, решил проверить.

Взял выборку за 60 дней за июнь-июль 2017. Проверял прогноз максимальной температуры на 15-е сутки. Захватывал данные с местной метеостанции (28661). Затем в качестве альтернативного прогноза брал климатические ряды по дневной температуре. Норма 1961-1990 г.

За 2 месяца оправдываемость GFS составила 74%, а средняя абсолютная ошибка была 2,6

У климатических рядов хуже показатели. Оправдываемость 64%, ошибка 3,1.

По сути, ряды можно использовать в том случае, если нет модели. Модель на 10% превосходит климатические ряды, а значит на 10-15 сутки она всё-таки прощупывает наиболее вероятный сценарий. Если бы прогноз составлялся в 2000 году - я бы использовал ряды, в 2017 есть модель. Спасатель был не прав.


----

. 1 . 2 . >>
Ваш ответ

          Отменить *Что это?

 » Логин  » Пароль 
 
 


Поддержка: miniBB forum software © 2001-2024