Автоматизированная статистика ошибок прогнозов

Метеоцентр.Азия - наш новый сайт с высокодетализированными прогнозами погоды по пунктам России и мира
Облегчённая версия Метеоклуба (для КПК)
Карта активных участников Метеоклуба (105 кБ)    Таблица дней рождения активных участников Метеоклуба
Клуб любителей метеорологии (группа ВКонтакте)

Автоматизированная статистика ошибок прогнозов

Сейчас в Метеоклубе:
Участников - 2 [ Bouira10, qwerty ]
Максимальное одновременное количество посетителей: 9 [28 Мар 2017 16:39]
Гостей - 0 / Участников - 9

 - Начало - Ответить - Статистика - Регистрация - Поиск -
МЕТЕОКЛУБ : независимое сообщество любителей метеорологии (Европа и Азия) : ФОРУМ О ПОГОДЕ И ПРИРОДЕ / Компьютерная техника и интернет в метеорологии / Автоматизированная статистика ошибок прогнозов
Автор Сообщение
Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 29 Янв 2016 12:41


Интересный любительский проект на эту тему

http://mrtland7.wix.com/weather-forecas

LESS
Участник
Письмо
Приокский лесс на юге МО
# Дата: 29 Янв 2016 12:47


Corvus

Идея хорошая, но по факту сами знаете - антропоген там всякий дополнительные "ограничения" на расчёты накладывает, прочие "нац. особенности сети метеостанций Росгидромета".

Да и исходный массив данных им бы из оригинальных таблиц брать, а не "с экранов телевизоров".

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 16 Фев 2016 12:48 - Поправил: Corvus


Ещё письмо от автора сайта:

На своем сайте (http://mrtland7.wix.com/weather-forecas) я добавил сведения об исследованиях точности прогноза погоды, которые мне попались в сети:
- простейшее исследование точности прогноза
http://www.the-village.ru/village/city/city/125007 -eksperiment-the-village-prognoz-pogody
- исследование точности на основе архивных данных https://geektimes.ru/post/112958/
- и эти архивные данные http://mycli.me/

Вот любопытная последняя ссылка на архив, но, как мне показалось, ничего там добыть уже нельзя. Тем более любопытным может быть сбор таких данных. Интересно, что кое-кто из хозяев сайтов предлагал автору ресурса http://mycli.me/ предоставить прямой доступ к данным (не через обращение к web-страницам). Это ценно.

На этом ресурсе была своеобразная оценка для сравнения различных ресурсов по точности, не бесспорная. Мне кажется, что обычная статистическая обработка вполне годится.

Какие мысли-предложения? Собирать прогнозы с различных источников (первоисточников) и создать некую базу данных. Обработка - это уже другой вопрос. Конечно, нужно решить несколько вопросов:
- откуда собирать (надо знать, кто первоисточник, а кто лишь ретранслятор);
- что собирать (по каким н.п., какая частота, какие подробности, какие параметры);
- где и как хранить (формат данных, тип сервера, его расположение).

Любые предложения будут очень ценны.


Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 16 Фев 2016 12:50


Сайт http://mycli.me/ не работает, выдаёт тестовую страницу Apache 2 Test Page

m_marat
Участник
Письмо
Украина, Харьков
# Дата: 17 Фев 2016 10:18


Уважаемые товарищи, спасибо за внимание к сайту http://mrtland7.wix.com/weather-forecas.

Несомненно, что оценка точности прогнозов, как и собственно прогнозирование, требует множества оговорок. Начать надо с критерия оценки, а он, по-видимому, должен быть разным для разных сроков прогнозов. Одно дело прогноз на завтра: тут нам хотелось бы по возможности максимально возможного совпадения. А вот от прогноза на две недели достаточно было бы уловить тенденцию. Ничего страшного, если резкое изменение погоды произойдет через 13 дней, а не через 12 или 14, как было предсказано. И хотя по критерию совпадения прогноза с фактическим состоянием получим плохую оценку, ясно, что такой прогноз хорош (как это оценивать количественно, следует еще подумать).

Оценка точности, конечно, будет зависеть от места, для которого она выполняется, т.к. зависит от стабильности погодных условий: чем нестабильнее условия, тем сложнее прогнозировать и, соответственно, следует ожидать худших результатов по точности. Влияет и размер населенного пункта (если привязываться к населенному пункту). Когда размеры населенного пункта составляют десятки километров, то о чем говорит, например, прогноз "Погода в Москве"? Нечто среднее. Т.е. и прогноз по среднему, и фактическая погода по среднему. Не повлияет ли это на оценку точности? Можно предположить, что повлияет.

Осторожно нужно подходить и к данным по фактической погоде. На gismeteo, например, прогноз на четыре суточные отметки (2, 8, 14, 20 часов). Прогноз меняется (уточняется) несколько раз в сутки. Значит фактическую погоду следует брать в подходящее время, т.е. после прохождения точки прогноза, а не ранее (позже, наверное, можно, т.к. данные, как можно предположить, уже не будут меняться).

Исходные данные для оценки точности, разумеется, лучше было бы получать у первоисточника прогноза. Такие данные у них, конечно, есть. Но зачем им их раздавать? Они и сами их обработают и обрабатывают. Но результаты обработки - это их внутреннее дело, вряд ли доступное сторонним лицам. Так что приходится полагаться на то, что есть в интернете.

О перспективах. То, что сделано - это пробный набросок. Объемные исследования требуют подготовки, о чем частично сказано выше.

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 17 Фев 2016 12:51 - Поправил: Corvus


Начать надо с критерия оценки, а он, по-видимому, должен быть разным для разных сроков прогнозов. Одно дело прогноз на завтра: тут нам хотелось бы по возможности максимально возможного совпадения. А вот от прогноза на две недели достаточно было бы уловить тенденцию.
m_marat

Для оценки краткосрочных прогнозов (на первые трое суток) есть руководящий документ, там всё описано

http://meteocenter.net/meteolib/nast_kratk_progn_2 009.pdf

Если совсем коротко, то оценивается Тмин и Тмакс за сутки (а не по срокам). Прогноз считается оправдавшимся, если Тпрогн отличается от Тфакт не более чем на 3 градуса.

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 17 Фев 2016 13:00


значит фактическую погоду следует брать в подходящее время, т.е. после прохождения точки прогноза, а не ранее (позже, наверное, можно, т.к. данные, как можно предположить, уже не будут меняться).
m_marat

Гисметео хитрит. После наступления срока прогноза у них прогноз подменяется фактической (реально наблюдавшейся) погодой. Поэтому выбирать прогноз надо только до срока.

m_marat
Участник
Письмо
Украина, Харьков
# Дата: 19 Фев 2016 01:09


Пожалуйста, обратите внимание: адрес сайта изменился добавлением в конец случайно пропущенной буквы t. Теперь http://mrtland7.wix.com/weather-forecast.

m_marat
Участник
Письмо
Украина, Харьков
# Дата: 19 Фев 2016 01:56


Для оценки краткосрочных прогнозов (на первые трое суток) есть руководящий документ, там всё описано
Corvus

Владимир, спасибо. Руководящие документы надо знать. Изучу. Беглое изучение приводит к выводу: коридор допустимых погрешностей задан директивно, определяется попадание в него. Попали: оценка "прогноз оправдался", не попали - "не оправдался". Такая методика, скорее всего, более подходит для административной оценки, как формализованная и не требующая каких-либо дополнительных описаний и не допускающая иных толкований. Легко подводить итоги: там-то оправдываемость прогнозов составила 96%, а у этих - только 88%. Первых поощрить, со вторыми разобраться. Вполне приемлемая методика для таких целей.

В научном плане интерес представляет установление величин этих самых коридоров. Собственно, административная оценка опирается на предварительное изучение этих величин, т.к. произвольно коридор не задашь. Это как в обычном деле установления нормативных оценок. Чтобы получить пятерку, ученик должен решать примеры такой-то сложности. А какой? Это определяется экспериментально. Планку выбирают, исходя из человеческих возможностей. Пусть в эксперименте 30% учеников решили задачи определенной сложности. Можно было бы этот уровень принять за нормативное требование к отличной оценке. Но можно поставить вопрос так: 30% отличников - это слишком много. Поэтому планку поднимаем. До каких пор? А на сколько захотим сократить количество отличников. Например, хотим, чтобы их было в среднем не более 15%. Вот на эту величину настраиваем планку.

Так и с коридором для оценок "оправдался" - "не оправдался". Для административных целей вычислять статистические показатели (м.о., с.к.о.) было бы неоправданным, для научных - вполне.

Впрочем, продолжаю изучать документ.

surok
Участник
Письмо
Санкт-Петербург (север)
# Дата: 19 Фев 2016 09:29


m_marat
адрес сайта изменился добавлением в конец случайно пропущенной буквы t

Только вы ещё зачем-то упорно добавляете в конец точку, которую надо потом удалять:)

Alter
Участник
Письмо
Москва, ЮЗАО
# Дата: 19 Фев 2016 10:58


Уже не первый год настаиваю на том, что все шаблонные методы оценки ДПП давно и безнадежно устарели.
Реальная оценка должна основываться на климатической изменчивости.

А все эти 3 градуса и прочее взяты не от хорошей жизни, а от отсутствия статистической базы по метеостанциям. Но сейчас уже такой проблемы нет.
m_marat, почитайте.
http://meteoclub.ru/index.php?action=vthread&forum =3&topic=5355&page=4#20

m_marat
Участник
Письмо
Украина, Харьков
# Дата: 19 Фев 2016 19:33


surok

Только вы ещё зачем-то упорно добавляете в конец точку, которую надо потом удалять:)

Да, виноват, некомпьютерная привычка.

m_marat
Участник
Письмо
Украина, Харьков
# Дата: 19 Фев 2016 19:47


Alter

шаблонные методы оценки ДПП давно и безнадежно устарели

Возможно. Хотя у всякого метода (или почти у всякого) есть свои положительные стороны. Но я не использую указанные методы оценки, просто считаю обычные показатели рассеяния случайной величины - ошибки прогноза.

m_marat
Участник
Письмо
Украина, Харьков
# Дата: 26 Фев 2016 03:10


Здравствуйте! На сайте http://mrtland7.wix.com/weather-forecast начато новое исследование - точности прогнозов от gismeteo на месяц. Размещена ссылка на программу и создаваемый ею архив прогнозов. Можно использовать эту программу для накопления архива прогнозов на месяц по желаемому списку населенных пунктов. Архив в виде хml-файла. Автор выбрал в настоящее время 26 населенных пунктов, расположенных в разных частях света и в различных условиях.

По мере накопления данных и их обработки результаты будут выкладываться на сайте. Архив ведется с 24 февраля 2016 г.

m_marat
Участник
Письмо
Украина, Харьков
# Дата: 11 Мар 2016 01:26 - Поправил: m_marat


Здравствуйте! На сайте http://mrtland7.wix.com/weather-forecast опубликованы первые результаты оценки достоверности месячного прогноза погоды. Хотя с момента начала собирания прогнозов на месяц не прошел еще даже месяц, представлены первые результаты для качественной оценки. Оценивается оправдываемость прогнозов и с.к.о. ошибки прогноза температуры. Коротко, первый результат такой: оправдываемость прогноза на одни сутки - 93% и каждый день уменьшается примерно на 3% (это усредненно для всех 26 наблюдаемых пунктов). Как всегда, для общего пользования доступна сама программа и архив прогнозов.

m_marat
Участник
Письмо
Украина, Харьков
# Дата: 20 Мар 2016 01:13 - Поправил: m_marat


Здравствуйте! на сайте http://mrtland7.wix.com/weather-forecast продолжается исследование точности прогнозов погоды от Gismeteo.ru. Поделюсь наблюдениями за прогнозами на месяц.
Прогноз погоды на месяц на сайте Gismeteo.ru обновляется, судя по наблюдениям, раз в 2-5 дней, в отличие от прогноза на 14 дней, который обновляется четыре раза в сутки. При этом обновление может быть двух видов: либо прогноз обновляется полностью, на весь месяц, либо обновляется только "хвост", т.е. только недостающее до месяца.
Например, 26 февраля был установлен полностью новый прогноз на месяц (фактически, на 31 день - до 25 марта). В последующие три дня прогноз не менялся и 29 февраля длина его сократилась до 28 дней. 1 марта был установлен новый прогноз снова на 31 день - до 31 марта. Этот прогноз затем в последующие два дня не менялся и сократился к 3 марта до 29 дней. Изменения были внесены 4 марта, но изменен был только оголившийся (оставшийся без прогнозов) "хвост" в три дня, а на первые 28 дней прогноз остался тем же самым. Поскольку за эти три дня прогноз на первые 14 дней поменялся существенно, можно сделать вывод об отношении "хозяев" прогноза к своему месячному прогнозу.
Относительно оцененной достоверности прогноза пока говорить рано, так как наблюдениям нет еще и месяца. Кроме того, нужно еще выбрать критерий оценки качества прогноза. Например, сравнивать его с прогнозом по среднему значению температуры за последние годы. Кстати замечено, что этот метод Gismeteo не использует, иначе прогнозы выходили бы плавными, а не как сейчас - с резкими перепадами, характерными для фактической реализации, а не для среднего. Существенные наблюдения будут сообщаться на указанном сайте и здесь, на форуме.

kir_vik
Участник
Письмо
Рязань
# Дата: 21 Мар 2016 22:06


m_marat
Спасибо. Интересно.

Sadovnik
Участник
Письмо
# Дата: 23 Июн 2016 08:45


Относительно оцененной достоверности прогноза пока говорить рано, так как наблюдениям нет еще и месяца.

Апрель, май, июнь - каковы результаты оценки прогнозов от GisMeteo?

matrix145
Участник
Письмо
Курган
# Дата: 2 Июл 2016 14:20


m_marat На первые 10 дней гисметео использует данные европейской модели Рединга (ECMWF) с сайта yr.no. Они есть и здесь. Можете проверить цифры http://meteocenter.asia
Дальше 10 дней это уже GFS

m_marat
Участник
Письмо
Украина, Харьков
# Дата: 16 Авг 2016 20:03


matrix145, спасибо за уточнение.

m_marat
Участник
Письмо
Украина, Харьков
# Дата: 16 Авг 2016 20:22


Уважаемые товарищи, здравствуйте! Позвольте проинформировать вас о новых результатах по определению точности прогнозов погоды. Наблюдения перенесены на специально созданный для этого сайт

http://weath-forec-acc.ru/forecast/

Теперь в автоматическом режиме вычисляются ошибки прогнозов от двух источников: Гисметео (Фобос) и Рамблер (Форека). Наблюдения ведутся по 40 населенным пунктам. Прогноз до 30 суток.

Основной вывод из наблюдений таков. За пределами 10-12 суток точность прогноза настолько ухудшается, что можно пользоваться, в качестве альтернативы, средними значениями температуры, полученными по многолетним наблюдениям. Образно говоря, на этом отрезке метеорологов могут заменить "старожилы", которые, как утверждается, все помнят.

Такой вывод косвенно подтверждается и тем фактом, что прогноз на месяц дают лишь немногие метеосервисы. Большинство - на 10-14 дней. Хотя некоторые, в погоне за пользователями, заявляют о том, что и долгосрочные прогнозы все-таки имеют ценность. Есть даже прогнозы на больший срок (AccuWeather.com: три месяца!), хотя их бесполезность неоднократно доказывалась.

Об этом можно прочитать на указанном сайте и посмотреть полученные к настоящему времени результаты. Данные продолжают накапливаться.

Спасибо за внимание.

Bob74
Участник
Письмо
Челябинск
# Дата: 17 Авг 2016 17:21


m_maratГисметео же,вроде, тоже перешел на Рединг?

matrix145
Участник
Письмо
Курган
# Дата: 4 Дек 2016 18:12


m_marat

Из-за смены интерфейса сайта Gismeteo программа перестала работать. Пропали данные по оправдываемости, программа их больше не открывает. Сможете расшифровать данные?

Файл - https://yadi.sk/d/1iBWukcz32CVYf

Ваш ответ

          Отменить *Что это?

 » Логин  » Пароль 
 
 
Полезная информация:



Поддержка: miniBB forum software © 2001-2017