Источники SYNOP/METAR - где лучше брать?

Метеоцентр.Азия - наш новый сайт с высокодетализированными прогнозами погоды по пунктам России и мира
Облегчённая версия Метеоклуба (для КПК)
Карта активных участников Метеоклуба (105 кБ)    Таблица дней рождения активных участников Метеоклуба
Клуб любителей метеорологии (группа ВКонтакте)

Источники SYNOP/METAR - где лучше брать?

Сейчас в Метеоклубе:
Участников - 7 [ volk_by, kostian, Sunspot, kozerog, LITE33, Mark2, MAPIIIAJI ]
Максимальное одновременное количество посетителей: 14 [24 Июл 2017 21:35]
Гостей - 0 / Участников - 14

 - Начало - Ответить - Статистика - Регистрация - Поиск -
МЕТЕОКЛУБ : независимое сообщество любителей метеорологии (Европа и Азия) : ФОРУМ О ПОГОДЕ И ПРИРОДЕ / Метеорология: наука и практика / Источники SYNOP/METAR - где лучше брать?
. 1 . 2 . >>
Автор Сообщение
lalex
Участник
Письмо
Москва+Крым
# Дата: 4 Фев 2009 17:37


Есть мысль сделать постоянную "кольцовку" для своих целей. Картографическая часть отлажена, а вот метео - SYNOP, METAR - "на мне". Не то чтобы я не знал, где взять - отдельные ссылки быстро находятся. Но не дает покоя надежность этих "мест", а главное - характер самого кода... Опыт в этом старинный, в свое время принимали по радио и телетайпу, раскодировали по наитию, рисовали вручную, и сразу руководителю полетов на стол - стабильность формата как-то не волновала. Как сейчас дело обстоит? Где в сети фактура публикуется надежно? Пока иду по метеоцентровским файлам, но они не первичны вроде б? "Откуда берем..." тред как-то больше сворачивает на спутники и другие картинки... Дайте ликбез, плиз, сравнение на эту кодовую тему, если кто занимается вплотную.

Или ткните носом, если уже было - на данный момент не нашел чего-то :(

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 4 Фев 2009 18:37


Пока иду по метеоцентровским файлам, но они не первичны вроде б? "Откуда берем..."
lalex

Не первичны, но поступают надежно, из 2-3 источников. Сбои бывают редко :)

Пишите мне в мыло, расскажу как забирать с Метеоцентра раскодированные СИНОПы всего мира (отличное сырьё для любых карт) в csv формате.

Скоро сделаю и раскодированный МЕТАР в csv.

Ivanov
Участник
Письмо
Юбилейный Мос. обл.
# Дата: 4 Фев 2009 18:42 - Поправил: Ivanov


lalex

Гляньте здесь:
http://meteoclub.ru/index.php?action=vthread&forum =6&topic=1577&page=0

Удобный, но ручной интерфейс
здесь http://weather.noaa.gov/weather/metar.shtml
здесь http://adds.aviationweather.gov/metars/
здесь http://weather.uwyo.edu/surface/meteogram/
здесь http://dweb.met.fsu.edu/index.pl/wxdata/textwx

А здесь надо копать глубоко и автоматизированно http://www.atmos.albany.edu/weather/data1/surface/ syn/

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 4 Фев 2009 18:52


Ivanov

Ему ведь нужно забирать данные одновременно по большому числу точек (списком).

Для этих целей идеально подходит Метеоцентр
(у меня данные как раз автоматически берутся с источников вроде
http://www.atmos.albany.edu/weather/data1/surface/ syn/
и затем систематизируются, сохраняются, раскодируются).

Ivanov
Участник
Письмо
Юбилейный Мос. обл.
# Дата: 4 Фев 2009 19:14 - Поправил: Ivanov


Corvus
lalex

Если нужны первоисточники, которые на самом деле и не совсем перво
то это
http://www.met.fsu.edu/Data/archive/surface/syn/

http://www.atmos.albany.edu/weather/data1/surface/ syn/
причем они забиты ажно в стандартных Data Retrieval Window красавицы Digital Atmosphere 233, то вот они эти второисточники с кучей хлама по 4-5мб внагрузку,
а если нужен третьеисточник с мизерным трафиком то это Метеоцентр.

А самая что ни на есть отличная Картографическая часть это и есть DA.

ИМХО

lalex
Участник
Письмо
Москва+Крым
# Дата: 5 Фев 2009 16:06 - Поправил: lalex


Да, спасибо, именно это и было нужно. CSV не обязательно, привык сам раскодировать - син-закваска где-то в глубине подсознания ;) да и забавно это, вроде вышивания крестиком.

Я так понимаю, все источники - забугорные, даже по рос. аэропортам... Наших нет в виде кода, открытых, я имею в виду? Хотя может быть, этого вполне хватит. Для обзора вариантов так уж точно.

Метеоцентр подходит, но надо же знать и "карты противника". Если что-то выйдет из проекта "кольцовка для чайников", дам знать :)

2Ivanov: ссылка http://www.met.fsu.edu/Data/archive/surface/syn/ не работает что-то. Под "картографией", кстати, вы подразумеваете метеорологическую нагрузку. Ну а мы, картографы, скорее все остальное, т.е. подложку... Думаю, "чайники" меня поймут :)

2Corvus:
SYNOP с метеоцентра я уже того, охватил, удобно сделано - большое спасиб. Гляжу теперь еще всякие сырые варианты. Вот где бы станций побольше достать - а то ближайшие к нам Тверь да Рязань :(

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 6 Фев 2009 08:40 - Поправил: Corvus


Я так понимаю, все источники - забугорные, даже по рос. аэропортам... Наших нет в виде кода, открытых, я имею в виду? Хотя может быть, этого вполне хватит. Для обзора вариантов так уж точно.
lalex

Да, все источники западные.

Вот где бы станций побольше достать - а то ближайшие к нам Тверь да Рязань :(

В виде СИНОП - нигде. Многие станции РФ не входят в межд. обмен (это большая неприятность для любителей метеорологии) и потому в открытом доступе по ним есть только раскодированные сводки в разрозненном виде (не списком) на сайтах ГМЦ и РП5.


Если что-то выйдет из проекта "кольцовка для чайников", дам знать :)

Предлагаю объединить усилия :)
Было бы здорово использовать кроссплатформенный софт навроде GMT, чтобы потом эти карты можно было легко перенести на UNIX-сервер и публиковать на Метеоцентре в автоматическом режиме.

lalex
Участник
Письмо
Москва+Крым
# Дата: 6 Фев 2009 11:50 - Поправил: lalex


Усилия объединить можно. Но с нашей стороны предполагается в качестве подложки Google Maps и максимум наглядности - проф. метеорологам это может не понравится. Выделенный сервер не требуется. Даже если использовать свои дополнительные слои, нужен всего лишь набор тайлов и небольшой скрипт php для их раздачи (это у нас работает, например, в виде карты мос.метро). Дешево и наглядно для простых юзеров, машинка карт-просмотра готовая берется, только настроить яву немножко.

Есть и полноценный подход по раздаче слоев, напр., MapServer на Apache, другие варианты - под юникс разумеется. Такое тоже возможно, но если раздавать планируется один-два-три слоя, без доступов и учета, без этого вполне можно обойтись. Собирать финальную карту, как вы поняли, можно и вообще без сервера, по-клиентски.

Тиражный вариант - организация и раздача метеокарт как накладок в виде отдельных слоев, просто тайлами гугла или в стиле Openlayers. Далее кому надо, берет ваш ДигАтм слой, монтирует себе на свою карту по настроению, в своей проекции, охвате, размере, со своей подложкой и т.п. Но это на будущее, разумеется, и c учетом авторства должно идти.

GMT я не знаю, в чем его сущность?

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 6 Фев 2009 11:55 - Поправил: Corvus


GMT я не знаю, в чем его сущность?
lalex

Вот здесь описано:
http://meteoclub.ru/index.php?action=vthread&forum =6&topic=1583&page=0#13

И ещё:
http://gis-lab.info/qa/gmt.html
http://xray.sai.msu.ru/~ivan/gmt/

Шикарный софт для построения карт пространственного распределения неких параметров по любым исходным данным (сеточным или точечным). Отлично подходит для построения карт погоды. Собираюсь заняться его изучением.

Но с нашей стороны предполагается в качестве подложки Google Maps и максимум наглядности - проф. метеорологам это может не понравится.

А не будет ли всё это жутко тормозить?

Мне нравится классический подход - генерация карт погоды в виде готовых гиф/пнг файлов.

lalex
Участник
Письмо
Москва+Крым
# Дата: 6 Фев 2009 12:22 - Поправил: lalex


Понятно, GMT - модели по рег. сетке. Это есть, имеется, работает, думали применить GDAL grid для изобар. Но автоматика требует пригляда и доводки, на каком-то этапе будет не хватать фронтов и других экспертных вещей. Наш метео-майор фантастически ловко строил фронты, помнится, а-ля пикассо ;)

Но важнее угодить клиенту, соотвественно - качественная подложка, оформляж и привычные гугл-яндекс-формы. Их ведь можно и упрощать, своими силами, например, убрать детальный спутник и заменить на отсканенную пятимильёнку Европы. Но для начала хотелось бы просто вывести значения t, давление, вектор ветра, явления с удобной раскраской, чтобы читалось без условных знаков. Потом возможно то же, но из прогноза, соседним слоем.

Насчет тайловой организации - это всего лишь доводка того же растрового подхода. Широкие растры не дадут ни детальности, ни масштабирования, ни избирательности загрузки, поэтому готовое панно режется на тайлы 256*256, в неск. уровней детальности притом. Локально это намного эффективней. Итоговая скорость зависит от сервера и сети, только лишь. Ну и кэш, разумеется, должен быть, вся подложка оттуда и не должна тормозить в принципе, как на GEarth. Основные тормоза в загрузке, короче, каким бы пирогом растр ни шел сквозь провод.

Если хотите максимальной скорости и эффектности, то это ныне ваяется на флэш. IMHO пока это не стандартная картография, больше ловкость рук программиста. Но тоже будет... ;)

nimfa
Участник
Письмо
Сочи
# Дата: 6 Фев 2009 12:44


lalex
Ну, вообще-то, SYNOP есть на этом сайте. Не знаю, правда, насколько это Вам подходит.
http://www.mundomanz.com/meteo_p/byind?countr=RUSS IAN+FEDERATION+%28IN+EUROPE%29&ind=37171&year=2009 &month=02&day=06&n_days=1&time=all&trans=NO&l=1&ac tion=display

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 6 Фев 2009 13:53 - Поправил: Corvus


Понятно, GMT - модели по рег. сетке.
lalex

Не только по рег. сетке!

В том-то и ценность ГМТ, что он может строить карты и по произвольным данным (МЕТАР, СИНОП), вот например беларусская карта ВНГО, построенная по МЕТАРам:

http://meteoinfo.by/maps/?type=fact&map=HIGH_CL&da te=2009020600&time=09

Ну, вообще-то, SYNOP есть на этом сайте.
nimfa

Ну это опять-таки данные межд. сети РФ, доступные на американских серверах. А 70% станций РФ данные в межд. обмен не шлёт, эти данные оседают в утробе Росгидромета и используются им для торговли (платные справки организациям и гражданам).

lalex
Участник
Письмо
Москва+Крым
# Дата: 6 Фев 2009 17:44 - Поправил: lalex


2Corvus: ну да, я это и имел в виду. "По рег. сетке" = грид, это у нас ГИС-слэнг, в смысле ДЕЛАЕТ рег. сетку по scattered данным, интерполяция короче, по другому и не бывает. Интерполяторов немало, OpenSource в том числе, не GMT единым... да и сами пишем под свои задачи. Вопрос обычно в алгоритмах, потом кто как края отбивает - экстраполяция она посложнее, ну и гибкость в работе, те же барьеры=разрывы поля -(это у вас фронты) и тп.

Кстати, какие алгоритмы метеорологи предпочитают, геологи например, крайгинг, а вы? По соседям или фикс. окном? В GMT на эту тему как-то скупо изложено, там больше оформляж - хотя надо тестить, конечно. GRASS, GDAL более наукообразно выглядят, алгоритмы описаны подробно, с параметрами. Словом, выбор есть.

Насчет РФ понятно, все одно и то же где ни взять... ну, бум разбираться.

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 6 Фев 2009 18:01


По рег. сетке" = грид, это у нас ГИС-слэнг, в смысле ДЕЛАЕТ рег. сетку по scattered данным, интерполяция короче, по другому и не бывает.
lalex

Ясно :)

Кстати, какие алгоритмы метеорологи предпочитают, геологи например, крайгинг, а вы?

Никогда не углублялся в эту тему...

В ДигАтм опытным путём выбрал из нескольких типов интерполяции Nearest Neighbor, вроде бы он более правдоподобно рисует изолинии.

kostian
Участник
Письмо
космополит, мой дом - планета Земля
# Дата: 6 Фев 2009 20:49


А архив SYNOP самый полный, насколько я понимаю, на сайте http://www.ogimet.com/ ? Я оттуда недавно закончил выкачивать данные. И закачал в общей сложности 15 Гигов :) SYNOP-а за 2000-2006 годы. Более старых архивов (до 2000 года) в Интернете нет?

Ivanov
Участник
Письмо
Юбилейный Мос. обл.
# Дата: 7 Фев 2009 00:23


lalex

Самый надежный вариант получать SYNOP и METAR именно из первоисточника, это договор с ГРМЦ Росгидромета либо ВНИИГМИ-МЦД. А почему-бы и нет, ведь договор это максимально доступный объем и оперативность информации, юридическая ответственность стороны поставщика, причем на самом деле может оказаться не так дорого.

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 7 Фев 2009 10:58


Самый надежный вариант получать SYNOP и METAR именно из первоисточника, это договор с ГРМЦ Росгидромета либо ВНИИГМИ-МЦД.
Ivanov

Да, остаётся открытым вопрос о цене.

, причем на самом деле может оказаться не так дорого.

Сайт РП5 берёт СИНОПы немежд. станций в каком-то подобном источнике. Уж не знаю, платят ли они, или им просто по дружбе дают (вместе работали когда-то или что-то в этом роде).

lalex
Участник
Письмо
Москва+Крым
# Дата: 11 Фев 2009 11:01 - Поправил: lalex


В общем-то раскодировал и с первоисточниками ясно... Теперь идет шлифовка - работа над ошибками. Поглядел по ссылкам разные варианты. Парочка технических вопросов по SYNOP: в инструкции все четко и красиво, а на практике встречаются несоответствия. Так, написано, что Ir=указатель включения в телеграмму группы 6RRRTr - количество осадков. На практике указатель Ir - первая цифра в первой секции - может быть равен 1 ("осадки включены в первую секцию"), а самих осадков нет... Вот навскидку, вчерашняя Вологда:

27037 11461 81704 11001 21024 39911 40073 53007 77172 8772/ 333 87712=

Насколько такая ошибка "популярна"? Если так, придется ориентироваться только на номер группы.

Ivanov
Этот вариант для коммерческого проекта и нам не подходит. Если будет какая-либо отдача (что, в общем-то, не предвидится) то разумеется, такие варианты будут интересны. Пока хотелось бы перебрать бесплатные источники.

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 11 Фев 2009 15:22


Насколько такая ошибка "популярна"? Если так, придется ориентироваться только на номер группы.
lalex

Вполне популярна. Ориентироваться нужно именно на номер группы.

lalex
Участник
Письмо
Москва+Крым
# Дата: 11 Фев 2009 16:25


Спасибо, сделано (пока в текстовом виде). Теперь очередь за координатами и значочками... :)

Doof
Участник
Письмо
Москва. ЮБутово
# Дата: 11 Фев 2009 16:27


lalex

Температура неверно раскодирована :-)

lalex
Участник
Письмо
Москва+Крым
# Дата: 11 Фев 2009 18:07


С-с-спасибо, не заметил - похоже на правду было. Исправил, теперь по югу холоднее севера стало :)

Doof
Участник
Письмо
Москва. ЮБутово
# Дата: 11 Фев 2009 18:10


lalex

Жаль, что нет всех подмосковных станций, но они платные, насколько я понимаю.

lalex
Участник
Письмо
Москва+Крым
# Дата: 12 Фев 2009 11:13 - Поправил: lalex


Ну я как у Корвуса еще аэропорты приделаю... Остальное вряд ли, да и так ли уж интересны ли они в контексте того, что говорилось за ветер? К тому же срок публикации 3 часа - это много. Меня больше заинтересовали бы непрофессиональные станции, вроде "realmeteo" и "silavetra", которые дают погоду онлайн. Но из них почти никто файлы не выкладывает. Если есть что-то в сети, было бы интересно знать. Например, метеостанция Vantage Pro в Шереметьево давала за два дня текстом ветер и порывы, но сейчас она вошла в состав реалметео и прямой доступ к данным закрыт.

Словом, если таковые ссылки отыщутся в радиусе 500 км, с удовольствием раскрутил бы и включил в состав сводки по МО и возле, или отдельным потоком можно.

И конечно, нужен другой интерфейс - картографический или хотя бы графикой по кольцу "разбросать", иначе быстро читать погоду невозможно. Сам гляжу с некоторым отупением на то что вышло :) Это для экспертов годится полнометражный текст, а для чайников нужна предельная гео-наглядность. Даже порядок подачи станций важен.

VoDya
Участник
Письмо
Липецк
# Дата: 13 Фев 2009 16:27


lalex

По какой ссылке можно посмотреть на ваш проект? Ощущение порыва ветра не выходя из квартиры - мечта....

lalex
Участник
Письмо
Москва+Крым
# Дата: 14 Фев 2009 23:42 - Поправил: lalex


Выше на 5 сообщений есть ссылка. Особ не пиарю, потому что пока лишь текст, который на метеоцентре и лучше и красивей. Но будет карта, как мой напарник очнется, и вообще бум стараться оформить максимально удобно для "любителей ветра".

Однако "ветер меряется", как известно по соседней теме, довольно плохо, и ощущение получить по гос. метеостанциям будет очень трудно, даже включая редкие изюминки-аэропорты. Нужно иметь изрядное воображение. Например, вчера вечером эта мос. "кольцовка" казала 1-3 м\с, т.е. практически штиль. Сегодня с утра до 4 м\с, редко то есть по региону "задуло чуток".

Однако, внимательно глянув притом все явления и облачность: там и сям снегопад, St fr, то воображение шептало "фронты идут, можно на простор". И ветер до обеда был хороший. Как-то так придется, других источников нет - см. выше об этом.

lalex
Участник
Письмо
Москва+Крым
# Дата: 19 Фев 2009 14:59 - Поправил: lalex


Доделал читалку METAR - почти все данные. Пока читает а/п СНГ по списку... Вроде все правильно - и что приятно, читается практически сразу после срока. Покритикуйте, плиз

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 19 Фев 2009 15:23


Покритикуйте, плиз
lalex

погода ОК - обычно говорят "условия хорошие" или "погода хорошая"

Изменений не ожидается - обычно говорят "без изменений"

ветер штиль - лучше просто "штиль", а ещё лучше "тихо" (традиционный в авиации термин; а штиль это у моряков).

lalex
Участник
Письмо
Москва+Крым
# Дата: 19 Фев 2009 17:03


Спасиб, первое сделаю, остальное придется оставить - наглядность страдает без этих, казалось бы, лишних слов. "Без изменений", например, сырой пользователь может воспринять как "изменений не было", тогда как NOSIG это вроде бы прогноз на будущее.

Еще подметил у вас нюанс - MI = shallow вы переводите как "поземный" (туман, например, сегодня утром - MIFG). Может ли быть, по аналогии, "поземная мгла", поземная морось", поземный дождь, снег и т.п., или где-то лучше "приземный", а где-то, может быть, и "в тонком слое" написать? Иначе это будет путаться с настоящим поземком (DR = low drifting).

Заметил такую вещь насчет наглядности - METAR и текстом прекрасно "работает"... Важнее сортировка, выборка, форматирование, своевременность т п. Т обр. картография все откладывается и откладывается ;)

Corvus
Автор сайта
Письмо
Владимир (г. Байконур)
# Дата: 20 Фев 2009 08:33


"Без изменений", например, сырой пользователь может воспринять как "изменений не было", тогда как NOSIG это вроде бы прогноз на будущее.
lalex

Поэтому раскодированные сводки лучше отображать не простым текстом, а в таблице, где колонки подписаны и всё понятно.

http://meteocenter.net/russia_current.htm

Эта колонка у меня не используется, а в вашем случае её можно назвать "прогноз на ближайшие 2 часа".

Еще подметил у вас нюанс - MI = shallow вы переводите как "поземный" (туман, например, сегодня утром - MIFG). Может ли быть, по аналогии, "поземная мгла", поземная морось", поземный дождь, снег и т.п., или где-то лучше "приземный", а где-то, может быть, и "в тонком слое" написать?

Нет-нет, слово "поземный" используется только в приложении к туману. Никаких приземных моросей и поземной мглы не бывает :)

. 1 . 2 . >>
Ваш ответ

          Отменить *Что это?

 » Логин  » Пароль 
 
 
Полезная информация:



Поддержка: miniBB forum software © 2001-2017