Качество авиационных прогнозов (Пулково и не только...)

[Corvus]

"Есть и еще одна юридическая особенность: российские метеорологи несут личную ответственность за прогнозы погоды. Поэтому они склонны проявлять консерватизм и нередко предсказывают более ненастную погоду, чем ожидается на самом деле, ссылаясь на возможный штормовой ветер или град. Такие попытки подстраховать себя являются контрпродуктивными", - отметил эксперт.


http://top.rbc.ru/society/11/09/2011/614922.shtml

То, о чём я писал - многие авиасиноптики в РФ и СНГ пишут кошмарные прогнозы - перестраховочные, слабо связанные с реальной погодой.

[Misha]

То, о чём я писал - многие авиасиноптики в РФ и СНГ пишут кошмарные прогнозы - перестраховочные, слабо связанные с реальной погодой.

Есть реальные способы это хоть когда-нибудь побороть?

[Corvus]

Да, выход есть - создание системы автоматизированного детального авиапрогноза без участия синоптика (как это давно реализовано на Западе). Что я и делаю на сайте http://www.meteocenter.asia
(особенно хорошие результаты получаются по комбинации моделей GFS+CMC=GCC, по ним я делаю авто-ТАФы).

Правда, мало разработать такую систему - ей нужно потом внедрить, с этим будут большие сложности. Но это уже другой вопрос.

[502]

http://aviamettelecom.ru/?id_top=31

ПРОТОКОЛ № 6

заседания Технического совета ФГБУ «Авиаметтелеком Росгидромета»


г. Москва 26 октября 2011 г.

На заседании присутствовали:

члены Технического совета:
1 Поляков А.В. заместитель генерального директора, заместитель председателя Технического совета
2 Тихонов Б.И. главный инженер
3 Ахтямов Д.Д. начальник ОРСС
4 Марцуль И.В. начальник ОАМО
5 Сидорова Л.П. начальник ОЭСГМО
6 Цуканов В.В. начальник ОКПИТТ
7 Чернышов Г.Е. начальник ПООМА
приглашенные:
Иноземцев П.И. зам. начальника отдела УГТР Росгидромета
Солонин А.С. директор ЗАО «ИРАМ»
Бочарников Н.В. зам. директора ЗАО «ИРАМ»
Базлова Т.А. ведущий научный сотрудник ЗАО «ИРАМ»
Кулик Т.К. зам. начальника ГАМЦ Росгидромета
Нарышкина Ю.Н начальник отдела ЕС ОрВД
Михайлова Н.Г. ведущий метеоролог отдела ЕС ОрВД
Софоян Р.П ведущий метеоролог отдела ЕС ОрВД
Варелджян Г.Г. начальник ОИТ
Якусик Е.И. ведущий метеоролог ОАМО
Шихова Н.Ш. ведущий инженер ОАМО
Бледнов А.А. ведущий инженер ОАМО
Чернышова А.Б. главный специалист технического отдела

Повестка дня
заседания Технического совета ФГБУ «Авиаметтелеком Росгидромета»

1. Сообщение начальника отдела АМО ФГБУ «Авиаметтелеком Росгидромета» И.В. Марцуль об итогах заседания «Метеорологическое обеспечение гражданской авиации» рабочей группы № 3 Межгосударственного совета по гидрометеорологии (РГ-3 МСГ СНГ) государств-участников СНГ, проходившего в г. Киеве 5-7 сентября 2011 г.
2. Анализ результатов Центра верификации авиаметеорологических прогнозов (ЦВАМП), и объективность показателей качества прогнозов по аэродромам (TAF).

Заседание Технического совета проводил заместитель генерального директора ФГБУ «Авиаметтелеком Росгидромета», заместитель председателя Технического совета Поляков А.В.
Информация по первому пункту повестки дня участниками заседания принята к сведению.

По второму пункту повестки дня были представлены презентации:
1. Деятельность ЦВАМП за период 2005-2011 гг. Сравнение методики оценки TAF ЦВАМП с ведомственной методикой
(Михайлова Н.Г.).
2. Верификация TAF и система прогнозирования – анализ международной практики и предложения для Российской Федерации по улучшению качества прогнозирования и верификации с учетом рекомендаций Комиссии по авиационной метеорологии ВМО (Нарышкина Ю.Н.).
3. Программное обеспечение ЗАО «ИРАМ», используемое в ЦВАМП (Базлова Т.А.)

По результатам анализа и сравнения методов верификации TAF было отмечено следующее (презентации 2 и 3):
1. Схемы верификация TAF в ЦВАМП и на сети АМЦ/АМСГ идентичны, программное обеспечение ЦВАМП разрабатывалось на основе ведомственной методики (Инструкция по оценке авиационных прогнозов погоды от 16.06.1998).
2. Проценты оправдываемости прогнозов TAF, рассчитанные по ведомственной методике в АМЦ/АМСГ, завышены по сравнению с оценкой ЦВАМП по следующим причинам:
2.1 В ЦВАМП установлены единые для всех аэродромов пороговые критерии 2000х200м. (сложные метеорологические условия), ниже которых осуществляется оценка прогнозов. В АМЦ/АМСГ используются разные пороговые критерии, ниже которых проводится оценка:
-прогнозы оцениваются только в тех случаях, когда прогнозируются и наблюдаются условия ниже минимума конкретного аэродрома (что зависит от класса аэродрома);
-в остальных случаях (погода выше минимума аэродрома) принимается условие: прогноз оправдался на 100%.
2.2 Для оценки точности прогнозов по аэродрому в АМЦ/АМСГ учитываются дополнительные данные наблюдений, включая данные сети штормового кольца, бортовой погоды и МРЛ в радиусе 100 км.
3. Процент оправдываемости, рассчитываемый в ЦВАМП завышен по сравнению с требованиями к желаемой точности ИКАО (Приложение 3, Дополнение В), т.к. 50% случаев принимается за 100%, тогда как необходимо принимать за 100% общее количество случаев (наблюдений).
4. Преимущество рассмотренных методик верификации TAF Met Alliance (Австрия, Бельгия, Германия, Ирландия, Голландия и Швейцария), США, Канада, Гонконг заключается в выполнении современных рекомендаций ВМО (2010 г.), а именно:
- Использование Web-технологии (оценка в режиме реального времени);
- Методики верификации основаны на предлагаемой ВМО схеме оценки, размещенной на сайте ВМО, рассчитываются многопараметровые целевые показатели точности прогнозов;
- Набор данных для статистических таблиц и оценка прогнозов осуществляется по установленным оперативно-значимым критериям (т.е. общим критериям ИКАО для выпуска коррективов к TAF и SPECI);
- Оценивается группа ТЕМРО.
Данные преимущества не отражены в ведомственной методике верификации TAF (Инструкция Росгидромета по оценке авиационных прогнозов погоды от 16.06.1998).
Таким образом, в рассмотренных методиках верификации TAF (Met Alliance (Австрия, Бельгия, Германия, Ирландия, Голландия и Швейцария), США, Канада, Гонконг) осуществляется реализация принципа управления информацией (II этап развития верификации TAF).
В ы в о д.
1. Показатели ЦВАМП являются независимыми от влияния человеческого фактора и минимумов аэродромов, так как используются однозначные условия оценки и фактические данные наблюдений.
2. Общим недостатком методик оценки TAF, применяемых в РФ, можно считать «отставание» от методик оценки, применяемых в Met Alliance (Австрия, Бельгия, Германия, Ирландия, Голландия и Швейцария), США, Канада, Гонконг. В целях реализации SWIM, интеграции МЕТ компоненты в систему ОрВД и результатов верификации TAF в систему принятия решений необходим новый этап развития (II этап развития верификации TAF) системы прогнозирования и оценки прогнозов по аэродромам на основе установленных критериев по элементам погоды для принятия решений на взлет/посадку воздушных судов.
Примечание: на 14-ой сессии ВМО рекомендовано пересмотреть методики верификации TAF, используемые в государствах, на предмет применения общих схем верификации, многопараметровых показателей и принципов ВМО.
3. Значимым недостатком методик оценки TAF применяемых в РФ, является то, что группа ТЕМРО оценивается как альтернативная, не учитывая условия использования данного указателя (временные изменения должны быть в каждом случае менее 1 часа, и в целом менее ½ периода прогнозируемых изменений).
Примечание: Поправка (от 22 ноября 2010 г. N 263) в ФАП "Подготовка и выполнение полетов в гражданской авиации Российской Федерации" (приказ от 31 июля 2009 г. N 128) устанавливает правила (ETOPS) выбора аэродромов для посадки с учетом временных изменений погодных условий.

Технический совет р е ш и л:

1. Отделу АМО (И.В. Марцуль) подготовить план реализации решений РГ-3 МСГ СНГ.
2. Технический совет отмечает положительную роль ЦВАМП в реализации I этапа работ по автоматизированной верификации TAF. Работу ЦВАМП признать полезной для получения независимых результатов верификации прогнозов и проведения сравнительной оценки TAF по аэродромам РФ и стран-участников СНГ.
3. ФГБУ «Авиаметтелеком Росгидромета» совместно с ФГБУ «Гидрометцентр России» подготовить предложения по вопросу о новых методических подходах к критериям определения качества прогнозов
(п.8 решения Коллегии Росгидромета от 15.09.2011 г. № 14) на основе рекомендуемых принципов ВМО.


Зам. генерального директора
ФГБУ «Авиаметтелеком Росгидромета» А.В. Поляков

[Corvus]

Значимым недостатком методик оценки TAF применяемых в РФ, является то, что группа ТЕМРО оценивается как альтернативная, не учитывая условия использования данного указателя (временные изменения должны быть в каждом случае менее 1 часа, и в целом менее ½ периода прогнозируемых изменений).

Да, тут кроется, мягко говоря, хитрость. По методике ЦВАМП оценивается сначала основной прогноз, а если он в какие-то сроки "не бьёт", то оценивается по группе ТЕМРО.

Например, в ТАФ 03-12 ч основной прогноз был вид. 5000 м, ВНГО 300 м, временами 03-12 ч вид 0500 м туман верт. вид. 30 м.

Если по факту весь срок 03-12 ч было не хуже 2000х200, прогноз оценивается как 100%. И плевать, что во временной группе временами туман и малой авиации (визуальщикам) летать нельзя.

Если, например, с 03 до 06 ч был по факту непрерывный туман с вид. 0500 м, а с 06 до 12 ч условия лучше чем 2000х200 м, прогноз опять-таки оправдается на 100%, т.к. в группе ТЕМРО туман предусмотрен, и плевать что он был не "не менее 1 часа непрерывно и в целом не менее 1/2 периода").

Система оценки очень несовершенная.

[Corvus]

В ЦВАМП установлены единые для всех аэродромов пороговые критерии 2000х200м. (сложные метеорологические условия), ниже которых осуществляется оценка прогнозов. В АМЦ/АМСГ используются разные пороговые критерии, ниже которых проводится оценка:
-прогнозы оцениваются только в тех случаях, когда прогнозируются и наблюдаются условия ниже минимума конкретного аэродрома (что зависит от класса аэродрома);
-в остальных случаях (погода выше минимума аэродрома) принимается условие: прогноз оправдался на 100%.

Вот тут тоже хитрость.

Для визуального захода у многих аэродромов минимум что-нибудь вроде 600х5000 м, и он не учитывается ни в ЦВАМП (которые считают оправдываемость по минимуму не ниже 200х2000 м), ни на АМСГ (где обычно учитывают основной рабочий минимум аэродрома типа 60х800 м). То есть всю зиму можно давать в прогнозе 300х3000 м и все прогнозы оправдаются на 100%, и плевать что какая-нибудь Сессна всю зиму так и не смогла прилететь.

[Corvus]

В декабре 2011 г. в АМЦ Алматы была установлена система автоматизированной оценки оправдываемости прогнозов TAF (Система TAF), которая разработана в соответствии с международными требованиями и рекомендациями. Правильность прогнозов определяется в соответствии с указаниями по желательной точности прогнозов по аэродрому, изложенными в Приложении 3 ИКАО.
C января 2012 года оправлываемость авиационных прогнозов во всех представительствах Общества будет оцениваться с помощью Cистемы TAF.
Автоматизированная оценка оправдываемости авиационных прогнозов выполняется с использованием фактических данных в кодовых формах METAR и SPECI и прогностических в кодовой форме TAF (прогнозы на 6, 9, 24 и 30 часов по аэродромам и коррективы к ним) следующих метеорологических величин: ветер у земли (направление и скорость), видимость, высота нижней границы облаков и следующих опасных явлений погоды: грозы, град, шквал, замерзающие осадки, пыльные и песчаные бури.
Оценка оправдываемости выполняется для выбранного аэродрома за заданный день или за месяц целиком, по выбору.
Результаты расчётов представляются в табличном и графическом виде с использованием следующих показателей:
– оправдываемость прогноза каждого элемента за каждый срок;
– оправдываемость прогнозов каждого элемента за месяц;
– оправдываемость прогнозов TAF за месяц;
– оправдываемость прогнозов TAF за год;
– сравнение со значениями обеспеченности по рекомендациям ИКАО.
Специализированное программное обеспечение (СПО) TAF будет работать с архивами метеоинформации всех представительств АО «Казаэросервис», расположенных в аэропортах Республики Казахстана.

В декабре 2011 г. в АМЦ Алматы была установлена система автоматизированной оценки оправдываемости прогнозов TAF (Система TAF), которая разработана в соответствии с международными требованиями и рекомендациями. Правильность прогнозов определяется в соответствии с указаниями по желательной точности прогнозов по аэродрому, изложенными в Приложении 3 ИКАО.
C января 2012 года оправлываемость авиационных прогнозов во всех представительствах Общества будет оцениваться с помощью Cистемы TAF.
Автоматизированная оценка оправдываемости авиационных прогнозов выполняется с использованием фактических данных в кодовых формах METAR и SPECI и прогностических в кодовой форме TAF (прогнозы на 6, 9, 24 и 30 часов по аэродромам и коррективы к ним) следующих метеорологических величин: ветер у земли (направление и скорость), видимость, высота нижней границы облаков и следующих опасных явлений погоды: грозы, град, шквал, замерзающие осадки, пыльные и песчаные бури.
Оценка оправдываемости выполняется для выбранного аэродрома за заданный день или за месяц целиком, по выбору.
Результаты расчётов представляются в табличном и графическом виде с использованием следующих показателей:
– оправдываемость прогноза каждого элемента за каждый срок;
– оправдываемость прогнозов каждого элемента за месяц;
– оправдываемость прогнозов TAF за месяц;
– оправдываемость прогнозов TAF за год;
– сравнение со значениями обеспеченности по рекомендациям ИКАО.
Специализированное программное обеспечение (СПО) TAF будет работать с архивами метеоинформации всех представительств АО «Казаэросервис», расположенных в аэропортах Республики Казахстана.

http://kazairservice.kz/news/?id=29

[Corvus]

Стоит эта система дороже чугунного моста.

По крайней мере, планировалось купить её за 24 млн тенге, это почти 5 млн рублей.

1. Система должна быть разработана в соответствии с международными требованиями и рекомендациями. Правильность прогнозов должна определяться в соответствии с указаниями по желательной точности прогнозов по аэродрому (Приложение 3 ИКАО). 2. Система должна обладать международной практикой использования – не менее трех лет, в не менее чем трех странах. 3. Автоматизированная оценка оправдываемости авиационных прогнозов должна выполняться с использованием фактических данных в кодовых формах METAR и SPECI и прогностических в кодовой форме TAF (прогнозы на 6, 9, 24 и 36 час по аэродромам и коррективы к ним). 4. Оценке подлежат прогнозы следующих метеорологических величин: ветер у земли (направление и скорость), видимость, высота нижней границы облаков и следующих опасных явлений погоды: грозы, град, шквал, замерзающие осадки, пыльные и песчаные бури. 5. Должна быть реализована возможность задания пороговых значений метеорологических величин, представляющих оперативный интерес. 6. Система должна иметь возможность использования данных метеорологического локатора при оценке конвективных явлений. 7. Оценка оправдываемости должна выполняться для выбранного аэродрома за заданный день или за месяц целиком, по выбору. 8. Результаты расчетов должны представляться в табличном и графическом виде с использованием следующих показателей прогнозов: • оправдываемость прогноза каждого элемента за каждый срок; • оправдываемость прогнозов каждого элемента за месяц; • оправдываемость прогнозов TAF за месяц; • оправдываемость прогнозов TAF за год; • сравнение со значениями обеспеченности по рекомендациям ИКАО. 9.Система должна включать возможность использования дополнительных показателей качества прогнозов (частота пропущенных событий, частота ложных тревог, погрешности). 10. Производитель должен иметь систему менеджмента качества ISO 9001.

http://goszakup.gov.kz/app/index.php/ru ... ot/7588627