Performance e verificação de modelos e de previsões

David sf

Moderação
Registo
8 Jan 2009
Mensagens
5,241
Local
Oeiras / VN Poiares
Mais tarde adiciono à tua 1ª mensagem alguns links úteis, e talvez lhe mude o titulo para algo mais genérico relacionado com a verificação, etc, se não te importas.

Força, estás à vontade.

Agora, quanto à fiabilidade, se queremos comparar estas coisas também deveríamos criar algumas regras básicas, pois às vezes olhando para saídas isoladas eles vão mudando e muitas vezes até alternando cenários e fica complicado perceber quem viu primeiro o que ou quem viu de forma mais consistente. Pelo que sugeria primeiro definirmos um período temporal (6 e 10 dias ?). E que um modelo tivesse pelo menos 4 saídas consistentes num determinado cenário. Mas pensa tu também nestas regras.

Além disso, acho que só deveriam entrar na avaliação saídas das 00z e 12z, pois as outras do GFS como expliquei uma vez noutro tópico, a grande finalidade delas não é o médio/longo prazo, são uma grande mais valia do modelo para lhe injectar observações intermédias em situações de tempo severo entre outras coisas, e tendem a gerar maiores disparates no médio/longo prazo.

Em primeiro lugar creio que deveríamos verificar de um modo aberto, sem muitas regras e em discussão aberta. Claro que para evitar discussões estéreis e repetitivas poderíamos estipular algumas regras gerais, do tipo:

Acima das 120h só se deveria verificar o padrão atmosférico global, sem preocupações locais, se a depressão foi para Espanha ou ficou junto a Lisboa, se caem 100 mm ou 50 mm, se neva na praia ou só na serra da Estrela... Como o caso de Sábado passado, na minha resposta ao Aurélio, no caso de uma eventual recuo do ECM. Só poderia ir até às 240h, dado que ECM e GEM/CMC não vão além disso, se bem que já houve casos (p.e., a depressão de final de Novembro do ano passado) em que o GFS manteve a mesma previsão, com muito poucas alterações desde as 300 e tal horas até à ocorrência.

Claro que tem que haver alguma consistência, pois caso um modelo saque 4 coisas diferentes em 2 dias vai muito provavelmente acertar numa delas. Na minha opinião, acima das 168h, por exemplo, duas previsões iguais até já é uma previsão consistente, enquanto que abaixo das 72h, uma única mudança importante (GFS, Xynthia) revela inconsistência.

Abaixo das 120h, já se deveria verificar tudo, inclusive saídas das 06z e 18z, ensembles, temperaturas, etc. Em casos como as cut-off no verão, por exemplo, ocorrem várias "trocas" de previsões entre ECM e GFS, e aí falham os dois, e acho que demorará muitos anos até que um modelo de previsão consiga prever com exactidão este tipo de cenários.
 


Knyght

Cumulonimbus
Registo
10 Mai 2009
Mensagens
2,044
Local
Madeira - Funchal
Benne
The main goals of HIRLAM-A are threefold:

Development of an operationally suitable mesoscale model at a target horizontal resolution of 2.5 km (HARMONIE).
Continued development of the synoptic scale (5 - 15 km horizontal resolution) HIRLAM model.

Model:
ECMWF: Global Ensemble weather forecast from the "European Centre for Medium-Range Weather Forecasts"

Updated: 2 times per day, from 10:00 and 23:00 GMT
Greenwich Mean Time: 12:00 GMT = 13:00 BST
Resolution: 0.5° x 0.5°
Atmosphere global forecasts

Forecast to ten days from 00 and 12 UTC at 16 km resolution (high-resolution model)

GLOBAL ENVIRONMENTAL MULTISCALE (GEM) Ou CMC

Colour Charts

Global Configuration ( lat-lon grid: 0.3° latitude by 0.45° longitude )

Model:
GFS (Global Forecast System) Global Model from the "National Centers for Environmental Prediction" (NCEP)

Updated: 4 times per day, from 3:30, 09:30, 15:30 and 21:30 GMT
Greenwich Mean Time: 12:00 GMT = 13:00 BST
Resolution: 0.5° x 0.5° for forecast time <= 180 hrs
2.5° x 2.5° for forecast time > 180 hrs

Modelo WRF

O modelo Weather Research and Forecasting (WRF) é um sistema de previsão numérica mesoscala de última geração, criado para proporcionar previsões operacionais e necessidades da pesquisa atmosférica. Representa uma evolução do modelo MM5. Os esforços no sentido de desenvolver o WRF foram uma colaboração entre as seguintes principais entidades: National Center for Atmospheric Research (NCAR), National Oceanic and Atmospheric Administration, National Centers for Environmental Prediction (NCEP), Forecast Systems Laboratory (FSL), Air Force Weather Agency (AFWA), Naval Research Laboratory, Oklahoma University e Federal Aviation Administration (FAA). Mais informações no site do modelo WRF.

Estamos a executar o modelo WRF na maioria da Europa e do mediterrâneo. As Ilhas Canárias, a Madeira e parte da costa atlântica de Marrocos também são abrangidas por WRF com resolução de 9 km.

201008egrmsegz500na.png
 

Vince

Furacão
Registo
23 Jan 2007
Mensagens
10,624
Local
Braga
O falhanço do CFS (modelo sazonal) em imagens:
Valerá a pena olhar para estas coisas ?


Inverno 2008/2009
Previsão a um mês e observado


200901glbt2m.gif






Verão 2009
Previsão a um mês e observado


200908glbt2m.gif






Inverno 2009/2010
Previsão a um mês e observado


14032134.gif






Verão 2010
Previsão a um mês e observado


201008glbt2m.gif
 

Vince

Furacão
Registo
23 Jan 2007
Mensagens
10,624
Local
Braga
Tenho às vezes alguma dificuldade em perceber quando dizem que este modelo segue aquele, etc. O flip-flop em maior ou menor escala é usual em todos acima dos 5/6 dias, e nunca percebi bem que métrica usam quando dizem que este foi melhor ou pior em certas situações em que há imenso flip-flop.

Exemplo, comparação de vários modelos desde os 9 dias, apenas saídas 00z e 12z (não se devem usar as 6z/18z para médio longo prazo) para o próximo dia 9 Novembro, 00z e 12z. (infelizmente com algumas falhas e sem o UKM no comparativo que parece-me que até esteve mais estável que os restantes nos últimos 2 dias)


Olhando para isto, quem vence ? Ou quem segue o que ?
Eu sinceramente não sei responder...

89914335.gif

(Amanhã e dias seguintes actualizo a imagem com novas saídas, para também demonstrar outro ponto, que é quando entramos nas 120 horas (5 dias) que normalmente se pode começar a ter um mínimo de confiança)
 

Aurélio

Cumulonimbus
Registo
23 Nov 2006
Mensagens
4,335
Local
Faro
Bom tópico este .... sim senhor Vince !!
Acho que o Vince já disse tudo ...
Nos tempos actuais parece que o GFS tem tendencia a efectuar menos mudanças drásticas a longo prazo do que o ECM (antes dá-me a ideia que era ao contrário)!!
.......
Quanto á história do quem segue quem .... faz-me lembrar a história imaginária de dois fulanos:
- um tem uma pistola e tenta acertar no alvo com essa pistola portanto tenta atingir somente um alvo, dado que tem poucas balas, e mesmo que falhe pelo menos anda lá perto..
- um outro tem uma metralhadora e como sabe que tem imensos tiros, e a cadencia com que sai as balas é velocissima, então nem se preocupa em concentrar-se naquele alvo, e dispara para todo o lado porque sabe que acertará sempre ...

Conclusão: se um modelo começar a disparar para todo o lado no longo prazo, então certamente que irá acertar, enquanto que se o outro se concentrasse somente naquele alvo, então provavelmente poderá falhar!!

Gostaram da história .. digam que sim, inventei-a agora :D
 

Vince

Furacão
Registo
23 Jan 2007
Mensagens
10,624
Local
Braga
Nos tempos actuais parece que o GFS tem tendencia a efectuar menos mudanças drásticas a longo prazo do que o ECM (antes dá-me a ideia que era ao contrário)!!

Eu penso que o GFS de facto melhorou na última versão, mas não ao ponto de rivalizar com o ECM, talvez tenha ficado ao nível do UKMO ou próximo, o que já seria muito bom se assim for, dado que do UKMO temos poucos parâmetros. Como expliquei noutro tópico, a assimilação de dados do ECMWF tem muito mais qualidade que outros modelos como o GFS, demora também muito mais tempo por isso (filosofias distintas) pelo que é muito improvável que nos anos mais próximos o GFS rivalize com o ECM. Mas isso não significa que o ECM seja o mais certo em muitas situações, todos os modelos são necessários, e acertam mais ou menos conforme as situações, em termos médios é que uns são melhores que outros. Em relação às mudanças, é preciso não esquecer que tendo o GFS o dobro das runs também pode gerar erradamente a ideia de que muda muito mais, e sendo metade dessas runs sem observações, tende a gerar mudanças mais radicais, mas eu no médio/longo prazo nem olho para essas runs 6z/18z para manter a minha sanidade mental quando analiso o blend dos modelos. Mas acho que mesmo ignorando estas runs do GFS, normalmente o ECM é de facto o mais estável, mas por exemplo neste evento parece-me que até nem foi o caso.


AltG 500 Hemisfério norte
A 5 dias

46303693.gif



Temp 500 Hemisfério norte
A 5 dias

55983594.gif


(links na 1ª mensagem do tópico)
 

David sf

Moderação
Registo
8 Jan 2009
Mensagens
5,241
Local
Oeiras / VN Poiares
O "quem segue o quê" não se deve aplicar à comparação de modelos, pois o que acontece sempre é que os modelos que estão errados seguem o que está certo. Portanto o que interessa saber é qual estava certo.

Sobre as cartas que o Vince postou, alguns comentários:

- o ECMWF só mudou uma vez. Às 216 h tinha uma depressão a oeste do continente que originava fluxo de SW. Depois colocou a depressão a NW. È evidente que a 144 h, saber ao certo se o centro da depressão estará no Golfo da Biscaia ou na Galiza não é possível. O padrão previsto está imutável desde domingo. Decepcionou um pouco, pois quase todos os ensembles (90%) previam chuva em Lisboa e agora só 35% o fazem. É uma mudança pouco habitual no modelo europeu, mas ao nível global é uma miudeza.

- o GFS já mostrou o cenário muito parecido ao que prevê agora, a 360 h de distância. Foram 4 runs consecutivas. Depois deixou de ver. Às 144 h tinha uma crista anticiclónica sobre a península e uma cut-off em Marrocos. Padrão totalmente diferente.

- o UKMO, se se mantiver, é o único que esteve sempre muito próximo da realidade e o vencedor final.
 

Aurélio

Cumulonimbus
Registo
23 Nov 2006
Mensagens
4,335
Local
Faro
O "quem segue o quê" não se deve aplicar à comparação de modelos, pois o que acontece sempre é que os modelos que estão errados seguem o que está certo. Portanto o que interessa saber é qual estava certo.

Sobre as cartas que o Vince postou, alguns comentários:

- o ECMWF só mudou uma vez. Às 216 h tinha uma depressão a oeste do continente que originava fluxo de SW. Depois colocou a depressão a NW. È evidente que a 144 h, saber ao certo se o centro da depressão estará no Golfo da Biscaia ou na Galiza não é possível. O padrão previsto está imutável desde domingo. Decepcionou um pouco, pois quase todos os ensembles (90%) previam chuva em Lisboa e agora só 35% o fazem. É uma mudança pouco habitual no modelo europeu, mas ao nível global é uma miudeza.

- o GFS já mostrou o cenário muito parecido ao que prevê agora, a 360 h de distância. Foram 4 runs consecutivas. Depois deixou de ver. Às 144 h tinha uma crista anticiclónica sobre a península e uma cut-off em Marrocos. Padrão totalmente diferente.

- o UKMO, se se mantiver, é o único que esteve sempre muito próximo da realidade e o vencedor final.

Sim o UKMO neste caso foi o mais firme e o ECM é verdade que mudou somente uma vez, mas também é verdade que andou pelo menos dois dias em insitir em 970 ou 980 Hpa a oeste de Portugal e posteriormente a Norte ou Noroeste de Portugal !!
O GFS também oscilou um bocado e 4 runs do GFS é um dia, e 4 runs do ECM são 2 dias, mas pronto ..
O Gráfico do Vince é o que chamo de médio prazo (5/6 dias) e aí já tinha visto e sei que é o melhor ...
Depois dos 6 dias a fiabilidade desce a pique e aí parece que os modelos aproximam-se um bocado mas tb não sei se consultei o gráfico correcto ...
Mas claro opiniões são opiniões ....
 

Vince

Furacão
Registo
23 Jan 2007
Mensagens
10,624
Local
Braga
Outro «combate de modelos» :D desta vez a 10 dias (240h), alvo: próximo sábado, 20 Novembro.
(Infelizmente falham 2 runs do ECM)



(clicar para aumentar)

 

David sf

Moderação
Registo
8 Jan 2009
Mensagens
5,241
Local
Oeiras / VN Poiares
ECMWF praticamente certo desde as 144h, GFS e UKMO desde as 96h, mas ao nível do padrão global estão os dois principais modelos quase certos desde as 192h. Seria interessante a mesma comparação para dia 29, aí sim é algo muito difícil de modelar e tem andado cheio de avanços e recuos por parte de todos os modelos.
 

Aurélio

Cumulonimbus
Registo
23 Nov 2006
Mensagens
4,335
Local
Faro
ECMWF praticamente certo desde as 144h, GFS e UKMO desde as 96h, mas ao nível do padrão global estão os dois principais modelos quase certos desde as 192h. Seria interessante a mesma comparação para dia 29, aí sim é algo muito difícil de modelar e tem andado cheio de avanços e recuos por parte de todos os modelos.

Quase certo, eles fartam-se é de inventar ... inventam, inventam, prometem, prometem ... e depois é como o Sócrates, quando chega a hora não cumpre !!
 

David sf

Moderação
Registo
8 Jan 2009
Mensagens
5,241
Local
Oeiras / VN Poiares
Quase certo, eles fartam-se é de inventar ... inventam, inventam, prometem, prometem ... e depois é como o Sócrates, quando chega a hora não cumpre !!

Tens em cima as cartas que o Vince postou, podes mostrar as 'invenções' do GFS e do ECM a 192h. Acho que para o dia de hoje estiveram muito bem. Não quer dizer que não falhem completamente para a semana que vem.
 

Aurélio

Cumulonimbus
Registo
23 Nov 2006
Mensagens
4,335
Local
Faro
Tens em cima as cartas que o Vince postou, podes mostrar as 'invenções' do GFS e do ECM a 192h. Acho que para o dia de hoje estiveram muito bem. Não quer dizer que não falhem completamente para a semana que vem.

Ah ok, desculpa ... não tinha reparado que era a isso que estavas falando, julgava que era na tendencia agora para o próximo fim de semana :p