Performance e verificação de modelos e de previsões

David sf

Staff
Registo
8 Jan 2009
Mensagens
5,167
Local
Oeiras / VN Poiares
Links úteis:

-> NCEP/EMC Global Model Performance Statistics
-> Global Model Performance Statistics
-> Global Model Verification
-> Performance of the NCEP Operational Global Analysis/Forecast System
-> CFS Seasonal Forecast Verification



Para não encher o tópico de modelos com esta discussão, abro este tópico para discutirmos não só qual o melhor modelos, mas também para verificação de previsões anteriores, ver qual dos modelos previu melhor e mais rapidamente eventos interessantes, e outros aspectos relacionados com a fiabilidade de cada modelo.
 

rozzo

Staff
Registo
11 Dez 2006
Mensagens
2,470
Local
Alcochete/Lisboa
Já agora não acredito minimamente no ECM porque desde que o GFS fez a actualização em termos de médio ou longo prazo (+ de 6 dias) o GFS tem vindo a revelar-se melhor sendo consistente enquanto que o ECm tem sido uma barata tonta no longo prazo !!

(Puxando a conversa do outro tópico para aqui..)

Oh Aurélio, neste ponto concreto, tal como o David, não posso discordar mais! :eek: :eek: :eek:

- Que o GFS às vezes tem uns tiros no escuro à distância fantásticos tem, mas isso outros também têm.
- Que o GFS no curto prazo (menos de 5 dias) é muito bom, e por vezes em detalhes concretos de eventos já bem definidos e próximos, até às vezes trás mais-valia em relação ao ECMWF, também posso concordar.
- Agora que o GFS acima dos 5 dias é melhor que o ECMWF nunca posso concordar. E muito menos dizeres que não acreditas minimamente no ECMWF? Vez atrás de vez, repetidamente, as previsões a mais de 5 dias do ECMWF são certas, ou muito próximas da realidade, é o que se vem a confirmar, enquanto os outros modelos só "vão atrás" 1 ou 2 dias depois.

Mas é que são mesmo vezes sem conta que isso acontece, desde que me lembro de andarmos aqui a discutir isto!
Olha esta frente, quem a mostrou primeiro? O ECMWF. E depois, quem primeiro começou além da frente a mostrar uma ciclogénese? Claro, o ECMWF..

Não tenho ninguém a pagar-me para fazer publicidade para o ECMWF. E em algumas coisas e vezes o GFS pode ganhar, por ser mais extremo, muitas vezes exagera um pouco mas alerta-nos muito bem de certos eventos, como a última vaga de calor de Agosto, que se fossemos só atrás do ECMWF (até foi bastante discutido aqui) nunca iriamos esperar calor à séria, e no final, apesar de exageros, o GFS alertou-nos bem para temperaturas mais uma vez a rondar os 40º..

Agora, com muita coisa que se pode pegar para discutir a performance de modelos, essa que pegaste de dizer que e médio prazo o ECMWF não é de minima confiança, é absurda, pois é exactamente o ponto forte dele, onde ganha a milhas aos restantes!

:p
 

Aurélio

Cumulonimbus
Registo
23 Nov 2006
Mensagens
4,335
Local
Faro
(Puxando a conversa do outro tópico para aqui..)

Oh Aurélio, neste ponto concreto, tal como o David, não posso discordar mais! :eek: :eek: :eek:

- Que o GFS às vezes tem uns tiros no escuro à distância fantásticos tem, mas isso outros também têm.
- Que o GFS no curto prazo (menos de 5 dias) é muito bom, e por vezes em detalhes concretos de eventos já bem definidos e próximos, até às vezes trás mais-valia em relação ao ECMWF, também posso concordar.
- Agora que o GFS acima dos 5 dias é melhor que o ECMWF nunca posso concordar. E muito menos dizeres que não acreditas minimamente no ECMWF? Vez atrás de vez, repetidamente, as previsões a mais de 5 dias do ECMWF são certas, ou muito próximas da realidade, é o que se vem a confirmar, enquanto os outros modelos só "vão atrás" 1 ou 2 dias depois.

Mas é que são mesmo vezes sem conta que isso acontece, desde que me lembro de andarmos aqui a discutir isto!
Olha esta frente, quem a mostrou primeiro? O ECMWF. E depois, quem primeiro começou além da frente a mostrar uma ciclogénese? Claro, o ECMWF..

Não tenho ninguém a pagar-me para fazer publicidade para o ECMWF. E em algumas coisas e vezes o GFS pode ganhar, por ser mais extremo, muitas vezes exagera um pouco mas alerta-nos muito bem de certos eventos, como a última vaga de calor de Agosto, que se fossemos só atrás do ECMWF (até foi bastante discutido aqui) nunca iriamos esperar calor à séria, e no final, apesar de exageros, o GFS alertou-nos bem para temperaturas mais uma vez a rondar os 40º..

Agora, com muita coisa que se pode pegar para discutir a performance de modelos, essa que pegaste de dizer que e médio prazo o ECMWF não é de minima confiança, é absurda, pois é exactamente o ponto forte dele, onde ganha a milhas aos restantes!

:p

O que eu disse é que o GFS era melhor no medio e longo prazo (>6 dias) comparativamente ao ECM porque é muito mais consistente ou se quisermos contante sem andar aos saltos como acontecia antigamente e que com esta actualização foi verificado...
A curto-prazo o ECM continua a ser melhor ...
Já agora parabens ao David por abrir este tópico porque assim discutimos aqui os modelos na sua fiabilidade em vez de estarmos em Off-Topic do outro tópico...

Já agora analisando os modelos até á proxima quarta-feira ambos preveem o mesmo pelo menos em precipitação !!
 

David sf

Staff
Registo
8 Jan 2009
Mensagens
5,167
Local
Oeiras / VN Poiares
O que eu disse é que o GFS era melhor no medio e longo prazo (>6 dias) comparativamente ao ECM porque é muito mais consistente ou se quisermos contante sem andar aos saltos como acontecia antigamente e que com esta actualização foi verificado...
A curto-prazo o ECM continua a ser melhor ...
Já agora parabens ao David por abrir este tópico porque assim discutimos aqui os modelos na sua fiabilidade em vez de estarmos em Off-Topic do outro tópico...

Já agora analisando os modelos até á proxima quarta-feira ambos preveem o mesmo pelo menos em precipitação !!

Para sexta feira o GFS acabou de ir atrás do ECM, até apimentou um pouco a coisa. O GFS tinha estado consistente até à run anterior, mas numa previsão que provavelmente estava errada.
 

rozzo

Staff
Registo
11 Dez 2006
Mensagens
2,470
Local
Alcochete/Lisboa
O que eu disse é que o GFS era melhor no medio e longo prazo (>6 dias) comparativamente ao ECM porque é muito mais consistente ou se quisermos contante sem andar aos saltos como acontecia antigamente e que com esta actualização foi verificado...
A curto-prazo o ECM continua a ser melhor ...
Já agora parabens ao David por abrir este tópico porque assim discutimos aqui os modelos na sua fiabilidade em vez de estarmos em Off-Topic do outro tópico...

Já agora analisando os modelos até á proxima quarta-feira ambos preveem o mesmo pelo menos em precipitação !!

Mas.. Eu disse exactamente o oposto disso, não deves ter entendido bem o que escrevi.. Parece que estás a corroborar que eu disse que o ECMWF era melhor no curto prazo e o GFS no longo, quando disse exactamente o oposto (embora provavelmente no geral o ECMWF também no curto prazo seja melhor). :p

E é isso que estás a defender que eu acho completamente errado e ao contrário, mas pronto...
 

David sf

Staff
Registo
8 Jan 2009
Mensagens
5,167
Local
Oeiras / VN Poiares
Sem querer ser chato ... e não volto a repetir mensagens desta, parece que ganhei a aposta, pois ás 168h como havia dito pôs o AA em cima de nós!!:D
Resumindo o GFS e o ECM nas ultimas actualizações inverteram os papéis !!
ECM --> GFS
GFS --> ECM
;)

Achas? No domingo (192h), o ECM prevê chuva em Faro (baseado na run das 12z até às 9:30 de amanhã):

http://meteorologia.pt.msn.com/tenday.aspx?wealocations=wc:POXX0013&q=Faro+forecast:tenday

Voltando à "vaca gorda", vejamos o GFS para Sábado que vem ao meio dia. Run das 0z:

gfs20101002000180.png


Run das 12z

gfs0168.png


Padrões completamente diferentes.

Agora o ECM, run das 0z:

ecm1192g.gif


Run das 12z:

ecm1168d.gif


No que toca ao padrão é praticamente igual. Fusão entre anticiclone dos Açores e da Escandinávia, isolamento de uma depressão com origem no núcleo depressionário atlântico na Europa ocidental, que posteriormente se unirá a uma depressão em altitude proveniente de uma mini-micro siberiana que vai afectar a Ucrânia e Roménia nos próximos dias.
 

Knyght

Cumulonimbus
Registo
10 Mai 2009
Mensagens
2,042
Local
Madeira - Funchal
O modelo mais fiável que neste momento temos acesso a 72h para mim sem duvida é o Hirlam 5km, um modelo de alta resolução comparada ao Aladim 5km do IM mas creio este último ser mais fraco. Embora o grupo de trabalho do Hirlam trabalhe com o do Aladim para retirar o Harmoni que é de mesoescala 2,5km.
O Aladim da meteo-france tem o mesoescala Amore mas esse não temos acesso.
A 72h em modelos Globais o melhor é o GFS 10km, a mais é o ECMFW 10km entre o meio tem um chamado CMC 10km que costuma ser moderado a colocar precipitação mas tem boas rotas das depressões.
O único que tens um acesso barato a valores númericos e sendo um mesoescala tens o WRF no windguru pro.
Cumpz
 

Knyght

Cumulonimbus
Registo
10 Mai 2009
Mensagens
2,042
Local
Madeira - Funchal
Grande confusão e salganhada de modelos vai para aí, a começar pelos nomes, um deles muito romântico! :p

Aladim -> Aladin

Amore -> Arome
Dá-me um desconto hoje que estou com 2horitas de sono...
(Obrigado pelas rectificações)
 

Vince

Furacão
Registo
23 Jan 2007
Mensagens
10,624
Local
Braga
O modelo mais fiável que neste momento temos acesso a 72h para mim sem duvida é o Hirlam 5km, um modelo de alta resolução comparada ao Aladim 5km do IM mas creio este último ser mais fraco. Embora o grupo de trabalho do Hirlam trabalhe com o do Aladim para retirar o Harmoni que é de mesoescala 2,5km.
O Aladim da meteo-france tem o mesoescala Amore mas esse não temos acesso.
A 72h em modelos Globais o melhor é o GFS 10km, a mais é o ECMFW 10km entre o meio tem um chamado CMC 10km que costuma ser moderado a colocar precipitação mas tem boas rotas das depressões.
O único que tens um acesso barato a valores númericos e sendo um mesoescala tens o WRF no windguru pro.
Cumpz


O HIRLAM que está no site da Aemet não é o de 5km, é um domínio demasiado grande para ter essa resolução, levaria muitas horas a modelar. É certamente a versão de 16km. A Aemet é que internamente usa resoluções menores bem como variantes/modelos como o HARMONIE que referiste.

O ECMWF não tem 10km, tem cerca de ~16km desde Janeiro deste ano. Está previsto os ~10km, mas apenas em 2015.
O GFS e CMC também não tem 10km, tem bastante mais do que isso.

No curto prazo, não sei que métricas tens para dizer que A é melhor que B, estás a basear-te em quê só por curiosidade ? É muito difícil chegar a conclusões nesse campo, eu pelo menos não consigo. No curto prazo ou em cima da hora há bastante variabilidade, uns melhores umas vezes, piores noutras, etc. Sem um estudo rigoroso em variados campos para n locais, por exemplo, portugueses, em que estatisticamente se poderiam ir guardando dados ao longo de vários meses, só com isso se poderiam tirar conclusões. Desconheço tal estudo.
 

Vince

Furacão
Registo
23 Jan 2007
Mensagens
10,624
Local
Braga
Para não encher o tópico de modelos com esta discussão, abro este tópico para discutirmos não só qual o melhor modelos, mas também para verificação de previsões anteriores, ver qual dos modelos previu melhor e mais rapidamente eventos interessantes, e outros aspectos relacionados com a fiabilidade de cada modelo.


É uma boa ideia, já em tempos era para criar um tópico para ir acompanhando a perfomance comparativa dos modelos. Mais tarde adiciono à tua 1ª mensagem alguns links úteis, e talvez lhe mude o titulo para algo mais genérico relacionado com a verificação, etc, se não te importas.

Agora, quanto à fiabilidade, se queremos comparar estas coisas também deveríamos criar algumas regras básicas, pois às vezes olhando para saídas isoladas eles vão mudando e muitas vezes até alternando cenários e fica complicado perceber quem viu primeiro o que ou quem viu de forma mais consistente. Pelo que sugeria primeiro definirmos um período temporal (6 e 10 dias ?). E que um modelo tivesse pelo menos 4 saídas consistentes num determinado cenário. Mas pensa tu também nestas regras.

Além disso, acho que só deveriam entrar na avaliação saídas das 00z e 12z, pois as outras do GFS como expliquei uma vez noutro tópico, a grande finalidade delas não é o médio/longo prazo, são uma grande mais valia do modelo para lhe injectar observações intermédias em situações de tempo severo entre outras coisas, e tendem a gerar maiores disparates no médio/longo prazo.

Relativamente ao passado fim de semana, o ECMWF pode ter sido o primeiro a ver a situação, mas no geral acho que os modelos estiveram bastante bem. Fico muitas vezes surpreendido falarem tão mal de modelos, quando há alturas em que conseguem prever situações complexas tantos dias antes, eu acho incrível a sofisticação a que chegámos hoje nesta área numa atmosfera que é tão caótica.

Em relação à precipitação e até à pressão (foi mais consistente que o ECM), o GFS portou-se lindamente neste evento no curto prazo, penso que concordas. Alias, ando a gostar bastante do GFS nos últimos tempos. Médio/longo prazo claro, o ECM continua rei.
 

vitamos

Staff
Registo
11 Dez 2007
Mensagens
5,433
Local
Estarreja
Discussão interessantíssima. Este tópico é particularmente útil nesta fase em que a atmosfera apresenta uma dinâmica maior. Falar em modelos e avaliar as suas performances tem ocupado muitos posts em seguimento de previsões. Isso levou sempre a um duplo sentimento: Por um lado a temática é importante, por outro, complicava a leitura de um tópico sensível e dava azo por vezes a comentários muito desajustados e pouco úteis que apenas reflectiam algumas frustrações habituais em algumas situações.

Em termos de performance é difícil avaliar... Uma distinção deve ser feita logo ao início. Modelos globais são muito diferentes de mesoscala. A performance dos globais é a meu ver muito variável. Afirmar que o ECM é melhor que o GFS ou vice versa é arriscado e geralmente pouco acertado. Há contudo noções prévias... O ECM é um modelo talhado para o médio prazo e aqui diz-me apenas o senso comum que este apresenta um maior grau de acerto. Contudo, em algumas janelas do mais longo prazo e sobretudo no curto prazo parece-me que o GFS consegue por vezes ser mais certeiro... Mas isto é o senso comum de observação... Isto é sobremaneira falível... Sobretudo quando se observam diferentes outputs e quando há dados disponíveis que são diferentes e que muitas vezes podem induzir em erro.

Os mesoscalas são essenciais sobretudo no curto prazo... São a meu ver uma ferramenta de previsão muito útil e que devem ser preferencialmente usados quando se avaliam eventos severos por exemplo. Mas também apresentam um problema: Marcar um penalti numa baliza de futebol é fácil (o modelo global prevê por exemplo bem a precipitação na área X mas também em toda a envolvente, mas pode falhar a sua intensidade), mas acertar com uma bola, à mesma distância, num cesto de basket é mais difícil (o mesoscala atira por exemplo valores certeiros de precipitação exactos para uma área pequena, mas a bola pode não entrar no cesto e dar o valor certo no sítio errado, embora próximo).

Existem vários "se's" neste assunto, mas sem dúvida que a temática, para mim, é extremamente fascinante.