Performance e verificação de modelos e de previsões

Tópico em 'Meteorologia Geral' iniciado por David sf 2 Out 2010 às 15:36.

  1. David sf

    David sf
    Expand Collapse
    Staff

    Registo:
    8 Jan 2009
    Mensagens:
    3,512
    Local:
    Oeiras / Portel
    Links úteis:

    -> NCEP/EMC Global Model Performance Statistics
    -> Global Model Performance Statistics
    -> Global Model Verification
    -> Performance of the NCEP Operational Global Analysis/Forecast System
    -> CFS Seasonal Forecast Verification



    Para não encher o tópico de modelos com esta discussão, abro este tópico para discutirmos não só qual o melhor modelos, mas também para verificação de previsões anteriores, ver qual dos modelos previu melhor e mais rapidamente eventos interessantes, e outros aspectos relacionados com a fiabilidade de cada modelo.
     
  2. rozzo

    rozzo
    Expand Collapse
    Staff

    Registo:
    11 Dez 2006
    Mensagens:
    1,901
    Local:
    Lisboa
    (Puxando a conversa do outro tópico para aqui..)

    Oh Aurélio, neste ponto concreto, tal como o David, não posso discordar mais! :eek: :eek: :eek:

    - Que o GFS às vezes tem uns tiros no escuro à distância fantásticos tem, mas isso outros também têm.
    - Que o GFS no curto prazo (menos de 5 dias) é muito bom, e por vezes em detalhes concretos de eventos já bem definidos e próximos, até às vezes trás mais-valia em relação ao ECMWF, também posso concordar.
    - Agora que o GFS acima dos 5 dias é melhor que o ECMWF nunca posso concordar. E muito menos dizeres que não acreditas minimamente no ECMWF? Vez atrás de vez, repetidamente, as previsões a mais de 5 dias do ECMWF são certas, ou muito próximas da realidade, é o que se vem a confirmar, enquanto os outros modelos só "vão atrás" 1 ou 2 dias depois.

    Mas é que são mesmo vezes sem conta que isso acontece, desde que me lembro de andarmos aqui a discutir isto!
    Olha esta frente, quem a mostrou primeiro? O ECMWF. E depois, quem primeiro começou além da frente a mostrar uma ciclogénese? Claro, o ECMWF..

    Não tenho ninguém a pagar-me para fazer publicidade para o ECMWF. E em algumas coisas e vezes o GFS pode ganhar, por ser mais extremo, muitas vezes exagera um pouco mas alerta-nos muito bem de certos eventos, como a última vaga de calor de Agosto, que se fossemos só atrás do ECMWF (até foi bastante discutido aqui) nunca iriamos esperar calor à séria, e no final, apesar de exageros, o GFS alertou-nos bem para temperaturas mais uma vez a rondar os 40º..

    Agora, com muita coisa que se pode pegar para discutir a performance de modelos, essa que pegaste de dizer que e médio prazo o ECMWF não é de minima confiança, é absurda, pois é exactamente o ponto forte dele, onde ganha a milhas aos restantes!

    :p
     
  3. Aurélio

    Aurélio
    Expand Collapse
    Cumulonimbus

    Registo:
    23 Nov 2006
    Mensagens:
    4,335
    Local:
    Faro
    O que eu disse é que o GFS era melhor no medio e longo prazo (>6 dias) comparativamente ao ECM porque é muito mais consistente ou se quisermos contante sem andar aos saltos como acontecia antigamente e que com esta actualização foi verificado...
    A curto-prazo o ECM continua a ser melhor ...
    Já agora parabens ao David por abrir este tópico porque assim discutimos aqui os modelos na sua fiabilidade em vez de estarmos em Off-Topic do outro tópico...

    Já agora analisando os modelos até á proxima quarta-feira ambos preveem o mesmo pelo menos em precipitação !!
     
  4. David sf

    David sf
    Expand Collapse
    Staff

    Registo:
    8 Jan 2009
    Mensagens:
    3,512
    Local:
    Oeiras / Portel
    Para sexta feira o GFS acabou de ir atrás do ECM, até apimentou um pouco a coisa. O GFS tinha estado consistente até à run anterior, mas numa previsão que provavelmente estava errada.
     
  5. rozzo

    rozzo
    Expand Collapse
    Staff

    Registo:
    11 Dez 2006
    Mensagens:
    1,901
    Local:
    Lisboa
    Mas.. Eu disse exactamente o oposto disso, não deves ter entendido bem o que escrevi.. Parece que estás a corroborar que eu disse que o ECMWF era melhor no curto prazo e o GFS no longo, quando disse exactamente o oposto (embora provavelmente no geral o ECMWF também no curto prazo seja melhor). :p

    E é isso que estás a defender que eu acho completamente errado e ao contrário, mas pronto...
     
  6. David sf

    David sf
    Expand Collapse
    Staff

    Registo:
    8 Jan 2009
    Mensagens:
    3,512
    Local:
    Oeiras / Portel
    Achas? No domingo (192h), o ECM prevê chuva em Faro (baseado na run das 12z até às 9:30 de amanhã):

    http://meteorologia.pt.msn.com/tenday.aspx?wealocations=wc:POXX0013&q=Faro+forecast:tenday

    Voltando à "vaca gorda", vejamos o GFS para Sábado que vem ao meio dia. Run das 0z:

    [​IMG]

    Run das 12z

    [​IMG]

    Padrões completamente diferentes.

    Agora o ECM, run das 0z:

    [​IMG]

    Run das 12z:

    [​IMG]

    No que toca ao padrão é praticamente igual. Fusão entre anticiclone dos Açores e da Escandinávia, isolamento de uma depressão com origem no núcleo depressionário atlântico na Europa ocidental, que posteriormente se unirá a uma depressão em altitude proveniente de uma mini-micro siberiana que vai afectar a Ucrânia e Roménia nos próximos dias.
     
  7. SpiderVV

    SpiderVV
    Expand Collapse
    Staff

    Registo:
    26 Ago 2010
    Mensagens:
    4,858
    Local:
    Portalegre / Lisboa
    O MSN Meteorologia/Foreca baseia-se no ECM?
     
    Collapse Signature Expand Signature
  8. David sf

    David sf
    Expand Collapse
    Staff

    Registo:
    8 Jan 2009
    Mensagens:
    3,512
    Local:
    Oeiras / Portel
    Sim.
     
  9. SpiderVV

    SpiderVV
    Expand Collapse
    Staff

    Registo:
    26 Ago 2010
    Mensagens:
    4,858
    Local:
    Portalegre / Lisboa
    Agora já sei, estava com esta dúvida há algum tempo. Obrigado! ;)
     
    Collapse Signature Expand Signature
  10. Knyght

    Knyght
    Expand Collapse
    Cumulonimbus

    Registo:
    10 Mai 2009
    Mensagens:
    2,013
    Local:
    Madeira - Funchal
    O modelo mais fiável que neste momento temos acesso a 72h para mim sem duvida é o Hirlam 5km, um modelo de alta resolução comparada ao Aladim 5km do IM mas creio este último ser mais fraco. Embora o grupo de trabalho do Hirlam trabalhe com o do Aladim para retirar o Harmoni que é de mesoescala 2,5km.
    O Aladim da meteo-france tem o mesoescala Amore mas esse não temos acesso.
    A 72h em modelos Globais o melhor é o GFS 10km, a mais é o ECMFW 10km entre o meio tem um chamado CMC 10km que costuma ser moderado a colocar precipitação mas tem boas rotas das depressões.
    O único que tens um acesso barato a valores númericos e sendo um mesoescala tens o WRF no windguru pro.
    Cumpz
     
    Collapse Signature Expand Signature
  11. rozzo

    rozzo
    Expand Collapse
    Staff

    Registo:
    11 Dez 2006
    Mensagens:
    1,901
    Local:
    Lisboa
    Grande confusão e salganhada de modelos vai para aí, a começar pelos nomes, um deles muito romântico! :p

    Aladim -> Aladin

    Amore -> Arome
     
  12. Knyght

    Knyght
    Expand Collapse
    Cumulonimbus

    Registo:
    10 Mai 2009
    Mensagens:
    2,013
    Local:
    Madeira - Funchal
    Dá-me um desconto hoje que estou com 2horitas de sono...
    (Obrigado pelas rectificações)
     
    Collapse Signature Expand Signature
  13. Vince

    Vince
    Expand Collapse
    Furacão

    Registo:
    23 Jan 2007
    Mensagens:
    10,624
    Local:
    Braga

    O HIRLAM que está no site da Aemet não é o de 5km, é um domínio demasiado grande para ter essa resolução, levaria muitas horas a modelar. É certamente a versão de 16km. A Aemet é que internamente usa resoluções menores bem como variantes/modelos como o HARMONIE que referiste.

    O ECMWF não tem 10km, tem cerca de ~16km desde Janeiro deste ano. Está previsto os ~10km, mas apenas em 2015.
    O GFS e CMC também não tem 10km, tem bastante mais do que isso.

    No curto prazo, não sei que métricas tens para dizer que A é melhor que B, estás a basear-te em quê só por curiosidade ? É muito difícil chegar a conclusões nesse campo, eu pelo menos não consigo. No curto prazo ou em cima da hora há bastante variabilidade, uns melhores umas vezes, piores noutras, etc. Sem um estudo rigoroso em variados campos para n locais, por exemplo, portugueses, em que estatisticamente se poderiam ir guardando dados ao longo de vários meses, só com isso se poderiam tirar conclusões. Desconheço tal estudo.
     
  14. Vince

    Vince
    Expand Collapse
    Furacão

    Registo:
    23 Jan 2007
    Mensagens:
    10,624
    Local:
    Braga

    É uma boa ideia, já em tempos era para criar um tópico para ir acompanhando a perfomance comparativa dos modelos. Mais tarde adiciono à tua 1ª mensagem alguns links úteis, e talvez lhe mude o titulo para algo mais genérico relacionado com a verificação, etc, se não te importas.

    Agora, quanto à fiabilidade, se queremos comparar estas coisas também deveríamos criar algumas regras básicas, pois às vezes olhando para saídas isoladas eles vão mudando e muitas vezes até alternando cenários e fica complicado perceber quem viu primeiro o que ou quem viu de forma mais consistente. Pelo que sugeria primeiro definirmos um período temporal (6 e 10 dias ?). E que um modelo tivesse pelo menos 4 saídas consistentes num determinado cenário. Mas pensa tu também nestas regras.

    Além disso, acho que só deveriam entrar na avaliação saídas das 00z e 12z, pois as outras do GFS como expliquei uma vez noutro tópico, a grande finalidade delas não é o médio/longo prazo, são uma grande mais valia do modelo para lhe injectar observações intermédias em situações de tempo severo entre outras coisas, e tendem a gerar maiores disparates no médio/longo prazo.

    Relativamente ao passado fim de semana, o ECMWF pode ter sido o primeiro a ver a situação, mas no geral acho que os modelos estiveram bastante bem. Fico muitas vezes surpreendido falarem tão mal de modelos, quando há alturas em que conseguem prever situações complexas tantos dias antes, eu acho incrível a sofisticação a que chegámos hoje nesta área numa atmosfera que é tão caótica.

    Em relação à precipitação e até à pressão (foi mais consistente que o ECM), o GFS portou-se lindamente neste evento no curto prazo, penso que concordas. Alias, ando a gostar bastante do GFS nos últimos tempos. Médio/longo prazo claro, o ECM continua rei.
     
  15. vitamos

    vitamos
    Expand Collapse
    Staff

    Registo:
    11 Dez 2007
    Mensagens:
    4,557
    Local:
    Lisboa; Costa da Caparica
    Discussão interessantíssima. Este tópico é particularmente útil nesta fase em que a atmosfera apresenta uma dinâmica maior. Falar em modelos e avaliar as suas performances tem ocupado muitos posts em seguimento de previsões. Isso levou sempre a um duplo sentimento: Por um lado a temática é importante, por outro, complicava a leitura de um tópico sensível e dava azo por vezes a comentários muito desajustados e pouco úteis que apenas reflectiam algumas frustrações habituais em algumas situações.

    Em termos de performance é difícil avaliar... Uma distinção deve ser feita logo ao início. Modelos globais são muito diferentes de mesoscala. A performance dos globais é a meu ver muito variável. Afirmar que o ECM é melhor que o GFS ou vice versa é arriscado e geralmente pouco acertado. Há contudo noções prévias... O ECM é um modelo talhado para o médio prazo e aqui diz-me apenas o senso comum que este apresenta um maior grau de acerto. Contudo, em algumas janelas do mais longo prazo e sobretudo no curto prazo parece-me que o GFS consegue por vezes ser mais certeiro... Mas isto é o senso comum de observação... Isto é sobremaneira falível... Sobretudo quando se observam diferentes outputs e quando há dados disponíveis que são diferentes e que muitas vezes podem induzir em erro.

    Os mesoscalas são essenciais sobretudo no curto prazo... São a meu ver uma ferramenta de previsão muito útil e que devem ser preferencialmente usados quando se avaliam eventos severos por exemplo. Mas também apresentam um problema: Marcar um penalti numa baliza de futebol é fácil (o modelo global prevê por exemplo bem a precipitação na área X mas também em toda a envolvente, mas pode falhar a sua intensidade), mas acertar com uma bola, à mesma distância, num cesto de basket é mais difícil (o mesoscala atira por exemplo valores certeiros de precipitação exactos para uma área pequena, mas a bola pode não entrar no cesto e dar o valor certo no sítio errado, embora próximo).

    Existem vários "se's" neste assunto, mas sem dúvida que a temática, para mim, é extremamente fascinante.
     

Partilhar esta Página