Jump to content
Brasil Abaixo de Zero
Rodolfo Alves

Análise de Performance de Modelos

Recommended Posts

TÓPICO CRIADO PARA POSTAGEM DE ANÁLISES DA PERFORMANCE DOS MODELOS DE PREVISÃO

 

=============================================================================

 

MODELOS X REALIDADE: ONDA DE FRIO JUN/16 - MÍNIMAS EM SÃO PAULO

 

Inaugurando o tópico, vou começar com uma análise em relação a performance dos modelos em relação a onda de frio que atingiu o Centro-Sul do Brasil, para a Cidade de São Paulo.

 

A análise se incidirá sobre o valor das temperaturas mínimas sobre três olhares: A menor do CGE (geralmente registrada em Capela do Socorro ou Parelheiros), a registrada no IAG (Convencional no Jardim Zoológico), e no Mirante de Santana.

 

O período em questão da análise será entre 10/6 (Sex) e 13/6 (Seg), tendo como base de previsão, a última saída dos modelos antes do período a ser analisado, isto é 12z-09/06, saída que teoricamente teria a melhor confiabilidade.

 

Os modelos a serem analisados: GFS - ECMWF - CMC - ETA - COSMO/MBAR

 

A Seguir, vejamos a saída 12z - 09/06 de cada modelo:

 

GFS:

C1R654W.png

 

ECMWF (YR):

eWrDmCx.png

 

CMC:

g8q6WHT.png

 

ETA:

UxBIfcT.png

 

COSMO/MBAR:

4fqqu6V.png

 

 

Na tabela abaixo, coloquei para cada dia analisado, a mínima aproximada estimada por cada modelo, juntamente com as mínimas verificadas em 5 estações do CGE (Parelheiros/Capela do Socorro/Riacho Grande/São Mateus/Sé-CGE), IAG, Aero de Congonhas e Mirante (Convencional):

 

GlbUhd7.png

 

Análise Menor Temperatura do CGE:

Na tabela abaixo, confrontei a menor temperatura registrada pelas estações do CGE em cada dia, com o que foi previsto pelos modelos. O intuito aqui era vê, qual modelo se aproximava mais da realidade. Com isso foram somadas todas as diferenças diárias (para mais ou para menos).

 

Nesta variável, foi verificado que o CMC foi o modelo com melhor performance nos dois primeiros dias, com diferença menor que 1 grau entre o previsto e o registrado, porém, o modelo estimou demais o frio entre o domingo e a segunda, errando entre 3,4 e 5,9ºC as suas previsões. Por conta desta diferença entre o 2º e o 4º dia, o CMC empatou em performance com o GFS no período analisado, tanto na média geral, quanto no acumulado de diferença.

 

Sendo assim, o ETA (na média) foi o modelo que melhor previu as temperaturas nesta variável, pois teve diferença em torno de 1 grau em 3 dos 4 dias.

 

gCuGB8u.png

 

Análise IAG:

Seguindo as mesmas regras da análise do CGE, o modelo ETA novamente teve a melhor performance ao prever mínimas, levando como base a estação do IAG.

 

A diferença nos 4 dias, variou entre 0,2 e 2,4ºC pelo modelo do CPTEC, enquanto que pelo CMC foi muito pequena no primeiro dia, mas piorando demais entre o 2º e o 3º dia. GFS e ECMWF na variável IAG tiveram boa performance, e ficaram relativamente próximo ao ETA.

 

5kbCifE.png

 

Análise Mirante:

Seguindo as mesmas regras, a situação se inverte com o Mirante.

 

Nesta variável, o modelo que teve melhor acerto foi o ECMWF (via YR), com diferença média de 1,1 grau nos 4 dias em relação ao registrado na estação convencional do INMET. Outro modelo que teve performance parecida com o ECMWF, foi o COSMO/MBAR. Um pouco mais atrás vem GFS e ETA, com o CMC longamente atrás.

 

GF01vaN.png

 

 

Em resumo, nesta forte incursão de frio, o ETA foi o modelo que na média, mais se aproximou das mínimas registradas pelo CGE (estações mais frias) e IAG. Enquanto que o Europeu, foi o que mais se aproximou para as mínimas registradas no Mirante de Santana.

  • Like 1

Share this post


Link to post
Share on other sites

Excelente análise!

 

Sem dúvidas, o ECMWF é o que mais se aproxima da realidade em suas soluções em relação ao mirante, principalmente em temperaturas mínimas com céu claro, sendo conservador em relação aos outros modelos, com o tempo que eu acompanho os modelos, o Europeu tem bom nível de acerto, tanto em mínimas quanto nas máximas, quando prevê em situação de céu encoberto e ou chuvas, já com tempo ensolarado, ele subestima as temperaturas máximas, não é regra, mas na maioria das vezes isso ocorre, levando em consideração uma previsão entre 48 à 96 hs de antecedência, em média.

  • Like 1

Share this post


Link to post
Share on other sites

Muito interessante obrigado. Será que algum dos modelos pega o efeito urbanização que existe hoje em sp? Uma surpresa ser o Eta o melhor.

Abs

  • Like 1

Share this post


Link to post
Share on other sites

Imagino que modelos não levam em consideração os efeitos da urbanização.

Mesmo numa megalópole como São Paulo, a área urbanizada é muito pequena se compararmos com a superfície do estado, por exemplo.

 

Neste caso, acho que o ETA foi o melhor modelo, pois chegou mais próximo das temperaturas com pouca ou sem influência da urbanização.

 

Se é verdade que modelos não levam em consideração a urbanização, então o ECMWF errou ao chegar mais próximo das temperaturas do Mirante.

 

Estou certo ou errado? :russian:

Share this post


Link to post
Share on other sites

Excelente análise Rodolfo.

 

Percebe-se claramente a dificuldade em prever o clima Paulistano, pois nenhum dos modelos contava que no Domingo a brisa marítima fosse elevar as mínimas em relação as projeções dos mesmos.

Share this post


Link to post
Share on other sites
Muito interessante obrigado. Será que algum dos modelos pega o efeito urbanização que existe hoje em sp? Uma surpresa ser o Eta o melhor.

Abs

 

QUEM PEGA É O PREVISOR!

Share this post


Link to post
Share on other sites

YR (Europeu) muito bom para Belo Horizonte em relação a mínimas.Foreca e ja prévia máxima baixa antes de todos.Foreca tb.GFS hiperestimou as mínimas e CMC foi bom pra leste de Minas e ruim pra capital e região metropolitana.Em resumo, ode ao Europeu.

 

 

Atenção, não teve nada a ver com urbanização, já que na região metropolitana os modelos tb erraram aki.

 

O europeu e ETA foram os únicos que previram que não ia esfriar para ser algo histórico e sim algo normal.

 

obviamente o GFS da mínimas mais baixas que o normal para cá, então toda vez que prever algo assim, cautela.Europeu muito bom para próximas ondas.

Share this post


Link to post
Share on other sites
Imagino que modelos não levam em consideração os efeitos da urbanização.

Mesmo numa megalópole como São Paulo, a área urbanizada é muito pequena se compararmos com a superfície do estado, por exemplo.

 

Neste caso, acho que o ETA foi o melhor modelo, pois chegou mais próximo das temperaturas com pouca ou sem influência da urbanização.

 

Se é verdade que modelos não levam em consideração a urbanização, então o ECMWF errou ao chegar mais próximo das temperaturas do Mirante.

 

Estou certo ou errado? :russian:

 

 

Na verdade, quanto melhor a resolução dos modelos, melhor é a capacidade dele de prever temperatura em determinados pontos.

 

O ETA por exemplo tem uma resolução de 15km, enquanto o GFS 25km e o CMC 24km. Logo o modelo brasileiro tem melhor capacidade de pegar nuances de temperatura dentro de uma cidade, do que em relação aos globais. Porém o olhar humano (Meteorologista/previsor) ainda conta muito.

 

O intuito da análise, é mostrar o quanto é complexo usar modelos para prever mínimas numa cidade com tantos microclimas, como São Paulo.

 

Tirando o fator resolução, o ETA apresentou uma estabilidade muito maior que qualquer outro modelo, sem sobressaltos de temperatura (para cima ou para baixo), sendo assim o modelo que mais chegou perto do que foi registrado nas estações do CGE. O CMC foi muito bem nos 2 primeiros dias, porém nos 2 últimos estimou demais o frio. Confesso que fiquei surpreso com a performance do ETA.

 

Pela análise, neste exemplo especificamente, deu para vê também, que CMC e ETA são os modelos mais indicados para previsão de mínimas no extremo sul da cidade (Parelheiros-Capela), enquanto que GFS e ECMWF indicaram melhor as mínimas na mancha urbana (Mirante).

  • Like 1

Share this post


Link to post
Share on other sites

Pro sul do RS o CMC foi o que mais se aproximou nessa mp que estão se referindo e na de agora. o Europeu (foreca) tem se aproximado legal, apesar de ser conservador. GFS anda bem fora da casinha, sendo que na verdade costuma pegar relativamente bem. Para terem uma idéia no dia 13 fez 0,9ºC enquanto CMC dava 0ºC, Foreca 2ºC e GFS 3,7ºC. Para hoje CMC dava 1ºC, Foreca 3ºC e GFS 6,2ºC e quanto fez? 0,4ºC no campus e 1,7ºC na zona norte. Toda cidade ficou abaixo de 3ºC.

  • Like 1

Share this post


Link to post
Share on other sites

Nem o CMC de 00Z 19/06 conseguiu prever a mínima de hoje em Soledade/Farroupilha com -4,1 :onthequiet: e também a de Santa Rosa com -3,3 baixada do bairro planalto.

 

O CMC previa para Soledade e arredores de 0ºC a -2,0ºC.

  • Sad 1

Share this post


Link to post
Share on other sites

Nesse onda de frio utilizei 4 modelos: Eta do Cptec, e Eta/CMC/GFS do WX.

Notei que para a área urbana, os que se saíram melhor foram os 2 Etas e o GFS.

CMC superestimou as mínimas, já que as mínimas previstas por ele poderiam até ser plausíveis pros cafundós, mas nada a ver com o que ocorre na área urbana.

Share this post


Link to post
Share on other sites

Quero dar os parabéns pela criação deste tópico! Aproveito para dar algumas sugestões: essa diferença toda detectada nos modelos em relação aos dados de superfície são devido aos microclimas que já foram citados, portanto seria interessante também fazer o comparativo das previsões para 850 hPa e a partir desses resultados, subtrairmos a diferença para identificar com mais facilidade o peso desses microclimas.

 

Existem inúmeros estudos sobre a interferência da camada urbana, onde podemos citar as contribuições de Oke (Canadá) e Monteiro (Brasil):

 

60655_946604272021381_3118061252656926566_n.jpg?oh=f9653ce6f37f7e8bce30361cc28e9322&oe=5809E3C5

 

Os microclimas acontecem na camada urban canopy layer enquanto a urban boundary layer é mais susceptível a interferência dos sistemas atmosféricos, ou seja, na escala em que os modelos trabalham!

  • Like 1

Share this post


Link to post
Share on other sites

CFS MENSAL X REALIDADE 2016

 

Comparação do que foi previsto pelo CFS 30 Dias e o que foi registrado na América do Sul, entre os meses de Janeiro e Junho de 2016:

 

Temperatura Média Anomalia:

 

xwRY7Bf.png

 

1vmUmTw.png

 

Ka8tA2u.png

 

sFpmcRX.png

 

5qpTD4n.png

 

TlHYHoe.png

 

 

Precipitação Anomalia:

 

TOwiNgw.png

 

n8tsgxZ.png

 

4nizHFp.png

 

3vgmYTi.png

 

ZOdKNxI.png

 

(e continua...)

Share this post


Link to post
Share on other sites

Muito bom, Rodolfo. belo trabalho :clapping:

 

Eu não vi esse anomalia negativa em janeiro, mas ok, algumas dessas 'estimativas da realidade' erram um pouco

Share this post


Link to post
Share on other sites

A julgar por essas imagens, o CFS foi ótimo com as temperaturas (tirando um equívoco na Argentina em abril). Para a chuva, foi melhorando ao longo do ano mas ainda sim não foi ruim! Parabéns pelo levantamento Rodolfo!

Share this post


Link to post
Share on other sites

Eu não vi esse anomalia negativa em janeiro, mas ok, algumas dessas 'estimativas da realidade' erram um pouco

 

Boa observação. De fato não houve essa anomalia negativa, conforme apurado nas estações do INMET.

 

Essa "Realidade" estimada pelo próprio CFS, de fato, é sujeita a erros pontuais. De qualquer forma, o que se vê até o momento, é que o CFS vem se saindo muito bem, no geral este ano!

 

9U8hhw2.png

Share this post


Link to post
Share on other sites

MUITO BOM. UM DOS PROBLEMAS PARA COMPARAR É A FALTA DE ESTAÇÕES, TEMOS MUITOS VAZIOS AINDA. MAS NO GERAL NA TEMPERATURA FOI BOM.

Share this post


Link to post
Share on other sites

CFS JULHO 2016: PREVISÃO X REALIDADE

 

**ANOMALIA DE TEMPERATURAS (CFS-WEATHER BELL)**

 

aPIaXUJ.png

 

**ANOMALIA DE TEMPERATURAS (ESTAÇÕES INMET)**

4vugGKO.png

 

**ANOMALIA DE CHUVAS (CPTEC-INPE)**

 

JJZCz8K.png

Share this post


Link to post
Share on other sites
Podemos concluir que o CFS em Julho foi horrivel na previsão !

 

No Geral foi ruim!

 

Para o Sul do país foi horrível mesmo no quesito temperaturas. Para o Sudeste foi regular.

 

Eu diria que o foi o pior desempenho do modelo esse ano (Isso se agosto não for a grande decepção do ano, como parece se caminhar).

Share this post


Link to post
Share on other sites

Não achei ruim a assertividade do CFS para Agosto não ! Me parece que houve erro na Argentina, onde as anomalias negativas foram maiores que o previsto. Aqui para o Sudeste eu achei muito boa a previsão, pois realmente ficou com temperaturas na média / um pouco abaixo da média no estado de SP, na média / um pouco acima no ES, RJ, sul de Minas e zona da mata, e acima da média no restante de MG.

 

Para o Brasil central, o CFS também teve um grande acerto em Agosto. E para o Nordeste também houve incrível precisão em colocar temperaturas abaixo da média apenas no estado do Maranhão, com o restante da região acima.

Share this post


Link to post
Share on other sites

EVOLUÇÃO DO CFS PARA O INVERNO 2016 X REGISTRADO

 

1) ANOMALIAS REGISTRADAS NO TRIMESTRE JJA 2016, CONFORME ESTAÇÕES DO INMET:

 

0X3h1du.png

 

 

2) EVOLUÇÃO DA PREVISÃO DO CFS PARA O TRIMESTRE JJA ENTRE JANEIRO E JUNHO (MÉDIA DOS PRIMEIROS 10 DIAS DE CADA MÊS)

 

2qd2QM2.gif

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

×