¿Qué modelo numérico operativo de predicción del tiempo es el mejor del mundo?
Esta pregunta no tiene una única y fácil respuesta, ya que debemos matizar de qué modelos estamos hablando: globales, regionales, de mesoescala, etc. Los modelos numéricos de predicción no se comparan para una situación dada si no que se realizan comparaciones objetivas basadas en unos estándares definidos.
El caso de los modelos globales
Artículo de abril de 2006.
Recuperado en diciembre de 2011 sin modificar.
Las conclusiones son muy similares a fecha de agosto de 2009, cuando se recuperó por primera vez.
Esta pregunta no tiene una única y fácil respuesta, ya que debemos matizar de qué modelos estamos hablando: globales, regionales, de mesoescala, etc. Los modelos numéricos de predicción no se comparan para una situación dada si no que se realizan comparaciones objetivas basadas en unos estándares definidos. Por otra parte, es muy difícil comparar modelos regionales, de mesoescala o los llamados de área limitada aplicados estos últimos al corto plazo (hasta dos o tres días en adelanto), que abarcan zonas que van más allá de los límites nacionales, como pueden ser el modelo HIRLAM, MM5, etc., y que por tanto cubren áreas diferentes según cada país. En este sentido, varios modelos no globales se pueden comparar en experimentos de campo o mediante campañas específicas sobre zonas comunes de estudio para ver los resultados y comparar las predicciones en unas situaciones dadas.
La gran mayoría de los modelos operativos realizan verificaciones de sus predicciones con datos reales como pueden ser los de superficie que provienen de los datos sinópticos tomados por estaciones en tierra, se suelen comparar con la información de temperatura, humedad y viento que se obtiene por los sondeos, o se pueden comparar y verificar las predicciones de los modelos con sus propios análisis, a posteriori.
Modelos globales
Los modelos globales son más fáciles de intercomparar pues cubren toda la zona de la tierra y existen protocolos de cómo realizar las comparaciones y verificaciones entre ellos. La normativa de verificación incluyen los índices o parámetros a utilizar, niveles, etc., y está normalizado por la OMM. En los estándares definidos por la OMM se establecen, además, los tipos de verificaciones para predicciones deterministas y probabilísticas tipo EPS (Ensamble Prediction System).
Para mayor información sobre este tema se puede visitar la página de la OMM: Standardised Verification System (SVS) for Long-Range Forecasts (LRF)
http://www.wmo.ch/web/www/DPS/SVS-for-LRF.html
http://www.wmo.ch/web/wcp/clips_ictt/SVS-for-LRF.html
Uno de los índices de verificación que se usan para los modelos es el error cuadrático medio o su raíz (root mean square error), RMS o RMSE, que se define como:
donde:
fi=: es el valor de la anomalía de predicción sobre el punto de grid o estación i.
Oi=: valor de anomalía analizada en el punto de grid o de la estación i.
Wi = 1: para todas las estaciones, cuando la verificación se hace en estaciones.
Wi = cos(Oi): en el punto de grid i, cuando la verificación se hace en estaciones.
Oi=: la latitud en el punto de grid i
N=: número total de puntos de grid o de estaciones donde se realiza la verificación.
Error Cuadrático Medio (Root Mean Square Error, RMSE) es el promedio especial de las diferencias al cuadrado entre la predicción y el análisis del modelo o de las observaciones de verificación, validas para el mismo instante.
Es una medida de cuán bueno es un modelo, capturando tanto la estructura como la intensidad de los sistemas. También incluye los efectos de cualquier bias o sesgo. Cuanto menor sea el RMSE, tanto mejor para el modelo.
Las gráficas siguientes se han obtenido en Internet para los distintos modelos globales. En este caso se trabaja contra los datos de viento en 850 hPa y geopotencial de 500 hPa, con diversos modelos globales sobre Europa y para el mes de diciembre de 2004 tomando como referencia a verificar los datos obtenidos de radiosondeos. Se muestran los errores de los modelos a varios días vista. En este caso, todos los modelos comparados son deterministas.
Se observa que los menores errores para cada día de predicción se corresponden con modelo de CEPPM/ECMWF del Centro Europeo. Los números a la derecha de cada modelo (panel superior derecho) corresponden a la hora de la pasada de cada modelo.
Siendo DWD modelo alemán, NCEP modelo americano, UK modelo inglés, France modelo francés y ECMWF el modelo del Centro Europeo. Todas las curvas del RMSE (m) del ECMWF caen por debajo del resto de los modelos y sus errores son menores, tanto más cuanto más nos alejemos en el rango de predicción, esto es, cuando nos adentramos en los rangos de las predicciones de medio plazo.
Algunos datos más recientes del 2006: Las predicciones por conjuntos (EPS o Ensamble Prediction System)
Vamos a presentar otras gráficas de verificación de modelos globales utilizando los análisis de los propios modelos como análisis verificante contra sus propias predicciones. Por ejemplo, las predicciones de un modelo a 6 días se comparan con los análisis del propio modelo para es mismo día. Se verán las gráficas tanto para el hemisferio norte (donde hay más datos para inicializar los modelos) como para el hemisferio sur (menos datos). Además, se introduce otra medida de la bondad de un modelo: la correlación de anomalías. Por último, se utilizan las predicciones por conjuntos o EPS del CEPPM, de forma que el modelo ENSMN es la media del EPS (media de 51 escenarios de evolución), junto con las verificaciones del modelo determinista ECMWF. Se ha tomado el geopotencial de 500hPa como campo de referencia.
La Correlación de Anomalías (Anomaly Correlation) es la correlación media en área entre la anomalía de la predicción versus la climatología y la anomalía del análisis verificante versus la climatología. Mide la habilidad en la predicción de la posición del sistema y es insensible a las tendencias globales del modelo o al error de escala. Usualmente se expresa en porcentajes, con un valor de 100% como predicción perfecta. Se sugiere que para valores por debajo de 60% el modelo no tiene habilidad para predecir el tiempo o que no es útil para realizar predicciones.
Aquí los modelos globales a comparar en 2006 son:
ECMWF Modelo determinista del CEPPM
ENSMN Modelo medio del sistema por conjuntos EPS del CEPPM
WASHN Modelo de EEUU
TOLOUSE Modelo francés
BRKL Modelo inglés
MONTL Modelo canadiense
OFFNB Modelo alemán
Hemisferio norte
El RMSE del CEPPM (línea roja) cae siempre por debajo del resto de los modelos deterministas globales en el hemisferio norte hasta el D+6, sólo la media del modelo probabilístico del propio CEPPM, del EPS lo mejora en la gráfica etiquetada como ENSMN (línea celeste).
En la anterior gráfica tenemos la predicción de correlación de anomalías para 500 hPa y hemisferio norte a varios días vista. Una vez más, los valores del CEPPM caen, esta vez, por encima del resto de los modelos, tanto en su versión determinista, ECMWF (línea roja), como por conjuntos representado por la media de todos, ENSMN (línea punteada celeste). Este último tiene los valores mejores de todos a partir de un D+4.
Hemisferio sur
Podríamos repetir las mismas consideraciones y apuntes que en el hemisferio norte pero aquí, los valores de índices de verificación son mejores para el CEPPM que los del resto. El CEPPM es mejor que todos y con creces. También la media del EPS es mejor que el propio modelo determinista del CEPPM.
Conclusiones
En este brevísimo y somero repaso, y a fecha de hoy, vemos que dentro de la categoría de los modelos globales el modelo determinista del CEPPM es el modelo que menor RMSE posee, quedando por debajo de los modelos globales operativos en el rango de predicción a varios días vista. Lo mismo ocurres si empleamos las predicciones de correlación de anomalías como índice comparativo.
Sorprendentemente las salidas medias del modelo probabilístico EPS del CEPPM son mejores que el propio modelo determinista del CEPPM, pero en promedio, aún siendo el modelo determinista del CEPPM de mejor resolución que el modelo EPS.
Las salidas de los modelos del CEPPM son todavía mejores que el resto de los modelos globales en el hemisferio sur.
El hecho que un modelo global vaya mejor que otro en un día determinado no significa que éste sea mejor en términos generales. Los índices de verificación deben de utilizarse de forma homogénea y global, obtenidos para periodos amplios. En este sentido, los modelos del CEPPM, versiones determinista y probabilística, son los mejores modelos globales del mundo.
Nota. Las figuras han sido bajadas de Intenet de los portales de la OMM y del CEPPM/ECMWF, respectivamente, en la fecha de abril de 2006:
http://www.wmo.ch/index-sp.html