Algunas ideas sobre la predicción de fenómenos meteorológicos extremos por modelos físicos y modelos basados en IA

Los modelos basados en inteligencia artificial (IA) están revolucionando la predicción meteorológica y han superado a los principales sistemas numéricos de predicción meteorológica en diversas tareas de referencia, pero los modelos basados en la física los superan actualmente cuando son necesarios: fenómenos extremos de alto impacto.

Reproducimos unas notas de Yohan @yohaniddawela sobre un tema de actualidad: ¿Qué modelos de predicción son mejores los basados en la física de la atmósfera (tradicionales) o los basados en la IA?. Estas son sus ideas.

Predicción de situaciones extremas: modelos físicos vs. modelos IA

"Los modelos meteorológicos basados en física aún superan a la IA cuando más importa. No en promedio. En los días de fenómenos más extremos. Esto es lo contrario de lo que hemos estado escuchando.

Un nuevo artículo en Science Advances evaluó todos los principales modelos meteorológicos de IA: GraphCast, Pangu-Weather, Fuxi, contra el modelo HRES del ECMWF en 162.751 eventos de calor récord, 32.991 récords de frío y 53.345 récords de viento en 2020.

En condiciones promedio, los modelos de IA ganan. GraphCast, Fuxi y el resto superan a HRES en benchmarks (*) estándar de temperatura y viento en la mayoría de los tiempos de predicción. Esto coincide con lo que han mostrado todos los estudios de benchmarks previos. La predicción meteorológica con IA es genuinamente impresionante".

"Luego los investigadores plantearon una pregunta diferente. ¿Qué sucede cuando el evento es sin precedentes? No extremo. No el percentil 95. Realmente más allá de cualquier cosa en los datos de entrenamiento.

El modelo HRES ganó en todas y cada una de las categorías. Récords de calor. Récords de frío. Récords de viento. Casi todos los tiempos de predicción. La brecha de rendimiento fue mayor en tiempos de predicción cortos, donde los modelos de IA deberían tener más información y menos incertidumbre.

El patrón de sesgo es bastante masivo. Los modelos de IA subestimaron sistemáticamente cuán extremos eran los eventos. Cuanto mayor era el exceso del récord, mayor era la subpredicción. Los investigadores lo describen como un "límite suave" implícito: los modelos se comportan como si no pudieran predecir valores mucho más allá de lo más extremo en sus datos de entrenamiento. El sesgo crece casi linealmente con cuán lejos el evento excedió el récord. HRES no mostró tal patrón.

Esto no es un golpe de suerte. El mismo resultado se mantuvo en 2018 y 2020, que tenían condiciones opuestas de ENSO. Se mantuvo en los trópicos, subtrópicos, latitudes medias y altas. Se mantuvo para las tres variables. Se mantuvo cuando los investigadores ejecutaron una evaluación alternativa diseñada específicamente para evitar el dilema del pronosticador.

Bases de la predicción por IA y por la física de la atmósfera

El mecanismo es bastante directo. Los modelos meteorológicos de IA se entrenan con datos de reanálisis ERA5 de 1979 a 2017. Aprenden a interpolar entre patrones meteorológicos históricos. Cuando llega una nueva condición inicial, encuentran los análogos más cercanos en el entrenamiento y producen algo intermedio. Los eventos récord, por definición, no tienen análogos cercanos. El modelo nunca ha visto nada exactamente como esto, por lo que regresa hacia las cosas más extremas que ha visto.

Los modelos basados en física como HRES no funcionan así. Resuelven ecuaciones diferenciales parciales que describen la dinámica atmosférica. No necesitan un análogo histórico para una ola de calor de 48°C en Siberia. La física no se preocupa por si ha sucedido antes.

Los autores son cuidadosos con lo que esto significa. Los modelos de IA siguen siendo más rápidos, más baratos y competitivos en condiciones promedio. La predicción probabilística con IA se está desarrollando rápidamente. El aumento de datos con eventos extremos simulados y arquitecturas híbridas de física-IA son caminos plausibles hacia adelante. Esto no es un veredicto sobre la predicción meteorológica con IA en general.

Pero la implicación de política es bastante importante. Los eventos donde los modelos de IA fallan más duramente son exactamente los eventos donde una predicción precisa importa más. Calor que rompe récords. Tormentas de viento sin precedentes. Los escenarios que abruman la respuesta de emergencia, tensionan la infraestructura y matan personas porque nadie esperaba que fueran tan graves.

Los autores lo escribieron claramente: sigue siendo vital financiar y ejecutar modelos de NWP basados en física y modelos meteorológicos de IA en paralelo. Lo encuentro una recomendación inusualmente directa en un artículo de métodos.

El cambio climático significa que los eventos récord se están volviendo más frecuentes, no menos. La distribución de entrenamiento se está desplazando. Los modelos de IA entrenados con datos de 1979 a 2017 verán cada vez más eventos fuera de distribución a medida que el clima se aleja de esa línea base. El problema de extrapolación que identificaron los investigadores no va a desaparecer. Se está volviendo más difícil.

Los modelos que no pueden predecir récords se les está pidiendo que predigan un mundo que los está estableciendo constantemente".

* Nota. Un benchmark (punto de referencia o análisis comparativo) es una técnica que consiste en medir y comparar el rendimiento, procesos, productos o estrategias de una empresa, sistema o producto con los líderes del sector o los mejores referentes. Su objetivo es identificar brechas de desempeño para adoptar mejoras, innovar y aumentar la ventaja competitiva.

Referencia

Zhongwei Zhang, et al, Physics-based models outperform AI weather forecasts of record-breaking extremes. Science Advances. DOI: 10.1126/sciadv.aec1433