SolarManager/wetterarchiv_nachtragen.py

#!/usr/bin/env python3
"""Das Wetterarchiv rueckwirkend fuellen - einmalig, kein Dauerlaeufer.

    python3 wetterarchiv_nachtragen.py [--von 2022-04-02] [--bis 2026-09-20]

gatherForecastData.py sammelt ab heute. Warten muss man deswegen nicht:
Open-Meteo hat neben der Vorhersage eine Archiv-Schnittstelle
(archive-api.open-meteo.com, aus den ERA5-Reanalysen), die dieselben
Stundenwerte rueckwirkend liefert - Temperatur, Wind, Niederschlag,
Bewoelkung und vor allem die Einstrahlung.

Wozu: EnergyFlow_hourly.pv_kwh haelt den gemessenen Ertrag je Stunde seit dem
02.04.2022. Das ist die eine Haelfte eines Datenpaares; die andere ist die
Einstrahlung derselben Stunde. Ist sie nachgetragen, laesst sich die
Korrelation sofort rechnen statt erst in einem Jahr - ueber alle
Jahreszeiten, mit Schnee, Dunst und Hochsommer.

Geschrieben wird in dieselbe Tabelle wie im laufenden Betrieb, mit
ist_vorhersage = 0: eine Analyse ist keine Vorhersage. Bereits vorhandene
Stunden werden ueberschrieben - die Analyse ist genauer als die Vorhersage,
die dort vielleicht noch steht. weatherForecastLog bleibt unberuehrt: dort
gehoert hinein, was *vorher* gesagt wurde, und das laesst sich nicht
nachtraegen.

Die Archiv-Schnittstelle hinkt dem heutigen Tag rund fuenf Tage hinterher.
Ohne --bis endet der Lauf deshalb eine Woche vor heute; was danach kommt,
hat der Sammler ohnehin schon.

Abgerufen wird jahresweise. Ein einzelner Aufruf ueber vier Jahre waere
mehrere Megabyte in einer Antwort, und faellt er in der Mitte aus, faengt
alles von vorn an.
"""

import argparse
import logging
import time
from datetime import date, datetime, timedelta

import mysql.connector as mc
import requests

import konfig
import gatherForecastData as vorhersage

ARCHIV_URL = "https://archive-api.open-meteo.com/v1/archive"

# Dieselben Felder wie im laufenden Betrieb, abzueglich derer, die das Archiv
# nicht kennt: precipitation_probability ist eine Eigenschaft der Vorhersage -
# im Nachhinein hat es geregnet oder nicht.
ARCHIVFELDER = [f for f in vorhersage.STUNDENFELDER
                if f != "precipitation_probability"]

logging.basicConfig(level=logging.INFO,
                    format="%(asctime)s %(levelname)s %(message)s")
logging.getLogger("mysql.connector").setLevel(logging.WARNING)
logger = logging.getLogger("wetterarchiv")


def archiv_holen(von, bis, felder=None, zusatz=None):
    p = {
        "latitude":   konfig.wert("vorhersage", "lat"),
        "longitude":  konfig.wert("vorhersage", "lon"),
        "timezone":   konfig.wert("vorhersage", "timezone", "Europe/Berlin"),
        "start_date": von.isoformat(),
        "end_date":   bis.isoformat(),
        "hourly":     ",".join(felder if felder else ARCHIVFELDER),
    }
    if felder is None:
        p["daily"] = ",".join(vorhersage.TAGESFELDER)
    if zusatz:
        p.update(zusatz)
    antwort = requests.get(ARCHIV_URL, params=p, timeout=120)
    antwort.raise_for_status()
    return antwort.json()


def zeilen(daten, gelaufen):
    """
    Wie vorhersage.stundenzeilen(), nur ohne Regenwahrscheinlichkeit und
    immer als Analyse.

    Absichtlich eine eigene Funktion und kein Schalter in der anderen: der
    Sammler soll nicht bei jedem Takt eine Bedingung auswerten, die nur
    dieses Skript braucht.
    """
    h = daten["hourly"]
    aus = []
    for i, t in enumerate(h["time"]):
        w = lambda name: h[name][i] if name in h else None
        druck = w("pressure_msl")
        aus.append((
            vorhersage._zeit(t),
            w("temperature_2m"), w("apparent_temperature"),
            w("relativehumidity_2m"), w("dewpoint_2m"),
            None if druck is None else round(druck),
            w("precipitation"), None, w("snowfall"),
            w("weathercode"),
            w("cloudcover_low"), w("cloudcover_mid"), w("cloudcover_high"),
            w("windspeed_10m"), w("windgusts_10m"), w("winddirection_10m"),
            w("shortwave_radiation"), w("direct_radiation"), w("diffuse_radiation"),
            1 if w("is_day") else 0,
            0,              # ist_vorhersage: eine Analyse ist keine
            gelaufen,
        ))
    return aus


def schreiben(zug, stunden, tage, geneigt):
    """Wie im Sammler, aber ohne weatherForecastLog."""
    with mc.connect(**zug) as verbindung:
        with verbindung.cursor() as cursor:
            cursor.executemany(
                "REPLACE INTO weatherHours (datetime, temp, gefuehlt, feuchte, "
                "taupunkt, druck, regen, regen_wkt, schnee, wettercode, "
                "wolken_tief, wolken_mittel, wolken_hoch, wind, boe, richtung, "
                "strahlung, direkt, diffus, tag, ist_vorhersage, abgerufen) "
                "VALUES (" + ",".join(["%s"] * 22) + ");", stunden)
            if tage:
                cursor.executemany(
                    "REPLACE INTO weatherDays (date, wettercode, temp_min, "
                    "temp_max, sonnenauf, sonnenunter, regen_summe, regen_wkt, "
                    "wind_max, boe_max, strahlung_summe, ist_vorhersage, abgerufen) "
                    "VALUES (" + ",".join(["%s"] * 13) + ");", tage)
            if geneigt:
                cursor.executemany(
                    "REPLACE INTO weatherTilted (datetime, flaeche, strahlung) "
                    "VALUES (%s,%s,%s);", geneigt)
        verbindung.commit()


def main():
    p = argparse.ArgumentParser(description=__doc__)
    p.add_argument("--von", default="2022-04-02",
                   help="erster Tag (Vorgabe: Beginn von EnergyFlow_hourly)")
    p.add_argument("--bis", default=None,
                   help="letzter Tag (Vorgabe: heute minus sieben Tage)")
    a = p.parse_args()

    von = date.fromisoformat(a.von)
    bis = date.fromisoformat(a.bis) if a.bis else date.today() - timedelta(days=7)
    if von > bis:
        raise SystemExit("--von liegt hinter --bis")

    flaechen = vorhersage.flaechen_lesen()
    gelaufen = datetime.now().replace(microsecond=0)
    zug = konfig.datenbank()
    gesamt = 0

    jahr_von = von
    while jahr_von <= bis:
        jahr_bis = min(date(jahr_von.year, 12, 31), bis)
        logger.info("hole %s bis %s", jahr_von, jahr_bis)
        daten = archiv_holen(jahr_von, jahr_bis)
        stunden = zeilen(daten, gelaufen)

        tage = vorhersage.tageszeilen(daten, gelaufen) if "daily" in daten else []
        # Zwei Korrekturen gegenueber dem laufenden Betrieb:
        #
        # ist_vorhersage ist hier immer 0 - tageszeilen() entscheidet das
        # anhand von "heute", und im Archiv ist jeder Tag Vergangenheit.
        #
        # Sonnenauf- und -untergang werden verworfen. Die Archiv-Schnittstelle
        # rechnet alle Zeiten mit dem *heute* gueltigen Zeitzonenversatz um -
        # die Antwort sagt selbst "utc_offset_seconds: 7200", auch fuer einen
        # Dezembertag. Sonnenaufgang am 21.12.2025 kaeme so als 09:04 statt
        # 08:04. Bei den Stundenwerten faellt das nicht ins Gewicht (sie sind
        # ohnehin an ihrem Zeitstempel aufgehaengt und werden nur als Reihe
        # gelesen), bei einer Uhrzeit schon. Gebraucht werden die Sonnenzeiten
        # nur fuer die sichtbaren Tage, und die schreibt der Sammler richtig.
        tage = [t[:4] + (None, None) + t[6:-2] + (0, gelaufen) for t in tage]

        geneigt = []
        for name, neigung, azimut in flaechen:
            g = archiv_holen(jahr_von, jahr_bis,
                             felder=["global_tilted_irradiance"],
                             zusatz={"tilt": neigung, "azimuth": azimut})
            h = g["hourly"]
            geneigt += [(vorhersage._zeit(t), name,
                         h["global_tilted_irradiance"][i])
                        for i, t in enumerate(h["time"])]

        schreiben(zug, stunden, tage, geneigt)
        gesamt += len(stunden)
        logger.info("  %d Stunden, %d Tage, %d Flaechenwerte geschrieben",
                    len(stunden), len(tage), len(geneigt))
        jahr_von = date(jahr_von.year + 1, 1, 1)
        time.sleep(2)       # nicht in einem Zug durch die fremde Schnittstelle

    logger.info("fertig: %d Stunden nachgetragen", gesamt)


if __name__ == "__main__":
    main()