Zum Inhalt springen
craftdexDocs

Beispiel kompletter Umzug

Skript, das alle Daten eines Betriebs über die Schnittstelle lädt, jede Datei prüft und Abbrüche wiederholt.

Das Skript lädt erst export.json und dann jede Datei einzeln. Es prüft jede Datei gegen die Prüfsumme im Kopf X-Craftdex-Sha256, wiederholt Abbrüche und überspringt Dateien, die schon vollständig da sind. So lässt es sich nach einer Unterbrechung einfach neu starten. Es braucht Python 3 mit dem Paket requests.

craftdex_umzug.py
import hashlib, json, os, sys, time
import requests

KEY = os.environ["CRAFTDEX_KEY"]
BASE = "https://api.craftdex.de/v1"
ZIEL = sys.argv[1] if len(sys.argv) > 1 else "craftdex-daten"
session = requests.Session()
session.headers["Authorization"] = f"Bearer {KEY}"


def holen(url, **kw):
    for versuch in range(5):
        try:
            r = session.get(url, timeout=300, **kw)
        except requests.RequestException:
            time.sleep(2 ** versuch)
            continue
        if r.status_code == 429:
            time.sleep(int(r.headers.get("Retry-After", "60")))
            continue
        if r.status_code >= 500:
            time.sleep(2 ** versuch)
            continue
        r.raise_for_status()
        return r
    raise RuntimeError(f"Abruf fehlgeschlagen: {url}")


os.makedirs(ZIEL, exist_ok=True)
daten = holen(f"{BASE}/export.json").json()
with open(os.path.join(ZIEL, "craftdex-export.json"), "w", encoding="utf-8") as f:
    json.dump(daten, f, ensure_ascii=False)
print(f"{len(daten['tables'])} Tabellen, {len(daten['files'])} Dateien")

for i, datei in enumerate(daten["files"], 1):
    pfad = os.path.join(ZIEL, datei["zip_path"])
    if os.path.exists(pfad) and os.path.getsize(pfad) == datei["size"]:
        continue
    r = holen(datei["url"])
    if hashlib.sha256(r.content).hexdigest() != r.headers["X-Craftdex-Sha256"]:
        raise RuntimeError(f"Prüfsumme stimmt nicht: {datei['zip_path']}")
    os.makedirs(os.path.dirname(pfad), exist_ok=True)
    with open(pfad, "wb") as f:
        f.write(r.content)
    if i % 100 == 0:
        print(f"{i} von {len(daten['files'])} Dateien")

print("fertig:", ZIEL)
Aufruf
export CRAFTDEX_KEY="cdx_…"
python3 craftdex_umzug.py craftdex-daten

Danach liegt in craftdex-daten/ dasselbe wie in der entpackten ZIP-Datei: craftdex-export.json und alle Dateien unter dateien/<ablage>/…. Die Tabellen und Spalten sind unter Tabellen und Spalten beschrieben.