Beispiel kompletter Umzug
Skript, das alle Daten eines Betriebs über die Schnittstelle lädt, jede Datei prüft und Abbrüche wiederholt.
Das Skript lädt erst export.json und dann jede Datei einzeln. Es prüft jede Datei gegen die Prüfsumme im Kopf X-Craftdex-Sha256, wiederholt Abbrüche und überspringt Dateien, die schon vollständig da sind. So lässt es sich nach einer Unterbrechung einfach neu starten. Es braucht Python 3 mit dem Paket requests.
import hashlib, json, os, sys, time
import requests
KEY = os.environ["CRAFTDEX_KEY"]
BASE = "https://api.craftdex.de/v1"
ZIEL = sys.argv[1] if len(sys.argv) > 1 else "craftdex-daten"
session = requests.Session()
session.headers["Authorization"] = f"Bearer {KEY}"
def holen(url, **kw):
for versuch in range(5):
try:
r = session.get(url, timeout=300, **kw)
except requests.RequestException:
time.sleep(2 ** versuch)
continue
if r.status_code == 429:
time.sleep(int(r.headers.get("Retry-After", "60")))
continue
if r.status_code >= 500:
time.sleep(2 ** versuch)
continue
r.raise_for_status()
return r
raise RuntimeError(f"Abruf fehlgeschlagen: {url}")
os.makedirs(ZIEL, exist_ok=True)
daten = holen(f"{BASE}/export.json").json()
with open(os.path.join(ZIEL, "craftdex-export.json"), "w", encoding="utf-8") as f:
json.dump(daten, f, ensure_ascii=False)
print(f"{len(daten['tables'])} Tabellen, {len(daten['files'])} Dateien")
for i, datei in enumerate(daten["files"], 1):
pfad = os.path.join(ZIEL, datei["zip_path"])
if os.path.exists(pfad) and os.path.getsize(pfad) == datei["size"]:
continue
r = holen(datei["url"])
if hashlib.sha256(r.content).hexdigest() != r.headers["X-Craftdex-Sha256"]:
raise RuntimeError(f"Prüfsumme stimmt nicht: {datei['zip_path']}")
os.makedirs(os.path.dirname(pfad), exist_ok=True)
with open(pfad, "wb") as f:
f.write(r.content)
if i % 100 == 0:
print(f"{i} von {len(daten['files'])} Dateien")
print("fertig:", ZIEL)export CRAFTDEX_KEY="cdx_…"
python3 craftdex_umzug.py craftdex-datenDanach liegt in craftdex-daten/ dasselbe wie in der entpackten ZIP-Datei: craftdex-export.json und alle Dateien unter dateien/<ablage>/…. Die Tabellen und Spalten sind unter Tabellen und Spalten beschrieben.