Lakebase-Branching für CI/CD: Erkenntnisse aus 100 PR-Datenbanken
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
Die CI/CD-Pipeline von Snorkel AI stellt jetzt für jeden offenen Pull Request einen eigenen Lakebase-Postgres-Branch bereit – eine vollständige Lese-/Schreibkopie der Produktionsdaten, die in unter einer Minute verfügbar ist statt in über 30 Minuten, was PR-spezifische Kopien zuvor unpraktikabel machte. Da Branches Copy-on-Write nutzen, benötigen 100 parallele PR-Datenbanken auf einem Produktionsdatensatz von rund 2,5 TB nur Speicher für die jeweils geänderten Daten. Per TTL ablaufende Branches werden automatisch bereinigt, und private Konnektivität sowie Okta SSO sorgen für eine Governance-konforme Umgebung.
* Die CI/CD-Pipeline von Snorkel AI stellt für jeden offenen Pull Request einen eigenen Lakebase-Postgres-Branch bereit – eine vollständige Lese-/Schreibkopie der Produktionsdaten, die in unter einer Minute statt in über 30 Minuten verfügbar ist. Wegen dieser langen Dauer konnte das Unternehmen Kopien pro PR zuvor nie aktivieren. * Lakebase-Branches arbeiten mit Copy-on-Write: 100 parallele PR-Datenbanken auf einem Produktionsdatensatz von rund 2,5 TB belegen nur Speicher für die Daten, die der jeweilige Branch ändert. Die Branch-Ablaufzeit (TTL) bereinigt jeden Branch automatisch, sobald sein PR abgeschlossen ist. So bleibt der Speicherbedarf nahe an der Größe der Produktion plus den Änderungen aktiver PRs. * Private Konnektivität und Okta-SSO-Unterstützung sorgen für eine kontrollierte und sichere Umgebung.