CI/CD를 위한 Lakebase 브랜칭: 100개의 PR 데이터베이스에서 얻은 교훈
영어 원문을 AI가 번역했습니다. 영어로 보기
Snorkel AI의 CI/CD 파이프라인은 이제 열려 있는 모든 풀 리퀘스트마다 전용 Lakebase Postgres 브랜치를 제공합니다. 프로덕션 데이터의 읽기/쓰기 가능한 전체 복사본을 1분 이내에 사용할 수 있게 되어, PR별 복사본이 비현실적이었던 기존의 30분 이상 소요 시간을 크게 줄였습니다. 브랜치는 copy-on-write 방식이므로 약 2.5 TB 규모의 프로덕션 데이터셋에서 100개의 PR 데이터베이스를 동시에 운영해도 각 브랜치가 변경한 데이터만큼만 스토리지가 추가됩니다. TTL 만료로 자동 정리되며, 프라이빗 연결과 Okta SSO로 거버넌스가 적용된 환경을 유지합니다.
* Snorkel AI의 CI/CD 파이프라인은 열려 있는 모든 풀 리퀘스트마다 전용 Lakebase Postgres 브랜치를 제공합니다. 프로덕션 데이터의 읽기/쓰기 가능한 전체 복사본을 30분 이상 걸리던 시간 대신 1분 이내에 사용할 수 있으며, 이전에는 이 때문에 PR별 복사본을 도입할 수 없었습니다. * Lakebase 브랜치는 copy-on-write 방식이므로 약 2.5 TB 규모의 프로덕션 데이터셋에서 100개의 PR 데이터베이스를 동시에 운영해도 각 브랜치가 변경한 데이터만큼만 스토리지가 추가됩니다. 브랜치 만료(TTL) 기능이 PR이 끝나면 각 브랜치를 자동으로 정리하므로, 스토리지는 프로덕션 크기에 활성 PR의 변경분을 더한 수준으로 유지됩니다. * 프라이빗 연결과 Okta SSO 지원으로 거버넌스가 적용된 안전한 환경을 제공합니다.