네야의 IT 블로그

전 세계 주요 웹사이트 동시 접속 장애… "인터넷이 감기 걸린 날"아마존 웹서비스(AWS)가 또다시 전 세계 인터넷을 멈춰 세웠습니다. 현지 시간 10월 21일(월) 새벽부터 시작된 AWS의 대규모 장애로 인해 아마존닷컴(Amazon.com), 디즈니플러스(Disney+), 스냅챗(Snapchat), 레딧(Reddit), 캔바(Canva) 등 수많은 주요 서비스가 일시적으로 접속 불가 상태에 빠졌습니다. AWS는 같은 날 오후 6시(미 동부시간) 이후 “모든 서비스가 정상적으로 복구됐다”고 밝혔지만, 일부 메시지 큐와 내부 프로세스는 몇 시간 동안 지연이 이어졌습니다. 회사 측은 “조만간 상세한 Post-Event Summary(사후 보고서)를 공개할 예정”이라고 전했습니다.▣ 장애의 시작 – 핵심 원인..

🚀 Databricks Lakehouse Federation: 외부 데이터도 한 번에 조회하기Databricks를 사용하다 보면 데이터가 여러 시스템에 흩어져 있는 경우가 많습니다. 모든 데이터를 한곳으로 옮기지 않고 분석하고 싶을 때가 있죠. 이럴 때 유용한 기능이 바로 Lakehouse Federation, 즉 Query Federation(쿼리 페더레이션) 입니다. 이 기능을 사용하면 외부 데이터베이스에 저장된 데이터까지 Databricks SQL로 한 번에 조회할 수 있습니다. 🧭 Lakehouse Federation이란?Lakehouse Federation은 Databricks의 Unity Catalog 기능 중 하나입니다. 이 기능을 통해 Databricks 내부 데이터뿐만 아니라 외부 데..

📦 Databricks Asset Bundles란?Databricks Asset Bundles는 데이터 및 AI 프로젝트를 패키지 단위로 관리할 수 있도록 해주는 도구입니다. 즉, 소스 코드 + Databricks 리소스 정의 + 환경 설정을 하나로 묶어, 버전 관리·테스트·배포까지 체계적으로 할 수 있게 합니다. 🔑 주요 특징프로젝트 전체를 파일 기반으로 정의 (Git에서 관리 가능)Databricks 리소스(잡, 파이프라인, 대시보드, 모델 서빙, MLflow 등)를 소스 파일로 선언적 정의개발 → 테스트 → 배포 전 과정을 일관성 있게 자동화 가능협업, 코드 리뷰, CI/CD 적용에 유리📂 번들에 포함되는 것클라우드 인프라 및 워크스페이스 설정 (개발/스테이징/운영 환경 정의)소스 파일 (노트..

Photon은 Databricks에 내장된 차세대 벡터화 쿼리 엔진으로, SQL과 DataFrame 워크로드를 훨씬 더 빠르고 효율적으로 실행해주는 엔진입니다. Apache Spark API와 완벽하게 호환되기 때문에 기존 코드를 수정할 필요 없이 바로 사용할 수 있습니다. 🔹 왜 중요한가?성능 향상: 쿼리, 집계, 조인 등을 기존 Spark 엔진보다 빠르게 처리비용 절감: 실행 시간이 짧아져서 전체 워크로드당 비용이 줄어듬on은 Databricks에 내장된 차세대 벡터화 쿼리 엔진으로, SQL과 DataFrame 워크로드를 훨씬 더 빠르고 효율적으로 실행해주는 엔진입니다. Apache Spark API와 완벽하게 호환되기 때문에 기존 코드를 수정할 필요 없이 바로 사용할 수 있습니다.🔹 왜 중요한가..

Lakehouse 환경에서 테이블을 어떻게 최적화하느냐는 쿼리 성능과 운영 효율성에 직결되는 중요한 요소입니다. 지금까지는 파티셔닝(Partitioning)이나 ZORDER 인덱싱을 통해 데이터 레이아웃을 최적화하는 방식이 주로 사용되었습니다. 하지만 이 방식들은 파티션 키 설계 부담이 크거나, 데이터가 갱신될 때마다 다시 정렬 작업을 해야 하는 등의 한계가 있었습니다. Databricks가 새롭게 선보인 Liquid Clustering은 이러한 문제를 해결하기 위해 등장한 차세대 데이터 최적화 기능입니다. Liquid Clustering은 기존 데이터를 다시 쓰지 않고도 클러스터링 키를 유연하게 변경할 수 있으며, Streaming Table과 Materialized View까지 지원하여 운영의 복잡성..