Databricks나 Spark 기반 데이터 파이프라인을 구축하다 보면 가장 많이 듣는 개념 중 하나가 바로 checkpoint(체크포인트) 입니다. 특히 Structured Streaming이나 Auto Loader를 사용할 때는 “체크포인트가 꼭 필요하나요?”라는 질문을 많이 받습니다.결론부터 말하자면:✔ 대부분의 스트리밍 파이프라인에서는 체크포인트가 필수✔ Auto Loader는 체크포인트 없이는 사실상 운영 불가 이번 글에서는 체크포인트가 정확히 어떤 역할을 하는지, 어떤 경우에 꼭 필요하고 어떤 경우에는 생략할 수 있는지를 쉬운 언어로 정리해보겠습니다. ✔ Structured Streaming에서 체크포인트의 역할 3가지Structured Streaming이 안정적으로 동작하기 위해서는 다음 ..
