네야의 IT 블로그

바이브 코딩 다음은 무엇일까? 스스로 코딩하는 AI, '에이전틱 엔지니어링'

'바이브 코딩(Vibe Coding)'이라는 용어를 처음 만들어내고 유행시킨 장본인은 바로 안드레이 카파시(Andrej Karpathy)입니다. 그는 오픈AI(OpenAI)의 창립 멤버이자 테슬라(Tesla)의 전 AI 디렉터로, 현재 AI 업계에서 가장 막강한 영향력을 가진 인물 중 한 명이죠. 그가 최근 "바이브 코딩의 다음 단계는 에이전트다"라는 취지의 의견과 프로젝트를 공개하며 판도를 또 한 번 흔들고 있습니다. 🚀 안드레이 카파시의 선언: 바이브 코딩에서 '에이전틱 엔지니어링'으로안드레이 카파시는 바이브 코딩이 진입장벽을 낮춘 혁명적인 도구이긴 하지만, 결국 인간이 끝없이 개입하고 디버깅 지시를 내려야 하는 피로감이 있다고 보았습니다. 그래서 그는 바이브 코딩의 진정한 후속작이자 미래의 인간-..

🚀 [IT 트렌드] 개발의 장벽을 무너뜨린 '바이브 코딩(Vibe Coding)', 혁신 이면의 그림자작년 한 해, IT 업계와 개발 생태계를 가장 뜨겁게 달궜던 키워드는 단연 ‘바이브 코딩(Vibe Coding)’이었습니다. 복잡한 프로그래밍 문법을 한 줄 한 줄 타이핑하는 대신, AI에게 자연어로 내가 원하는 결과물의 ‘느낌(Vibe)’과 ‘의도’만 전달하면 코드가 뚝딱 완성되는 마법 같은 방식이었죠. 덕분에 코딩의 진입장벽이 완전히 무너졌고, 비개발자나 기획자도 아이디어만 있으면 프로토타입을 만들어내는 혁명을 경험했습니다. "어떻게 구현할 것인가"에서 "무엇을 만들 것인가"로 개발의 패러다임이 바뀐 것입니다. 하지만 생산성을 폭발적으로 끌어올린 이 혁신적인 방식이 실무 현장에 적극적으로 도입되면서..

📌 데이터 스큐(Data Skewness) — 원인 파악과 해결 방법 완벽 가이드데이터 스큐(Data Skew)란 데이터 분포가 균일하지 않아 소수의 CPU 코어에 엄청난 양의 데이터 처리가 몰리는 현상을 말합니다. 예를 들어, 데이터가 한쪽으로 심하게 쏠려 있는 컬럼을 기준으로 조인(Join)이나 집계(Aggregation)를 수행하게 되면 셔플(Shuffle) 단계에서 스큐가 발생합니다. 이로 인해 작업이 완료되는 데 아주 오랜 시간이 걸리거나, 여러 번의 재시도 끝에 결국 작업이 실패해버릴 수도 있습니다. 🔍 데이터 스큐 현상 식별하기 (Identification)스큐가 발생했는지 확인하는 방법은 다음과 같습니다.태스크 지연 확인: 셔플 단계의 Spark 태스크들이 대부분 완료되었는데, 한두 개..

데이터 스필(Data Spilling) — 발생 원인과 해결책데이터 스필은 Spark 작업(Task)이 처리해야 할 데이터 양이 할당된 메모리보다 클 때 발생합니다. 메모리가 부족해지면 Spark는 남은 데이터를 디스크로 밀어내는데, 이 과정에서 직렬화(Serialization), 디스크 I/O, 역직렬화가 동반되어 성능이 급격히 저하됩니다.스필을 막기 위한 핵심: 셔플 파티션 튜닝Spark SQL의 기본 셔플 파티션 개수는 200개입니다. 하지만 데이터 규모에 따라 이 숫자가 너무 작으면 개별 코어가 감당해야 할 데이터가 너무 커져 스필이 발생합니다. 1. AQE 자동 튜닝 (AOS)데이터브릭스의 Spark AQE에는 적절한 셔플 파티션 개수를 자동으로 찾아주는 AOS(Auto Optimize Shuf..

[Databricks] 데이터 셔플 완벽 가이드: 발생 원인과 제어 전략데이터브릭스 환경에서 쿼리 성능이 저하되는 가장 큰 원인 중 하나는 바로 데이터 셔플(Data Shuffle)입니다. 오늘은 셔플이 왜 발생하는지, 그리고 이를 최적화하기 위한 핵심 전략인 브로드캐스트 해시 조인(Broadcast Hash Join)에 대해 심층적으로 알아보겠습니다.데이터 셔플이란 무엇인가?데이터 셔플은 조인(Join), 집계(Aggregation), 윈도우 함수(Window operations)와 같은 와이드 트랜스포메이션(Wide Transformation) 시에 발생합니다. 워커 노드 간에 네트워크를 통해 데이터를 주고받는 과정이 포함되기 때문에 비용이 매우 많이 들고 속도가 느려지는 원인이 됩니다. 1. 브로..

데이터 레이크를 운영하다 보면 파일 개수가 너무 많아져서 쿼리가 느려지는 경험, 다들 있으시죠? 오늘은 Delta Lake가 내부적으로 데이터를 어떻게 관리하고, 성능을 극대화하기 위해 어떤 최적화 도구를 제공하는지 깊이 있게 살펴보겠습니다.1. Delta Lake의 내부 구조: Parquet와 Transaction LogDelta 테이블의 겉모습은 평범한 디렉토리 같지만, 내부를 열어보면 두 가지 핵심 요소로 구성되어 있습니다.Parquet 파일: 실제 데이터가 저장되는 고성능 열 기반(Columnar) 포맷입니다._delta_log 폴더: 데이터 파일 바로 옆에 위치하며, 모든 트랜잭션 기록을 저장합니다. 이 로그 덕분에 앞서 설명한 ACID와 타임 트래블이 가능해집니다.2. '작은 파일 문제(Tin..

데이터 레이크를 운영하다 보면 신뢰성이나 성능 문제로 고민하게 되는 순간이 옵니다. 오늘은 데이터 레이크에 ACID 트랜잭션과 고성능을 더해주는 오픈 소스 스토리지 계층, Delta Lake에 대해 알아보겠습니다.1. Delta Lake란 무엇인가?Delta Lake는 데이터 레이크의 성능과 보안, 신뢰성을 한 차원 높여주는 오픈 포맷 스토리지 계층입니다.단순히 파일만 저장하는 것이 아니라, Spark, PrestoDB, Flink 같은 다양한 연산 엔진과 Python, SQL, Rust 등 여러 언어의 API를 지원하여 현대적인 레이크하우스(Lakehouse) 아키텍처를 가능하게 합니다.2. 왜 Parquet이나 Avro보다 좋은가?기존의 Parquet, ORC, Avro 같은 포맷들도 훌륭하지만, D..

Apache Spark를 다루는 데이터 엔지니어나 아키텍트라면 한 번쯤 "도대체 내 코드가 클러스터 내부에서 어떻게 쪼개져서 실행되는 걸까?" 라는 질문을 던져보았을 것입니다. 특히 성능 튜닝(Performance Tuning)과 트러블슈팅은 Spark의 실행 계획(Execution Plan)과 물리적 아키텍처(Physical Architecture)를 이해하는 것에서 시작됩니다. 오늘은 Spark 애플리케이션이 제출(submit)되고 결과가 나오기까지의 내부 프로세스를 해부해 보겠습니다. 1. The Big Picture: 주요 컴포넌트 (The Actors)프로세스를 이해하기 전에 무대 위의 배우들을 먼저 알아야 합니다.Driver (The Brain):main() 함수를 실행하는 프로세스입니다.Sp..

오늘날 기업들은 멀티 클라우드 환경과 방대한 데이터 호수(Data Lake) 속에서 데이터 거버넌스(Data Governance)'라는 큰 장벽에 직면해 있습니다. 데이터는 쌓여가는데 누가 접근 가능한지, 이 데이터가 어디서 왔는지 파악하기 어렵다면 그 가치는 반감될 수밖에 없기 때문이죠. 이러한 복잡성을 해결하고 데이터 레이크하우스(Lakehouse) 환경을 완성하는 핵심 열쇠, 바로 Databricks Unity Catalog에 대해 알아보겠습니다. Unity Catalog란 무엇인가요?Unity Catalog는 Databricks 레이크하우스 플랫폼 내의 데이터와 AI 자산을 위한 통합 거버넌스 솔루션입니다. 과거에는 여러 작업 공간(Workspace)이나 클라우드 계정에 따라 권한을 따로 관리해야..

Databricks CLI(Command Line Interface)는 Databricks Workspace, Jobs, Repos, File System(DBFS), Secrets 등을 터미널에서 직접 관리하기 위한 강력한 도구입니다. 시험에도 자주 등장하고, 실무에서도 자동화 · DevOps · CI/CD 환경에서 필수적으로 사용됩니다. ✔ Databricks CLI란 무엇인가?Databricks CLI는 터미널에서 Databricks 리소스에 접근할 수 있는 도구로,다음 영역을 지원합니다:Workspace 파일 관리DBFS 파일 업로드 및 다운로드Job 실행(trigger) 및 상태 확인Secrets 관리Token 관리Repos 관리 (Git 연동)클러스터 관련 작업CLI는 자동화 스크립트, Jen..