소개
Databricks 플랫폼 개요
클라우드 기반의 통합 데이터 인텔리전스 플랫폼으로, 데이터 엔지니어링, 데이터 과학, 머신러닝, 분석 기능을 하나로 묶어 제공합니다. Apache Spark 오픈소스 프레임워크와 차별화된 Lakehouse 아키텍처를 토대로 데이터 웨어하우스와 데이터 레이크의 장점을 결합했습니다.
주요 특징
• Lakehouse 아키텍처: 데이터 웨어하우스의 견고함과 데이터 레이크의 유연성을 동시에 확보하여 모든 데이터 워크로드에 대한 단일 진실 공급원 역할
• 통합 데이터 및 AI 환경: ETL, 데이터 웨어하우징, 실시간 스트리밍 분석, 머신러닝, 생성형 AI 등 종단간 워크플로우 지원
• 협업 중심 작업 공간: 인터랙티브 노트북과 공유 환경을 통해 데이터 전문가들이 SQL, Python, R, Scala 등 다양한 언어로 실시간 협업
• 고급 ML 도구 세트: MLflow를 통한 실험 추적 및 모델 관리, Hugging Face/DeepSpeed 연동을 통한 LLM 맞춤화, AI 모델 서빙 기능
• 강화된 데이터 거버넌스: Unity Catalog 기반의 중앙집중식 세분화 접근 제어와 안전한 데이터 공유 체계
• 클라우드 연동 최적화: 주요 클라우드 서비스와의 원활한 통합, 기존 BI 및 데이터 수집 도구와 호환성
주요 활용 분야
• 데이터 엔지니어링 및 ETL: 대규모 원시/구조화 데이터 처리 및 변환을 통한 분석/AI 응용 프로그램 준비
• 머신러닝 및 AI 개발: 기업 데이터 기반 ML 모델과 생성형 AI 애플리케이션 구축/학습/배포
• 실시간 및 배치 분석: 비즈니스 인텔리전스와 운영 인사이트 도출을 위한 대화형 SQL 분석 및 실시간 스트리밍 처리
• 협업 데이터 과학: 크로스펑셔널 팀의 공동 데이터 탐색, 모델 개발, 시각화 작업 지원
• 안전한 데이터 거버넌스 및 공유: 조직 내외부 데이터 접근 통제 및 규정 준수 관리와 함께 보안 데이터 공유 기능 제공
