BigData
Lambda Architecture
Tomining
2024. 6. 15. 11:59
Yes24 에서 Lambda Architecture 검색 해 보니 가장 최근 책이 2018년 04월 책
그 만큼 오래전에 나온 개념이며, 대세로 MVC 처럼 많이 사용되는 구조
- Ingestion Layer
- Streaming Layer (Real-Time Layer or Speed Layer)
- Batch Layer
- Serving Layer
각 Layer에 따라 활용되는 기술 스텍도 많이 다르다. 아래 Youtube 사례를 참고하면 그 특징을 참고할 수 있다.
Youtube 사례
https://www.youtube.com/watch?v=mJsLK-iPagc
⏱ Chapter Timestamps
====================
00:00 - Intro
00:30 - Agenda
01:08 - Batch vs Stream
01:41 - What is Lambda Architecture
02:13 - Why is it called Lambda?
04:14 - When to use Lambda Architecture?
04:50 - How to count views in a video?
08:40 - Beyond Lambda Architecture
10:08 - Summary
Kappa Architecture
2014년 Jay Kreps가 소개
- Lambda Architecture 에서 Batch Layer를 제외한 구조
- 모두 Streaming Data를 처리하며 real-time 으로 대응하는 것이 특징
- 단점으로 real-time에 focus를 하다보니 볼륨이 크거나 좀 더 큰 (또는 기간이 긴) 데이터 분석에는 취약하고 복잡한 처리는 어려울 수 있다.
어디에 사용되나?
- real-time 분석이 필요한 곳
- fraud detection (FDS)
- anomaly detection
- monitoring of system logs