본문 바로가기

kafka 구조

[Kafka] Kafka 정리
Data/Data Engineering 2022. 2. 5. [Kafka] Kafka 정리 Kafka? 카프카는 Stream Processing(실시간 데이터처리)관련 툴이며, 취업관련 플랫폼 회사인 LinkedIn에서 개발했다고한다. 이 툴도 미국의 대기업에서는 다 사용중이라고한다(Apple, Netflix, AirBnB etc...). 여담이지만, 최근 데이터 엔지니어 직군 공고들을 보면 대부분 Kafka에 대한 지식 소유자는 우대사항에 포함되어있다. 그만큼 요즘에는 중요하게 사용되는 Stream Processing 도구인것같다. Kafka 장점? 확장성 - 하루에 1조개의 메세지 처리 가능, Petabyte의 데이터를 처리 가능 메시지 처리 속도 - 2MS 가용성 - 클러스터 환경에서 작동 데이터 저장 성능 - 분산처리, 내구성, 장애 허용(fault tolerant) Kafka 구조 카..

티스토리툴바