개발/Kafka
-
kafka streams개발/Kafka 2022. 5. 1. 16:01
카프카 스트림즈 토픽에 적재된 데이터를 상태기반 또는 비상태기반으로 실시간 변환하여 다른 토픽에 적재하는 라이브러리 카프카에서 공식 지원하는 라이브러리, 완벽하게 호환. 편리한 기능 제공 장애가 발생하더라도 정확히 한번 처리할 수 있도록 장애허용시스템을 제공 JVM에서 하나의 프로세스로 실행되기 때문에 분산시스템이나 스케줄링 불필요 내부적으로 스레드 1개이상 생성가능. 스레드는 1개 이상의 태스크를 가짐 태스크: 스트림즈 애플리케이션을 실행하면 생기는 데이터 처리 최소 단위 토폴로지: 2개 이상의 노드들과 선으로 이루어진 집합 ring, tree, star 등이 있는데 스트림즈에서는 tree 형태의 토폴로지와 유사 프로세서: 토폴로지를 이루는 노드 각각 소스 프로세서: 데이터를 처리하기 위해 최초로 선언..
-
kafka 배경 및 용어정리개발/Kafka 2022. 5. 1. 14:59
카프카 배경 데이터 파이프라인의 파편화를 개선 한 곳에 모아 처리할 수 있도록 중앙집중화 데이터 스트림을 한 곳에서 실시간 관리 실시간 스트림 소비 소스 애플리케이션과 타킷 애플리케이션 사이의 의존도를 최소화 큐 자료구조와 비슷하나 소비되고 삭제되지 않음 상용에서는 최소 3대이상의 서버(브로커)에서 분산 운영 지속적 복제 낮은 지연과 높은 데이터 처리량 엄청난 양의 데이터를 안전하고 빠르게 처리 특징 높은 처리량 묶음 단위 처리 병렬 처리 확장성 안정적 확장 가능 영속성 파일 시스템에 저장 페이지 캐시 영역을 메모리와 따로 생성하여 사용 → 메모리 크기의 의존성이 줄어듦, 파일 입출력 속도 줄어듦 고가용성 replication 카프카 용어 브로커 9092 클라이언트와 데이터를 주고받기 위해 사용하는 주체..