OpenSource (13) 썸네일형 리스트형 [Kafka] Consumer Group Consumer Group Consumer Group이란 말 그대로 Consumer 들의 묶음입니다. Consumer Group은 하나의 Topic에 대한 책임을 갖고 있습니다. Kafka Producer가 전송한 메시지는 Topic의 Partition에 나눠서 저장됩니다. Partition에 저장된 이 메시지들은 Consumer들에 의해 읽혀집니다. 하나 이상의 Consumer들은 Consumer Group을 형성합니다. Consumer가 특정 파티션의 데이터 소비를 위한 개념이라면 Consumer Group은 Topic 전체 데이터 소비 관리를 위해 사용됩니다. ('Consumer가 Partition을 소비한다', 'Consumer Group이 Topic을 소비한다' 라고 생각하면 됩니다) 왜 하나의.. [Kafka] Spring Boot에 Kafka 연동하기 #2 저번 시간에는 하나의 Topic에 대한 message 생산/소비 예제를 만들어보았습니다. 이번에는 여러 Topic을 Bean으로 등록 후 message 생산/소비 예제를 살펴보도록 하겠습니다. 우선 이번에도 마찬가지로 Springboot Initializer 또는 IDE를 사용하여 Spring Boot Project를 만들어줍니다. 저는 gradle 빌드 도구를 사용하겠습니다. 기본적으로 kafka 서버가 동작하고 있다는 가정 하에 진행하도록 하겠습니다. kafka 서버 설치 및 동작 방법이 궁금하시다면 이 글을 참고 하시길 바랍니다. 1. 프로젝트 설정하기 build.gradle dependencies { implementation 'org.springframework.boot:spring-boot-s.. [Kafka] Spring Boot에 Kafka 연동하기 #1 오늘은 Spring Boot 프로젝트에 Kafka를 연동하여 사용하는 방법에 대해 간단한 예제를 통해 살펴보겠습니다. Kafka가 설치되어 있지 않다면 이 글을 참고해주시길 바랍니다. 1. 기본 환경 세팅하기 우선 Spring Boot 프로젝트를 하나 만들어줍니다. Spring Boot 프로젝트가 준비 되었다면 build.gradle을 아래와 같이 수정하여 spring-kafka에 대한 의존성을 추가해줍니다. dependencies { implementation 'org.springframework.boot:spring-boot-starter' testImplementation 'org.springframework.boot:spring-boot-starter-test' implementation 'org.. [Kafka] Kafka 환경 구축 및 간단한 예제 (with Docker) 오늘은 Docker를 이용하여 Kafka 서버를 구축하는 방법에 대해 알아보겠습니다. 이 글은 CentOS 7 환경에서의 실행 과정에 대한 설명이니 참고 바랍니다. 1. docker 이미지 선택 docker search kafka docker search 명령어를 통해 docker 이미지 파일을 검색합니다. 가장 star이 많은 이미지를 선택하겠습니다. 2. docker-compose.yml 파일 작성 어떤 docker image 사용할 지 정했으니 이제 docker-compose로 kafka 환경을 구축하겠습니다. kafka는 항상 zookeeper와 함께 동작해야 하기 때문에 여러 docker container를 실행하기 편리한 docker-compose를 사용합시다. 우선 docker-compose.. [Kafka] Kafka의 구성 요소 Kafka (카프카) 대표적인 메시지 큐 시스템으로 Kafka, RabbitMQ, Active MQ가 있는데 그 중 Kafka에 대해 알아보겠습니다. Kafka는 Pub-Sub 모델의 메시지 큐이고, 분산 환경에 특화되어 설계되어 있다는 특징을 가집니다. 각각의 메시지 큐에 장단점이 있겠지만, Kafka는 대용량 처리에 특화되어 설계되어 있기 때문에 여러 요청이 들어오는 대규모 서비스에 적용 시 다른 메시지 큐에 비해 좋은 성능을 보여줍니다. 그 외에도 클러스터 구성, fail-over, replication과 같은 여러 가지 특징들을 가지고 있습니다. 오늘은 Kafka의 구성 요소에 대해 알아보고 다음에 이어 kafka 구성을 해보도록 하겠습니다. 물리적 구성요소 Broker 메시지 수신 및 전달을 처.. 이전 1 2 다음
