offset과 consumer group

kafka의 offset이란? partition에 붙어있는 레코드 번호. 레코드 번호는 0번 부터 시작하여 레코드가 쌓일 때마다 하나씩 증가한다.

 

consumer offset: 컨슈머가 읽은 offset번호. consumer offset이 10번이면 이제 11번 레코드부터 가져가면 된다.

 

committed offset: 컨슈머가 커밋한 offset번호. consumer가 읽는 도중에 commit할 수 있고, 만약 consumer가 장애시, 재부팅하여 해당 파티션을 다시 읽기 시작할때, committed offset 이후의 값들을 읽는다.

 

consumer group: 컨슈머들의 그룹. 하나의 토픽을 컨슘할때, 모든 파티션을 컨슈머 그룹에 있는 컨슈머들끼리 나누어 소비하도록 한다.  컨슈머 그룹에 있는 컨슈머들은 서로의 정보를 공유한다. 하나의 컨슈머가 죽으면, 그 정보가 공유되어 리밸런스가 발생한다.