<aside> 💡 2021.11.02 ~

</aside>

1. Kafka?

• 오픈소스 분산 메시지 스트리밍 플랫폼
• 데이터 파이프라인의 파편화 개선을 위해 탄생
• 안정적인 scale-out, scale-in (가변적인 데이터량에서 안정적으로 확장 가능하도록 설계)

<aside> 📎 각각의 애플리케이션끼리 연결하여 데이터를 처리하는 것이 아니라 한 곳에 모아 처리할 수 있도록 중앙집중화했다. 취합한 데이터 스트림을 한 곳에서 실시간으로 관리할 수 있게 되었다!

</aside>

2. Kafka의 역할

• 데이터를 추출, 변경, 적재하는 과정을 묶은 데이터 파이프라인 구축
• 대용량의 실시간 로그데이터 처리에 적합
• 많은 양의 데이터를 묶음 단위로 처리하는 배치로 빠르게 처리 가능
• 파티션 단위로 동일 목적의 데이터를 여러 파티션에 분배하고 데이터 병렬처리 가능
• 무중단 운영 지원
• 데이터가 적을 때, 카프카 클러스터의 브로커를 최소한의 개수로 운영 (데이터량에 따라 클러스터의 브로커 개수 scale-out, scale-in)
• 영속성
• 타 메시징 플랫폼과 다르게 전송받은 데이터를 메모리에 저장하지 않고 파일 시스템에 저장 (카프카는 운영체제 레벨에서 파일 시스템을 최대한 활용, 운영체제에서는 파일I/O 성능 향상을 위해 페이지 캐시 영역을 메모리에 따로 생성하여 사용)
• 고가용성
• 데이터의 복제(replication)를 통해 고가용성의 특징 (프로듀서로 전송받은 데이터를 여러 브로커 중 1대의 브로커에만 저장하는 것이 아니라 또 다른 브로커에도 저장)

<aside> 💡

카프카를 안전하게 운영하기 위해 최소 3대 이상의 브로커로 클러스터 구성할 것을 추천한다. 브로커 간에 데이터가 복제되는 시간의 차이로 인해 일부 데이터가 유실될 수 있기 때문에 유실을 막기 위해서 min.insync.replicas 옵션을 사용할 수 있다. 2로 설정하면 최소 2개 이상의 브로커에 데이터가 완전히 복제됨을 보장한다.

• min.insync.replicas 옵션값보다 작은 수의 브로커가 존재할 때는 토픽에 더는 데이터를 넣을 수 없다.

</aside>

3. Kafka Broker, Cluster, Zookeeper

Kafka Broker = Kafka

• 카프카 클라이언트와 데이터를 주고받기 위해 사용하는 주체
• 파일 시스템에 저장하지만, 속도 문제는 페이지 캐시를 사용하여 해결

• 페이지 캐시 : OS 파일 입축력 성능 향상을 위해 만들어놓은 메모리 영역, 한번 읽은 파일의 내용을 메모리의 페이지 캐시 영역에 저장시키고 추후 동일한 파일의 접근이 일어나면 디스크에서 읽지 않고 메모리에서 직접 읽는 방식