Kafka의 디스크가 모자랄 때

엉망진창인 그림이지만... Kubernetes 위에서 Kafka 클러스터를 운영하는 상황을 염두에 두고 설명합니다. 볼륨 늘리기 디스크 용량을 늘리기는 쉽다. Kubernetes에 내장된 볼륨 리사이징 기능을 활용하면 된다. 예를 들어 Kafka의 데이터를 담는 Persistent…

Continue Reading

Kafka to CSV

Kafka에 저장한 JSON 포맷의 레코드를 모두 추출해 CSV 파일로 변환하는 일련의 과정을 기술한다. { "data": { "row": [ "좋아", "아주 좋아", "몰라" ], "title": "survey 171225" }, "event_name": "my-event", "timestamp":…

Continue Reading
Kafka 모니터링
From https://stocksnap.io/photo/TIV258VG3N

Kafka 모니터링

Kafka 도입 이후에 점진적으로 모니터링을 개선해나간다. Kafka와 그 제반 환경에 대해 이해한만큼 모니터링을 구성하고 모니터링 시스템에서 피드백을 받아 다시 학습하고 그렇게 배운 것을 토대로 다시 모니터링을 구성한다. 그 과정을 따라…

Continue Reading
Close Menu