Kafka의 디스크가 모자랄 때
엉망진창인 그림이지만... Kubernetes 위에서 Kafka 클러스터를 운영하는 상황을 염두에 두고 설명합니다. 볼륨 늘리기 디스크 용량을 늘리기는 쉽다. Kubernetes에 내장된 볼륨 리사이징 기능을 활용하면 된다. 예를 들어 Kafka의 데이터를 담는 Persistent…
1 Comment
January 3, 2019
Kafka to CSV
Kafka에 저장한 JSON 포맷의 레코드를 모두 추출해 CSV 파일로 변환하는 일련의 과정을 기술한다. { "data": { "row": [ "좋아", "아주 좋아", "몰라" ], "title": "survey 171225" }, "event_name": "my-event", "timestamp":…
December 26, 2017
Kafka 모니터링
Kafka 도입 이후에 점진적으로 모니터링을 개선해나간다. Kafka와 그 제반 환경에 대해 이해한만큼 모니터링을 구성하고 모니터링 시스템에서 피드백을 받아 다시 학습하고 그렇게 배운 것을 토대로 다시 모니터링을 구성한다. 그 과정을 따라…
January 23, 2017
From https://stocksnap.io/photo/TIV258VG3N