StreamAlert 간단 리뷰

Real-time Data Analysis and Alerting – Airbnb Engineering & Data Science

View story at Medium.com

  • airbnb/superset도 그렇고 Python 활용빈도가 높네
  • AWS에 의존적이다. 특정 벤더에 의존적이면 나쁘다고 보던 시절도 있지만 이제는 최대한 빨리 비지니스를 지원해서 성과를 내는 편이 낫지 싶다. 클라우드 서비스를 이전하는 일이 쉽지도 않거니와 미래의 일은 돈 벌고 그때 가서 걱정하는 편이 낫지 않은가?
  • Terraform으로 필요한 리소스를 AWS에 뚝딱 밀어넣는 것부터 해서 전반적으로 적은 자원(인력 등)으로 나름 쓸만한 솔루션을 빨리 구축하고자 한 인상을 받았다.
  • osquery로 누군가 sudo 명령을 실행했을 때 알람을 받는 예제는 매우 적절하다.
  • 대체로 로깅/이벤트를 수집 분석하는 용도인 것 같다. 그런데 로그/이벤트의 양이 상당하고 끊임없이 흘러나올텐데 AWS Lambda로 하면 비용이 더 나오지 않나? 비용이 크게 차이가 없으면 람다로 아키텍처 구성하는 편이 나을 수 있긴 한데 잘 모르겠다.
  • X-Pack Alerting이나 ElastAlert와 유사한 기능을 제공한다. 다만 Elasticsearch 기반의 경보 시스템은 Kibana라는 무기가 있는데 StreamAlert는 이런 측면에선 약하다.
  • ElastAlert는 YAML 파일에 Rule을 적어넣는데 반해 이 친구는 파이썬 코드에 의존한다. 공식문서에서도 ElastAlert와 Etsy’s 411과 StreamAlert를 비교한다.
  • Elasticsearch의 운영비용을 생각하면 StreamAlert도 나쁘지 않은 선택이지 않을까?
  • Airbnb에서 내보내는 자료를 보면 과거에는 Druid를 썼던 것 같은데 요새는 Presto를 자주 언급하네.

Also published on Medium.

최 재훈

블로그, 페이스북, 트위터

고성능 서버 엔진, 데이터베이스, 지속적인 통합 등 다양한 주제에 관심이 많다.

Close Menu
%d bloggers like this: