Real-time Data Analysis and Alerting – Airbnb Engineering & Data Science
- airbnb/superset도 그렇고 Python 활용빈도가 높네
- AWS에 의존적이다. 특정 벤더에 의존적이면 나쁘다고 보던 시절도 있지만 이제는 최대한 빨리 비지니스를 지원해서 성과를 내는 편이 낫지 싶다. 클라우드 서비스를 이전하는 일이 쉽지도 않거니와 미래의 일은 돈 벌고 그때 가서 걱정하는 편이 낫지 않은가?
- Terraform으로 필요한 리소스를 AWS에 뚝딱 밀어넣는 것부터 해서 전반적으로 적은 자원(인력 등)으로 나름 쓸만한 솔루션을 빨리 구축하고자 한 인상을 받았다.
- osquery로 누군가
sudo명령을 실행했을 때 알람을 받는 예제는 매우 적절하다. - 대체로 로깅/이벤트를 수집 분석하는 용도인 것 같다. 그런데 로그/이벤트의 양이 상당하고 끊임없이 흘러나올텐데 AWS Lambda로 하면 비용이 더 나오지 않나? 비용이 크게 차이가 없으면 람다로 아키텍처 구성하는 편이 나을 수 있긴 한데 잘 모르겠다.
- X-Pack Alerting이나 ElastAlert와 유사한 기능을 제공한다. 다만 Elasticsearch 기반의 경보 시스템은 Kibana라는 무기가 있는데 StreamAlert는 이런 측면에선 약하다.
- ElastAlert는 YAML 파일에 Rule을 적어넣는데 반해 이 친구는 파이썬 코드에 의존한다. 공식문서에서도 ElastAlert와 Etsy’s 411과 StreamAlert를 비교한다.
- Elasticsearch의 운영비용을 생각하면 StreamAlert도 나쁘지 않은 선택이지 않을까?
- Airbnb에서 내보내는 자료를 보면 과거에는 Druid를 썼던 것 같은데 요새는 Presto를 자주 언급하네.
Author Details
Kubernetes, DevSecOps, AWS, 클라우드 보안, 클라우드 비용관리, SaaS 의 활용과 내재화 등 소프트웨어 개발 전반에 도움이 필요하다면 도움을 요청하세요. 지인이라면 가볍게 도와드리겠습니다. 전문적인 도움이 필요하다면 저의 현업에 방해가 되지 않는 선에서 협의가능합니다.