Fluent Bit 이란(with fluentd)

Fluent Bit 이란.

오픈소스 이면서, 멀티플랫폼 로그 프로세서 도구 입니다.

대규모 데이터 수집 처리를 지원하는 전문 도구.

C로 작성된 Fluent Bit은 제한된 Capacity와 감소된 overhead(메모리 및 CPU)가 있는 고도로 분산된 환경을 염두에 두고 만들어 졌다.

(Fluent Bit은 성능과 낮은 리소스 소비를 염두에 두고 설계 되었습니다. )

 

라이선스 : Apache License v2.0

홈페이지 : https://fluentbit.io/

"Treasure Data" 라는 팀에서 만들었음.

 

fluentBit은 로그를 수집하여 "로그 처리/보관 하는 시스템"으로 전달 하는 역할을 한다.

 

로그 수집 및 전달하는 Data Pipeline

수집(Input) > 로그 방식에 따른 파싱(Parser) > 로그 처리 시스템으로 전달(Output)

 

---

 

[Fluentd vs Fluentbit]

https://docs.fluentbit.io/manual/about/fluentd-and-fluent-bit

 

권장되는 기존 Resource 차이.

Fluentd	Fluent Bit
Resource:   limits:     memory: 500Mi   requests:     cpu: 100m     memory: 200Mi	Resource:   limits:     cpu: 50m     memory: 60Mi   requests:     cpu: 5m     memory: 10Mi

 

Fluentd와 FluentBit은 언제 사용해야 하나?

https://logz.io/blog/fluentd-vs-fluent-bit/

 

위의 이미지에서 알수 있듯이, Fluent Bit은 Device에 Agent로 설치하여 Fluentd에 전달하는 경량 로그 수집기 이다.

(ex. Kubernetes에서 예로들자면,  Fluent Bit은 Daemon-Set으로 배포되어 노드별로 데이터를 수집 및 전달하는 역할을 한다. Fluentd instance에게로 전달)

 

요약하면,

Fluentd 와 fluent Bit의 차이점은 "로그 전달자"와 "로그 수집기"의 차이로 요약할 수 있다.

 

 

참조 :

https://peterica.tistory.com/221

https://logz.io/blog/fluentd-vs-fluent-bit/