본문 바로가기
반응형

log8

HAProxy HTTP Request Header Logging Option httplog 설정시,  HTTP log format으로 설정하면 아래와 같다. log-format "%ci:%cp [%tr] %ft %b/%s %TR/%Tw/%Tc/%Tr/%Ta %ST %B %CC %CS %tsc %ac/%fc/%bc/%sc/%rc %sq/%bq %hr %hs %{+Q}r" 해당 Format에서 HTTP Request Header 값을 적는 Format%hrcaptured request headers 해당 Format에서 Request Header값이 표현되게 하려면, 실제로 Frontend Section에서 원하는 Request Header를 capture해야 한다.  [선택적인 Header를 캡쳐하는 방법]사용법 : capture request header len c.. 2025. 1. 10.
Terraform CLI & Configuration File Terraform CLI(Command)의 사용법은 아래와 같습니다.  # Terraform [global Options] [args]Usage: terraform [global options]  [args] The available commands for execution are listed below. The primary workflow commands are given first, followed by less common or more advanced commands. Main commands:   init          Prepare your working directory for other commands   validate      Check whether the configuratio.. 2024. 10. 7.
데이터 통합 프로세스(ETL vs ELT) 데이터 통합 프로세스를 다루는데 가장 많이 사용되는 방법론으로 2가지 방법론이 있는데, ETL과 ELT 방식입니다.  여기서 E,T,L은 Extract, Transform, Load의 약어로, ETL : Extract > Transform > Load의 순으로 데이터를 처리 할것인지, ELT : Extract > Load > Transform으로 데이터를 처리할 것인지를 다루는 방법론입니다.  지난 50년(1970년대부터)이 넘게 기간 동안 데이터 통합 프로세스를 수행하는데 가장 많이 사용되던 방법론은 ETL 이었습니다. 그러나, 데이터 관리의 양, 속도 및 다양성 측면에서 새로운 요구로 인해, 기존 ETL 프로세스에 대한 새로운 접근 방식인 ELT가 등장했습니다.  ETL 이란?데이터가 소스에서 Ext.. 2024. 5. 20.
FluentBit Container Runtime Interface (CRI) parser Fluent Bit by default assumes that logs are formatted by the Docker interface standard. However, when using CRI you can run into issues with malformed JSON if you do not modify the parser used. Fluent Bit includes a CRI log parser that can be used instead. An example of the parser is seen below: # CRI Parser [PARSER] # http://rubular.com/r/tjUt3Awgg4 Name cri Format regex Regex ^(?[^ ]+) (?stdou.. 2023. 9. 6.
Fluent Bit 이란(with fluentd) Fluent Bit 이란. 오픈소스 이면서, 멀티플랫폼 로그 프로세서 도구 입니다. 대규모 데이터 수집 처리를 지원하는 전문 도구. C로 작성된 Fluent Bit은 제한된 Capacity와 감소된 overhead(메모리 및 CPU)가 있는 고도로 분산된 환경을 염두에 두고 만들어 졌다. (Fluent Bit은 성능과 낮은 리소스 소비를 염두에 두고 설계 되었습니다. ) 라이선스 : Apache License v2.0 홈페이지 : https://fluentbit.io/ "Treasure Data" 라는 팀에서 만들었음. fluentBit은 로그를 수집하여 "로그 처리/보관 하는 시스템"으로 전달 하는 역할을 한다. 로그 수집 및 전달하는 Data Pipeline 수집(Input) > 로그 방식에 따른 파.. 2023. 9. 4.
Customize HAProxy Log format(Mode TCP / HTTP) Customizing the HAProxy Logs There are plenty of reasons why you might want to customize the fields captured by the HAProxy logs. For example: the default log format is giving you more information that you need you’re missing an important piece of information with the default log format you need to structure the fields in a way that an external tool can read them you rely on a standard log forma.. 2023. 8. 10.
반응형

티스토리툴바