Reference Table을 이용하면 사용자 지정 메타데이터를 Datadog에 이미 있는 정보와 결합할 수 있습니다.
참고 URL : https://docs.datadoghq.com/ko/reference_tables/
다음과 같은 작업을 수행할 수 있습니다.
- 로그, 추적 및 보안 이벤트를 고객 이름, 계정 소유자, 위협 인텔리전스 또는 오류 코드 설명과 같은 최신 비즈니스 컨텍스트와 연관시켜 문제 해결 및 분석 속도를 향상 시킬 수 있습니다.
- Tag Pipelines와 같은 도구를 사용하여 사용자, 고객 또는 클라우드 리소스를 의미 있는 세그먼트(예: 사용자 등급, 팀 또는 사업부)로 그룹화하여 심층적인 제품 분석과 정확한 비용 귀속을 수행할 수 있습니다.
- 시트, DDSQL 편집기 또는 노트북의 참조 테이블에서 외부 데이터를 결합하여 기술 전문 지식 없이도 복잡한 쿼리, 집계 및 사용자 지정 보고서를 작성할 수 있습니다.
Reference Table 생성
Reference Table은 여러가지 방법으로 업로드가 가능합니다. 상세 안내는 각 리스트의 link를 클릭해 확인하세요
- Cloud Storage
- 수동 CSV 업로드
- Amazon S3
- Azure Storage
- Google Cloud Storage
- API 또는 Terraform
- Integration
유효성 검사 규칙
참조 테이블 이름과 열 헤더는 다음 명명 규칙을 사용하여 유효성을 검사하고 필요한 경우 자동으로 업데이트되거나 정규화됩니다.
Table명의 경우, 유효성 검사 규칙에 위배되면 저장이 불가능하기 때문에 사용자가 직접 수정하여 입력 해야 하고,
Column 명의 경우, 업로드시 유효성 검사에 위배되는 경우, 자동적으로 각 Rule에 맞춰 적정하게 변경됩니다.
- 중복 불가능 : 동일한 Column명이 있는 경우, 업로드시 Column명 뒤에 1,2 등 숫자를 붙여 새 Column명을 부여합니다.
- 대문자 포함 불가 : 대문자는 모두 소문자로 변환됩니다.
- 공백 포함 불가 : 앞,뒤 공백은 제거되며 단어사이의 공백은 언더바( _ ) 로 대체됩니다.
- 소문자로 시작 필수 : 대문자는 소문자로 변경되며, 첫 소문자 이전의 숫자 혹은 특수 문자는 제거됩니다.
- 특수 문자 제한 :언더바( _ ) 이외의 특수문자는 모두 언더바( _ )로 대체됩니다.
- 문자 수 제한 : 최대 56자로 제한됩니다. 56자가 넘어가는 경우, 자동 정규화가 수행되지 않으므로 직접 수정 후 업로드해야합니다.
수정 및 삭제
수정
기존 참조 테이블을 새 데이터로 수정하려면 테이블을 선택하고 오른쪽 상단의 [Update Config]를 클릭합니다. 선택한 CSV 파일이 테이블에 Upserted 됩니다. 즉, 다음과 같은 작업이 수행됩니다.
- 동일한 기본 키를 가진 기존 행이 모두 업데이트됩니다.
- 새로운 행이 모두 추가됩니다.
- 새 파일에 없는 기존 행은 모두 삭제됩니다.
테이블이 저장되면 업서트된 행은 비동기적으로 처리되어 미리 보기에서 업데이트됩니다. 업데이트가 완료되는 데 최대 10분이 소요될 수 있습니다.
데이터 소스에 따라 자동으로 업데이트될 수 있습니다.
- 클라우드 파일 저장소 (Amazon S3, Azure Storage, Google Cloud Storage): 5분마다
- Integration : 매시간
- CSV 수동 업로드 : 자동 업데이트는 지원되지 않습니다.
삭제
참조 테이블을 삭제하려면 테이블을 선택하고 오른쪽 상단의 톱니바퀴 아이콘을 클릭한 다음 [Delete]를 클릭합니다 . 테이블과 연결된 모든 행이 삭제됩니다.
로그 보강을 위해 참조 테이블을 사용하는 조회 프로세서가 있는 경우 보강 작업이 중지됩니다. 보강 작업이 중지되는 데 최대 10분이 소요될 수 있습니다.
내보내기
참조 테이블을 내보내려면 테이블을 선택하고 DDSQL 편집기에서 쿼리를 클릭합니다 . 여기에서 DDSQL 편집기를 사용하여 CSV, 대시보드 등으로 내보낼 수 있습니다.
Audit trail 및 Change event
Audit trail을 사용하는 경우, View Audit Trail 버튼을 클릭해 참조 테이블에 대한 감사 추적을 사용하여 사용자 작업에 따른 활동을 추적할 수 있습니다. 감사 추적 이벤트는 사용자가 CSV 파일을 처음 업로드하거나 가져올 때, 또는 참조 테이블을 생성, 수정 또는 삭제할 때 전송됩니다. 자산 reference_table_file유형은 가져오기/업로드 이벤트를 표시하고, reference_table자산 유형은 참조 테이블 이벤트를 표시합니다. 감사 추적은 참조 테이블의 내용을 확인할 수 있도록 해줍니다.
View Change Events 버튼을 클릭할경우, Event Explore에서 참조 테이블에 대한 변경 이벤트를 사용하여 자동화된 작업이나 사용자 트리거 작업을 추적할 수 있습니다. 이러한 이벤트는 사용자가 클라우드 파일을 가져오거나 자동 새로 고침이 발생할 때 전송됩니다. (로컬 파일 업로드는 변경 이벤트가 생성되지 않습니다.) 이벤트는 사용자 트리거 작업을 추적하는 데 사용할 수 있지만, 주로 참조 테이블이 새 CSV 파일을 자동으로 가져올 때 발생하는 트리거된 가져오기 작업을 추적하는 데 사용됩니다.
이벤트에는 가져오기의 성공 여부, 경로 및 테이블 이름에 대한 정보가 포함됩니다. 오류가 발생하면 오류 유형에 대한 정보가 제공됩니다.
Alerting
가져오기 중에 발생하는 오류에 대한 알림을 받으려면 참조 테이블 변경 이벤트에 대한 이벤트 모니터를 사용하십시오 . 참조 테이블 변경 이벤트는 reference_tables 소스에서 전송됩니다
모니터 탭 에서 모니터를 생성 하거나, 새 참조 테이블 + 옆에 있는 설정 아이콘을 클릭하여 미리 채워진 모니터를 생성할 수 있습니다.
Limit
- 참조 테이블은 최대 50개의 열을 가질 수 있습니다.
- 사용자 인터페이스를 통해 업로드할 수 있는 참조 테이블 파일의 크기는 최대 4MB입니다.
- 클라우드 버킷을 통해 업로드되는 참조 테이블 파일의 크기는 최대 200MB까지 가능합니다.
- 연동을 통해 업로드되는 참조 테이블 파일의 크기는 최대 200MB까지 가능합니다.
- 조직당 최대 100개의 참조 테이블을 보유할 수 있습니다.
Reference table 관련 Datadog 블로그를 확인해보세요