[ Datadog ] SSH Check Integration

수정 날짜: 목, 2월 29, 2024 시간: 10:32 AM

SSH Check Integration 설정
- Linux
- Windows
- Kebernetes
SSH Check Monitor 설정

SSH Check Integration 설정

Linux

설정파일 경로: /etc/datadog-agent/conf.d/ssh_check.d/conf.yaml

conf.yaml 설정 예

init_config:

instances:
  - host: "<SOME_REMOTE_HOST>"                      # required
    username: "<SOME_USERNAME>"                     # required
    password: "<SOME_PASSWORD>"                     # or use private_key_file
    add_missing_keys: true                          # default is False
    min_collection_interval: 15                     # 수집 주기. default 15로 주기 변경 필요 시 설정
    # private_key_file: <PATH_TO_PRIVATE_KEY>       # private_key_type:                                                # rsa or ecdsa; default is rsa
    # port: 22                                      # default is port 22
    # sftp_check: false                             # set False to disable SFTP check; default is True

private_key_file의 경로는 datadog 계정(dd-agent 혹은 ddagentuser)가 접속가능한 경로 및 권한 필요기존에 사용하는 ssh 접속용 id_rsa파일을 필요 경로에 복사하여 사용
```
instances:
  - host: "<SOME_REMOTE_HOST>"
    ......
    private_key_file: /opt/datadog-agent/id_rsa
```
Checks type의 Integration은 check_runners 모듈(default: 4)의 관리를 받으며 instances를 과도하게 등록하는 경우 Agent의 오버헤드가 발생 할 수 있습니다.

설정 후 Agent 재기동

sudo systemctl restart datadog-agent.service

*참고링크: SSH Integration

Windows

설정파일 경로 : C:\ProgramData\Datadog\conf.d\ssh_check.d\conf.yaml
Datadog Agent Manager 에서 변경시 :
Checks > Manage Checks 메뉴에서 상단 select box를 Edit Enabled Checks로 선택,
목록에 ssh_check.d/conf.yaml 를 선택합니다.
목록에 없는경우 상단 select box를 Add a check를 선택 한 후 ssh_check 를 선택 후
우측에 Add Check를 선택하면 Edit Enabled Check 목록에 ssh_check.d/conf.yaml가 추가 됩니다.

conf.yaml 설정 예

init_config:

instances:
  - host: "<SOME_REMOTE_HOST>"                      # required
    username: "<SOME_USERNAME>"                     # required
    password: "<SOME_PASSWORD>"                     # or use private_key_file
    add_missing_keys: true                          # default is False
    min_collection_interval: 15                     # 수집 주기. default 15로 주기 변경 필요 시 설정
    # private_key_file: <PATH_TO_PRIVATE_KEY>       # private_key_type:                                                # rsa or ecdsa; default is rsa
    # port: 22                                      # default is port 22
    # sftp_check: false                             # set False to disable SFTP check; default is True

private_key_file의 경로는 datadog 계정(dd-agent 혹은 ddagentuser)가 접속가능한 경로 및 권한 필요기존에 사용하는 ssh 접속용 id_rsa파일을 필요 경로에 복사하여 사용
```
instances:
  - host: "<SOME_REMOTE_HOST>"
    ......
    private_key_file: C:\ProgramData\Datadog\id_rsa
```
Checks type의 Integration은 check_runners 모듈(default: 4)의 관리를 받으며 instances를 과도하게 등록하는 경우 Agent의 오버헤드가 발생 할 수 있습니다.

설정 후 Agent 재기동
Windows CMD Prompt를 관리자모드로 실행한 뒤 아래 command를 실행합니다.
```
"%ProgramFiles%\Datadog\Datadog Agent\bin\agent.exe" restart-service
```

*참고링크: SSH Integration

Kebernetes

ConfigMap 으로 등록하며, values.yaml의 confd에 추가 후 helm 배포하는 것을 권고
confd 설정 전 values.yaml에 ‘useConfigMap: true’으로 설정 필요

values.yaml 파일 내 confd 설정 예

confd: 
 
    ssh_check.yaml: |-
      init_config:
      instances:
        - host: "<SOME_REMOTE_HOST>"          # required
          username: "<SOME_USERNAME>"         # required
          password: "<SOME_PASSWORD>"         # or use private_key_file
          add_missing_keys: true              # default is False

Checks type의 Integration은 check_runners 모듈(default: 4)의 관리를 받으며 instances를 과도하게 등록하는 경우 Agent의 오버헤드가 발생 할 수 있습니다.

설정 후 Agent 재기동
변경된 values.yaml 재배포

helm upgrade -f values.yaml <RELEASE_NAME> datadog/datadog

*참고Link : SSH Integration, Kubernetes 통합 자동 탐지

SSH Check Monitor 설정

Service Check Alert 설정을 진행합니다.

메뉴 경로: Monitors > New Monitor > Service Check

Service Check Monitor 구성
① Pick a Service Check
- 모니터링 가능한 Service Check 대상 선택. 이 경우 ssh.can_connect 선택 합니다.
② Pick monitor scope: Tag 기반의 범위 설정
- 모니터링 범위 설정
: 동일 Service Check이 갖고 있는 전체 host부터 tag 기반의 범위 선택 지원 합니다.
Scope의 조건을 선택 시는 AND 조건의 로직으로 동작 합니다.
전체 host를 대상으로 할 시 ‘All Monitored Hosts’로 선택 하시면 됩니다.
- Excluding 조건 적용
: Tag 기반의 제외 범위 선택을 지원 합니다.
Excluding 조건 적용 시에는 OR 조건의 로직으로 동작 합니다.
③ Set alert conditions: alert 발생 조건 설정
▶ Aelrt 발생 조건 설정
- SSH Check를 Monitor를 설정 시에는 Check Alert으로 선택 합니다.
a. Check Alert : 단일 Service 별 alert 발생 조건 설정. 연속 alert 실패 회수로 조정.
b. Cluster Alert : Cluster 그룹 내 Service Check 실패 비율로 alert 발생 조건 설정
▶ Alert 발생 group by 조건 설정.
- Host를 선택합니다.
▶ Alert 발생 및 해소 조건 설정
- Critical/OK 상태가 되는 조건 설정 합니다.
- Critical에는 연속 실패 횟수를 / OK에는 성공 횟수를 선택.
- Critical은 연속 5회로 선택(5번 연속 실패 시 Alert이 발생함)
▶ Do not notify / Notify 설정
- 데이터 수집이 없을 시 알림에 대한 설정 입니다.
- Default는 ‘Do not notify’ 이며, Nofiy 로 설정 시 설정된 시간 동안 데이터가 없는 경우
Nodata 알람이 발생합니다.
▶ Alert 자동 Resolve 설정
- Alert 발생 후 상황이 해제되어 resolve가 되지 않아 Alert 상태가 지속되는 경우
설정된 시간이 지나면 자동적으로 resolve 처리를 하는 기능입니다.
- Default는 ‘Never’로 자동 resolve를 하지 않습니다. 자동 resolve 처리를 하시려면
시간을 선택하시면 됩니다.
④ Notify your team: 전파 설정

▶ Alert Title
- 알람 발생시 전파되는 Message의 제목입니다.
- 예시 : [SSH Check][심각] {{host.name}} ssh의 응답이 없습니다.
▶ Alert Message
- 알람 발생시 전파되는 Message의 내용입니다.
- 예시

발생시간(ST): {{local_time 'last_triggered_at' 'Asia/Seoul'}}

[심각] {{host.name}} ssh가 연속 5회 응답이 없습니다. 확인 하시기 바랍니다.

발생시간(KST): {{local_time 'last_triggered_at' 'Asia/Seoul'}}

[심각 해제] {{host.name}} ssh의 응답이 정상으로 돌아왔습니다.

▶ Use Message Template Variables
- Alert title과 Message 본문에 사용 가능한 Template 및 변수 사용법을 확인할 수 있습니다.
▶ Notify your services and your team members 설정
- opsgenie / slack / TEAMS / webhook 등 integration된 채널 및 email 등의 Noti 채널이 표시됩니다.
알람을 전파할 채널 혹은 대상 email을 설정하시기 바랍니다.
▶ Content displayed 설정(Message 구성 내용 설정)
- query / snapshot 등 자동 추가되는 내용을 Message에 포함 할지 여부 설정 합니다.
▶ Include Triggering tags in notification title 설정
- 알람 발생시 전파되는 Message의 제목에 알람이 발생된 대상에 대한 tag를 표시합니다.
▶ Aggregation 설정
- SSH check 대상 host 별로 알람을 발생시키므로 Multi Alert - Host 가 선택되어야 합니다.
▶ Renotification 설정
- Alert(Warning) 혹은 Nodata가 지속될 경우 선택한 시간마다 재알람을 전파합니다.
▶ Tags 설정
- Manage Monitors 에서 조회시, Downtime schedule 설정시 사용가능한
moniotor를 위한 Tag를 설정합니다.
▶ Priority 설정
- P1~P5로 알람의 심각도(중요도) 등을 설정합니다.

⑤ Define permission and audit notifications

▶ Restrict editing 설정
- Alert에 대한 수정 권한을 설정합니다.
Role 선택시 해당 role을 가진 User들은 모두 수정이 가능합니다
▶ Test Notifications
- 버튼을 클릭하면 설정된 내용을 선택한 채널로 Test 알람을 발송합니다.
▶ Create
- 버튼을 클릭하면 설정된 내용을 저장합니다.