Fix ambari stale alert

ISSUE :

Trên ambari xuất hiện cảnh báo về Stale Ambari như hình trên.

ROOT CAUSE :

Lý do có thể là các server trong HDP không đồng bộ về thời gian. (Đây là lỗi được phát hiện trong trường hợp của ad).

Trên thực tế, đối với HDP 2.1 trở xuống, nguyên nhân còn có thể do giá trị của tham số misfire_grace_time trong file /usr/lib/python2.6/site-packages/ambari_agent/AlertSchedulerHandler.py đặt quá thấp (default: 5s).

RESOLUTION/WORKAROUND :

Để giải quyết vấn đề này, ta cần kiểm tra và thực hiện 1 số bước như sau:

1. Đồng bộ lại thời gian của tất cả server trong HDP
2. Sau khi đồng bộ thời gian xong, check lại Alert Ambari. Nếu cảnh báo Ambari Stale vẫn còn, ta tăng tham số misfire_grace_time trong file /usr/lib/python2.6/site-packages/ambari_agent/AlertSchedulerHandler.py trên tất cả các node trong HDP.
   

APS_CONFIG = {

‘threadpool.core_threads’: 3,

‘coalesce’: True,

‘standalone’: False,

‘misfire_grace_time’:10

}

Sau đó, ta restart ambari-agent trên tất cả các node HDP.