Benutzerdefinierte Benachrichtigungen für Hadoop-Jobs mit der Yarn Rest API

Blog

Benutzerdefinierte Benachrichtigungen für Hadoop-Jobs mit der Yarn Rest API

Laut Cloudera ist Ambari eine vollständig Open-Source-Managementplattform für die Bereitstellung, Verwaltung, Überwachung und Sicherung von Apache Hadoop-Clustern. Apache Ambari nimmt Ihnen beim Betrieb von Hadoop das Rätselraten ab. Ein Problem, auf das jeder Benutzer bei der Arbeit an Ambari stößt, ist jedoch, dass keine Warnungen auf Jobebene bereitgestellt werden. Während der Arbeit in einem Prod Hadoop-Cluster können einige Jobs also länger als die erwartete Zeit ausgeführt werden oder mehr Ressourcen als der Schwellenwert angefordert werden. Wenn es zahlreiche Jobs gibt, wird es schwierig, einen bestimmten Job zu finden, der die Ressourcenknappheit verursacht. Benutzer müssen möglicherweise jeden Job durchgehen, um die Ursache zu ermitteln.

Dieses Problem kann durch die Verwendung von benutzerdefiniertem Python-Code und Aufrufen der restlichen APIs von Yarn behoben werden. Unten finden Sie den einfachen Beispielcode, der die Garnrest-API verwendet, um die Auftragsdetails abzurufen. Sie können Ihren Code weiter anpassen, um die zugewiesenen Ressourcen und andere Details zu erhalten.

#python #hadoop #email #garn #api #rest api

dzone.com

Benutzerdefinierte Benachrichtigungen für Hadoop-Jobs mit der Yarn Rest API

Apache Ambari nimmt Ihnen beim Betrieb von Hadoop das Rätselraten ab. Verwenden von benutzerdefiniertem Python-Code und der Yarn Rest API, um den spezifischen Job zu finden, der eine Ressourcenknappheit verursacht. Erfahren Sie mehr über das Anpassen von Benachrichtigungen für Hadoop-Jobs mithilfe der Yarn Rest API.