Zeitachse „Aufträge“

Die Auftragstimeline ist ein guter Ausgangspunkt, um Ihre Pipeline oder Abfrage zu verstehen. Sie erhalten einen Überblick darüber, welche Elemente ausgeführt wurden, wie lange die einzelnen Schritte dauerten und ob Fehler aufgetreten sind.

Wie man die Job-Zeitleiste öffnet

Klicken Sie auf der Spark-Benutzeroberfläche auf "Aufträge " und " Ereigniszeitachse" , wie im folgenden Screenshot rot hervorgehoben. Die Zeitachse wird angezeigt. In diesem Beispiel wird gezeigt, wie der Treiber und der Executor 0 hinzugefügt werden:

Suchschwerpunkte

In den folgenden Abschnitten wird erläutert, wie Sie anhand der Ereigniszeitachse die mögliche Ursache von Leistungs- oder Kostenproblemen ermitteln. Wenn Sie einen dieser Trends in Ihrer Zeitachse bemerken, enthält das Ende jedes entsprechenden Abschnitts einen Link zu einem Artikel, der Anleitungen enthält.

Fehlerhafte Aufgaben oder fehlerhafte Ausführungsinstanzen

Hier ist ein Beispiel für eine fehlgeschlagene Aufgabe und entfernte Ausführende, die durch einen roten Status im Ereignisablauf angegeben sind.

Wenn fehlerhafte Aufträge oder fehlerhafte Ausführungsausführungen angezeigt werden, lesen Sie "Fehlerhafte Aufträge" oder "Executoren" entfernt.

Lücken bei der Ausführung

Suchen Sie nach Lücken von mindestens einer Minute wie in diesem Beispiel:

In diesem Beispiel gibt es mehrere Lücken, von denen einige durch die roten Pfeile hervorgehoben werden. Wenn Lücken in der Zeitachse angezeigt werden, sind sie eine Minute oder mehr? Kurze Lücken sind zu erwarten, da der Fahrer die Arbeit koordiniert. Wenn Sie längere Lücken haben, befinden sie sich in der Mitte einer Pipeline? Oder läuft dieser Cluster ständig und so werden die Lücken durch Pausen in der Aktivität erklärt? Möglicherweise können Sie dies anhand der Zeit ermitteln, zu der Ihre Workload gestartet und beendet wurde.

Wenn lange unerklärte Lücken in der Mitte einer Pipeline angezeigt werden, finden Sie Informationen zu Lücken zwischen Spark-Aufträgen.

Lange Aufträge

Wird die Zeitachse von einem langen Auftrag oder einigen langen Aufträgen dominiert? Diese langen Aufträge sollten untersucht werden. Im folgenden Beispiel hat die Arbeitslast einen Auftrag, der viel länger ist als die anderen. Dies ist ein gutes Ziel für die Untersuchung.

Klicken Sie auf den längsten Auftrag, um ihn sich näher anzusehen. Informationen zum Untersuchen dieser langen Phase finden Sie unter Diagnose eines langen Auftrags in Spark.

Viele kleine Aufträge

Was wir hier suchen, ist eine Zeitachse, die von winzigen Arbeitsplätzen dominiert wird. Es könnte ungefähr so aussehen.

Beachten Sie die ganzen kurzen blauen Linien. Jede von ihnen ist ein kleiner Auftrag, der höchstens ein paar Sekunden dauerte.

Wenn Ihr Zeitplan hauptsächlich viele kleine Spark-Jobs umfasst, lesen Sie Many small Spark jobs.

Keine der oben genannten.

Wenn Ihr Zeitplan nicht wie einer der oben genannten aussieht, besteht der nächste Schritt darin, den längsten Auftrag zu identifizieren. Sortieren Sie die Aufträge nach Dauer, und klicken Sie auf den Link in der Beschreibung für den längsten Auftrag:

Sobald Sie sich auf der Seite für den längsten Auftrag befinden, befinden sich zusätzliche Informationen zum Untersuchen dieser langen Phase in der Diagnose eines langen Auftrags in Spark.