Tôi có thể tìm nhật ký tia lửa ở đâu?

2024 Tác giả: Lynn Donovan | [email protected]. Sửa đổi lần cuối: 2023-12-15 23:55

Nhật ký thư mục

Vị trí SPARK_WORKER_LOG_DIR mặc định là / var / khúc gỗ / tia lửa /công nhân. Mặc định khúc gỗ thư mục để bắt đầu Tia lửa Máy chủ SQL Thrift là $ HOME / tia lửa -thrift-máy chủ. Tia lửa Vỏ và ứng dụng nhật ký được xuất ra bảng điều khiển. Nhật ký các tệp cấu hình nằm trong cùng một thư mục với tia lửa -env.sh.

Về vấn đề này, làm cách nào để lấy nhật ký tia lửa?

Tia lửa công việc hoặc ứng dụng từ trang Phân tích, bạn có thể truy cập vào nhật ký thông qua giao diện người dùng ứng dụng và Tia lửa Giao diện người dùng ứng dụng. trang, bạn có thể truy cập nhật ký thông qua Tia lửa Giao diện người dùng ứng dụng. Bạn cũng có thể bổ sung nhật ký để xác định các lỗi và ngoại lệ trong Tia lửa thất bại trong công việc hoặc ứng dụng.

Tương tự, bạn kiểm tra nhật ký sợi như thế nào? Xem một khúc gỗ tập tin nhật ký của một ứng dụng chính cũng có thể được xem trong trình duyệt trong giao diện người dùng của trình quản lý tài nguyên trên https:// $ { sợi .resourcemanager.webapp.address} / cluster (https:// localhost: 8088 trên một "cluster" nút).

Tương tự, người ta có thể hỏi, làm cách nào để lấy nhật ký của người thực thi trên Spark?

Bài giải

1. Hướng dẫn nhận nhật ký trình thực thi Spark:
2. Đối với Amabari - 1) Đi tới Dịch vụ Spark và tab Cấu hình: 2) Tìm mục nhập "Thuộc tính spark-log4j nâng cao".
3. Đối với Cloudera - Đặt: spark.executor.extraJavaOptions = -Dlog4j.configuration = file: /etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Làm cách nào để tìm URL máy chủ Lịch sử tia lửa của tôi?

Ví dụ: cho máy chủ lịch sử , chúng thường có thể truy cập được tại https:// < người phục vụ - url >: 18080 / api / v1 và đối với ứng dụng đang chạy, tại https:// localhost: 4040 / api / v1. Trong API, một ứng dụng được tham chiếu bởi ID ứng dụng của nó, [app-id].