Mục lục:

Làm cách nào để lên lịch cho một công việc tổ ong ở oozie?
Làm cách nào để lên lịch cho một công việc tổ ong ở oozie?

Video: Làm cách nào để lên lịch cho một công việc tổ ong ở oozie?

Video: Làm cách nào để lên lịch cho một công việc tổ ong ở oozie?
Video: Khẩu súng đặc biệt viên đạn làm từ nước mắt 2024, Tháng mười một
Anonim

Đến lên lịch công việc cho Hive sử dụng Oozie , bạn cần viết một Hive -hoạt động.

hql) trong đó.

  1. Tạo một thư mục trong HDFS bằng cách kích hoạt lệnh dưới đây.
  2. hadoop fs -mkdir -p / user / oozie / workflow /
  3. Đặt quy trình làm việc. xml, Hive script (create_table. hql) và tổ ong -Địa điểm. xml trong thư mục đã tạo ở bước 2. Bạn có thể sử dụng lệnh dưới đây.

Vì vậy, làm cách nào để chạy tập lệnh Hive trong oozie?

Chạy công việc Hive với Oozie

  1. Chỉ định địa điểm tổ ong. xml trong tham số job-xml.
  2. Chỉ định tên của tập lệnh (ví dụ: tập lệnh. Q) có chứa truy vấn hive trong tham số tập lệnh.
  3. Theo tùy chọn, thêm các thuộc tính được sử dụng bởi công việc khởi chạy Oozie. Thêm tiền tố oozie. trình khởi chạy đến tên thuộc tính.

Hơn nữa, làm cách nào để chạy quy trình làm việc oozie? Chạy quy trình làm việc Oozie từ dòng lệnh

  1. Đăng nhập vào Bảng điều khiển Web.
  2. Sao chép các ví dụ oozie vào thư mục chính của bạn trong bảng điều khiển web: cp / usr / hdp / current / oozie-client / doc / oozie -amples. nhựa đường. gz.
  3. Trích xuất tệp từ tar tar -zxvf oozie -amples.tar.gz.
  4. Sao chép thư mục ví dụ vào các ví dụ HDFS hadoop fs -copyFromLocal.

Về vấn đề này, làm cách nào để lên lịch công việc Hadoop?

Làm cách nào để lên lịch công việc trong hadoop - Quora. Cách đơn giản nhất là bọc mã của bạn trong một tập lệnh shell và lịch trình nó như một cron Công việc trên nút cạnh (nút mà bạn thường gửi việc làm ). Nhưng thường đóng gói mã trong một tập lệnh và chạy nó dưới dạng Công việc rất khó để gỡ lỗi. kiểm tra và bảo trì.

Quy trình làm việc oozie là gì?

Oozie là một quy trình làm việc hệ thống lập lịch để quản lý các công việc Apache Hadoop. Quy trình làm việc của Oozie các công việc là Đồ thị theo chu kỳ được hướng dẫn (DAG) của các hành động. Oozie Các công việc của người điều phối là thường xuyên Quy trình làm việc của Oozie các công việc được kích hoạt theo thời gian (tần suất) và tính khả dụng của dữ liệu. Oozie là một hệ thống có thể mở rộng, đáng tin cậy và có thể mở rộng.

Đề xuất: