Trình lập bản đồ và trình rút gọn trong Hadoop là gì?

2024 Tác giả: Lynn Donovan | [email protected]. Sửa đổi lần cuối: 2023-12-15 23:55

Ưu điểm chính của MapReduce là nó có thể dễ dàng mở rộng quy mô xử lý dữ liệu qua nhiều nút máy tính. Bên dưới MapReduce mô hình, các nguyên thủy xử lý dữ liệu được gọi là người lập bản đồ và bộ giảm tốc . Phân tách một ứng dụng xử lý dữ liệu thành các trình lập bản đồ và bộ giảm tốc đôi khi không phải là tầm thường.

Theo dõi điều này, ánh xạ và trình giảm thiểu là gì?

MapReduce bao gồm hai chức năng chính: Người vẽ bản đồ và Bộ giảm tốc . Người vẽ bản đồ là một hàm xử lý dữ liệu đầu vào. Các người vẽ bản đồ xử lý dữ liệu và tạo ra một số phần nhỏ dữ liệu.

một người lập bản đồ là gì? MỘT người vẽ bản đồ có thể mô tả một dữ liệu người vẽ bản đồ cũng như một người tạo ra các bản đồ địa lý. Nhiệm vụ của một địa lý người vẽ bản đồ hoặc kỹ thuật viên lập bản đồ bao gồm thu thập và xử lý dữ liệu địa lý để tạo ra bản đồ của một khu vực.

Theo cách này, việc sử dụng trình liên kết và trình rút gọn trong Hadoop là gì?

Theo The Apache Software Foundation, mục tiêu chính của Bản đồ / Giảm là tách tập dữ liệu đầu vào thành các phần độc lập được xử lý theo cách hoàn toàn song song. Các Hadoop MapReduce framework sắp xếp các kết quả đầu ra của bản đồ, sau đó được nhập vào giảm các nhiệm vụ.

Công dụng của trình liên kết trong Hadoop là gì?

Đang chạy Hadoop công việc, các ứng dụng thường triển khai Người vẽ bản đồ và các giao diện Bộ giảm để cung cấp bản đồ (các tác vụ riêng lẻ chuyển đổi các bản ghi đầu vào thành các bản ghi trung gian) và giảm bớt các phương pháp để giảm một tập hợp các giá trị trung gian dùng chung một khóa cho một tập giá trị nhỏ hơn.