การแปลข้อมูลทำได้ใน Hadoop อย่างไร

2024 ผู้เขียน: Lynn Donovan | [email protected]. แก้ไขล่าสุด: 2023-12-15 23:54

การแปลข้อมูล ใน Hadoop . นำตัวอย่าง Wordcount ตัวอย่าง ซึ่งคำส่วนใหญ่มีการทำซ้ำ 5 Lacs ขึ้นไป ในกรณีนั้นหลังจากเฟส Mapper เอาต์พุตของ mapper แต่ละรายการจะมีคำอยู่ในช่วง 5 Lacs กระบวนการที่สมบูรณ์ของการจัดเก็บเอาต์พุต Mapper ไปยัง LFS นี้เรียกว่า as การแปลข้อมูล.

เมื่อพิจารณาถึงสิ่งนี้ การแปลข้อมูลใน Hadoop คืออะไร

แนวคิดของ ข้อมูล ท้องที่ใน Hadoop Data ท้องที่ใน แผนที่ลด หมายถึง ความสามารถในการเคลื่อนย้ายการคำนวณไปใกล้ตำแหน่งที่จริง ข้อมูล อยู่บนโหนดแทนที่จะเคลื่อนที่ขนาดใหญ่ ข้อมูล การคำนวณ ซึ่งจะช่วยลดความแออัดของเครือข่ายและเพิ่มปริมาณงานโดยรวมของระบบ

นอกจากนี้บิ๊กดาต้าถูกจัดเก็บอย่างไร? คนส่วนใหญ่เชื่อมโยง HDFS หรือ Hadoop Distributed File System กับ Hadoop ข้อมูล คลังสินค้า HDFS เก็บข้อมูลในกลุ่มที่ประกอบด้วยบล็อกขนาดเล็ก บล็อคเหล่านี้คือ เก็บไว้ ในสถานที่ทางกายภาพ พื้นที่จัดเก็บ ยูนิต เช่น ดิสก์ไดรฟ์ภายใน

ข้อมูลถูกเก็บไว้ใน Hadoop อย่างไร?

บน Hadoop คลัสเตอร์ the ข้อมูล ภายใน HDFS และระบบ MapReduce อยู่ในทุกเครื่องในคลัสเตอร์ ข้อมูล เป็น เก็บไว้ ใน ข้อมูล บล็อกบน DataNodes HDFS ทำซ้ำสิ่งเหล่านั้น ข้อมูล บล็อก ซึ่งปกติมีขนาด 128MB และแจกจ่ายเพื่อทำซ้ำภายในหลายโหนดทั่วทั้งคลัสเตอร์

ไฟล์ถูกจัดเก็บใน HDFS อย่างไร

HDFS เปิดเผย a ไฟล์ เนมสเปซของระบบและอนุญาตให้ข้อมูลผู้ใช้เป็น เก็บไว้ ใน ไฟล์ . ภายใน a ไฟล์ ถูกแบ่งออกเป็นหนึ่งบล็อกขึ้นไปและบล็อกเหล่านี้คือ เก็บไว้ ในชุด DataNodes NameNode ดำเนินการ ไฟล์ การทำงานของเนมสเปซของระบบ เช่น การเปิด การปิด และการเปลี่ยนชื่อ ไฟล์ และไดเร็กทอรี