AWS MapReduce คืออะไร

วีดีโอ: AWS MapReduce คืออะไร

2024 ผู้เขียน: Lynn Donovan | [email protected]. แก้ไขล่าสุด: 2023-12-15 23:54

Amazon Elastic แผนที่ลด (EMR) เป็นบริการเว็บของ Amazon ( AWS ) เครื่องมือสำหรับการประมวลผลและวิเคราะห์ข้อมูลขนาดใหญ่ Amazon EMR ประมวลผลข้อมูลขนาดใหญ่ทั่วทั้งคลัสเตอร์ Hadoop ของเซิร์ฟเวอร์เสมือนบน Amazon Elastic Compute Cloud (EC2) และ Amazon Simple Storage Service (S3)

ในลักษณะนี้ AWS EMR ทำงานอย่างไร

บริการเริ่มต้นจำนวนอินสแตนซ์ Amazon EC2 ที่ลูกค้าระบุ ซึ่งประกอบด้วยโหนดหลักหนึ่งโหนดและโหนดอื่นๆ หลายโหนด อเมซอน EMR รันซอฟต์แวร์ Hadoop บนอินสแตนซ์เหล่านี้ โหนดหลักแบ่งข้อมูลอินพุตออกเป็นบล็อก และกระจายการประมวลผลของบล็อกไปยังโหนดอื่นๆ

นอกเหนือจากข้างต้น อะไรคือความแตกต่างระหว่าง ec2 และ EMR? ไม่เหมือน EMR , EC2 ไม่จัดหมวดหมู่โหนดทาสเป็นโหนดหลักและโหนดงาน สิ่งนี้จะเพิ่มความเสี่ยงในการสูญเสียข้อมูล HDFS ในกรณีที่โหนดถูกลบ/สูญหาย EC2 ใช้ไลบรารี Apache (s3a) เพื่อเข้าถึงข้อมูลบน s3 ในทางกลับกัน, EMR ใช้รหัสที่เป็นกรรมสิทธิ์ของ AWS เพื่อให้เข้าถึง s3 ได้เร็วขึ้น

นอกจากนี้ AWS EMR ได้รับการจัดการอย่างสมบูรณ์หรือไม่

อเมซอน ยืดหยุ่น MapReduce ( EMR ) คือ จัดการอย่างเต็มที่ Hadoop และแพลตฟอร์ม Spark จาก อเมซอน บริการเว็บ ( AWS ). กับ EMR , AWS ลูกค้าสามารถหมุนคลัสเตอร์ Hadoop แบบหลายโหนดได้อย่างรวดเร็วเพื่อประมวลผลปริมาณงานของ Big Data

AWS ใช้ Hadoop หรือไม่

อเมซอน บริการเว็บ ใช้ Apache. โอเพ่นซอร์ส Hadoop เทคโนโลยีการคำนวณแบบกระจายเพื่อให้ง่ายต่อการเข้าถึงพลังการประมวลผลจำนวนมากเพื่อทำงานที่ต้องใช้ข้อมูลมาก Hadoop ซึ่งเป็นเวอร์ชันโอเพ่นซอร์สของ MapReduce ของ Google ถูกใช้โดยบริษัทต่างๆ เช่น Yahoo และ Facebook

แนะนำ:

คุณจะฆ่างาน MapReduce ได้อย่างไร

Hadoop job -kill job_id และ yarn application -kill application_id ทั้งสองคำสั่งใช้เพื่อฆ่างานที่รันบน Hadoop หากคุณกำลังใช้ MapReduce เวอร์ชัน 1 (MR V1) และคุณต้องการฆ่างานที่รันบน Hadoop คุณสามารถใช้ hadoop job -kill job_id เพื่อฆ่างานและมันจะฆ่างานทั้งหมด (ทั้งที่กำลังทำงานและอยู่ในคิว)

W3c คืออะไร Whatwg คืออะไร?

คณะทำงานเทคโนโลยี Web Hypertext Application Technology (WHATWG) เป็นชุมชนของผู้ที่สนใจในการพัฒนา HTML และเทคโนโลยีที่เกี่ยวข้อง WHATWG ก่อตั้งขึ้นโดยบุคคลจาก Apple Inc., Mozilla Foundation และ Opera Software ซึ่งเป็นผู้จำหน่ายเว็บเบราว์เซอร์ชั้นนำในปี 2547