AWS รองรับ Hadoop หรือไม่
AWS รองรับ Hadoop หรือไม่

วีดีโอ: AWS รองรับ Hadoop หรือไม่

วีดีโอ: AWS รองรับ Hadoop หรือไม่
วีดีโอ: Hadoop in AWS, Azure and Google Cloud 2024, พฤศจิกายน
Anonim

Apache™ Hadoop ® เป็นโครงการซอฟต์แวร์โอเพ่นซอร์สที่สามารถใช้ประมวลผลชุดข้อมูลขนาดใหญ่ได้อย่างมีประสิทธิภาพ อเมซอน EMR ทำให้ง่ายต่อการสร้างและจัดการคลัสเตอร์ยืดหยุ่นของ อเมซอน EC2 อินสแตนซ์ที่ทำงานอยู่ Hadoop และแอปพลิเคชั่นอื่นๆ ใน Hadoop ระบบนิเวศ

ดังนั้น AWS ใช้ Hadoop หรือไม่

อเมซอน บริการเว็บ ใช้ Apache. โอเพ่นซอร์ส Hadoop เทคโนโลยีการคำนวณแบบกระจายเพื่อให้ง่ายต่อการเข้าถึงพลังการประมวลผลจำนวนมากเพื่อทำงานที่ต้องใช้ข้อมูลมาก Hadoop ซึ่งเป็นเวอร์ชันโอเพ่นซอร์สของ MapReduce ของ Google ถูกใช้โดยบริษัทต่างๆ เช่น Yahoo และ Facebook

ประการที่สอง AWS EMR ทำอะไร อเมซอน ยืดหยุ่น MapReduce ( EMR ) เป็น NS อเมซอน บริการเว็บ ( AWS ) เครื่องมือสำหรับการประมวลผลและวิเคราะห์ข้อมูลขนาดใหญ่ อเมซอน EMR ประมวลผลข้อมูลขนาดใหญ่ทั่วทั้งคลัสเตอร์ Hadoop ของเซิร์ฟเวอร์เสมือนบน อเมซอน คลาวด์คำนวณแบบยืดหยุ่น ( EC2 ) และ อเมซอน บริการจัดเก็บข้อมูลอย่างง่าย (S3)

ในลักษณะนี้ อะไรคือความแตกต่างระหว่าง Hadoop และ AWS

Hadoop เป็นเฟรมเวิร์กที่ช่วยประมวลผลชุดข้อมูลขนาดใหญ่ในคอมพิวเตอร์หลายเครื่อง ประกอบด้วย Map/Reduce (การประมวลผลแบบขนาน) และ HDFS (ระบบไฟล์แบบกระจาย) AWS เป็นคลังข้อมูลที่สร้างขึ้นบนเทคโนโลยีที่เป็นกรรมสิทธิ์ซึ่งพัฒนาโดย ParAccel การใช้งานทั่วไปสำหรับ Apache. คืออะไร Hadoop ?

AWS s3 Hadoop ใช่ไหม

S3 ที่จริงแล้วเป็นที่เก็บข้อมูลแบบไม่จำกัดบนคลาวด์แต่ HDFS ไม่ใช่. HDFS โฮสต์อยู่บนเครื่องจริง ดังนั้นคุณจึงสามารถรันโปรแกรมใดก็ได้ที่นั่น คุณไม่สามารถดำเนินการใด ๆ บน S3 เนื่องจากเป็นเพียง Object Store ไม่ใช่ FS

แนะนำ: