Emrfs คืออะไร?
Emrfs คืออะไร?

วีดีโอ: Emrfs คืออะไร?

วีดีโอ: Emrfs คืออะไร?
วีดีโอ: What is Amazon EMR and how can I use it for processing data? 2024, พฤศจิกายน
Anonim

ระบบไฟล์ EMR ( EMRFS ) คือการใช้งาน HDFS ที่คลัสเตอร์ Amazon EMR ทั้งหมดใช้สำหรับการอ่านและเขียนไฟล์ปกติจาก Amazon EMR ไปยัง Amazon S3 โดยตรง การเข้ารหัสข้อมูลช่วยให้คุณสามารถเข้ารหัสวัตถุที่ EMRFS เขียนถึง Amazon S3 และเปิดใช้งาน EMRFS เพื่อทำงานกับอ็อบเจ็กต์ที่เข้ารหัสใน Amazon S3

เกี่ยวกับเรื่องนี้ มุมมองที่สอดคล้องกันของ Emrfs คืออะไร?

NS EMRFS มุมมองที่สอดคล้องกัน สร้างและใช้ข้อมูลเมตาในตาราง Amazon DynamoDB เพื่อรักษา มุมมองที่สอดคล้องกัน ของวัตถุ S3 ของคุณ ตารางนี้ติดตามการดำเนินการบางอย่างแต่ไม่ได้เก็บข้อมูลใดๆ ของคุณ

อะไรคือความแตกต่างระหว่าง s3 และ s3a? นี้เป็น ความแตกต่างระหว่าง สาม: s3 เป็นการซ้อนทับแบบบล็อกบน Amazon S3 ในขณะที่ s3n/ s3a ไม่ได้ สิ่งเหล่านี้เป็นแบบอิงตามวัตถุ s3n รองรับวัตถุสูงสุด 5GB เมื่อกังวลเรื่องขนาดในขณะที่ s3a รองรับอ็อบเจ็กต์สูงสุด 5TB และมีประสิทธิภาพสูงกว่า

ดังนั้น EMR ใช้ HDFS หรือไม่

EMR ระบบไฟล์ (EMRFS) คุณ สามารถใช้ ทั้ง HDFS หรือ Amazon S3 เป็นระบบไฟล์ในคลัสเตอร์ของคุณ ส่วนใหญ่แล้ว Amazon S3 เป็น ใช้เพื่อเก็บข้อมูลอินพุตและเอาต์พุต และผลลัพธ์ขั้นกลางจะถูกเก็บไว้ใน HDFS.

s3a คืออะไร?

S3A (รูปแบบ URI: s3a ) ผู้สืบทอดต่อ S3 Native, s3n fs, the S3a : ระบบใช้ไลบรารีของ Amazon เพื่อโต้ตอบกับ S3 . สิ่งนี้ทำให้ S3a เพื่อรองรับไฟล์ขนาดใหญ่กว่า (ไม่จำกัด 5GB) การทำงานที่มีประสิทธิภาพสูงขึ้น และอื่นๆ

แนะนำ: