ฉันจะปรับปรุงประสิทธิภาพ sqoop ของฉันได้อย่างไร

2024 ผู้เขียน: Lynn Donovan | [email protected]. แก้ไขล่าสุด: 2023-12-15 23:54

เพื่อเพิ่มประสิทธิภาพ ประสิทธิภาพ , ชุด NS จำนวนงานแผนที่มีค่าต่ำกว่า NS จำนวนการเชื่อมต่อสูงสุดที่ NS รองรับฐานข้อมูล การควบคุม NS ปริมาณความขนานที่ Sqoop จะใช้ในการถ่ายโอนข้อมูลคือ NS วิธีหลักในการควบคุม NS โหลดเลย ของคุณ ฐานข้อมูล

จะเกิดอะไรขึ้นหาก sqoop ล้มเหลวระหว่างกระบวนการ

แบบฉบับ Sqoop งานที่กำลังนำเข้าข้อมูลจากฐานข้อมูลต้นทางไปยัง HDFS จะคัดลอกข้อมูลไปยังไดเร็กทอรีเป้าหมาย ไฟล์ที่คัดลอกจะถูกลบ ถ้า sqoop ล้มเหลว โดยไม่ต้องกรอก

อาจมีคนถามว่าคุณจะบรรลุความเท่าเทียมใน sqoop ได้อย่างไร การควบคุม ความเท่าเทียม . Sqoop นำเข้าข้อมูลแบบขนานจากแหล่งฐานข้อมูลส่วนใหญ่ คุณสามารถระบุจำนวนงานแผนที่ (กระบวนการคู่ขนาน) เพื่อใช้ดำเนินการนำเข้าโดยใช้อาร์กิวเมนต์ -m หรือ --num-mappers อาร์กิวเมนต์แต่ละตัวเหล่านี้ใช้ค่าจำนวนเต็มซึ่งสอดคล้องกับระดับของ ความเท่าเทียม จ้าง

ดังนั้น ฉันจะปรับปรุงประสิทธิภาพการสืบค้น Hive ของฉันได้อย่างไร

ด้านล่างนี้คือรายการแนวทางปฏิบัติที่เราสามารถปฏิบัติตามเพื่อเพิ่มประสิทธิภาพ Hive Queries

1. เปิดใช้งานการบีบอัดในไฮฟ์
2. เพิ่มประสิทธิภาพการเข้าร่วม
3. หลีกเลี่ยงการเรียงลำดับทั่วโลกในไฮฟ์
4. เปิดใช้งาน Tez Execution Engine
5. เพิ่มประสิทธิภาพตัวดำเนินการ LIMIT
6. เปิดใช้งานการดำเนินการแบบขนาน
7. เปิดใช้งาน Mapreduce Strict Mode
8. ลดเดี่ยวสำหรับหลายกลุ่ม BY

sqoop split ทำงานอย่างไร

สามารถใช้เพื่อเพิ่มประสิทธิภาพการนำเข้าโดยบรรลุความเท่าเทียมกันมากขึ้น Sqoop สร้าง แยก ตามค่าในคอลัมน์เฉพาะของตารางซึ่งระบุโดย -- แยก - โดยผู้ใช้ผ่านคำสั่งนำเข้า หากไม่พร้อมใช้งาน คีย์หลักของตารางอินพุตจะใช้เพื่อสร้าง แยก.