สารบัญ:
วีดีโอ: Sqoop ใช้อะไรในการนำเข้าและส่งออกข้อมูล
2024 ผู้เขียน: Lynn Donovan | [email protected]. แก้ไขล่าสุด: 2023-12-15 23:54
Sqoop คือ เครื่องมือที่ออกแบบมาเพื่อถ่ายโอน ข้อมูล ระหว่าง Hadoop และฐานข้อมูลเชิงสัมพันธ์ Sqoop ทำให้กระบวนการนี้เป็นไปโดยอัตโนมัติโดยอาศัย ฐานข้อมูล เพื่ออธิบายสคีมาสำหรับ ข้อมูล เป็น นำเข้า . Sqoop ใช้ แผนที่ลดเป็น นำเข้าและส่งออกข้อมูล ซึ่งให้การทำงานแบบขนานและความทนทานต่อข้อผิดพลาด
ฉันจะส่งออกข้อมูลจาก sqoop ได้อย่างไร
เริ่มต้น
- ขั้นที่ 1: สร้างฐานข้อมูลใหม่ในอินสแตนซ์ MySQL สร้างฐานข้อมูล db1;
- สร้างตารางชื่อ acad
- ขั้นตอนที่ 3: ส่งออกไฟล์ input.txt และ input2.txt จาก HDFS ไปยัง MySQL sqoop ส่งออก – เชื่อมต่อ jdbc: mysql: // localhost/db1 – ชื่อผู้ใช้ sqoop – รูทรหัสผ่าน – ตาราง acad –export-dir /sqoop_msql/ -m 1
การส่งออก sqoop ทำงานอย่างไร Sqoop - ส่งออก Sqoop ส่งออก คำสั่งเตรียมคำสั่ง INSERT พร้อมชุดข้อมูลอินพุตจากนั้นจึงเข้าสู่ฐานข้อมูล มันมีไว้สำหรับ การส่งออก ระเบียนใหม่ หากตารางมีค่าคงที่เฉพาะด้วยคีย์หลัก ส่งออก งานล้มเหลวเนื่องจากคำสั่งแทรกล้มเหลว หากคุณมีการอัปเดต คุณสามารถใช้ตัวเลือก --update-key
มีคนถามว่าฉันจะนำเข้าข้อมูลลงใน sqoop ได้อย่างไร
นี่คือสิ่งที่แต่ละตัวเลือกคำสั่ง Sqoop หมายถึง:
- เชื่อมต่อ - จัดเตรียมสตริง jdbc
- ชื่อผู้ใช้ – ชื่อผู้ใช้ฐานข้อมูล
- -P - จะขอรหัสผ่านในคอนโซล
- table – บอกคอมพิวเตอร์ว่าคุณต้องการนำเข้าตารางใดจาก MySQL
- แยกตาม – ระบุคอลัมน์แยกของคุณ
- target-dir - ไดเร็กทอรีปลายทาง HDFS
การนำเข้า sqoop คืออะไร?
Sqoop เครื่องมือ ' นำเข้า ' ใช้เพื่อ นำเข้า ข้อมูลตารางจากตารางไปยังระบบไฟล์ Hadoop เป็นไฟล์ข้อความหรือไฟล์ไบนารี คำสั่งต่อไปนี้ใช้สำหรับ นำเข้า ตาราง emp จากเซิร์ฟเวอร์ฐานข้อมูล MySQL ถึง HDFS
แนะนำ:
ฉันจะปรับปรุงประสิทธิภาพ sqoop ของฉันได้อย่างไร
ในการเพิ่มประสิทธิภาพการทำงาน ให้ตั้งค่าจำนวนงานแผนที่เป็นค่าที่ต่ำกว่าจำนวนการเชื่อมต่อสูงสุดที่ฐานข้อมูลสนับสนุน การควบคุมปริมาณความขนานที่ Sqoop จะใช้ในการถ่ายโอนข้อมูลเป็นวิธีหลักในการควบคุมโหลดบนฐานข้อมูลของคุณ