Metastore ของไฮฟ์คืออะไร?
Metastore ของไฮฟ์คืออะไร?

วีดีโอ: Metastore ของไฮฟ์คืออะไร?

วีดีโอ: Metastore ของไฮฟ์คืออะไร?
วีดีโอ: Apache Iceberg & Hive Metastore Integration // Subsurface Summer 2020 | Hiveberg 2024, อาจ
Anonim

Metastore เป็นที่เก็บส่วนกลางของ Apache ข้อมูลเมตาของไฮฟ์ . มันเก็บ ข้อมูลเมตา สำหรับ ไฮฟ์ ตาราง (เช่น สคีมาและตำแหน่ง) และพาร์ติชันในฐานข้อมูลเชิงสัมพันธ์ ให้ไคลเอ็นต์เข้าถึงข้อมูลนี้โดยใช้ metastore บริการ API การบริการที่จัดให้ metastore เข้าถึง Apache. อื่น ๆ ไฮฟ์ บริการ

ต่อมาอาจมีคนถามว่า Metastore เริ่มต้นสำหรับกลุ่มคืออะไร

ฐานข้อมูลดาร์บี้คือ metastore เริ่มต้นสำหรับ Hive ซึ่งรองรับผู้ใช้เพียงคนเดียว คุณจึงสามารถเปิดได้เพียงเชลล์เดียวเท่านั้น

ในทำนองเดียวกัน Metastore ในพื้นที่และระยะไกลต่างกันอย่างไร ใน การเปรียบเทียบ กับ ท้องถิ่น โหมดมีประโยชน์อย่างหนึ่งของการใช้ ระยะไกล โหมด นั่นคือ ระยะไกล โหมดไม่ต้องการให้ผู้ดูแลระบบแชร์ข้อมูลการเข้าสู่ระบบ JDBC สำหรับ metastore ฐานข้อมูลพร้อมกับผู้ใช้ Hive แต่ละคน แต่ ท้องถิ่น โหมดไม่

ข้างบนนั้น Metastore ของไฮฟ์อยู่ที่ไหน

โดยค่าเริ่มต้น ที่ตั้งของคลังสินค้าคือ file:///user/ รัง /warehouse และเราสามารถใช้ รัง -งาน. xml สำหรับโลคัลหรือรีโมต metastore . เมื่อเราใช้ไดรเวอร์ MySQL JDBC เราจะดาวน์โหลด Jconnector (ไดรเวอร์ MySQL JDBC) และวางไว้ใน $HIVE_HOME/lib และวาง รัง -งาน.

เหตุใด Metastore จึงไม่ถูกเก็บไว้ใน HDFS

ดังนั้น metastore ใช้ฐานข้อมูลเชิงสัมพันธ์แบบดั้งเดิม (เช่น MySQL, Oracle) หรือระบบไฟล์ (เช่น โลคัล, NFS, AFS) และ ไม่ใช่ HDFS . เป็นผลให้คำสั่ง HiveQL ซึ่งเข้าถึงได้เท่านั้น ข้อมูลเมตา อ็อบเจ็กต์ถูกดำเนินการด้วยเวลาแฝงที่ต่ำมาก อย่างไรก็ตาม Hive ต้องรักษาความสอดคล้องระหว่าง. อย่างชัดเจน ข้อมูลเมตา และข้อมูล"