ฉันจะเริ่มเซิร์ฟเวอร์ประวัติ spark ของฉันได้อย่างไร

2024 ผู้เขียน: Lynn Donovan | [email protected]. แก้ไขล่าสุด: 2023-12-15 23:54

ในการเปิดใช้งานเซิร์ฟเวอร์ประวัติ Spark:

1. สร้างไดเร็กทอรีสำหรับบันทึกเหตุการณ์ในระบบไฟล์ DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events
2. เมื่อเปิดใช้งานการบันทึกเหตุการณ์ ลักษณะการทำงานเริ่มต้นคือการบันทึกทั้งหมด ซึ่งทำให้พื้นที่จัดเก็บเพิ่มขึ้นเมื่อเวลาผ่านไป

นอกจากนี้ ฉันจะตั้งค่าเซิร์ฟเวอร์ spark History ได้อย่างไร

ในการเปิดใช้งานเซิร์ฟเวอร์ประวัติ Spark:

1. สร้างไดเร็กทอรีสำหรับบันทึกเหตุการณ์ในระบบไฟล์ DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events
2. เมื่อเปิดใช้งานการบันทึกเหตุการณ์ ลักษณะการทำงานเริ่มต้นคือการบันทึกทั้งหมด ซึ่งทำให้พื้นที่จัดเก็บเพิ่มขึ้นเมื่อเวลาผ่านไป

ฉันจะค้นหา URL เซิร์ฟเวอร์ประวัติ spark ของฉันได้อย่างไร เช่น สำหรับ เซิร์ฟเวอร์ประวัติ โดยทั่วไปจะสามารถเข้าถึงได้ที่ เซิร์ฟเวอร์ - url >:18080/api/v1 และสำหรับแอปพลิเคชันที่ทำงานอยู่ ที่ https://localhost:4040/api/v1 ใน API แอปพลิเคชันถูกอ้างอิงโดย ID แอปพลิเคชัน [app-id]

ในทำนองเดียวกัน เซิร์ฟเวอร์ spark History คืออะไร?

NS เซิร์ฟเวอร์ประวัติ Spark is เครื่องมือตรวจสอบที่แสดงข้อมูลเกี่ยวกับการเสร็จสิ้น Spark แอปพลิเคชัน ข้อมูลเหล่านี้ เป็น ดึงจากข้อมูลที่แอปพลิเคชันโดยค่าเริ่มต้นเขียนไปยังไดเร็กทอรีบน Hadoop Distributed File System (HDFS)

Sparkui คืออะไร?

Spark Web UI ช่วยให้คุณเห็นรายการขั้นตอนและงานของตัวจัดกำหนดการ ข้อมูลสภาพแวดล้อม ข้อมูลเกี่ยวกับตัวดำเนินการที่ทำงานอยู่ และอื่นๆ ดูการสาธิต 30 นาทีนี้เพื่อเรียนรู้เกี่ยวกับ: ส่วนประกอบและวงจรชีวิตของโปรแกรม Spark วิธีที่แอปพลิเคชัน Spark ของคุณทำงานบนคลัสเตอร์ Hadoop