สารบัญ:
วีดีโอ: ฉันจะหาบันทึกประกายไฟได้ที่ไหน
2024 ผู้เขียน: Lynn Donovan | [email protected]. แก้ไขล่าสุด: 2023-12-15 23:54
บันทึก ไดเรกทอรี
ตำแหน่งเริ่มต้นของ SPARK_WORKER_LOG_DIR คือ /var/ บันทึก / จุดประกาย /คนงาน. ค่าเริ่มต้น บันทึก ไดเร็กทอรีสำหรับการเริ่มต้น Spark เซิร์ฟเวอร์ SQL Thrift คือ $HOME/ จุดประกาย -thrift-เซิร์ฟเวอร์ Spark เชลล์และแอพพลิเคชั่น บันทึก จะถูกส่งออกไปยังคอนโซล บันทึก ไฟล์การกำหนดค่าจะอยู่ในไดเร็กทอรีเดียวกับ จุดประกาย -env.sh.
ฉันจะรับบันทึกประกายไฟได้อย่างไร
Spark งานหรือใบสมัครจากหน้าวิเคราะห์ คุณสามารถเข้าถึง บันทึก ผ่าน Application UI และ Spark แอปพลิเคชัน UI หน้าคุณสามารถเข้าถึง บันทึก ผ่านทาง Spark แอปพลิเคชัน UI นอกจากนี้คุณยังสามารถเพิ่ม บันทึก เพื่อระบุข้อผิดพลาดและข้อยกเว้นใน Spark งานหรือใบสมัครล้มเหลว
ในทำนองเดียวกันคุณจะตรวจสอบบันทึกเส้นด้ายได้อย่างไร? กำลังดู บันทึก ไฟล์ The บันทึก ของแอปพลิเคชันหลักสามารถดูได้ในเบราว์เซอร์ใน UI ตัวจัดการทรัพยากรบน เส้นด้าย .resourcemanager.webapp.address}/cluster (https://localhost:8088 บนโหนดเดียว "คลัสเตอร์")
ในทำนองเดียวกันอาจมีคนถามว่า ฉันจะรับบันทึกผู้ดำเนินการบน Spark ได้อย่างไร
ตอบ
- คำแนะนำในการรับบันทึกผู้ดำเนินการ Spark:
- สำหรับ Amabari -- 1) ไปที่ Spark Service และแท็บ Configs: 2) ค้นหารายการ "Advanced spark-log4j-properties"
- สำหรับ Cloudera -- ตั้งค่า: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties
ฉันจะค้นหา URL เซิร์ฟเวอร์ประวัติ spark ของฉันได้อย่างไร
เช่น สำหรับ เซิร์ฟเวอร์ประวัติ โดยทั่วไปจะสามารถเข้าถึงได้ที่ เซิร์ฟเวอร์ - url >:18080/api/v1 และสำหรับแอปพลิเคชันที่ทำงานอยู่ ที่ https://localhost:4040/api/v1 ใน API แอปพลิเคชันถูกอ้างอิงโดย ID แอปพลิเคชัน [app-id]