สารบัญ:

ฉันจะหาบันทึกประกายไฟได้ที่ไหน
ฉันจะหาบันทึกประกายไฟได้ที่ไหน

วีดีโอ: ฉันจะหาบันทึกประกายไฟได้ที่ไหน

วีดีโอ: ฉันจะหาบันทึกประกายไฟได้ที่ไหน
วีดีโอ: K6Y - Background ft.SNOOPKING 2024, มีนาคม
Anonim

บันทึก ไดเรกทอรี

ตำแหน่งเริ่มต้นของ SPARK_WORKER_LOG_DIR คือ /var/ บันทึก / จุดประกาย /คนงาน. ค่าเริ่มต้น บันทึก ไดเร็กทอรีสำหรับการเริ่มต้น Spark เซิร์ฟเวอร์ SQL Thrift คือ $HOME/ จุดประกาย -thrift-เซิร์ฟเวอร์ Spark เชลล์และแอพพลิเคชั่น บันทึก จะถูกส่งออกไปยังคอนโซล บันทึก ไฟล์การกำหนดค่าจะอยู่ในไดเร็กทอรีเดียวกับ จุดประกาย -env.sh.

ฉันจะรับบันทึกประกายไฟได้อย่างไร

Spark งานหรือใบสมัครจากหน้าวิเคราะห์ คุณสามารถเข้าถึง บันทึก ผ่าน Application UI และ Spark แอปพลิเคชัน UI หน้าคุณสามารถเข้าถึง บันทึก ผ่านทาง Spark แอปพลิเคชัน UI นอกจากนี้คุณยังสามารถเพิ่ม บันทึก เพื่อระบุข้อผิดพลาดและข้อยกเว้นใน Spark งานหรือใบสมัครล้มเหลว

ในทำนองเดียวกันคุณจะตรวจสอบบันทึกเส้นด้ายได้อย่างไร? กำลังดู บันทึก ไฟล์ The บันทึก ของแอปพลิเคชันหลักสามารถดูได้ในเบราว์เซอร์ใน UI ตัวจัดการทรัพยากรบน เส้นด้าย .resourcemanager.webapp.address}/cluster (https://localhost:8088 บนโหนดเดียว "คลัสเตอร์")

ในทำนองเดียวกันอาจมีคนถามว่า ฉันจะรับบันทึกผู้ดำเนินการบน Spark ได้อย่างไร

ตอบ

  1. คำแนะนำในการรับบันทึกผู้ดำเนินการ Spark:
  2. สำหรับ Amabari -- 1) ไปที่ Spark Service และแท็บ Configs: 2) ค้นหารายการ "Advanced spark-log4j-properties"
  3. สำหรับ Cloudera -- ตั้งค่า: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties

ฉันจะค้นหา URL เซิร์ฟเวอร์ประวัติ spark ของฉันได้อย่างไร

เช่น สำหรับ เซิร์ฟเวอร์ประวัติ โดยทั่วไปจะสามารถเข้าถึงได้ที่ เซิร์ฟเวอร์ - url >:18080/api/v1 และสำหรับแอปพลิเคชันที่ทำงานอยู่ ที่ https://localhost:4040/api/v1 ใน API แอปพลิเคชันถูกอ้างอิงโดย ID แอปพลิเคชัน [app-id]