ฉันจะรู้ได้อย่างไรว่าติดตั้ง spark Linux แล้ว?

2024 ผู้เขียน: Lynn Donovan | [email protected]. แก้ไขล่าสุด: 2023-12-15 23:54

2 คำตอบ

1. เปิด Spark เชลล์ Terminal และป้อนคำสั่ง
2. sc.version Or จุดประกาย -ส่ง --รุ่น.
3. วิธีที่ง่ายที่สุดคือเพียงแค่เปิดตัว “ จุดประกาย -shell” ในบรรทัดคำสั่ง มันจะแสดงผล
4. เวอร์ชันที่ใช้งานปัจจุบันของ Spark .

อีกอย่างที่ควรรู้คือฉันจะรู้ได้อย่างไรว่าติดตั้ง spark ของ Ubuntu หรือไม่

การติดตั้ง Spark บน Ubuntu

1. ดาวน์โหลด Spark รุ่นล่าสุดได้ที่นี่
2. แกะไฟล์เก็บถาวร
3. ย้ายโฟลเดอร์ผลลัพธ์และสร้างลิงก์สัญลักษณ์เพื่อให้คุณสามารถติดตั้ง Spark ได้หลายเวอร์ชัน
4. ทดสอบเปลือก Spark
5. บางที Scala อาจไม่ใช่ถ้วยชาของคุณและคุณต้องการใช้ Python

ประการที่สอง Spark ถูกติดตั้งบน EMR ที่ไหน? ณ emr -4.0. 0, แอปพลิเคชันทั้งหมดบน EMR อยู่ใน /usr/lib Spark อยู่ใน /usr/lib/ จุดประกาย.

ดังนั้นคุณจะตั้งค่าประกายไฟได้อย่างไร?

ขั้นตอนในการติดตั้ง Spark

1. ขั้นตอนที่ 1: ตรวจสอบว่าติดตั้ง Java ไว้หรือไม่
2. ขั้นตอนที่ 2: ตรวจสอบให้แน่ใจว่าติดตั้ง Scala แล้ว
3. ขั้นตอนที่ 3: ดาวน์โหลด Scala
4. ขั้นตอนที่ 4: ติดตั้ง Scala
5. ขั้นตอนที่ 5: ดาวน์โหลด Apache Spark
6. ขั้นตอนที่ 6: การติดตั้ง Spark
7. ขั้นตอนที่ 7: ตรวจสอบการติดตั้งแอปพลิเคชัน Spark บนระบบของคุณ

ฉันจำเป็นต้องติดตั้ง Scala สำหรับประกายไฟหรือไม่

คุณจะ ความต้องการ ใช้เข้ากันได้ สกาลา เวอร์ชัน (2.10. x) Java เป็นสิ่งจำเป็นสำหรับ Spark + การพึ่งพาสกรรมกริยาอื่น ๆ อีกมากมาย ( สกาล่า คอมไพเลอร์เป็นเพียงไลบรารีสำหรับ JVM) PySpark เพียงเชื่อมต่อระยะไกล (โดยซ็อกเก็ต) กับ JVM โดยใช้ Py4J (การทำงานร่วมกันของ Python-Java)