ฉันสามารถเรียกใช้ spark ในเครื่องได้หรือไม่
ฉันสามารถเรียกใช้ spark ในเครื่องได้หรือไม่
Anonim

หัวเทียน เป็น วิ่ง โดยใช้ตัวกำหนดเวลาคลัสเตอร์แบบสแตนด์อโลนในตัวใน ท้องถิ่น โหมด. ซึ่งหมายความว่า. ทั้งหมด Spark กระบวนการคือ วิ่ง ภายใน JVM เดียวกันอย่างมีประสิทธิภาพ อินสแตนซ์เดียวแบบมัลติเธรดของ Spark.

ในเรื่องนี้ ฉันจะรัน Apache spark ในเครื่องได้อย่างไร

ขั้นตอนต่อไปนี้แสดงวิธีการติดตั้ง Apache Spark

  1. ขั้นตอนที่ 1: ตรวจสอบการติดตั้ง Java
  2. ขั้นตอนที่ 2: ตรวจสอบการติดตั้ง Scala
  3. ขั้นตอนที่ 3: ดาวน์โหลด Scala
  4. ขั้นตอนที่ 4: การติดตั้ง Scala
  5. ขั้นตอนที่ 5: ดาวน์โหลด Apache Spark
  6. ขั้นตอนที่ 6: การติดตั้ง Spark
  7. ขั้นตอนที่ 7: การตรวจสอบการติดตั้ง Spark

นอกจากนี้ เราสามารถเรียกใช้ spark โดยไม่มี Hadoop ได้หรือไม่? ตามที่ Spark เอกสาร, Spark สามารถทำงานได้โดยไม่ต้อง Hadoop . คุณ อาจ วิ่งมัน เป็นโหมดสแตนด์อโลน ปราศจาก ผู้จัดการทรัพยากรใด ๆ แต่ถ้า คุณ ต้องการที่จะ วิ่ง ในการตั้งค่าหลายโหนด คุณ ต้องการตัวจัดการทรัพยากรเช่น YARN หรือ Mesos และระบบไฟล์แบบกระจายเช่น HDFS , S3 เป็นต้น ใช่ ประกายไฟวิ่งได้โดยไม่ต้องใช้ฮาดูป.

ด้านบนนี้ ฉันจะเรียกใช้ spark ในโหมดสแตนด์อโลนได้อย่างไร

ติดตั้ง โหมด Spark แบบสแตนด์อโลน คุณเพียงแค่วาง. เวอร์ชันที่คอมไพล์แล้ว Spark ในแต่ละโหนดบนคลัสเตอร์ คุณสามารถรับเวอร์ชันที่สร้างไว้ล่วงหน้าของ Spark ด้วยการเปิดตัวแต่ละครั้งหรือสร้างมันขึ้นมาเอง

spark สามารถรันบน Windows ได้หรือไม่?

NS Spark แอปพลิเคชัน สามารถ เป็น Windows -shell script หรือ it สามารถ เป็นโปรแกรมที่กำหนดเองในภาษา Java, Scala, Python หรือ R ที่คุณต้องการ Windows ไฟล์ปฏิบัติการที่ติดตั้งบนระบบของคุณไปยัง วิ่ง แอปพลิเคชันเหล่านี้

แนะนำ: