แสดงการกระทำในจุดประกายหรือไม่?

2024 ผู้เขียน: Lynn Donovan | [email protected]. แก้ไขล่าสุด: 2023-12-15 23:54

2 คำตอบ แสดง เป็นอัน การกระทำ แต่ก็ฉลาดพอที่จะรู้ว่าเมื่อใดที่ไม่ต้องรันทุกอย่าง หากคุณมีคำสั่งซื้อก็จะใช้เวลานานมากเช่นกัน แต่ในกรณีนี้ การดำเนินการทั้งหมดของคุณเป็นการดำเนินการแผนที่ ดังนั้นจึงไม่จำเป็นต้องคำนวณตารางสุดท้ายทั้งหมด

เช่นนั้น นับการกระทำในจุดประกายหรือไม่?

นับ () ถึง นับ จำนวนแถว เนื่องจากมันเริ่มต้นการดำเนินการ DAG และส่งกลับข้อมูลไปยังไดรเวอร์ มันจึง การกระทำ สำหรับ RDD กรณีที่ 2: หากคุณโทรหา นับ บน Dataframe มันเริ่มต้นการดำเนินการ DAG และส่งกลับข้อมูลไปยังไดรเวอร์ มันคือ การกระทำ สำหรับดาต้าเฟรม

ในทำนองเดียวกัน การกระทำและการเปลี่ยนแปลงในจุดประกายคืออะไร? Spark การดำเนินงานของ RDD Apache สองประเภท Spark การดำเนินงาน RDD คือ- การแปลงร่าง และ การกระทำ . NS การแปลงร่าง เป็นฟังก์ชันที่สร้าง RDD ใหม่จาก RDD ที่มีอยู่ แต่เมื่อเราต้องการทำงานกับชุดข้อมูลจริง ณ จุดนั้น การกระทำ จะดำเนินการ

ตามลําดับ การกระทำในจุดประกายคืออะไร?

การกระทำ คือการดำเนินการของ RDD ค่านั้นจะส่งกลับคืนไปยังโปรแกรมควบคุมสปาร์ ซึ่งเริ่มงานเพื่อดำเนินการบนคลัสเตอร์ ผลลัพธ์ของการแปลงเป็นอินพุตของ การกระทำ . ลด, รวบรวม, ใช้ตัวอย่าง, รับ, ก่อน, saveAsTextfile, saveAsSequenceFile, countByKey, foreach เป็นเรื่องปกติ การกระทำ ใน Apache จุดประกาย.

การรวบรวม () ทำอะไรในประกายไฟ?

เก็บรวบรวม (ฟังค์) เก็บรวบรวม ส่งคืนองค์ประกอบของชุดข้อมูลเป็นอาร์เรย์กลับไปที่โปรแกรมไดรเวอร์ เก็บรวบรวม มักใช้ในตัวอย่างที่ให้ไว้ก่อนหน้านี้เช่น Spark Transformation Examples เพื่อแสดงค่าของผลตอบแทน ตัวอย่างเช่น REPL จะพิมพ์ค่าของอาร์เรย์กลับไปที่คอนโซล