สารบัญ:

ฉันจะกำหนดเวลางานกลุ่มใน oozie ได้อย่างไร
ฉันจะกำหนดเวลางานกลุ่มใน oozie ได้อย่างไร

วีดีโอ: ฉันจะกำหนดเวลางานกลุ่มใน oozie ได้อย่างไร

วีดีโอ: ฉันจะกำหนดเวลางานกลุ่มใน oozie ได้อย่างไร
วีดีโอ: 1MILL - PR4Y (Official Music Video) 2024, พฤศจิกายน
Anonim

ถึง กำหนดการงานไฮฟ์ โดยใช้ Oozie , คุณต้องเขียน a ไฮฟ์ -การกระทำ.

hql) ในนั้น

  1. สร้างไดเร็กทอรีใน HDFS โดยการยิงคำสั่งด้านล่าง
  2. hadoop fs -mkdir -p /user/ oozie /เวิร์กโฟลว์/
  3. ใส่เวิร์กโฟลว์ xml, ไฮฟ์ สคริปต์ (create_table. hql) และ รัง -งาน. xml ในไดเร็กทอรีที่สร้างในขั้นตอนที่ 2 คุณสามารถใช้คำสั่งด้านล่าง

ฉันจะรันสคริปต์ Hive ใน oozie ได้อย่างไร

เรียกใช้งาน Hive กับ Oozie

  1. ระบุไซต์รังผึ้ง xml ในพารามิเตอร์ job-xml
  2. ระบุชื่อของสคริปต์ (เช่น สคริปต์ q) ที่มีข้อความค้นหากลุ่มในพารามิเตอร์สคริปต์
  3. หรือเพิ่มคุณสมบัติที่ใช้โดยงานตัวเรียกใช้งาน Oozie เพิ่มคำนำหน้า oozie ตัวเรียกชื่อคุณสมบัติ

นอกจากนี้ ฉันจะรันเวิร์กโฟลว์ oozie ได้อย่างไร เรียกใช้เวิร์กโฟลว์ Oozie จาก Command Line

  1. เข้าสู่ระบบเว็บคอนโซล
  2. คัดลอกตัวอย่าง oozie ไปยังโฮมไดเร็กตอรี่ของคุณในเว็บคอนโซล: cp /usr/hdp/current/oozie-client/doc/oozie-examples. น้ำมันดิน กซ.
  3. แตกไฟล์จาก tar tar -zxvf oozie-examples.tar.gz
  4. คัดลอกไดเร็กทอรีตัวอย่างไปยัง HDFS hadoop fs -copyFromLocal Examples

ในเรื่องนี้ ฉันจะกำหนดเวลางาน Hadoop ได้อย่างไร

ทำอย่างไร กำหนดการงาน ใน hadoop - โควรา วิธีที่ง่ายที่สุดคือห่อโค้ดของคุณในเชลล์สคริปต์และ กำหนดการ มันเป็น cron งาน บนโหนดขอบ(โหนดที่คุณมักจะส่งของคุณ งาน ). แต่มักจะบรรจุโค้ดในสคริปต์และเรียกใช้เป็น a งาน ยากต่อการดีบัก ทดสอบและบำรุงรักษา

เวิร์กโฟลว์ oozie คืออะไร?

Oozie คือ เวิร์กโฟลว์ ระบบกำหนดตารางเวลาเพื่อจัดการงาน Apache Hadoop เวิร์กโฟลว์ Oozie งานคือ Directed Acyclical Graphs (DAG) ของการกระทำ Oozie งานผู้ประสานงานเกิดขึ้นเป็นประจำ เวิร์กโฟลว์ Oozie งานที่เรียกตามเวลา (ความถี่) และความพร้อมใช้งานของข้อมูล Oozie เป็นระบบที่ปรับขนาดได้ เชื่อถือได้ และขยายได้

แนะนำ: