Sigmoid ดีกว่า ReLU หรือไม่?

2024 ผู้เขียน: Lynn Donovan | [email protected]. แก้ไขล่าสุด: 2023-12-15 23:54

Relu : มีประสิทธิภาพในการคำนวณมากขึ้น กว่าซิกมอยด์ ชอบฟังก์ชั่นตั้งแต่ Relu เพียงแค่ต้องการ topick max(0, x) และไม่ต้องดำเนินการชี้แจงราคาแพงใน Sigmoids Relu : ในทางปฏิบัติเครือข่ายกับ Relu มีแนวโน้มที่จะแสดง ดีกว่า ประสิทธิภาพการบรรจบกัน แทนซิกมอยด์.

ในทำนองเดียวกันอาจมีคนถามว่าทำไม ReLU ถึงเป็นฟังก์ชันการเปิดใช้งานที่ดีที่สุด?

แนวคิดหลักคือการปล่อยให้การไล่ระดับสีไม่เป็นศูนย์และกู้คืนระหว่างการฝึกในที่สุด ReLu มีราคาแพงกว่าการคำนวณน้อยกว่า tanh และ ซิกมอยด์ เพราะมันเกี่ยวข้องกับการดำเนินการทางคณิตศาสตร์ที่ง่ายกว่า นั่นคือ ดี ประเด็นที่ต้องพิจารณาเมื่อเราออกแบบโครงข่ายประสาทส่วนลึก

อาจมีคนถามว่า ฟังก์ชันการเปิดใช้งาน sigmoid คืออะไร? NS ฟังก์ชันซิกมอยด์ คือ การเปิดใช้งานฟังก์ชัน ในแง่ของโครงสร้างเกตพื้นฐานที่สัมพันธ์กับการยิงของ Neurons ใน Neural Networks อนุพันธ์ยังทำหน้าที่เป็น a ฟังก์ชั่นการเปิดใช้งาน ในแง่ของการจัดการเซลล์ประสาท การเปิดใช้งาน ในแง่ของ NN ความแตกต่างระหว่างทั้งสองคือ การเปิดใช้งาน องศาและการมีปฏิสัมพันธ์

ในทำนองเดียวกัน เหตุใดเราจึงใช้ ReLU ใน CNN

โครงข่ายประสาทเทียม ( CNN ): ขั้นตอนที่ 1(b) - ReLU ชั้น. หน่วยเชิงเส้นตรงหรือ ReLU , เป็น ไม่ใช่องค์ประกอบที่แยกจากกันของกระบวนการโครงข่ายประสาทเทียม วัตถุประสงค์ของการใช้ฟังก์ชันวงจรเรียงกระแส เป็น เพื่อเพิ่มความไม่เป็นเชิงเส้นในภาพของเรา

การใช้ ReLU คืออะไร?

ReLU (แก้ไขหน่วยเชิงเส้น) ActivationFunction The ReLU คือที่สุด ใช้แล้ว การเปิดใช้งานฟังก์ชั่นในโลกในขณะนี้ เนื่องจากเป็น ใช้แล้ว ในโครงข่ายประสาทเทียมหรือการเรียนรู้เชิงลึกเกือบทั้งหมด