I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   40 ,   N o .   2 N o v e m b e r   2025 ,   pp.   9 41 ~ 9 52   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 40 .i 2 . pp 9 41 - 9 52             941     Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   U n v e i l i n g   e d u c a t i o n a l   e n r o l l m e n t   f a c t o r s   i n   E g y p t   v i a   e n sem b l e   l e a r n i n g       F ah ad   K am al   A l s h e r e f 1 M o s tafa  S a ye d   M o s tafa  El   M i s e r y 2 ,   M ah m ou d   M o h a m e d   Bah l o u l 3 ,   D al i a   A .   M agd i 4 ,   I b r ah i m   E l d e s o u k F atto h 5   1 D e p a rt m e n t   o f   I n fo r m a t i c s   fo Bu s i n e s s ,   Co l l e g e   o Bu s i n e s s ,   K i n g   K h a l i d   U n i v e r s i t y ,   A b h a ,   S a u d i   A ra b i a   2 D e p a rt m e n t   o f   S t a t i s t i c s ,   F a c u l t y   o E c o n o m i c s   a n d   P o l i t i c a l   S c i e n c e ,   Ca i ro   U n i v e r s i t y ,   E g y p t   3 In fo r m a t i o n   S y s t e m s   D e p a rt m e n t ,   F a c u l t y   o C o m m e r c e   a n d   Bu s i n e s s   A d m i n i s t ra t i o n ,   H e l w a n   U n i v e r s i t y ,   Ca i ro ,   E g y p t   4 F a c u l t y   o C o m p u t e r s   a n d   I n f o r m a t i o n   S p e c i a l t i e s ,   S a d a t   A c a d e m y   fo M a n a g e m e n t   S c i e n c e s ,   Ca i r o ,   E g y p t   5 D e p a rt m e n t   o f   C o m p u t e r   S c i e n c e ,   F a c u l t y   o f   Co m p u t e r s   a n d   A rt i fi c i a l   I n t e l l i g e n c e ,   B e n i - S u e f   U n i v e r s i t y ,   B e n i - S u e f ,   E g y p t       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   N ov   5 2024   R e v i s e J ul   27 202 5   A c c e pt e O c t   14 2 025       E duc a t i o n   p l a y s   a   v i t a l   r o l e   i n   t he   de v e l o pm e n t   o f   a   na t i o n   a nd   s i g ni f i c a nt l y   i nf l u e nc e s   t h e   di r e c t i o o f   s o c i e t i e s .   U nde r s t a n di ng   t he   v a r i o us   f a c t o r s   t ha t   i m pa c t   e duc a t i o na l   e nr o l l m e n t   i s   e s s e nt i a l   f o r   po l i c y m a ke r s   a nd   r e s o ur c e   a l l o c a t i o s t r a t e g i e s .   T hi s   pa p e r   e xp l o r e s   t h e   f a c t o r s   i m p a c t i ng   e d uc a t i o na l   e nr o l l m e n t   i n   E g y pt   us i ng   pr e di c t i v e   m o de l i ng   a n d   m a c hi n e   l e a r n i ng   t e c hni que s .   T h e   s t udy   e v a l ua t e s   s i x   m a c hi n e   l e a r ni ng   a l g o r i t hm s   a nd   e ns e m b l e   l e a r ni ng   a p pr o a c he s   t o   p r e di c t   e nr o l l m e n t   r a t e s ,   c ons i d e r i ng   c om put a t i o na l   e f f i c i e nc y ,   r o bus t n e s s ,   a n pa r a m e t e r   s e n s i t i v i t y .   B y   a na l y z i ng   s o c i o - e c o no m i c   a nd  d e m o g r a phi c   i nd i c a t o r s   f r o m   E gy pt i a n   e duc a t i o na l   da t a ,   t h e   r e s e a r c e x a m i n e s   t h e   i n t e r pl a y   of   t he s e   f a c t o r s .   R e s u l t s   hi g h l i g ht   t he   e f f e c t i v e ne s s   o f   t h e s e   m e t ho ds   i n   e l uc i da t i ng   e nr o l l m e n t   pa t t e r ns ,   w i t h   e n s e m b l e   l e a r n i ng   s ho w i ng   pr o m i s i ng   pe r f o r m a nc e   an s i g ni f i c a nt   i m p r o v e m e nt s   c o m pa r e t o   t r a d i t i o na l   m a c h i ne   l e a r ni ng   a l g o r i t hm s .   T hi s   s t udy   o f f e r s   i ns i g ht s   i nt o   E gy pt ' s   e d uc a t i o na l   l a nd s c a pe   t ha t   c o ul i nf o r m   po l i c y   f o r m ul a t i o a nd   r e s o ur c e   a l l o c a t i o s t r a t e g i e s .   Ke y w or d s :   E duc a t i o na l   e nr o l l m e n t   f a c t o r s   E n s e m b l e   l e a rn i ng     M a c hi n e   l e a rni n g     P r e di c t i v e   m o de l i n g     S o c i o - e c o n o m i c   f a c t o r s   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   Ib r a hi m   E l de s o uk y   F a t t o h   D e pa rt m e n t   o f   Co m put e S c i e n c e ,   F a c ul t y   of   Co m put e r s   a nd   A r t i f i c i a l   I n t e l l i ge n c e   B e n i - S ue f   U n i v e r s i t y ,   B e n i - S ue f ,   E gy pt   E m a i l :   ib ra h i m _de s o k y @ fc i s . b s u. e du. e g       1.   I N TR O D U C TI O N   E duc a t i o n   pl a y s   a   c r uc i a l   r o l e   i s h a p i n t h e   de v e l o pm e n t   of   a   n a t i o a nd  s i g ni f i c a n t l y   i n f l ue n c e s   s oc i e t a l   t ra j e c t o r i e s .   U n de r s t a n d i n t h e   v a ri o us   e l e m e n t s   t ha t   i m p a c t   e duc a t i o n a l   p a r t i c i pa t i o i s   e s s e n t i a l   f o r   po l i c y m a ke r s   a n d   r e s o ur c e   a l l o c a t i o n   s t r a t e gi e s .   I E gy pt ,   a e vo l v i n de m o gra p h i c   l a nds c a pe   a nd  a m b i t i o us   de ve l o pm e n t a l   a i m s   p r e s e n t   m ul t i pl e   c ha l l e n ge s   t o   t h e   e du c a t i o na l   s y s t e m ,   i n c l ud i n g   e c o n o m i c   di s pa ri t i e s   a n c u l t u ra l   n o rm s   [ 1] - [3 ] .   V a r i o us   f a c t o r s   i n f l ue n c e   e duc a t i o n a l   e nr o l l m e n t   i n   E gy pt ,   i n c l ud i n s o c i o - e c o n o m i c   s t a t us ,   ge n de r ,   a n d   ge o gr a p h i c a l   l o c a t i o n.   I r e c e n t   y e a r s ,   m a c h i n e   l e a rni ng  t e c hn i q ue s   h a v e   e m e r ge d   a s   po w e r f ul   t o o l s   fo r   a n a l y z i n c o m pl e d a t a   pa t t e rn s   a n m a k i n a c c ura t e   p r e di c t i o n s .   T h e s e   t e c hn i que s   ha v e   be e n   s uc c e s s f ul l y   a ppl i e i v a r i o us   f i e l ds ,   i n c l udi ng  e duc a t i o n,   t o   u n c o v e h i dde i n s i g ht s   a n d   i n f o r m   de c i s i o n - m a ki ng  pr o c e s s e s .   H ow e ve r ,   t h e r e   i s   l i m i t e r e s e a r c h   o n   t h e   a pp l i c a t i o n   o f   m a c hi n e   l e a rni n i n   u nde r s t a n d i n g   e duc a t i o na l   e nr o l l m e nt   f a c t o r s   i E gy pt   [ 4 ] ,   [ 5 ] .   T o   f ur t h e e nh a n c e   t h e   u n de r s t a n di ng   o f   e duc a t i o na l   e nr o l l m e nt   f a c t o r s   i E gy pt ,   t h i s   s t udy   w i l l   de l v e   i n t o   t h e   e n s e m b l e   l e a rni n a pp r o a c h .   E n s e m b l e   l e a rni n g   h a s   s h o w n   p r o m i s i n g   pe r f o r m a n c e   a n d   s i g ni f i c a nt   i m p r o v e m e n t s   c o m pa r e t o   t ra di t i o na l   m a c h i n e   l e a rni n Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   9 41 - 9 52   942   a l go ri t hm s   [ 6 ] ,   [ 7 ] .   By   i n c o r po r a t i n g   e n s e m b l e   m e t h o ds   s uc a s   b a ggi n g ,   b oo s t i n g ,   a n d   s t a c ki n g ,   t h e   a n a l y s i s   a i m s   t o   c a pt u r e   t h e   c o m pl e xi t i e s   a nd  i n t e r a c t i o n s   a m o n g   v a ri o us   f a c t o r s   a f f e c t i n e duc a t i o na l   e nr o l l m e n t   [ 1 ] [ 8 ] .   T hi s   c o m p r e h e n s i v e   a pp r o a c h   w i l l   p r o v i de   a   r o b us t   a n nua n c e u nde r s t a n d i n g   o f   t h e   e duc a t i o na l   l a n ds c a pe   i E gy pt ,   o ff e r i n g   i n s i g h t s   t ha t   c a po t e n t i a l l y   dri v e   po l i c y   fo r m ul a t i o a n d   r e s o ur c e   a l l o c a t i o s t ra t e gi e s .   I t hi s   r e s e a r c h ,   w e   m a ke   us e   o f   a   t h o r o ug d a t a s e t   o b t a i n e f r o m   t h e   E gy pt i a D e m o g r a p hi c   a n d   H e a l t S u r v e y   (E D H S ).   T hi s   da t a s e t ,   c a r e f ul l y   a s s e m b l e by   E D H S ,   c ov e r s   a   w i de   ra n ge   o f   f a c t o r s   r e l a t e d   t o   e duc a t i o na l   e nr o l l m e nt   i n   v a r i o us   r e gi o n s   w i t h i n   E gy pt .   T h e   d a t a s e t   i n c l ude s   d a t a   o s o c i oe c o n o m i c   m e a s u r e s ,   de m o gra p hi c   t r a i t s ,   a nd  ge o gr a p hi c   e l e m e nt s   t ha t   c o ul i m pa c t   e duc a t i o na l   e nr o l l m e nt   t r e n ds .   T h e   c o l l e c t i o n   a n c u ra t i o n   o f   t h e   da t a s e t   w e r e   di l i ge n t l y   do n e   by   E D H S   t o   e n s ur e   i t s   r e l i a b i l i t y   a n d   a c c ura c y   fo r   o ur   a na l y s i s .   It   e n c o m pa s s e s   m ul t i p l e   r e g i o n s   w i t h i E gy pt ,   pr o v i di n a   r e p r e s e n t a t i v e   s a m pl e   t ha t   t a ke s   i n t o   a c c o un t   t h e   di v e r s e   s o c i o - c ul t ur a l   a n d   e c o n o m i c   e n v i r o nm e nt   o f   t h e   c o un t r y .   A ddi t i o n a l l y ,   t h e   d a t a s e t   de m o n s t r a t e s   a   n o r m a l   d i s t r i b ut i o n ,   w hi c e nha n c e s   t h e   r o b us t n e s s   o f   o ur   a na l y s i s   e ffo r t s .   By   ut i l i z i n g   t hi s   c o m pr e h e n s i v e   a n d   e xt e n s i v e   da t a s e t ,   w e   a i m   t o   c a rr y   out   a i n - de pt e xpl o ra t i o o f   t h e   de t e rm i na n t s   a f fe c t i n g   e duc a t i o n a l   e nr o l l m e n t   i E gy pt .   O u a n a l y s i s   a i m s   t o   r e v e a l   u n de r l y i n g   p a t t e rn s ,   t r e n ds ,   a n d   c o n n e c t i o n s   w i t h i t h e   da t a   s e t   -   o ff e r i ng   i n s i g ht   i nt o   f a c t o r s   i n f l ue n c i n g   a c c e s s   t o   e duc a t i o a c r o s s   d i f fe r e nt   a r e a s   i E gy pt .   T hr o ug t hi s   i n v e s t i ga t i o n,   w e   a i m   t o   p r o v i de   v a l ua b l e   i n s i g h t s   t ha t   c a s uppo rt   e v i de n c e - b a s e po l i c y m a ki ng  i n i t i a t i v e s   f oc us e o n   p r o m o t i n e qu a l   a c c e s s   t o   e duc a t i o t hr o ug h o u t   E gy pt .   T h e   r e s t   o f   t h i s   p a pe i s   o rga ni z e a s   f o l l ow s :   S e c t i o n   2   de s c r i b e s   t h e   M a t e ri a l s   a n d   m e t h o ds   e m pl oy e i n   t h i s   s t udy ,   i n c l ud i n d a t a   c o l l e c t i o n,   p r e p r o c e s s i ng,   a n d   t h e   e n s e m b l e   l e a rni n g   a l go r i t hm   us e d.   S e c t i o n   i nt r o duc e s   t h e   di f f e r e n t   p r o po s e m o de l s   s ugge s t e i n   t h i s   s t udy   t o   b e   i m pl e m e nt e d.   S e c t i o pr e s e nt s   t h e   r e s ul t s   o f   o ur  a na l y s i s ,   i n c l u di n g   ke y   f i n di n gs   a nd  i n s i g ht s   ga i n e f r o m   t h e   d a t a s e t .   F i na l l y ,   S e c t i o n   5   c o n c l ude s   t h e   p a pe w i t a   s u m m a r y   o f   t h e   m a i n   f i n di ngs   a n d   t h e i i m p l i c a t i o n s   f o e duc a t i o n a l   po l i c i e s   i E gy pt .   T h e   c o n c l us i o o f   t hi s   pa pe u n de r s c o r e s   t h e   i m po r t a n c e   o f   ut i l i z i n g   a c c u r a t e   a n d   c o m pr e h e n s i v e   da t a s e t s   i r e s e a r c t o   ge n e ra t e   i n s i g ht s   t ha t   c a i n f o r m   po l i c y - m a ki n g   a nd  r e s o ur c e   a l l o c a t i o n   s t r a t e gi e s .       2.   M ET H O D   T h i s   s e c t i o p r e s e n t s   t h e   m a t e ri a l s   a n d   t e c hn i que s   us e i o ur  r e s e a r c h,   e s t a b l i s hi n g   t h e   b a s i s   f o a   m e t h o di c a l   a n d   m e t i c ul o us   e xa m i na t i o n   o f   t h e   f a c t o r s   t h a t   i m pa c t   e duc a t i o na l   e nr o l l m e n t   i E gy pt .     2. 1 .     M ac h i n e   l e a r n i n g   al go r i th m   2. 1 . 1.   S u p p o r v e c to r   m ac h i n e   (S V M )     S uppo rt   v e c t o r   m a c hi n e s   a r e   s upe r v i s e l e a rni n a l go r i t hm s   w i t h   s pe c i f i c   l e a rn i ng  a pp r o a c h e s   s ui t a b l e   f o r   c l a s s i f i c a t i o a nd  r e g r e s s i o n   t a s ks .   I s i m pl e t e rm s ,   t h e y   c a n   a l s o   b e   s e e n   a s   d i s c ri m i n a t i v e   c l a s s i f i e r s   t h a t   ut i l i z e   a   u n i que   s e pa ra t i n g   h y pe r pl a n e .   T h i s   h y pe r pl a n e   i s   d ra w i t w o - di m e n s i o n a l   s pa c e   t o   di s t i ngui s b e t w e e n   t w o   c l a s s e s ,   w h e r e   e a c h   s i de   o f   t h e   h y pe r pl a n e   r e p r e s e n t s   a   di f f e r e n t   c l a s s .   T h e   m a i go a l   e xt e n ds   t o   d ra w i n g   a   h y pe r pl a n e   i n   N - di m e n s i o n a l   s pa c e s   (w h e r e   N   c o r r e s po n ds   t o   t h e   n u m b e r   o v a r i a b l e s f o r   e f fe c t i ve   da t a   po i nt   c l a s s i f i c a t i o n .   H y pe r pl a n e s   a r e   po s i t i o n e d   a t   t h e   m a xi m u m   d i s t a n c e   f r o m   da t a   po i n t s   i o r de t o   i m p r o v e   t h e   a c c ur a c y   of   c l a s s i fy i n g   f ut u r e   po i nt s .   F u r t h e rm o r e ,   S V M   ha s   t h e   a b i l i t y   t pe r f o r m   n o n l i n e a c l a s s i f i c a t i o us i ng   t h e   K e rn e l   t ri c k,   w h i c i n v o l ve s   m a p pi n g   da t a   i n t o   hi g h e r - d i m e n s i o n a l   f e a t ur e   s pa c e s   s o   t h a t   i t   c a b e   s e pa r a t e by   a   b i n a r y   c l a s s i f i e r   [ 9 ] .   S V M   w o r ks   by   t r a n s f o r m i ng  i nput   s a m pl e s   f r o m   t h e i r   o r i g i n a l   s p a c e   i n t o   a   hi g h - di m e n s i o n a l   f u n c t i o n   s pa c e   w h i l e   i de n t i fy i n o pt i m a l   h y pe r pl a n e s   a n d   s e l e c t i n g   s a m pl e s   w i t h i t hi s   p r o c e s s .   T h e   m o s t   f a v o r a b l e   s c e n a r i o   o c c ur s   w h e f i n di ng   a o pt i m a l   m a rgi s e pa r a t e s   c l a s s e s   e ffe c t i ve l y   w i t hi n   t h i s   s pa c e ;   h e r e ,   " m a rgi n "   r e f e r s   t o   t h e   a v e ra ge   di s t a n c e   b e t w e e n   pa ra l l e l   p l a n e s   o e i t h e r   s i de   o f   t h e   o pt i m a l   p l a n e ,   w i t h o ut   a n y   s a m pl e   i n s t a n c e s ,   w hi c h   a l l o w s   be t t e r   ge n e ra l i z a t i o n   e rr o b a s e o n   r i s m i ni m i z a t i o n   t h e o r y ,   c o n s i de ri n w i de m a r gi n s   c o rr e l a t e   w i t h   b e t t e f a i l u r e   p r e di c t i o f un c t i o n s ,   m i s c l a s s i f i e s a m pl e s   [ 10 ] .     2. 1 . 2.   R an d o m   f o r e s (R F )   A   ra n do m   f o r e s t   a c t s   a s   a   m e t a - e s t i m a t o f o r m e f r o m   m u l t i pl e   de c i s i o n   t r e e s   w o r ki n t o ge t h e r   a s   a n   e n s e m b l e .   E a c t r e e   i s   c r e a t e i nde pe n de n t l y ,   us i ng  b oo t s t r a pp i n a n d   r a ndo m   s e l e c t i o n   o f   fe a t ur e s ,   w h i c h   l e a ds   t o   a   di v e r s e   s e t   o f   c o rr e l a t e d   t r e e s   w i t h i t h e   f o r e s t   [ 11 ] [ 12 ] .   T h e   c o m b i n e p r e di c t i o o f   t h e s e   t r e e s   t e n ds   t o   b e   m o r e   de pe n d a b l e   t h a t ha t   o f   a n y   s i n g l e   t r e e .   I a   r a ndo m   f o r e s t ,   e a c h   t r e e   c o n t r i b ut e s   t o   pr e di c t i n t h e   c l a s s ,   a n t h e   c l a s s   w i t h   t h e   hi g h e s t   n u m b e r   of   vo t e s   i s   c h o s e n   a s   t h e   m o de l ' s   p r e di c t i o n .   T h e   pow e r   o f   t h e   ra n do m   f o r e s t   m o de l   l i e s   i i t s   c o l l a b o r a t i o a m o n num e r o us   r e l a t i v e l y   un c o rr e l a t e t r e e s ,   fo r m i ng  a   c o m m i t t e e   t ha t   o ut pe r f o r m s   i ndi v i du a l   m o de l s .   R a n do m   f o r e s t s   a r e   a n   i m po rt a nt   e n s e m b l e   t e c hn i q ue   b a s e o n   t h e   CA R T   a l go ri t hm   a n e m p l oy   a   uni que   a p p r o a c h   t o   gr o w   t h e i t r e e s .   I n s t e a o c o n s t r uc t i n g   j us t   o n e   de c i s i o t r e e   f o p r e di c t i o n ,   t h e y   c o m b i n e   m u l t i pl e   t r e e s   i nt o   a   r o b us t   e n s e m b l e   t hr o ug Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Un v e i l i ng  e du c at i ona l   e nr ol l m e n t   f ac t or s   i E g y pt   v i e ns e m bl e   l e ar ni n g   ( F ahad  k am al   A l s he r e f )   943   b a ggi n g - i n v o l v i n g   ra n do m l y   s e l e c t i n g   l a r ge   po r t i o n s   o f   t ra i ni n g   da t a   s a m p l e s   a n d   r e pl a c i n g   t h e m   w i t e qua l l y   s i z e s a m pl e s .   T h e n,   a pp l y i n a   CA R T - l i ke   a l go r i t hm   t o   e a c b oo t s t r a s a m p l e   c o n s t r uc t s   a   de c i s i o n   t r e e   r e s ul t i ng   i v a ri o us l y   c o m po s e s ub s e t s ,   l e a d i n g   to   t h e   c r e a t i o n   of  di s t i n c t   c o l l e c t i o n   v a ri a t i o n s   w i t h i i t   [ 13 ] .     2. 1 . 3.   N e u r al   n e tw o r k   T h e   e xa m i na t i o o f   b e h a v i o r a l   s i m ul a t i o m e t h o ds   i s   a   ke y   fo c us   i t h e   f i e l d   o f   a r t i f i c i a l   i n t e l l i ge n c e   r e s e a r c h.   A ha s   s o ug h t   t o   r e pl i c a t e   t h e   s t r uc t ur e   a n f u n c t i o n s   o f   t h e   h um a n   b r a i s i n c e   t h e   1950s ,   d ra w i n g   i n s p i r a t i o n   f r o m   b ra i r e s e a r c h.   I 1969 ,   M i n s ky   a n d   P a pe r t   de m o n s t r a t e t ha t   t r a i n i ng  a l go ri t hm s   c o ul c a l c u l a t e   l i n e a r l y   s e pa r a b l e   f u n c t i o n s .   H ow e ve r ,   i t   w a s n ' t   u n t i l   19 86   t ha t   R um m e l h a rt   e t   a l .   i n t r o duc e t h e   e rr o r - b a c p r o pa g a t i o n   a l go r i t hm   (b a c kpr o p a ga t i o n),   i ni t i a l l y   pr o po s e by   W e r bo s   i 197 4 ,   w h i c r e v i t a l i z e t h e   s l o w   p r o gr e s s   o f   a r t i f i c i a l   i n t e l l i ge n c e   a t   t ha t   t i m e .   Cu rr e nt l y ,   a dv a n c e hi g h e r - di m e n s i o na l   n e u r a l   n e t w o r ks   s uc h   a s   m ul t i l a y e r   pe r c e pt ro n s   a r e   b e i n g   de v e l o p e fo r   t a s ks   l i ke   pa t t e rn   r e c o gn i t i o n,   i m a ge   p r o c e s s i n g ,   s pe e c h   r e c o gni t i on ,   a s   w e l l   a s   f o r   o pt i m i z i n p r o c e s s e s ,   c o n t r o l l i n g   s y s t e m s ,   a n d i a g n o s i n g   a n d   p r e di c t i ng  v a r i o us   o ut c o m e s   [ 14 ].   N o r m a l l y ,   t h e   m u l t i l a y e r   pe r c e pt r o l e a rn s   by   a dj us t i n g   t h e   w e i gh t s ,   c o nn e c t i o n s ,   a n d   p a r a m e t e r s   o f   a   s e l e c t e a c t i v a t i o f u n c t i o n ,   l i ke   t h e   l o gi s t i c   f u n c t i o n   a ppl i e t o   a l l   l i n ks .   T h e   b a c kp r o pa ga t i o n   a l go r i t h m   i s   us e f o r   t ra i ni n g   t hi s   M L P   [ 15 ] .   I e s s e n c e ,   t h e   a r c hi t e c t u r e   o f   t h e   M L P   c o n s i s t s   o f   31  n e u r o n s   i t h e   i nput   l a y e r ,   16   n e u r o n s   i t h e   f i r s t   hi dde f ul l y   c o n n e c t e l a y e r ,   a nd  o n e   n e u r o i t h e   o ut p ut   l a y e r .   T h e   r e m a i n i ng  hi dde l a y e r   n e u r o n s   a r e   ra n do m l y   i n i t i a l i z e w i t h i a   r a nge   o f   m i nus   o n e   t o   o n e .   D u r i ng  t h e   s upe r v i s e l e a rni n g   p h a s e ,   us i n g   a s s i g n e pr e di c t i o w e i ght s   a n d   p r o b a b i l i t y   e s t i m a t e s   b a s e o p r o vi de t r a i n i ng   d a t a #,   f o r e c a s t s   s t ude n t   o ut c o m e s   [ 15 ] .     = ( ̃   ) 2                   (1)  [ 14 ]       :     E rr o r   o r   l o s s   f un c t i o n   de t e r m i n e a s   t h e   s um   o f   s qua r e s   of   t h e s e   e rr o r s . a e rr o r   t e rm   w hi c m e a s u r e s   di s pa ri t y   b e t w e e n   a c t ua l   s t udy   o ut c o m e   f r o m   t r a i n i n g   d a t a   a n d   t h e   p r e di c t e d   o ut c o m e   f r o m   n e u r a l   n e t w o r k .   ̃    :    O n e   b e n e f i t   o f   s upe r v i s e l e a rni n g   i s   a s s i g ni n g   a   p r e di c t i o a l go ri t hm .      :   a c t ua l   o ut c o m e s ,   t h e   p r o c e s s   i n v o l ve s   i ni t i a l i z i n g   t h e   i n p ut   l a y e r   n e u r o n s   w i t t ra i n i n g   d a t a ,   i n c l udi ng   de t e r m i n a nt   v a ri a b l e s   a s   e xt e rn a l   i n pu t s .   T h e   e rr o r   f un c t i o n   ha s   t h e   b e n e f i t   o f   b e i n c o n t i nuo us l y   di ff e r e n t i a b l e ,   m a k i n i t   e a s i e t o   a dj us t   w e i ght s   du ri n g   t ra i ni n g .   B a c kpr o pa g a t i o t a ke s   a dv a nt a ge   o f   t hi s   b y   o pt i m i z i ng  w e i g h t s   t o   a l l o w   t h e   n e u r a l   n e t w o r t o   m a p   i nput s   t o   o ut put s   e ff e c t i v e l y ,   pr o g r e s s i v e l y   r e duc i n g   t h e   e rr o f un c t i o a t   e a c h   i t e r a t i o n .   A s   a   r e s ul t ,   b a c kp r o pa ga t i o n   ut i l i z e s   e rr o r   v a l ue s   f o r   c o m put i n g   t h e   g ra di e n t   o f   t h e   l o s s   f un c t i o n,   w hi c h   h e l ps   i s e a r c h i n g   f o t h e   m i n i m u m   v a l ue   o f   t h e   e rr o f un c t i o n .   T h e   r e s ul t i n g   w e i ght s   i a   n e u ra l   n e t w o r k   a r e   s i m i l a t o   c o e ff i c i e n t s   i a   l i n e a r e g r e s s i o m o de l ,   b ut   t h e r e   i s   a   c o n s i de ra b l y   l a r ge r   n u m b e r   o f   w e i gh t s   c o m pa r e d   t o   c oe ff i c i e n t s ,   po s i n c ha l l e n ge s   w h e n   i n t e r p r e t i n g   t h e m   w i t h i a   n e u r a l   n e t w o r k   [ 16 ] .     2. 1 . 4.   K - n e a r e s t   n e i gh b o r   (K N N )   In  t h e   f i e l o f   m a c hi n e   l e a rni n a n d   da t a   m i ni n g ,   o n e   w i de l y   us e m e t h o f o r   p r e di c t i o i s   t h e   K - n e a r e s t   n e i g h b o r   t e c hni que .   K n o w n   f o r   i t s   a d a pt a b i l i t y   a n s i m p l i c i t y ,   K N N   c a n   ha n dl e   d i v e r s e   t y p e s   o f   da t a   i t h e   p r e di c t i o p r o c e s s   [ 1 7 ] .   T h e   m e t h o d   w a s   f i r s t   i nt r o duc e by   E .   F i x   a n d   J . L .   H o dge s   i a u n pub l i s h e d   r e po rt   f o t h e   U S   A i F o r c e   S c h o o l   o f   A v i a t i o M e di c i n e   i 1967 ,   w h e r e   t h e y   fo r m a l i z e d   i t s   m a i p r o pe r t i e s   a n o r i g i n a l   c o n c e pt .   K N N   o pe ra t e s   a s   a   l a z y   o r   i n s t a n c e - b a s e m e t h o d ,   w h i c h   m e a n s   i t   do e s   n o t h i ng   t h e   f i e l of   m a c hi n e   l e a rni n a n d   da t a   m i ni n g ,   t h e   K - n e a r e s t   n e i gh b o r   m e t h o i s   w i de l y   us e fo r   p r e di c t i o n.   I t   i s   kn o w n   f o i t s   a da p t a b i l i t y   a n d   s i m pl i c i t y   i ha n d l i n g   v a r i o us   t y pe s   of   da t a   du ri n g   t h e   p r e di c t i o p r o c e s s   [ 18 ] .   T h i s   a pp r o a c h   w a s   i n i t i a l l y   i n t r o duc e by   E .   F i a nd  J . L .   H o dge s   i n   a u n pub l i s h e r e po r t   f o r   t h e   U S   A i r   F o r c e   S c h o o l   of   A v i a t i o M e di c i n e   b a c i n   1967 ,   w h e r e   t h e y   fo r m a l i z e d   i t s   m a i p r o pe r t i e s   a nd  o r i g i n a l   i de a .   K N N   w o r ks   a s   a   l a z y   o r   i n s t a n c e - b a s e m e t h o d,   m e a n i ng  i t   do e s n ' t   r e qui r e   b ui l di ng  a   m o de l   t o   r e p r e s e n t   t h e   u nde rl y i n d i s t r i b ut i o n   a n s t a t i s t i c s   of   t h e   o r i gi n a l   t ra i n i n g   da t a ;   i n s t e a d ,   i t   d i r e c t l y   ut i l i z e s   t h e   t r a i ni n g   da t a   a l o n w i t h   t h e i r   a c t ua l   i n s t a n c e s .   T h e   f o r m a l   de f i n i t i o n   o f   K N N   w a s   l a t e r   p r o v i de by   C ov e r t   a n d   H a r t .   T h e   c l a s s i c   K N N   a l go r i t hm   i s   p ri m a ri l y   ut i l i z e d   f o r   c l a s s i f i c a t i o t a s ks   w i t hi n   s upe r v i s e m a c h i n e   l e a rn i ng  t e c hn i q ue s .   It   us e s   a   f l e xi b l e   pa r a m e t e r   de n o t e a s   " k, "   i n di c a t i ng  t h e   n u m b e r   o f   ' n e a r e s t   n e i g h b o r s '   c o n s i de r e w h e n   o pe ra t i n g   o i de n t i fy i n n e a r e s t   n e i g h b o r (s f r o m   a   gi v e n   que r y   b a s e o n   p r o xi m i t y   w i t h i a   t r a i n i ng  d a t a s e t   [ 19 ] .   O n c e   t h e s e   k   n e a r e s t   n e i g h b o r s   a r e   i d e n t i f i e d,   t h e   m a j o r i t y   v o t i n g   r ul e   i s   e m pl oy e b y   t h i s   a l go ri t hm   t o   de t e r m i n e   w hi c h   c l a s s   o c c ur s   m o s t   f r e que nt l y   a m o ng  t h e m ,   t h us   de s i g na t i n g   t hi s   c l a s s   w i t t h e   h i g h e s t   f r e que n c y   a s   t h e   f i na l   c l a s s i f i c a t i o a s s i g n e d   t o   t ha t   pa rt i c ul a que r y   po i nt   [ 20 ] .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   9 41 - 9 52   944   2. 1 . 5 .   N v e   B ay e s   c l as s i f i e r   A   N a ï v e   B a y e s   c l a s s i f i e r   i s   a   m e t h o t ha t   u t i l i z e s   B a y e s '   t h e o r e m   f o r   b a s i c   p r o b a b i l i s t i c   c l a s s i f i c a t i o n.   I t   o pe r a t e s   u n de t h e   a s s u m pt i o n   t h a t   t h e   p r e s e n c e   o r   a b s e n c e   of   o n e   fe a t ur e   o f   a   c l a s s   i s   i n de pe n de n t   o f   t h e   p r e s e n c e   o a b s e n c e   of   a n y   o t h e f e a t u r e .   T h i s   a p p r o a c a l l o w s   fo r   p r e di c t i n g   t h e   pr o b a b i l i t y   of   a   c l a s s   i f u t u r e   i n s t a n c e s ,   a nd  i t   s h a r e s   s i m i l a r i t i e s   w i t de c i s i o t r e e s   a n d   n e u r a l   n e t w o r ks .   K n o w n   f o i t s   h i g a c c ura c y   a nd   s pe e d,   e s pe c i a l l y   w h e de a l i n g   w i t l a rge   d a t a b a s e s ,   N a ï v e   B a y e s   ha s   a dv a n t a ge s   s uc a s   b e i n g   r e l a t i v e l y   e a s y   t o   c o m pr e h e n d   a nd   i m p l e m e nt .   A dd i t i o na l l y ,   i t   e xc e l s   a t   ge n e ra t i ng  c l a s s   p r e di c t i o n s   m o r e   qui c kl y   t h a o t h e r   c l a s s i f i c a t i o n   a l go ri t hm s   w h i l e   a l s o   b e i n e f fe c t i ve   fo r   t r a i n i ng  w i t s m a l l   d a t a s e t s   [ 21 ] .     2. 1 . 6.   Lo gi s ti c   r e g r e s s i o n   L o gi s t i c   r e g r e s s i o n   i s   a   w e l l - e s t a b l i s h e s t a t i s t i c a l   m o d e l   ut i l i z e f o r   b i na r y   c l a s s i f i c a t i o n   t a s ks .   It   i n v o l ve s   n o n - ra n do m   f u n c t i o n   v a r i a b l e s   a n d   r e p r e s e n t s   t h e   c l a s s   r e s po n s e   t hr o ug a   b i na r y   r a ndo m   v a r i a b l e   w i t s pe c i f i c   p r o b a b i l i t i e s .   T h e   s uc c e s s   p r o b a b i l i t y ,   de n o t e a s   pp ,   de pe n ds   o t h e   f e a t u r e   v a ri a b l e s   a n d   fo r m s   a   l i n e a f un c t i o us i n g   t h e   l o o dds   ra t i o   o r   t h e   l o ga r i t hm   o f   t h e   o dds   r a t i o   o f   pr e di c t o v a r i a b l e s .   L o gi s t i c   r e g r e s s i o n   i n c o r po ra t e s   h y po t h e s i s   t e s t i n g ,   d i v e r s e   e v a l ua t i o n s ,   c a l c ul a t i o n s ,   f i t n e s s   m e a s u r e s   f o r   e a c h   v a r i a b l e ' s   v a l ue ,   a n e m pl o y s   v a r i a b l e   i m po rt a n c e   c h e c ki n f o r   f e a t u r e   s e l e c t i o n   i n   c l a s s i f i c a t i o n.   M o de r c o m put e i m p l e m e nt a t i o n s   o f t e n   i n c l ude   m ul t i p l e   i t e r a t i o n s   o f   s t e ppe v a r i a b l e   s e l e c t i o n   t o   e nha n c e   i t s   e f f e c t i v e n e s s .   D ue   t o   i t s   m a t h e m a t i c a l   s i m i l a ri t y   w i t o r di na r y   m ul t i pl e   r e g r e s s i o n   a n d   a ut o m a t e v a ri a b l e   s e l e c t i o n   e a s e ,   l o gi s t i c   r e g r e s s i o n   r e m a i n s   o n e   o f   t h e   m o s t   c om m o n l y   us e da t a   m i ni n g   m e t h o ds   [ 22 ] .     2 .2 .     En s e m b l e   te c h n i q u e s   E n s e m b l e   m e t h o ds   ut i l i z e   m u l t i pl e   m a c h i n e   l e a rni n g   m o de l s   t o   e nha n c e   o v e r a l l   pe r f o r m a n c e   by   l e v e r a gi n g   t h e   d i v e r s e   pe r s pe c t i v e s   o f   i ndi v i dua l   m o de l s .   T h i s   a p p r o a c h e l ps   m i t i g a t e   b i a s e s   a n d   e rr o r s ,   l e a di n g   t o   m o r e   r e s i l i e nt   a n d   p r e c i s e   p r e di c t i o n s .   T e c hni q ue s   l i ke   b a gg i n g ,   b o os t i ng,   a nd  s t a c ki n g   a r e   s uc c e s s f ul   i c a p t u r i ng  i n t ri c a t e   da t a   r e l a t i o n s h i ps   a nd   i m p rov i n g   p r e di c t i v e   a b i l i t i e s .   By   c o m b i n i ng  o ut pu t s   f r o m   di f f e r e n t   m o de l s ,   e n s e m b l e s   c a n   a c hi e v e   s upe r i o pe r f orm a n c e   c o m pa r e t o   us i n g   a   s i n g l e   m o de l   a l o n e .   T h e s e   w i de l y   a do pt e t e c h ni que s   h a v e   a pp l i c a t i o n s   a c r o s s   do m a i n s   s uc h   a s   c l a s s i f i c a t i o n,   r e g r e s s i o n ,   a nd  a n o m a l y   de t e c t i o n   f o r   a c h i e v i n g   c ut t i n g - e dge   o ut c o m e s   [ 23 ] E n s e m b l e   m e t h o ds ,   s uc h   a s   b a ggi ng,   v o t i n g ,   a n s t a c ki n g ,   a r e   w i de l y   us e i m a c hi n e   l e a rni n g .   B a gg i n g   i n v o l ve s   t ra i ni n m ul t i p l e   m o de l s   i pa ra l l e l   o di f fe r e nt   s ub s e t s   o f   t h e   t ra i ni n g   d a t a   a n d   t h e n   c o m b i n i n g   t h e i p r e di c t i o n s   t hr o ug h   a v e r a g i n g   o r   v o t i n g   [ 24 ] .     2 . 2 . 1 .   V o ti n g   V o t i n g   e n s e m b l e   m e t h o ds   i m a c hi n e   l e a rni n g   i t h e   f i e l d   o f   m a c h i n e   l e a rni n g ,   v o t i n g   e n s e m b l e   t e c hn i q ue s   a r e   po w e r f ul   m e t h o ds   us e t o   i n t e g ra t e   t h e   p r e d i c t i o n s   f r o m   m u l t i pl e   b a s e   m o de l s   f o r   m a k i n g   a   f i n a l   de c i s i o n ,   a s   s h o w n   i n   F i gu r e   1 .   T h e s e   m e t h o ds   a r e   pa rt i c ul a r l y   e ff e c t i v e   i n   c l a s s i f i c a t i o n   a s s i g nm e nt s .   T h e   e n s e m b l e   t y pi c a l l y   c o m pri s e s   di v e r s e   b a s e   m o de l s ,   e a c h   t ra i n e o n   a   s ub s e t   o f   t r a i ni n da t a   o us i n g   di f fe r e nt   a l go ri t hm s .   D u r i ng  i n f e r e n c e ,   e a c h   b a s e   m o de l   i n de pe n de nt l y   fo r e c a s t s   t h e   c l a s s   l a b e l   f o r   a   gi v e n   i n put ,   a n d   t h e   u l t i m a t e   p r e di c t i o n   i s   m a de   t hr o ug h   a   v o t i n g   m e c h a ni s m .   T h e r e   e xi s t   v a r i o us   t y pe s   of   vo t i ng  s t ra t e gi e s ,   s uc a s   m a j o ri t y   vo t i n g   -   w h e r e   t h e   m o s t   f r e que nt l y   pr e di c t e c l a s s   l a b e l   i s   c h o s e n ,   a n d   w e i gh t e d   vo t i ng  -   w h e r e   e a c h   m o de l ' s   p r e di c t i o c a rr i e s   w e i g h t   b a s e o i t s   pe r f o r m a n c e   o c o n f i de n c e   l e v e l .   V o t i ng  e n s e m b l e   t e c hni que s   l e v e r a ge   i n d i v i dua l   m o de l s '   c o l l e c t i v e   k n o w l e dge   t o   e nh a n c e   p r e di c t i v e   a c c ur a c y   a nd  r e s i l i e n c e   by   m i t i ga t i n g   b i a s e s   a n d   e rr o r s   i nh e r e nt   i n   a n y   s i n gl e   m o de l .   T h e y   f i n w i de   a ppl i c a t i o n   a c r o s s   di f fe r e nt   do m a i n s   a n d   ha v e   s h o w n   c o n s i de r a b l e   s uc c e s s   i e nha n c i n g   c l a s s i f i c a t i o n   pe r f o r m a n c e   [25] .     2 . 2 . 2 .   S tac k i n g   S t a c ki n g   e n s e m b l e   m e t h o ds ,   a l s o   r e f e r r e d   t o   a s   s t a c ke ge n e ra l i z a t i o n ,   p r e s e nt   a   r o b us t   a pp r o a c i e n s e m b l e   l e a rn i ng  by   a m a l ga m a t i ng  p r e d i c t i o n s   f r o m   m ul t i pl e   b a s e   m o de l s .   I n   c o n t ra s t   t o   c o n v e n t i o na l   vo t i ng  t e c hni que s ,   s t a c ki ng   e nt a i l s   t ra i ni n g   a   m e t a - l e a rn e ( b l e n de o c o m b i n e r )   t ha t   e f fe c t i ve l y   i nt e g r a t e s   t h e   o ut put s   o f   t h e   b a s e   m o de l s   s h o w n   i F i gu r e   2 .   T h e   p r o c e s s   i n v o l ve s   di v i di n t h e   d a t a s e t   i nt o   t ra i ni n g   a nd  v a l i da t i o s e t s .   S ub s e que n t l y ,   b a s e   m o de l s   a r e   t ra i n e d   o t h e   t r a i n i ng   s e t   t o   ge n e r a t e   p r e d i c t i o n s   f o t h e   v a l i da t i o s e t .   T h e s e   p r e di c t i o n s   f un c t i o a s   f e a t u r e s   f o r   t he   m e t a - l e a rn e r ' s   i n put   [ 26 ] .   F o l l o w i n g   t h i s ,   t h e   m e t a - l e a rn e r   i s   t ra i n e o n   t h e   v a l i d a t i o n   s e t   us i n g   t h e s e   p r e di c t e v a l ue s   f r o m   v a ri o us   b a s e   m o de l s   a l o n g   w i t h   t r ue   l a b e l s   a s   t a r ge t s .   T h e   r o l e   o f   t h i s   l e a rn e l i e s   i u n de r s t a n d i n g   h o w   t o   w e i gh  a nd  i n t e g ra t e   s uc m o de l   pr e di c t i o n s   a de pt l y   w h i l e   m a xi m i z i n g   t h e i s t r e n gt h s   a n d   m i n i m i z i n g   w e a kn e s s e s .   D u ri n i n f e r e n c e   s t a ge s ,   n e w   da t a   u n de r go e s   p r e di c t i o n   ge n e r a t i o n   v i a   b a s e   m o de l s ;   t h e s e   a r e   t h e a gg r e g a t e d   by   a   t r a i n e m e t a - l e a rn e t o   de ri v e   a n   ul t i m a t e   p r e di c t i o n   [ 24 - 26 ] .   N o t a b l y   b e n e f i c i a l   a t t ri b ut e s   o f   s t a c ki ng  e n s e m b l e   m e t h o ds   e n c o m pa s s   t h e i c a pa b i l i t y   t o   c a pt u r e   i nt r i c a t e   d a t a   r e l a t i o n s hi ps   a n d   po t e nt i a l l y   s ur pa s s   i ndi v i du a l   b a s i c   m o de l   pe r f o r m a n c e s .   N o n e t h e l e s s ,   t h e y   n e c e s s i t a t e   m e t i c ul o us   t u n i ng   a nd   e nt a i l   hi g h e c o m put a t i o n a l   c o s t s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Un v e i l i ng  e du c at i ona l   e nr ol l m e n t   f ac t or s   i E g y pt   v i e ns e m bl e   l e ar ni n g   ( F ahad  k am al   A l s he r e f )   945   c o m pa r e t o   s i m p l e v o t i n g   a pp r o a c h e s .   N e v e r t h e l e s s ,   s t a c ki n ha s   de m o n s t ra t e d   h i g e f fe c t i ve n e s s   i n   e nh a n c i ng  p r e di c t i v e   o ut c o m e s   a c r o s s   di v e r s e   m a c h i n e   l e a rni n g   t a s ks   a n d   do m a i n s   [ 27 ] .           F i gu r e   1 .   E n s e m b l e   (V o t i n g)   [ 25 ]     2 . 2 . 3 .   B ag gi n g   E n s e m b l e   T e c hn i q ue :   B a ggi ng,   a l s o   k n o w n   a s   B oo t s t ra p   A gg r e ga t i n g ,   i s   a   r o b us t   m e t h o i n   e n s e m b l e   l e a rn i ng  t ha t   i s   e m pl o y e t o   e n ha n c e   p r e di c t i v e   a c c ur a c y   a n d   m i t i ga t e   o ve r f i t t i ng.   I n   t h i s   t e c hni que ,   s e v e r a l   i n d i v i dua l   b a s e   m o de l s   a r e   t ra i n e d   o n   d i s t i n c t   b oo t s t r a s a m pl e s   o f   t h e   t r a i n i ng  d a t a s e t .   T h e s e   s a m pl e s   a r e   c r e a t e by   ra n do m l y   s e l e c t i n g   d a t a   po i nt s   w i t r e pl a c e m e n t   [ 23 ] D u ri n g   t h e   t ra i ni n g   p r o c e s s ,   e a c h   b a s e   m o de l   i s   t ra i n e t o   m a ke   p r e di c t i o n s   o a   s pe c i f i c   boo t s t ra s a m p l e ,   w hi c i nt r o duc e s   v a ri a b i l i t y   a m o ng   t h e   m o de l s .   T hi s   v a ri a t i o n   a i ds   i m i n i m i z i ng   t h e   v a r i a n c e   i i n d i v i dua l   m o de l s   a nd   l o w e r s   t h e   po t e n t i a l   f o o v e r f i t t i n g   t o   t h e   t ra i ni n g   d a t a ,   a s   s h o w n   i F i gu r e   3   [ 6 ] T h e   b a ggi ng   e n s e m b l e   c o m b i n e s   pr e di c t i o n s   f r o m   t h e   b a s e   m o de l s   us i n g   a v e ra gi ng  o r   v o t i n g   t o   p r o duc e   t h e   f i n a l   p r e d i c t i o n,   t h e r e b y   e nh a n c i ng  t h e   o v e r a l l   a c c ura c y   a n d   r e s i l i e n c e   o f   t h e   e n s e m b l e   m o de l   [ 8 ] .   B a gg i n g   i s   m o s t   b e n e f i c i a l   w h e pa i r e d   w i t h   hi g h - v a ri a n c e ,   l o w - b i a s   m o de l s   l i ke   de c i s i o n   t r e e s .   It   i n v o l v e s   t ra i ni n g   n u m e r o us   t r e e s   o n   d i v e r s e   s ub s e t s   o f   t h e   d a t a   a n d   t h e a v e ra gi ng  t h e i p r e di c t i o n s .   T h i s   p r o c e s s   r e s ul t s   i a   m o r e   de pe nda b l e   a nd  pr e c i s e   m o de l   c o m pa r e t o   us i n g   a   s i ngl e   de c i s i o t r e e   [ 23 ] .             F i gu r e   2 .   E n s e m b l e   (S t a c ki ng)   [ 26]   F i gu r e   3 .   E n s e m b l e   (B a ggi n g )   [ 23 ]       3.   P R O P O S ED   M O D EL   In  t hi s   s e c t i o n ,   w e   pr e s e nt   t h e   f i n d i n gs   o f   a   s e r i e s   o f   e xp e r i m e nt s   c a rr i e o ut   t o   a s s e s s   di f fe r e n t   m a c h i n e   l e a rni n g   a p p r o a c h e s   f o r   s o l v i n g   a   s pe c i f i c   t a s k .   F i v e   s e pa r a t e   p r o po s e m o de l s   w e r e   c o n duc t e t o   e xpl o r e   v a ri o us   m e t h o do l o gi e s   a n d   t e c hni que s .   I n i t i a l l y ,   t ra di t i o n a l   M L   a l go r i t hm s   w e r e   ut i l i z e t o   e s t a b l i s h   a   b a s e l i n e   pe r f o r m a n c e .   T h e n ,   e n s e m b l e   l e a rni n g   t e c hn i qu e s   s uc h   a s   m o de l   v o t i n g,   b a gg i n g,   a n d   s t a c ki n g   w e r e   i n v e s t i ga t e i n   t h e   s e c o n e xpe ri m e nt   t o   e v a l ua t e   t h e i e ff e c t i v e n e s s   i n   i m p r o v i n p r e di c t i v e   a c c ura c y .   T h e   t hi r d   a nd  f o ur t p r o po s e m o de l s   f oc us e o n   a n a l y z i n g   t h e   i n d i v i dua l   pe r f o r m a n c e s   o f   b a ggi n g   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   9 41 - 9 52   946   vo t i ng  m e t h o ds ,   r e s pe c t i v e l y .   L a s t l y ,   t h e   f i f t h   e xpe r i m e n t   i s   a   m ul t i - s t a ge   e n s e m b l e   c o m b i n i n g   b a gg i n g   a nd  vo t i ng   t e c hni que s   i a   n o v e l   h y b r i d   a pp r o a c w i t t h e   o b j e c t i v e   of   l e v e r a gi n g   b o t p a ra di g m s '   s t r e n g t h s .   T h e s e   m o de l s   a r e   t e s t e t o   p r o v i de   i n s i g h t s   i nt o   t h e   e f f e c t i v e n e s s   a n d   c o m pa r a t i v e   b e n e f i t s   o f   t h e s e   M L   m e t h o do l o gi e s   f o r   a dd r e s s i n g   o ur  t a s k   a t   ha n d .   T h e   p r o po s e m o de l s   a r e   de s c ri b e i n   F i gu r e s   4 -   a s   s h o w n   b e l ow :     3. 1 .     Tr ad i ti o n al   M L   p r o p o s e d   m o d e l   In  t hi s   p r o po s e m o de l ,   w e   e xe c ut e e a c h   a l go r i t h m   s e pa ra t e l y   a nd  a s s e s s e t h e   m e t ri c s   f o r   e a c o n e   t o   i de n t i fy   t h e   f a c t o r s   t ha t   i n f l ue n c e   l e a rn i ng   pa rt i c i pa t i o n.   W e   e xe c ut e e a c a l go r i t hm   s e pa r a t e l y   i o r de t o   a s s e s s   t h e   m e t r i c s   f o r   e a c o n e   a n d   i de n t i fy   t he   f a c t o r s   t h a t   i n f l ue n c e   l e a rn i ng  p a r t i c i pa t i o n .   F urt h e rm o r e ,   w e   c o n duc t e d   s t a t i s t i c a l   a na l y s e s   t o   de t e r m i ne   t h e   s i g ni f i c a n c e   o f   t h e s e   f a c t o r s   i p r e di c t i ng  l e a rn i ng  e nr o l l m e nt   a n d   pe r f o r m a n c e .           F i gu r e   4 .   T r a di t i o na l   M L   m o de l   f o r   de t e rm i ni n l e a rni n g   e nro l l m e nt   i n   E gy pt         3. 2 .     En s e m b l e   (V o ti n g)  p r o p o s e d   m o d e l   In  t hi s   p r o po s e m o de l ,   w e   fo c us e o n   e n s e m b l e   v o t i n g   f o r   M L   a l go ri t hm s   a n d   a n a l y z e i t s   pe r f o r m a n c e   m e a s u r e s   t o   u n c o ve r   t h e   v a ri a b l e s   t h a t   i m p a c t   pa r t i c i pa t i o n   i n   l e a rn i ng.   W e   c o m pa r e t h e   pe r f o r m a n c e   m e t ri c s   w i t h   t h o s e   o f   o t h e r   p r o po s e m o de l s   t o   de t e r m i n e   i f   t h e r e   a r e   e nha n c e m e nt s   b e t w e e n   t r a d i t i o n a l   m e t h o ds   a n d   e n s e m b l e   m e t h o ds .   A dd i t i o na l l y ,   w e   i de nt i f i e i m po rt a nt   f a c t o r s   i n f l ue n c i n i n v o l ve m e n t   i l e a rni n g   a c t i v i t i e s .           F i gu r e   5 .   E n s e m b l e   (V o t i n g)   m o de l   f o r   de t e r m i n i ng  l e a rn i ng  e nr o l l m e nt   i n   E gy pt       3. 3 .     En s e m b l e   ( B ag gi n g)   p r o p o s e d   mo d e l   In  t h i s   p r o po s e m o de l ,   w e   ut i l i z e b a gg i n g   e n s e m b l e   t e c hn i q ue s   f o r   e a c i ndi v i du a l   m a c h i n e   l e a rn i ng  a l go ri t hm   a n d   e v a l ua t e t h e   pe r f o r m a n c e   m e a s u r e s   t o   de t e r m i n e   t h e   f a c t o r s   a f f e c t i n g   e nga ge m e n t   i l e a rn i ng.   E a c h   a l go r i t h m   w a s   r u w i t h   a   b a ggi n g   e n s e m b l e   s e pa ra t e l y   t o   a na l y z e   t h e   pe r f o r m a n c e   m e t ri c s   a n d   i de nt i fy   t h e   de t e r m i n a nt s   o f   pa r t i c i pa t i o n   i n   l e a rni n g   a c t i v i t i e s .   A   c o m pa r i s o n   w a s   m a de   b e t w e e n   t h e   pe r f o r m a n c e   m e t ri c s   of   t hi s   p r o po s e m o d e l   a nd  o t h e r s   t o   a s c e r t a i n   a n y   i m pr o v e m e n t s   ga i n e f r o m   us i ng  t r a d i t i o n a l   m e t h o ds   v e r s u s   e n s e m b l e   m e t h o ds .   F u rt h e r m o re ,   s i g n i f i c a n t   f a c t o r s   i m pa c t i n i n v o l ve m e n t   i n   l e a rn i ng  a c t i v i t i e s   w e r e   i de nt i f i e du ri n g   t h e   a na l y s i s .     M L   A lg o r it h m : 1 - Su p p o r t   v e c t o r   M a c h in e   ( SV M   ) 2 - R a n d o m   Fo r r e s t   ( R F ) 3 - N e u r a N e t w o r k 4 - K - N e a r e s t   N e ig h b o r   ( K N N ) 5 - N a ïv e   B a y e s   C la s s ifie r 6 - L o g is t ic   R e g r e s s io n L e a r n in g   P r o c e s s D a t a s e t T r a i n i n g   D a t a   i n c l u d e   l a b e l s E v a lu a t io n   P r o c e s s D a t a s e t T e s t   D a t a   i n c l u d e   l a b e l s Q u a lit y   M e t r ic e s E x t r a c t   t h e   m o s t     E d u c a t io n a l   E n r o llm e n t   fa c t o r s   S t a r t E N D Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Un v e i l i ng  e du c at i ona l   e nr ol l m e n t   f ac t or s   i E g y pt   v i e ns e m bl e   l e ar ni n g   ( F ahad  k am al   A l s he r e f )   947   3. 4 .     En s e m b l e   (S tac k i n g)  p r o p o s e d   mo d e l   In  t hi s   s t udy ,   w e   e m pl oy e s t a c ki n e n s e m b l e   m e t h o ds   t o   m e r ge   p r e di c t i o n s   f r o m   m ul t i p l e   m a c hi n e   l e a rn i ng  a l go ri t hm s   a n a s s e s s e t h e i r   c o m b i n e pe r f o rm a n c e   m e t ri c s   i n   o r de t o   i de n t i fy   t h e   f a c t o r s   i n f l ue n c i n g   e n g a ge m e nt   i l e a rn i ng.   T h e   e n s e m b l e   m o de l ,   c r e a t e d   by   c o m b i n i ng   o ut put s   f r o m   v a r i o us   b a s e   l e a rn e r s ,   w a s   t r a i n e t o   c o m pr e h e nd  t h e   i nt r i c a t e   r e l a t i o n s hi ps   w i t h i n   t h e   da t a   a n ge n e r a t e   p r e c i s e   pr e di c t i o n s .   T hr o ug t hi s   m e t h o d,   w e   e v a l ua t e t h e   o v e r a l l   e f fe c t i ve n e s s   o f   us i n g   s t a c ki ng   e n s e m b l e s   t o   e nh a n c e   l e a rn i ng  p a r t i c i pa t i o n .   A dd i t i o n a l l y ,   w e   c o m pa r e d   t h e   pe r f o r m a n c e   m e t r i c s   o f   t h e   s t a c ki n g   e n s e m b l e   w i t h   t h o s e   of   c o n ve n t i o n a l   m e t h o ds   t o   de t e r m i n e   a n y   n o t a b l e   i m p r o v e m e n t s .   O u a na l y s i s   a l s o   a i m e a t   un c o v e r i ng  f a c t o r s   t ha t   a f f e c t   pa rt i c i p a t i o n   i l e a rni n g   a c t i v i t i e s   us i n g   t h e   s t a c ki n g   e n s e m b l e   m e t h o do l o g y .           F i gu r e   6.   E n s e m b l e   (B a ggi n g m o de l   f o r   de t e rm i ni n g   l e a rni ng  e nr o l l m e n t   i E gy pt           F i gu r e   7 .   E n s e m b l e   (S t a c ki ng)   m o de l   f o r   de t e r m i n i ng  l e a rn i n e nr o l l m e n t   i E gy pt           F i gu r e   8 .   E n s e m b l e   (B a ggi n g   a n V o t i ng)  m o de l   f o r   de t e r m i ni n g   l e a rni n g   e nr o l l m e n t   i E gy pt   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   9 41 - 9 52   948   3. 5 .     M u l ti - s ta ge   e n s e m b l e   (V o ti n an d   B agg i n g)   p r o p o s e d   m o d e l   In  t h i s   p r o po s e m o de l ,   w e   ut i l i z e d   a   m u l t i - s t a ge   e n s e m b l e   s t ra t e gy   t h a t   i n c o r po r a t e b a gg i n g   f o r   e a c h   i n di v i du a l   m a c hi n e   l e a rni n g   a l go ri t hm ,   f o l l ow e by   a   v o t i n m e c ha n i s m .   I n i t i a l l y ,   b a ggi n g   w a s   us e i n de pe n de n t l y   fo r   e a c a l go ri t hm   t o   ge n e r a t e   d i v e r s e   s e t s   o m o de l s   t r a i n e d   o di f f e r e n t   s ub s e t s   o f   t h e   d a t a .   S ub s e que n t l y ,   t h e s e   b a gge m o de l s   w e r e   c o m b i n e us i ng  a   vo t i ng  s c h e m e   t o   p r o duc e   c o l l e c t i v e   pr e di c t i o n s .   W e   a i m e t o   t a ke   a dv a n t a ge   o f   bo t h   b a ggi ng  a nd  v o t i n t e c hn i q ue s   t o   i m p r o v e   pr e di c t i v e   pe r f o r m a n c e   a n d   r o b us t n e s s .   O u r   a s s e s s m e n t   f o c us e o n   a na l y z i ng  t h e   c o m b i n e i m p a c t   o f   b a ggi n a n v o t i n i e nha n c i ng  l e a rn i ng  e n ga ge m e nt .   A ddi t i o na l l y ,   w e   c o n duc t e a   c o m pa r a t i v e   a n a l y s i s   t o   e v a l ua t e   t h e   pe r f o r m a n c e   m e t ri c s   of   t hi s   e n s e m b l e   a pp r o a c a g a i n s t   c o n v e n t i o n a l   m e t h o ds ,   p r o v i di n i n s i g ht s   i nt o   i t s   e ff e c t i v e n e s s   i i de nt i fy i n g   f a c t o r s   i n f l ue n c i n g   l e a rni n g   p a r t i c i pa t i o n.       4.   R ES U LTS   A N D   D I S C U S S I O N     W e   s h o w c a s e   t h e   o ut c o m e s   of   o ur   s ugge s t e m o de l s ,   s t a r t i ng  w i t e xe c ut i n e a c h   m a c h i n e   l e a rn i ng  a l go ri t hm   s e pa ra t e l y   a nd  s ub s e que n t l y   e m pl oy i n e n s e m b l e   l e a rn i ng  m e t h o ds   l i ke   b a ggi ng  a n s t a c ki n g   f o r   v a r i o us   M L   a l go r i t h m s .   F o l l o w i n t h e   i nt e g r a t i o o f   b a ggi n g   f o r   e a c s pe c i f i c   a l go ri t hm ,   w e   i nt r o d uc e a   vo t i ng  s y s t e m   t o   c o n s o l i da t e   p r e d i c t i o n s .   F i n a l l y ,   w e   a na l y z e t h e   i n f l ue n t i a l   e l e m e nt s   i m p a c t i n g   e nr o l l m e nt   i n   e duc a t i o e xt ra c t e f r o m   t h e   p r o po s e m o de l s .     4. 1 .     Ex p e r i m e n t   r e s u l ts   o m ac h i n e   l e a r n i n g   al go r i th m   m o d e l s   T a b l e   1   p r e s e n t s   t h e   pe r f o r m a n c e   o f   s i m a c h i n e   l e a rni ng  a l go r i t hm s   i p r e di c t i n e duc a t i o n a l   e nr o l l m e nt   r a t e s   i n   E gy pt .   S V M   a c h i e v e 77. 95%  a c c ura c y ,   w i t 80 . 72%  p r e c i s i o n   a nd  82 . 66 r e c a l l .   R a n do m   f o r e s t   a t t a i n e d   78 . 08%   a c c ur a c y ,   w i t 7 5. 8 7%   p r e c i s i o n   a n d   n o t a b l y   hi g 92 . 06 r e c a l l .   N e u ra l   n e t w o r m o de l s   s h o w e pr o m i s e   w i t 79. 87%   a c c ur a c y ,   83 . 30%   p r e c i s i o n ,   a n d   8 2. 2 %   r e c a l l .   K N N   r e a c h e 80. 27 a c c ura c y ,   80 . 37%   p r e c i s i o n,   a n d   8 7. 87 %   r e c a l l .   N a ï v e   B a y e s   c l a s s i f i e a n d   l o gi s t i c   r e g r e s s i o di s pl a y e s i m i l a r   a c c ura c i e s   (79. 08 a n 80 . 10 %,   r e s pe c t i v e l y a nd  c l o s e l y   m a t c h e p r e c i s i o n   a nd  r e c a l l   s c o r e s .   B a s e o n   t h e   p r o v i de m e t ri c s ,   i t   a ppe a r s   t ha t   K N N   de m o n s t r a t e s   t h e   m o s t   b a l a n c e pe r f o r m a n c e   a m o ng   t h e   e v a l ua t e d   m a c h i n e   l e a rni n g   a l go r i t h m s   f o r   p r e di c t i n g   e duc a t i o na l   e nr o l l m e nt   r a t e s   i E gy p t .   W i t a n   a c c ura c y   of   80. 27% ,   K N N   a c h i e v e s   c o m pe t i t i v e   pe r f o r m a n c e   i c o rr e c t l y   c l a s s i fy i n e nr o l l m e n t   s t a t us e s .   A ddi t i o n a l l y ,   K N N   e x h i b i t s   b a l a n c e p r e c i s i o n   (80 . 37%)   a n d   r e c a l l   ( 87. 87%) ,   s u gge s t i n g   i t s   a b i l i t y   t o   m i ni m i z e   b o t f a l s e   po s i t i v e s   a n d   f a l s e   n e ga t i v e s   e ffe c t i ve l y .       T a b l e   1.   R e s ul t s   o f   t ra d i t i o a l   m a c h i n e   l e a rni n g   a l go r i t hm s   M o d e l   A c c u ra c y   P re c i s i o n   Re c a l l   M e a s u r e   A U C   Cl a s s i fi c a t i o n   e rr o r   S e n s i t i v i t y   S t a n d a rd   d e v i a t i o n   1 - S V M   7 7 . 9 5 %   8 0 . 7 2 %   8 2 . 6 6 %   8 1 . 6 7 %   8 0 . 5 4 %   2 2 . 0 5 %   8 2 . 6 6 %   0 . 7 0 %   2 - RF   7 8 . 0 8 %   7 5 . 8 7 %   9 2 . 0 6 %   8 3 . 1 9 %   8 6 . 7 6 %   2 1 . 9 2 %   9 2 . 0 6 %   0 . 5 9 %   3 - N e u ra l   n e t w o rk   7 9 . 8 7 %   8 3 . 3 0 %   8 2 . 2 2 %   8 2 . 7 6 %   8 7 . 6 8 %   2 0 . 1 3 %   8 2 . 2 2 %   0 . 5 9 %   4 - K N N   8 0 . 2 7 %   8 0 . 3 7 %   8 7 . 8 7 %   8 3 . 9 5 %   8 8 . 1 3 %   1 9 . 7 3 %   8 7 . 8 7 %   0 . 5 7 %   5 - N a ï v e   Ba y e s   c l a s s i fi e r   7 9 . 0 8 %   7 9 . 8 9 %   8 6 . 1 5 %   8 2 . 9 0 %   8 5 . 8 3 %   2 0 . 9 2 %   8 6 . 1 5 %   0 . 4 7 %   6 - L o g i s t i c   r e g r e s s i o n   8 0 . 1 0 %   7 9 . 6 8 %   8 8 . 8 8 %   8 4 . 0 3 %   8 7 . 6 5 %   1 9 . 9 0 %   8 8 . 8 8 %   0 . 7 0 %       4. 2 .     Ex p e r i m e n t   r e s u l ts   o th e   e n s e m b l e   v o ti n m o d e l   T h e   e n s e m b l e   v o t i n m o de l   p r e s e nt s   c o m pe l l i n r e s ul t s   i n   p r e di c t i n e duc a t i o na l   e nr o l l m e nt   r a t e s   i n   E gy pt .   T a b l e   2   s h o w s   a n   a c c ura c y   of   82. 13 % ;   t h e   m o de l   d e m o n s t r a t e s   i t s   c a p a b i l i t y   t o   a c c ur a t e l y   c l a s s i f y   e nr o l l m e nt   s t a t us e s .   A d di t i o na l l y ,   a c h i e v i n a   p r e c i s i o o f   79. 22%  i n d i c a t e s   i t s   p r o f i c i e n c y   i c o r r e c t l y   i de nt i fy i n e nr o l l e s t u de nt s   a m o n t h e   p r e di c t e po s i t i v e s .   T h e   m o de l ' s   r e c a l l   s c o r e   o f   76. 11%  s ugge s t s   i t s   e ffe c t i ve n e s s   i n   c a pt u r i ng  a   s i g ni f i c a n t   p r o po rt i o o f   e n r o l l e s t ude n t s   o ut   o f   a l l   a c t u a l   e nr o l l e s t ude n t s ,   t h e r e by   m i ni m i z i n g   f a l s e   n e ga t i v e s .   T h e s e   o ut c o m e s   hi g h l i ght   t h e   e n s e m b l e   v o t i n g   m o de l ' s   r o b us t n e s s   a nd  b a l a n c e pe r f o r m a n c e ,   o f fe r i n g   v a l u a b l e   i n s i g ht s   i nt o   e du c a t i o na l   e nr o l l m e nt   dy n a m i c s   a n d   p r o v i di n g   a   fo un da t i o n   f o r   i n f o r m e po l i c y m a ki n i E gy pt .     4. 3 .     Ex p e r i m e n t   r e s u l ts   o th e   e n s e m b l e   b a ggi n g   m o d e l   T h e   e n s e m b l e   B a ggi ng  M o de l   a c hi e v e s   a n   a c c ura c y   of   82. 75 %   a s   s h o w n   i T a b l e   3 ,   w i t a   p r e c i s i o of   85. 25% ,   i ndi c a t i n i t s   p r o f i c i e n c y   i n   a c c ura t e l y   i de n t i fy i n e nr o l l e s t ude n t s .   W h i l e   i t s   r e c a l l   s c o r e   of  70. 42 %   s ugg e s t s   s o m e   m i s s e d   e nr o l l m e n t s ,   i t   m a i n t a i n s   a   b a l a n c e F - m e a s u r e   o f   77. 0 6%.   W i t a A U C   s c o r e   o f   85. 10%  a nd  l o w   c l a s s i f i c a t i o n   e rr o r   o f   17. 25% ,   t h e   m o de l   de m o n s t ra t e s   i t s   e ff e c t i v e n e s s   i Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Un v e i l i ng  e du c at i ona l   e nr ol l m e n t   f ac t or s   i E g y pt   v i e ns e m bl e   l e ar ni n g   ( F ahad  k am al   A l s he r e f )   949   di s t i ngui s hi n b e t w e e n   po s i t i v e   a n d   n e ga t i v e   c a s e s .   It s   h i g h   s e n s i t i v i t y   s c o r e   of   81. 89%  a n l o w   s t a n d a r de v i a t i o o f   0. 63%  f u r t h e a f f i rm   i t s   r e l i a b i l i t y   a n c o n s i s t e nc y   i n   p r e di c t i ng  e nr o l l m e nt   p a t t e rn s .       T a b l e   2.   R e s ul t s   o f   t h e   e n s e m b l e   v o t i n g   m o de l   M o d e l   A c c u ra c y   P re c i s i o n   Re c a l l   M e a s u r e   A U C   Cl a s s i fi c a t i o n   e rr o r   S e n s i t i v i t y   S t a n d a rd   d e v i a t i o n   E n s e m b l e   v o t i n g   m o d e l   8 2 . 1 3 %   7 9 . 2 2 %   7 6 . 1 1 %   7 7 . 5 0 %   8 3 . 8 0 %   1 7 . 8 7 %   8 2 . 8 9 %   0 . 6 0 %       T a b l e   3 .   R e s ul t s   o f   t h e   e n s e m b l e   b a ggi ng  m o de l   M o d e l   A c c u ra c y   P re c i s i o n   Re c a l l   M e a s u r e   A U C   Cl a s s i fi c a t i o n   e rr o r   S e n s i t i v i t y   S t a n d a rd   d e v i a t i o n   E n s e m b l e   b a g g i n g   m o d e l   8 2 . 7 5 %   8 5 . 2 5 %   7 0 . 4 2 %   7 7 . 0 6 %   8 5 . 1 0 %   1 7 . 2 5 %   8 1 . 8 9 %   0 . 6 3 %       4. 4 .     Ex p e r i m e n t   r e s u l ts   o e n s e m b l e   s ta c k i n g   m o d e l   T h e   e n s e m b l e   s t a c ki n g   m o de l ' s   s t r o n g   pe r f o r m a n c e   m e t r i c s ,   a s   s h o w n   i n   T a b l e   4 ,   hi g hl i g ht   i t s   pr o f i c i e n c y   i n   p r e d i c t i n g   e duc a t i o n a l   e nr o l l m e n t   r a t e s   i E g y pt .   A c h i e v i ng  a n   a c c ura c y   of   84. 26 a n d   a   pr e c i s i o o f   85. 72% ,   t h e   m o de l   de m o n s t ra t e s   i t s   c a p a b i l i t y   i a c c ura t e l y   i de nt i fy i n g   e nr o l l e s t u de nt s .   D e s pi t e   a   r e c a l l   s c o r e   of   70. 42% ,   t h e   m o de l   m a i nt a i n s   a   b a l a n c e F - m e a s u r e   o f   77. 34% .   W i t h   a n   A U s c o r e   of   85. 70%  a n a   l o w   c l a s s i f i c a t i o n   e rr o r   o f   15. 74%,   i t   e f fe c t i v e l y   di s t i n gu i s h e s   b e t w e e n   po s i t i v e   a n n e ga t i v e   c a s e s .   A ddi t i o n a l l y ,   t h e   m o de l ' s   s e n s i t i v i t y   s c o r e   of   82. 87%  a n l o w   s t a n d a r de v i a t i o n   o f   0. 64%  f u r t h e a f f i r m   i t s   r e l i a b i l i t y   a n d   c o n s i s t e n c y   i n   p r e d i c t i n g   e nr o l l m e n t   pa t t e rn s .       T a b l e   4 .   R e s ul t s   o f   t h e   e n s e m b l e   s t a c ki n g   m o de l   M o d e l   A c c u ra c y   P re c i s i o n   Re c a l l   M e a s u r e   A U C   Cl a s s i fi c a t i o n   e rr o r   S e n s i t i v i t y   S t a n d a rd   d e v i a t i o n   E n s e m b l e   s t a c k i n g   m o d e l   8 4 . 2 6 %   8 5 . 7 2 %   7 0 . 4 2 %   7 7 . 3 4 %   8 5 . 7 0 %   1 5 . 7 4 %   8 2 . 8 7 %   0 . 6 4 %       4. 5 .     Ex p e r i m e n t   r e s u l ts   o mu l ti - s tage   e n s e m b l e   m o d e l   T h e   m ul t i - s t a ge   e n s e m b l e   m o de l ,   i n c o r po r a t i n g   b o t V o t i ng   a n d   B a ggi ng   t e c hni que s ,   a s   de pi c t e i n   T a b l e   5 ,   e m e rge s   a s   a   s t a n do ut   pe r f o r m e i p r e di c t i ng  e duc a t i o n a l   e nr o l l m e nt   r a t e s   i E gy pt .   W i t a i m p r e s s i v e   a c c ura c y   of   85. 2 5%   a n d   p r e c i s i o n   o f   86. 52% ,   t he   m o de l   e xc e l s   i a c c ur a t e l y   i de nt i fy i n g   e nr o l l e s t ude nt s ,   s u r p a s s i n p r e v i o us   m o d e l s '   pe r f o r m a n c e .   N o t a b l y ,   de s pi t e   a c h i e v i n a   r e c a l l   s c o r e   o f   73. 42%,   t h e   m o de l   m a i n t a i n s   a   b a l a n c e F - m e a s u r e   o f   79. 45% ,   i n d i c a t i v e   o f   i t s   e ff e c t i v e n e s s   i c a pt u ri n g   e nr o l l e s t ude nt s   w h i l e   m i n i m i z i n g   f a l s e   po s i t i v e s .   T h e s e   r e s ul t s   u n de r s c o r e   t h e   s upe ri o r i t y   of   t h e   M u l t i - s t a ge   E n s e m b l e   m o de l   o v e r   p r e v i o us   m o de l s ,   h i g h l i g h t i n g   i t s   e f f i c a c y   i p r o v i di n g   v a l u a b l e   i n s i g h t s   f o r   e duc a t i o na l   po l i c y m a ke r s   a nd  s t a ke h o l de r s   i E gy pt .       T a b l e   5 .   R e s ul t s   o f   e n s e m b l e   m ul t i - s t a ge   m o de l   M o d e l   A c c u ra c y   P re c i s i o n   Re c a l l   M e a s u r e   A U C   Cl a s s i fi c a t i o n   e rr o r   S e n s i t i v i t y   S t a n d a rd   d e v i a t i o n   M u l t i - s t a g e   e n s e m b l e   (V o t i n g   a n d   Ba g g i n g )     8 5 . 2 5 %   8 6 . 5 2 %   7 3 . 4 2 %   7 9 . 4 5 %   8 4 . 2 3 %   1 4 . 7 5 %   8 4 . 0 2 %   0 . 6 0 %       4. 6 .     I n fl u e n ti al   fac to r s   aff e c t i n e d u c ati o n   e n r o l l m e n t   T h e   a na l y s i s   c o n duc t e us i n g   t h e   m ul t i - s t a ge   e n s e m b l e   m o de l   r e v e a l s   t h e   m o s t   i n f l ue nt i a l   f a c t o r s   a f fe c t i n g   e duc a t i o na l   e nr o l l m e n t   ra t e s   i E gy pt .   A m o ng   t h e   a t t ri b ut e s   c o n s i de r e d,   hus b a n d   o pa rt n e r ' s   e duc a t i o l e v e l   e m e r ge s   a s   t h e   m o s t   s i g ni f i c a n t   f a c t o r ,   a c c o unt i n g   f o r   13 . 55%   o f   t h e   o ve r a l l   p r e di c t i v e   po w e r .   F o l l ow i n c l o s e l y   b e h i n d   a r e   t h e   t o t a l   n u m b e o f   c h i l d r e e ve r   b o rn   a n d   t h e   w e a l t i n de x ,   w i t w e i ght s   o 9. 27%   a n d   7 . 95 %   r e s pe c t i v e l y .   A ddi t i o n a l l y ,   t h e   a ge   o f   t h e   re s po n de n t   a t   f i r s t   b i r t h,   m a i f l o o r   m a t e r i a l ,   t y p e   of   t o i l e t   f a c i l i t y ,   a n h o us e h o l d   t e l e p h o n e   o w n e r s h i p   a r e   i de nt i f i e a s   n o t a b l e   f a c t o r s ,   e a c c o n t r i b ut i n t o   t h e   pr e di c t i v e   pow e r   w i t w e i gh t s   ra n g i n g   f r o m   3 . 61%   t o   6 . 32 %.   I F i g u r e   9,   t h e s e   f i ndi n gs   s h e l i g h t   o n   t h e   m ul t i f a c e t e na t u r e   o f   t h e   s o c i o - e c o n o m i c   a nd  de m o g r a p hi c   f a c t o r s   i n f l ue n c i n e duc a t i o na l   e nr o l l m e n t ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   9 41 - 9 52   950   pr o v i di n v a l u a b l e   i n s i g ht s   f o r   po l i c y m a ke r s   a n s t a ke h o l de rs   i n   de v i s i ng  t a r ge t e i nt e r v e nt i o n s   a n r e s o ur c e   a l l o c a t i o n   s t r a t e gi e s   t o   e nha n c e   e duc a t i o n a l   a c c e s s   a nd  e qui t y   i n   E gy pt .           F i gu r e   9 .   I n f l ue n t i a l   f a c t o r s   a f f e c t i n g   e duc a t i o e nr o l l m e n t       5.   C O N C LU S I O N   In   c o n c l us i o n,   o ur   r e s e a r c h   c o m pr e h e n s i v e l y   e xa m i n e d   t h e   f a c t o r s   i n f l ue n c i ng  e duc a t i o n a l   e nr o l l m e nt   i n   E gy pt   us i n g   a dv a n c e p r e d i c t i v e   m o de l i n g   t e c hn i q ue s .   T hr o ug h   ri go r o us   a n a l y s i s   of   v a r i o us   m a c h i n e   l e a rni n g   a l go r i t hm s   a n d   e n s e m b l e   m e t h o ds ,   w e   i de n t i f i e t h e   m o s t   e f fe c t i ve   m o de l s   a n d   f a c t o r s   i m p a c t i n g   e nr o l l m e n t   ra t e s .   T h e   M u l t i - s t a ge   E n s e m b l e   m o de l   e m e r ge d   a s   t h e   t o pe r f o r m e r ,   hi g hl i g ht i ng   t h e   s i g n i f i c a n c e   of   s o c i o - e c o n o m i c   i ndi c a t o r s   s uc a s   p a r t n e r' s   e duc a t i o n   l e v e l ,   t o t a l   c h i l d r e n   e v e r   b o r n,   a nd  w e a l t i nde x.   T h e s e   f i n di ngs   o f fe r   v a l u a b l e   i n s i g h t s   f o r   p o l i c y m a ke r s ,   gu i di n g   e f fo r t s   t o w a r ds   e nha n c i n g   e duc a t i o na l   a c c e s s   a nd  e qui t y   i E gy pt .       F U N D I N G   I N F O R M A TI O N   T h e   a ut h o r s   e xt e n d   t h e i a pp r e c i a t i o t o   t h e   D e a n s h i p   o f   R e s e a r c a n d   G ra du a t e   S t ud i e s   a t   K i ng  K ha l i U ni v e r s i t y   fo r   f undi n g   t hi s   w o r t hr o ug h   S m a l l   R e s e a r c h   P r o j e c t   un de g ra n t   n u m b e r   R G P 1/ 38/ 46 .       C O N F LI C O F   I N T ER ES S TA T EM EN T   A ut h o r s   s t a t e   n o   c o n f l i c t   o f   i nt e r e s t .       D A TA   A V A I LA B I LI T Y   D a t a   a v a i l a b i l i t y   i s   n o t   a ppl i c a b l e   t o   t hi s   pa pe a s   n o   n e w   d a t a   w e r e   c r e a t e d   o a n a l y z e i t hi s   s t udy .         0 . 0 0 % 2 . 0 0 % 4 . 0 0 % 6 . 0 0 % 8 . 0 0 % 1 0 . 0 0 % 1 2 . 0 0 % 1 4 . 0 0 % 1 6 . 0 0 % H u s b a n d   o r p a r t n e rs e d u c a t i o n   l e v e l T o t a l   c h i l d re n e v e b o rn W e a l t h   i n d e x A g e   o f re s p o n d e n t a t   1 s t b i rt h M a i n   fl o o r m a t e ri a l T y p e   o f   t o i l e t fa c i l i t y H o u s e   h o l d   h a s t e l e p h o n e W e i g h t A t t ri b u t e s Evaluation Warning : The document was created with Spire.PDF for Python.