I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   40 ,   N o .   2 N o v e m b e r   2025 ,   pp.   758 ~ 771   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 40 .i 2 . pp 758 - 771             758     Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   E n sem b l e   r e c u r s i v e   f e a t u r e   e l i m i n a t i o n - b a s e d   e n s e m b l e   c l a ssi f i c a t i o n   f o r   m e d i c a l   d i a g n o si s       Th i r u m al ai mu th u   Th i r u m al ai ap p an   R am an ath an 1 ,   M d .   Jak i r   H o s s e n 1 ,   A b d u l l ah   A l   M am u n 2 ,   Jo s e p h   Em e r s o n   R aja 1   1 F a c u l t y   o E n g i n e e ri n g   a n d   T e c h n o l o g y ,   M u l t i m e d i a   U n i v e r s i t y ,   M e l a k a ,   M a l a y s i a   2 S c h o o l   o f   In fo r m a t i o n   a n d   Co m m u n i c a t i o n   T e c h n o l o g y ,   G ri ff i t h   U n i v e r s i t y ,   N a t h a n ,   A u s t ra l i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   A ug   22 202 4   R e v i s e J ul   20 202 5   A c c e pt e O c t   14 2 025       T he   a p pl i c a t i o o f   da t a   m i ni ng   t e c hni q ue s   f o r   t h e   e x t r a c t i o n   o f   pa t t e r n s   f r o m   m e di c a l   da t a s e t s   is   us e f ul   i n   t he   p r e di c t i o o f   v a r i o us   d i s e a s e s   f r o m   t he   d a t a   o f   pa t i e nt s .   A a pp r o pr i a t e   f e a t u r e   s e l e c t i o m e t ho i s   r e q ui r e f o r   t h e   m e di c a l   da t a s e t s   t o   g i v e   b e t t e r   r e s ul t s   f o r   t h e   m e di c a l   d a t a   m i ni ng   p r o c e s s .   I da t a   p r e p r o c e s s i ng ,   f e a t u r e   s e l e c t i o i s   a n   i m po r t a nt   p r o c e s s   t ha t   f i nds   t h e   m o s t   r e l e v a n t   f e a t ur e s   f r o m   t he   da t a s e t .   C o ns i de r i ng   a l l   f e a t u r e s   o f   t he   m e di c a l   d a t a s e t   w i t ho ut   us i ng   a ny   f e a t ur e   s e l e c t i o p r o c e s s   m a y   s o m e t i m e s   l e a t o   i na c c ur a t e   r e s u l t s .   M o s t   o f   t he   m e di c a l   da t a s e t s   c o nt a i m e a ni ng l e s da t a   t h a t   a r e   no t   r e l e v a nt   t o   t he   da t a   m i ni ng   p r o c e s s .   T h e s e   da t a   c a n   be   e l i m i n a t e d   t hr o ug t he   f e a t ur e   s e l e c t i o pr o c e s s .   T h i s   p a pe r   p r e s e n t s   a n   i nt e g r a t i o o f   a e ns e m bl e   f e a t ur e   s e l e c t i o a ppr o a c a nd   a e ns e m b l e   c l a s s i f i c a t i o a p pr o a c t hr o ug a   c l a s s i f i e r   c a l l e d   t h e   e ns e m bl e   r e c ur s i v e   f e a t u r e   e l i m i na t i o n - ba s e d   e n s e m b l e   c l a s s i f i e r   ( E R F E - E C )   f o r   t h e   c l a s s i f i c a t i o o f   m e di c a l   da t a .   F o ur   di f f e r e n t   m e d i c a l   da t a s e t s   w e r e   us e f o r   t e s t i ng   t h e   E R F E - E C   m e t ho d ,   w h i c s ho w e d   p r o m i s i ng   r e s u l t s .   Ke y w or d s :   D a t a   m i ni n g   E n s e m b l e   l e a rn i ng   M a c hi n e   l e a rni n g   M e di c a l   d i a g n o s i s   R e c ur s i v e   f e a t ur e   s e l e c t i o n   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   M d.   J a ki H o s s e n   F a c ul t y   of   E n g i n e e ri n a n d   T e c hn o l o g y ,   M ul t i m e di a   U ni v e r s i t y   J a l a A y e r   K e r o L a m a ,   B uki t   B e r u a n g ,   75 450   M e l a k a ,   M a l a y s i a     E m a i l :   j a ki r. h o s s e n @ m m u . e du. m y       1.   I N TR O D U C TI O N   T h i s   r e s e a r c w o r f oc us e s   o n   e nh a n c i n a n a ppl y i n g   a   f e a t u r e   s e l e c t i o n   m e t h o c a l l e r e c u r s i v e   f e a t ur e   e l i m i na t i o [1]   f o r   t h e   m e d i c a l   di a g n o s i s   p r o b l e m   by   us i n g   a n   e n s e m b l e   c l a s s i f i c a t i o a pp r o a c h .   T h e   r e c ur s i v e   f e a t ur e   e l i m i na t i o m e t h o i s   o n e   o f   t h e   f e a t u r e   s e l e c t i o n   m e t h o ds   t ha t   s e l e c t s   t h e   b e s t   f e a t u r e s   b a s e o n   t h e   m a c hi n e   l e a rn i ng   c l a s s i f i e a n d   t h e   i m po r t a n c e   s c o r e s   o f   t h e   f e a t ur e s   ge n e ra t e d   by   t h e   t ra i n e d   c l a s s i f i e r .   It   i s   po s s i b l e   t o   ge n e r a t e   t h e   f e a t u r e   w e i ght s   t ha t   a c c ura t e l y   r e p r e s e n t   t h e   s i g ni f i c a n c e   o f   e a c h   f e a t ur e   w h e a   c l a s s i f i e i s   t ra i n e d   us i ng  t h e   da t a s e t .   T h e   f e a t u r e   w i t h   t h e   l o w e s t   w e i gh t   v a l ue   i s   e l i m i na t e o n c e   t h e   f e a t u r e s   ha v e   be e n   ra n ke b a s e o n   t h e i r   r e s pe c t i v e   w e i gh t s .   U n t i l   i t   ru n s   o ut   o f   f e a t ur e s   t o   t r a i n   w i t h,   t h e   c l a s s i f i e r   i s   t h e r e t r a i n e us i n t h e   r e m a i ni n g   f e a t ur e s .   L a s t l y ,   t h e   f e a t u r e   i m po rt a n c e - b a s e d   r e c ur s i v e   f e a t ur e   e l i m i n a t i o m e t h o c a b e   us e t o   a c qu i re   t h e   w h o l e   f e a t u r e   ra n ki ng.   S o m e   o f   t h e   l a t e s t   r e s e a r c w o r ks   a r e   r e v i e w e b e l ow ,   w h i c a p pl y   t h e   r e c ur s i v e   f e a t ur e   e l i m i n a t i o m e t h o d   f o r   s e l e c t i n g   t h e   f e a t ur e s   f r o m   m e di c a l   d a t a s e t s .     T h e   r e c ur s i v e   f e a t ur e   e l i m i na t i o m e t h o b a s e o n   t h e   s upp o r t   v e c t o r   m a c hi n e   (S V M [2]   m o de l   i s   us e f o r   t h e   f e a t u r e   s e l e c t i o i [3] .   H e r e ,   t h e   S V M   c l a s s i f i e r   i s   us e f o r   c l a s s i f i c a t i o f r o m   t h e   s e l e c t e d   f e a t ur e s .   I t h e i s t udy ,   t h e   W i s c o n s i di a g n o s t i c   b r e a s t   c a n c e (W D B C)  da t a s e t   [4]   i s   us e f o r   t e s t i n g ,   w h e r e   t h e   S V M   c l a s s i f i e r   s h o w e a a c c u r a c y   of   99%.     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E ns e m b l e   r e c ur s i v e   f e a t ur e   e l i m i nat i on - bas e d   …  ( T hi r um al a i m ut hu   T hi r um a l ai appan   R am anat han )   759   T h e   r e c ur s i v e   f e a t ur e   e l i m i na t i o n   m e t h o b a s e o n   l o gi s t i c   re gr e s s i o n   m o de l   i s   us e f o r   t h e   f e a t u r e   s e l e c t i o n   i [5].   H e r e ,   t h e   l o gi s t i c   r e g r e s s i o [6] ,   a rt i f i c i a l   n e u r a l   n e t w o r [ 7],   N a ï v e   b a y e s   [8],   S V M ,   a nd  de c i s i o n   t r e e   c l a s s i f i e r s   a r e   us e f o r   c l a s s i f i c a t i o n   f r o m   t h e   s e l e c t e f e a t ur e s .   I t h e i s t udy ,   t h e   P i m a   I n d i a di a b e t e s   (P ID da t a s e t   [9]   i s   us e f o r   t e s t i ng  w h e r e   a l l   t h e   c l a s s i f i e r s   s h o w e a n   a v e r a ge   a c c ura c y   of   80%.     T h e   r e c ur s i v e   f e a t u r e   e l i m i na t i o n   a pp r o a c h   i n t e g ra t e w i t t h e   de c i s i o t r e e ,   K - n e a r e s t   n e i g h b o r   (K N N [10],   ra n do m   f o r e s t   [11] ,   a nd  S V M   c l a s s i f i e r s   w e r e   a ppl i e f o r   t h e   c l a s s i f i c a t i o n   o f   ki dn e y   di s e a s e   i n   [12].   H e r e ,   t h e   c hr o ni c   k i d n e y   da t a s e t   [4 ]   i s   us e f o t e s t i n g   t h e i p r o po s e s y s t e m .   B a s e o t h e i s t udy ,   t h e   S V M ,   K N N ,   de c i s i o t r e e ,   a n ra n do m   f o r e s t   c l a s s i f i e r s   s how e t h e   a c c ura c y   of   96. 67% ,   98 . 33 %,   99. 17% ,   a n 100% .   T h e   r e c u r s i v e   f e a t ur e   e l i m i na t i o m e t h o b a s e o l o gi s t i c   r e g r e s s i o m o de l   i s   us e f o r   t h e   f e a t ur e   s e l e c t i o i [13] .   H e r e ,   t h e   g ra di e n t   b oo s t i n g   t e c hn i que   [14]   b a s e o de c i s i o n   t r e e   l e a rni n g   [15]   i s   us e fo r   c l a s s i f i c a t i o f r o m   t h e   s e l e c t e f e a t ur e s .   T h e i r   p r o p o s e s y s t e m   s h o w e a a c c ura c y   of   89. 7%   w h e n   t e s t i n us i n g   t h e   c a r di o v a s c ul a r   d i s e a s e   da t a s e t   [16] .     T h e   r e c ur s i v e   f e a t ur e   e l i m i na t i o m e t h o d   b a s e o n   di f f e r e n t   c l a s s i f i e r s   i n c l udi ng  l o gi s t i c   r e g r e s s i o n,   ra n do m   f o r e s t ,   a n d   de c i s i o t r e e   c l a s s i f i e r s   a r e   s t u di e i [17]  f o t h e   f e a t u r e   s e l e c t i o n   f r o m   P ID   da t a s e t .   H e r e ,   t h e   de c i s i o t r e e ,   K N N ,   N a ï v e   b a y e s ,   S V M ,   a nd   r a ndo m   f o r e s t   c l a s s i f i e r s   a r e   s t udi e d   f o r   t h e   c l a s s i f i c a t i o o f   di a b e t e s   f r o m   t h e   s e l e c t e f e a t ur e s .   B a s e o t h e i e xpe r i m e nt s ,   t h e   a c c u r a c i e s   o f   c l a s s i f i e r s   a r e   v a r i e w i t di f f e r e n t   r e c ur s i v e   fe a t u r e   e l i m i na t o r s .     It   c a b e   s e e f r o m   t h e   r e v i e w e a pp r o a c h e s   t ha t   t h e   e f f i c i e n c y   of   r e c ur s i v e   f e a t ur e   e l i m i na t i o de pe n ds   o t h e   c l a s s i f i e r   us e w i t h   i t .   F o e xa m pl e ,   i f   t h e   f e a t u r e   i m po rt a n c e   s c o r e s   e s t i m a t e d   by   t h e   m a c hi n e   l e a rn i ng  c l a s s i f i e r   i s   n o t   e f fe c t i v e   fo r   a   p a r t i c ul a d a t a s e t ,   t h e n   t h e   r e c ur s i v e   fe a t u r e   e l i m i na t i o m e t h o e m pl oy i n g   t ha t   c l a s s i f i e w i l l   a l s o   b e   n o t   e f fe c t i ve .   T h e r e   a r e   a l s o   r e s e a r c g a ps   f r o m   t h e   r e v i e w e d   a pp r o a c h e s   i i n v e s t i ga t i n g   t h e   e f fe c t i ve n e s s   of   r e c ur s i v e   f e a t ur e   e l i m i na t i o n   m e t h o i n   f e a t u r e   s e l e c t i o n   m e t h o w h e a ppl y i n g   t h e   r e c u r s i v e   f e a t u r e   e l i m i n a t i o m e t h o d   t hr o ug a e n s e m b l e   a pp r o a c b a s e o m a c h i n e   l e a rni ng  c l a s s i f i e r s   s uc h   a s   de c i s i o n   t r e e ,   a n S V M ,   a n e n s e m b l e   c l a s s i f i e r s   l i ke   g r a d i e nt   b oo s t i n g ,   A da B oo s t   [18],   a nd   ra n do m   f o r e s t .       T h e   e ff i c i e n c y   of   r e c ur s i v e   f e a t ur e   e l i m i na t i o n   a pp r o a c c a n   b e   i m p r o v e by   us i n a e n s e m b l e   a pp r o a c h.   T h i s   r e s e a r c w o r i m p r o v e s   t h e   r e c ur s i v e   f e a t ur e   e l i m i na t i o n   a pp r o a c h   by   pr e s e n t i n a n   e n s e m b l e   c l a s s i f i c a t i o n   s y s t e m   c a l l e e n s e m b l e   r e c ur s i v e   f e a t ur e   e l i m i na t i o n   ( E R F E b a s e e n s e m b l e   c l a s s i f i e r   ( E R F E - E C)   w h i c i s   a ppl i e a n d   i n v e s t i ga t e d   f o r   t h e   c l a s s i f i c a t i o o f   b r e a s t   c a n c e r,   di a b e t e s ,   h e a r t   d i s e a s e ,   a n d   P a rki n s o n ’s   d i s e a s e .   T h e   n e c e s s i t y   of   t h e   r e c ur s i v e   f e a t u r e   e l i m i na t i o n   a n d   E R F E   f o r   t h e   f e a t u r e   s e l e c t i o i m e di c a l   da t a s e t s   c a b e   i n v e s t i ga t e d   by   a ppl y i n t h e   E R F E - E t o   di f f e r e n t   m e di c a l   da t a s e t s .     T h i s   p a pe i s   o r ga ni z e a s   f o l l o w s .   T h e   s e c t i o 2   de s c ri b e s   a b o ut   t h e   p r o po s e E R F E - E C.   T h e   s e c t i o n   3   de s c r i b e s   t h e   pe r f o r m a n c e   o f   E R F E - E C   f o r   t h e   c l a s s i f i c a t i o o f   v a r i o us   d i s e a s e s .   T h e   s e c t i o n   gi v e s   c o n c l us i o a b o ut   t h e   r e s e a r c h   w o r p r e s e n t e i n   t h i s   pa pe r .       2.   P R O P O S ED   S Y S TEM     T h e   da t a s e t   us e i t h i s   r e s e a r c h   w o r a n d   t h e   E R F E - E C   a r e   de s c r i b e i n   t h i s   s e c t i o n .     2. 1 .     D atas e t   d e s c r i p ti o n     F o ur   m e d i c a l   da t a s e t s ,   i n c l udi ng  W D B C,   h e a rt   di s e a s e ,   P a r k i n s o n ’s   di s e a s e   da t a s e t s   a v a i l a b l e   a t   U n i v e r s i t y   o f   Ca l i f o rn i a   m a c h i n e   l e a rni n g   r e po s i t o r y   [4]   a nd  P ID   d a t a s e t   a v a i l a b l e   a t   K a gg l e   r e po s i t o r y   [9]   a r e   us e f o r   t e s t i ng  t h e   E R F E - E C.   T h e   W D B da t a s e t   [4]   c o n s i s t s   o f   30  i n pu t   f e a t u r e s   w hi c a r e   t h e   s t a n d a r e rr o (S E ),   m e a n ,   a n d   w o r s t   v a l ue s   o f   f e a t ur e s :   c o m pa c t n e s s   m e a (CM ) ,   c o m pa c t n e s s   s t a nda r d   e rr o ( CS E ) ,   c o m pa c t n e s s   w o r s t   (CW ) ,   s m o o t hn e s s   m e a (S M ),   s m o o t hne s s   S E   (S S E ) ,   s m o o t hn e s s   w o r s t   (S W ),   pe ri m e t e m e a n   (P M ) ,   pe r i m e t e r   S E   (P S E ) ,   pe r i m e t e r   w o r s t   (P W ),   a r e a   m e a n   (A M ) ,   a r e a   S E   (A S E ),   a r e a   w o r s t   (A W ),   s y m m e t r y   m e a n   (S Y M ) ,   s y m m e t r y   S E   (S Y S E ) ,   s y m m e t ry   w o r s t   (S Y W ),   ra di us   m e a (R M ),   ra d i us   S E   (R S E ),   r a d i us   w o r s t   (R W ),   t e xt u r e   m e a n   (T M ) ,   t e xt u r e   S E   ( T S E ) ,   t e xt u r e   w o r s t   (T W ) ,   c o n c a v e   po i n t s   m e a (CP M ),   c o n c a v e   po i n t s   S E   (CP S E ) ,   c o n c a v e   po i n t s   w o r s t   (CP W ),   c o n c a v i t y   m e a (CY M ),   c o n c a v i t y   S E   (C Y S E ),   c o n c a v i t y   w o r s t   (CY W ),   f r a c t a l   di m e n s i o m e a ( F D M ),   f ra c t a l   d i m e n s i o n   S E   (F D S E ) ,   a n d   f ra c t a l   di m e n s i o w o r s t   (F D W o f   t h e   c e l l   n uc l e i .   T h e   o ut put   c a t e go r i e s   o f   t h e   W D B d a t a s e t   a r e   m a l i g na nt   a n d   b e n i g n .   T h e r e   a r e   569   s a m p l e s   i t h e   W D B d a t a s e t .     Th e   P ID   d a t a s e t   [9]   c o n t a i n s   768   s a m p l e s   w h e r e   t h e   i n pu t   f e a t ur e s   a r e   t r i c e ps   s k i f o l t hi c kn e s s   (T S F T ) ,   p l a s m a   gl uc o s e   c o n c e n t r a t i o (P G C) ,   b o d y   m a s s   i n de x   (B M I),   num b e o f   t i m e s   p r e g na n t   (N T P ) a ge ,   2 - H o ur   s e r um   i n s u l i (2H S I),   d i a s t o l i c   b l o o pr e s s u r e   ( D B P ) a n d i a b e t e s   pe di g r e e   f un c t i o (D P F ).   T h e   o ut put   c a t e go r i e s   o f   t h e   P ID   d a t a s e t   a r e   n o n - d i a b e t i c   a nd  d i a b e t i c .   T h e   h e a rt   d i s e a s e   d a t a s e t   [ 4]   c o n t a i n s   303   s a m pl e s   w h e r e   t h e   i n pu t   f e a t ur e s   a r e   e xe r c i s e   i n d uc e d   a n gi na   ( E IA ),   num b e o f   m a j o v e s s e l s   c o l o r e by   f l uo r o s c o p y   (N M V CF ),   s e rum   c h o l e s t e r o l   (S C),   r e s t i ng  e l e c t r o c a r di o g r a p h i c   r e s ul t s   (R E S ),   ge n de r,   s l o pe   of   t h e   pe a e xe r c i s e   S T   s e gm e nt   (S P E S T S ) ,   t y pe s   of   c h e s t   pa i ( T CP ),   t h a l a s s e m i a ,   r e s t i n g   b l o o pr e s s ur e   (R B P ),   f a s t i n g   b l o o s uga (F B S ),   m a xi m u m   h e a r t   ra t e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   758 - 771   760   a c hi e v e (M H R A ),   a ge ,   a n d   o l dpe a k .   T h e   o ut p ut   c a t e go ri e s   of   t h e   h e a r t   d i s e a s e   da t a s e t   a r e   b e l o w   50%   na rr o w i n a n d   a b o ve   50%  na rr o w i n g .   T h e   P a r k i n s o n ’s   di s e a s e   da t a s e t   [ 4]  c o n s i s t s   o f   22  i n pu t   f e a t ur e s   w h e r e   t h e   i n pu t   f e a t u r e s   a r e   di f fe r e nt   m e a s u r e s   t h a t   a r e   e s t i m a t e d   by   t h e   m ul t i d i m e n s i o na l   v o i c e   pr o gra m   (M V P ) .   T h e   i n p ut   f e a t u r e s   o P a rki n s o n ’s   d i s e a s e   da t a s e t   a r e   M V P :   F o ,   M V P :   F h i ,   M V P :   F l o ,   M V P :   j i t t e (% ),   M V P :   j i t t e r   (A b s ),   M V P :   R A P ,   M V P :   P P Q ,   j i t t e r:   D D P ,   M V P :   s h i m m e r,   M V P :   s hi m m e r   (dB ),   s h i m m e r :   A P Q 3,   s hi m m e r :   A P Q 5 ,   M V P :   A P Q ,   s hi m m e r :   D D A ,   N H R ,   H N R ,   R P D E ,   D 2,   D F A ,   s p r e a d1 ,   s p r e a d2,   a nd  P P E .   T h e   o ut pu t   c a t e go r i e s   o f   t h e   P a r k i n s o n ’s   d i s e a s e   da t a s e t   a r e   h e a l t h y   a nd  P a r k i n s o n ’s   d i s e a s e .   T h e r e   a r e   1 95  s a m p l e s   i n   t h e   P a r k i n s o n ’s   di s e a s e   d a t a s e t .     2. 2 .     Th e   p r o p o s e d   c l as s i f i c a ti o n   s ys te m   T h e   a r c h i t e c t u r e   o f   E R F E - E i s   s h o w n   i t h e   F i gu r e   1 .   I E R F E - E C ,   t h e   E R F E   m e t h o c o m b i n e s   t h e   de c i s i o n   t r e e - b a s e d   r e c ur s i v e   fe a t ur e   e l i m i n a t o r   (D T - R F E ),   r a ndo m   f o r e s t - b a s e r e c ur s i v e   f e a t ur e   e l i m i na t o r   (R F - R F E ),   A d a B o o s t   b a s e r e c ur s i v e   f e a t ur e   e l i m i na t o r   (A B - R F E ),   g ra di e n t   b oo s t i n b a s e r e c ur s i v e   fe a t u r e   e l i m i na t o r   (G B - R F E ),   a n d   S V M   b a s e r e c ur s i v e   fe a t u r e   e l i m i na t o r   (S V M - R F E ).   T h e   de c i s i o n   t r e e ,   r a ndo m   f o r e s t ,   A d a B o os t ,   g ra di e n t   b o os t i ng,   a n d   S V M   c l a s s i f i e r s   a r e   us e a s   t h e   e s t i m a t o r s   i DT - R F E ,   R F - R F E ,   A B - R F E ,   G B - R F E ,   a n d   S V M - R F E ,   r e s pe c t i v e l y ,   w h e r e   t h e   b e s t   f e a t u r e s   a r e   s e l e c t e t hr o ugh  t h e   r e c u r s i v e   f e a t ur e   e l i m i na t i o n   m e t h o d.   T h e   m a j o ri t y   of   t h e   f e a t u r e s   s e l e c t e by   t h e   D T -   R F E ,   R F - R F E ,   A B - R F E ,   G B - R F E ,   a n d   S V M - R F E   a r e   c o n s i de r e a s   t h e   b e s t   f e a t u r e s   w h i c a r e   p r o c e s s e t hr o ug h   a n   e n s e m b l e   c l a s s i f i e f o f i n a l   c l a s s i f i c a t i o n.   T h e   e n s e m b l e   c l a s s i f i e e m p l oy e i E R F E - E c o n s i s t s   of  de c i s i o n   t r e e ,   K N N ,   na ï v e   b a y e s ,   S V M ,   A da B oo s t ,   g r a d i e nt   b oo s t i n g ,   a n ra n do m   f o r e s t   c l a s s i f i e r s .   T h e   c l a s s i f i e r s :   de c i s i o t r e e ,   K N N ,   n a ï v e   b a y e s ,   r a ndo m   f o r e s t ,   A da B o o s t ,   g r a d i e n t   b oo s t i n g ,   a n d   S V M   us e i E R F E - E C   a r e   de s c r i b e b e l ow .           F i gu r e   1 E R F E - E C   a r c hi t e c t u r e       2. 2 . D e c i s i o n   tr e e   A   n o n - pa ra m e t r i c   s upe r v i s e l e a rni n a pp r o a c h   c a l l e a   d e c i s i o n   t r e e ,   w i t h   i t s   hi e ra r c h i c a l   t r e e   s t ruc t u r e ,   i s   us e f o r   b o t h   r e g r e s s i o a nd  c l a s s i f i c a t i o t a s ks .   I t   i s   m a de   up   o f   l e a f   n o de s ,   i nt e rn a l   n o de s ,   b r a n c h e s ,   a n d   a   r o o t   n o de .   T h e   de c i s i o t r e e ' s   n o de s   a r e   c onn e c t e by   di r e c t e e dge s .   T h e   i nt e rna l   a nd  r o o t   n o de s   r e p r e s e n t   t h e   i n pu t   f e a t u r e s   o f   t h e   t ra i ni n g   d a t a s e t .   T h e   t e rm i na l   n o de s   r e f l e c t   t h e   o ut pu t   c a t e go r i e s   t ha t   a r e   c o nn e c t e t o   t h e   t r a i n i ng  da t a s e t .   T h e r e   w i l l   b e   pr e c i s e   t e s t   c ri t e r i a   t o   di v i d e   t h e   i n t e rna l   a nd   r o o t   n o de s   b a s e o n   t h e i r   r e s pe c t i v e   c a t e go r i e s .   T h e   s pl i t t i n g   p r o c e dure   i s   r e pe a t e u nt i l   t h e   de c i s i o t r e e   f i n ds   e v e r y   c a t e go r y   of   t h e   o ut put   v a r i a b l e   gi v e n   i t h e   t r a i n i ng  d a t a s e t .     T h e   de c i s i o n   t r e e   a l go ri t hm   e m pl oy s   t h e   a t t ri b ut e   t e s t   c o ndi t i o n   b a s e o n   t h e   t y pe   of   a t t r i b ut e s .   T h e r e   a r e   j us t   t w o   pos s i b l e   o ut c o m e s   w h e e v a l ua t i n t h e   b i na r y   a t t r i b ut e s .   R e ga r di n g   n o m i na l   a t t r i b ut e s ,   t h e   o ut put s   p r o duc e by   t h e   t e s t   c o n di t i o n   a r e   de t e rm i n e by   t h e   n u m b e r   o f   un i q ue   v a l ue s   a s s o c i a t e w i t h   t h e   r e l e v a nt   q ua l i t i e s .   O r d i na l   a t t r i b ut e s   e n a b l e   t h e   num b e o f   uni que   v a l ue s   l i n ke w i t t h e   a pp r o p r i a t e   qu a l i t i e s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E ns e m b l e   r e c ur s i v e   f e a t ur e   e l i m i nat i on - bas e d   …  ( T hi r um al a i m ut hu   T hi r um a l ai appan   R am anat han )   761   t o   b e   gr o upe t o ge t h e w i t h o ut   go i n g   a g a i n s t   t h e i r   p r o pe r t y ,   w h i c h   c o ul l e a t o   a   l o t   o f   s pl i t s   o b i na r y   r e s ul t s .   W h e w o r ki n g   w i t c o n t i n uo us   c h a ra c t e ri s t i c s ,   t h e   t e s t   c o n di t i o c a o f fe r   a   b i na r y   s pl i t   us i n g   a   c o m pa ri s o n   t e s t ,   o r   m a n y   s pl i t s   us i ng  di f f e r e n t   v a l ue   ra n ge s .   E n t r o py   [19],   G i n i   i m pu r i t y   [20],   a n c l a s s i f i c a t i o n   e rr o r   a r e   a   f e w   m e t r i c s   t ha t   c a b e   us e t o   f i n t h e   n o de   t h a t   di v i de s   t h e   t ra i ni n g   d a t a s e t ' s   s a m pl e s   m o s t   e f fi c i e n t l y .   T h e   s pl i t t i n g   m e t h o d   c h o o s e s   t h e   n o de   w i t h   t h e   l o w e s t   v a l ue   w h e n   t h e   G i ni   i m pu ri t y   m e a s ur e   i s   us e d,   a n t h e   n o de   w i t h   t h e   hi g h e s t   v a l ue   w h e n   t h e   i n f o r m a t i o ga i n   [2 1]  m e a s u r e   i s   us e d.   L e t   us   a s s um e   t h a t   t h e r e   a r e   p   num b e o f   o ut put   c a t e go ri e s   a n t ha t   t h e   s ub s e t   of   s a m pl e s   a t   n o de   x   t ha t   b e l o n t o   c a t e go r y   k   i s   r e p r e s e nt e by   q ( k | x ) .   T h e   e n t r o py   E ( x ),   G i ni   i m pu ri t y   G ( x ),   a nd  c l a s s i f i c a t i o n   e rr o C ( x m e a s u r e m e n t s   a re   fo un us i n g   (1) ,   (2),   a nd  (3),   r e s pe c t i v e l y .     E ( x )   =   -   ( | ) l o g 2 ( | ) 1 = 0     (1)     G ( x =   -   [ ( | ) ] 2 1 = 0     (2)     C ( x )   =     ma x ( | )   (3)     T h e   de c i s i o n   t r e e   c l a s s i f i e i E R F E - E w i l l   b e   a b l e   t o   c h o o s e   t h e   b e s t   f e a t u r e s   f r o m   d a t a s e t s   b a s e d   o n   t h e   G i ni   i m pu r i t y   m e a s ur e   w h e r e   t h e   f e a t u r e s   w i t l o w e v a l ue s   a r e   de e m e t o   b e   m o r e   e s s e n t i a l   i n   t h e   da t a s e t .   T h e   de c i s i o n   t r e e   a l go r i t hm   i s   n o t   a f f e c t e by   o ut l i e r s   t o o   m uc a n d   ha s   t h e   a dde b e n e f i t   o f   b e i n a b l e   t o   m o de l   n o n - l i n e a a s s o c i a t i o n s   b e t w e e n   t h e   f e a t u r e s   a nd   t h e   t a rge t   v a ri a b l e   [2 2].   D e c i s i o t r e e s   do   ha v e   t h e   a b i l i t y   t o   pe r fo r m   f e a t u r e   s e l e c t i o n   du ri n t h e   t ra i n i n g   o f   t h e   m o de l   [23].   T h e y   c h oo s e   t h e   b e s t   f e a t ur e s   t o   s p l i t   o n   b a s e o n   t h e i po t e nt i a l   t o   l o w e r   i m pu ri t y   (l i ke   G i n i   i m pu ri t y   o r   e n t r o py   i c l a s s i f i c a t i o n ) .   T h i s   s ugge s t s   t ha t   f e a t u r e s   de e m e u ni m po r t a n t   o l e s s   i n f o rm a t i v e   a r e   e s s e n t i a l l y   di s r e ga r de d   o m i ni m a l l y   us e d.     2. 2 . K N N   K N N ,   s o m e t i m e s   r e f e rr e d   t o   a s   l a z y   l e a rn e r s ,   c l a s s i f i e s   t h e   d a t a   b y   de t e r m i n i ng   h o w   s i m i l a t h e   t e s t   a n t ra i ni n s e t s   a r e   t o   o n e   a n o t h e r.   I n   t h e   m ul t i - di m e n s i o na l   f e a t u r e   s pa c e ,   e a c h   t r a i ni n d a t a s e t   s a m p l e   i s   r e p r e s e n t e d   by   t h e   K N N   a s   a   d a t a   po i nt .   T h e   d i s t a n c e   i t he   f e a t ur e   s pa c e   b e t w e e n   e a c n e w   t e s t   s a m pl e ' s   da t a   po i nt   a n d   t h e   o t h e d a t a   po i nt s   i s   c o m put e d.   T h e   di s t a n c e   b e t w e e n   t h e   d a t a   po i nt s   c a b e   c a l c ul a t e us i n a   v a r i e t y   of   di s t a n c e   m e a s u r e s .   T h e   m a j o ri t y   of   t h e   K N N   m o de l s   m a ke   us e   o f   t h e   E uc l i d e a di s t a n c e   m e a s u r e .   L e t   us   a s s um e   t ha t   t h e r e   e xi s t   t w o   da t a   po i nt s ,   X 1   a nd  X 2 ,   r e p r e s e n t i n i n s t a n c e s ,   x 1i   a n x 2i r e s pe c t i v e l y ,   t h a t   po s s e s s   a t t ri b ut e s ,   A 1 ,   A 2 ,   …,   A l .   T h e   c a l c ul a t i o o f   t h e   E uc l i de a di s t a n c e   b e t w e e n   X 1   a n d   X 2   i s   de m o n s t ra t e d   by   (4).     d i st ( 1 , 2 ) = ( 1 2 ) 2 = 1   (4)     T h e   K   i K N N   s t a nds   f o r   t h e   n um b e r   o f   c l o s e s t   n e i g h b o r s .   T h e   n e a r e s t   n e i g h b o r s   o f   t h e   t e s t   d a t a   po i n t   a r e   t h o s e   t ha t   a r e   c l o s e s t   t o   i t .   B a s e o t h e   c a t e go r i e s   o f   i t s   c l o s e s t   n e i g h b o r s   i t h e   f e a t u r e   s p a c e ,   t h e   c a t e go r y   of   e ve r y   t e s t   da t a   po i n t   i s   p r e di c t e d.   T h e   t e s t   s a m pl e   w i l l   b e   a s s i g n e t o   a   c a t e go r y   i f   a l l   o f   t h e   t e s t   da t a   po i n t ' s   c l o s e s t   n e i g h b o r s   f a l l   i n t o   t h a t   g r o up.   T h e   c a t e g o r y   o f   t h e   m a j o r i t y   of   t h e   c l o s e s t   n e i g h b o r s   w i l l   b e   a ppl i e d   t o   t h e   t e s t   s a m p l e   i f   t h e   t e s t   da t a   po i n t ' s   n e a r e s t   n e i g h b o r s   f a l l   i nt o   m o r e   t h a o n e   c a t e go r y .   A s s um e   t ha t   t h e r e   i s   a   t ra i ni n g   d a t a s e t   D   a n d   t e s t   i n s t a n c e s ,   =   ( x i ` y i ` ).   L e t   D   c o n s i s t s   o f   s a m pl e s   (( x 1i y 1i ) ,   ( x 2i y 2i ),   ,   ( x ni y ni ))  w i t h   c h a ra c t e r i s t i c s ,   A 1 A 2 ,   …,   A l .   L e t   Y i   b e   t h e   c a t e go r y   of   X i   t h a t   ha s   t o   b e   pr e di c t e d,   X`   be   t h e   d a t a   po i n t   o f   t h e   n e w   t e s t   s a m pl e   x i ` t   b e   t h e   c l a s s   l a b e l ,   X i   b e   t h e   d a t a   po i nt   o f   s a m pl e   f r o m   D ,   a nd  Y i   b e   t h e   c a t e go r y   of   X i   w h e r e   i   =   1 ,   2 ,   …,   l .   I t h e   n e w   t e s t   s a m pl e   z Y`   i s   e s t i m a t e us i ng  t h e   m a j o r i t y   vo t e   w i t (5)   f o r   t h e   k   n e i g h b o r s   l i s t   D z .     Y`      ( = ) ( , )   (5)     In  (5) ,   t h e   i n d i c a t o f un c t i o n   (∙ )   r e t u rn s   1   i f   t h e   a rgu m e nt   i s   t r ue   a nd  r e t u rn s   o t h e r w i s e .   T h e   n u m b e r   o f   n e a r e s t   n e i g h b o r s   i s   s e t   t o   t h e   v a l ue   o f   t hr e e   f o r   t h e   K N N   m o de l   us e i n   t h e   E R F E - E C .   K N N   i s   e xpe c t e t o   b e   e ffe c t i ve   o n   l a r ge   d a t a s e t s   [24] ,   w h e n   t h e   d i m e n s i o n a l i t y   i s   n o t   v e r y   h i g h.   Im po r t a n t   f e a t u r e s   a r e   f o un by   K N N   t hr o ug h   c o m put i n g   t h e   di s t a n c e s   b e t w e e da t a   po i n t s   w i t hi t h e   f e a t u r e   s p a c e   [25] .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   758 - 771   762   2. 2 . N a ï v e   b ay e s       T h e   n a ï v e   b a y e s   a l go r i t h m   c a n   b e   v i e w e a s   a   p r o b a b i l i t y   c l a s s i f i e r   t ha t   u t i l i z e s   t h e   b a y e s   t h e o r e m .   T h e   n a ï v e   b a y e s   a l go r i t hm   r e l i e s   o n   a   s t r o n g   i n de pe n de n t   a s s um pt i o n   b e t w e e n   e v e r y   v a r i a b l e   i n   t h e   da t a s e t   gi v e n   a   t a rge t   v a r i a b l e .   T h e   na ï v e   b a y e s   a l go r i t hm ,   de s pi t e   i t s   s i m pl e   a s s um p t i o a nd  e a s e   o f   i m pl e m e nt a t i o n,   ha s   p r o v e n   us e f ul   f o r   m a n y   a ppl i c a t i o n s ,   p a r t i c u l a rl y   i da t a   c l a s s i f i c a t i o n   p r o b l e m s .   T h e   n a ï v e   b a y e s   c l a s s i f i e r   c l a s s i f i e s   a n   i n s t a n c e ,   x i ,   o f   n   f e a t ur e s ,   A 1 A 2 ,   ,   A n ,   a n d   m   c a t e go r i e s   o f   t h e   t a r ge t   v a ri a b l e ,   t 1 t 2 . . . ,   t m ,   i t i   i f   a n d   o n l y   i f   P ( t i | x i )   >   P ( t j | x i ),   f o r   1   j     m j   ≠  i .   A s   de m o n s t r a t e d,   t h e   B a y e s   t h e o r e m   i s   us e d   t e s t i m a t e   P ( t i | x i )   by   us i n g   (6)   a nd  (7).     P ( t i | x i )   =   ( | ) ( ) ( )   (6)     P ( x i | t i )   =   ( |   i ) = 1         (7)     In  t h i s   c a s e ,   P ( t i )   i s   t h e   p ri o ri   p r o b a b i l i t y   of   t i P ( x i )   i s   t h e   p ri o r i   p r o b a b i l i t y   of   x i ,   a nd  P ( x i | t i )   i s   t h e   pr o b a b i l i t y   of   x i   f o r   a   c e rt a i c a t e go r y   of   t a r ge t   v a ri a b l e   t i   T h e   G a us s i a n   N a ï v e   b a y e s   c l a s s i f i e r ,   w h i c i s   p r e di c a t e d   o n   t h e   i de a   t ha t   t h e   c o n t i n uo us   v a l ue s   a s s o c i a t e w i t h   e a c h   c a t e go r y   of   t h e   t a rge t   v a r i a b l e   a r e   di s t ri b ut e i n   a c c o r da n c e   w i t h   t h e   g a us s i a di s t r i b ut i o n ,   i s   us e t o   h a n d l e   t h e   c o n t i nuo us   da t a .   In   ( 8)  i s   us e t o   c a l c ul a t e   t h e   c o n di t i o na l   p r o b a b i l i t y   P ( x i | t i )   f o r   t h e   G a us s i a n   di s t ri b ut i o n.       P ( x i | t i )   =   1 2 2   e xp  (   (   ) 2 2 )   (8)     H e r e ,   t h e   v a r i a n c e   i s   r e p r e s e n t e b y   2   a n d   t h e   m e a i s   de n o t e by   .   T h e   g a us s i a na ï v e   b a y e s   m o de l   i s   us e d   i E R F E - E C.   N a i v e   B a y e s   i s   e f fe c t i v e   fo r   l a r ge   da t a s e t s   [26 ],   p a r t i c ul a rl y   w h e s pe e i s   n e e de f o r   a l l   s t e ps   o f   t h e   c l a s s i f i c a t i o n,   b e c a us e   t h e   o nl y   t ra i ni n g   n e e de i s   f o r   c a l c ul a t i n g   t h e   p r o b a b i l i t y   di s t r i b ut i o n s   o f   e a c h   f e a t u r e ,   a nd  m a ki n g   p r e di c t i o n s   i s   b a s e o s i m p l e   c a l c u l a t i o n s   us i n g   t h e s e   p r o b a b i l i t i e s .     2. 2 . S V M   S V M   c a b e   us e t o   s o l v e   t h e   c u r s e   of   di m e n s i o na l i t y   i s s ue   w h e n   w o r ki n g   w i t h   d a t a s e t s   t ha t   ha v e   a   l o t   o f   fe a t u r e s .   S V M   c l a s s i f i e r s   c a b e   us e f o r   b o t l i n e a r   a n d   n o n l i n e a r   da t a .   S V M   c l a s s i f i e r s   c o n duc t   cl a s s i f i c a t i o b a s e o n   t h e   m a xi m a l   m a rgi h y pe r pl a n e   t e c hni que .   T h e   m a x i m a l   m a r g i n   h y pe r pl a n e   t e c hni que   di v i de s   t h e   t r a i n i ng  s a m p l e s   o f   da t a s e t s   i nt o   g r o ups   b a s e o t h e   h y pe r pl a n e s   t ha t   c o rr e s po n d   t o   t h e   r e l e v a nt   c l a s s   l a b e l s .   N o t   a l l   t h e   h y pe r pl a n e s   t h a t   c a b e   pl o t t e t o   s p l i t   t h e   s a m p l e s   a r e   us e f ul   f o r   c l a s s i fy i n t h e   t e s t   s a m pl e s .   T h e   h y pe r pl a n e   w i t a   l a rge m a rgi w i l l   c l a s s i fy   t h e   t e s t   s a m p l e s   m o r e   a c c ura t e l y   t ha t h e   h y pe r pl a n e s   w i t h   s m a l l e m a r g i n s .   T h e   l i n e a ke rn e l   b a s e S V M   c l a s s i f i e us e s   t h e   d a t a   po i n t s   t ha t   a r e   o t h e   bo r de r s   o f   di f fe r e n t   da t a   c a t e go r i e s   t o   f i n a   h y pe r pl a n e   t h a t   s e pa ra t e s   t h e   t ra i ni n g   da t a   po i nt s   s h o w n   o n   t h e   f e a t ur e   s pa c e   i n t o   di f f e r e n t   c a t e go r i e s .   S uppo r t   v e c t o r s   a r e   t h e s e   da t a   po i nt s   t ha t   a r e   ut i l i z e t o   l o c a t e   t h e   h y pe r pl a n e .   S V M   e xa m i n e s   t h e   da t a   po i nt s   ( x i y i )   c o n s i de r i n g   t h e   t r a i n i ng   s e t .   H e r e ,   x i   i s   t h e   n - di m e n s i o na l   v e c t o r ,   a n d   y i   i s   t h e   t a r ge t   v a ri a b l e   t ha t   i s   r e l a t e t o   x i ,   w h e r e   i   =   1,   2 ,   . . . ,   n .   T h e   o pe ra t i o o f   t h e   de c i s i o bo un da r y   w h i c d i v i de s   t h e   t ra i ni n g   d a t a   po i nt s   i s   s h o w n   i ( 9).       w     x   b   =   0   (9)     H e r e ,   w   i s   t h e   n - di m e n s i o n a l   w e i ght   v e c t o r   a n b   i s   t h e   s c a l a r.   T h e   p a r a m e t e r s   w   a n b   m us t   b e   c a l c ul a t e d u r i n g   t h e   t ra i ni n p ha s e .   T h e   S V M   c l a s s i f i e r   ra i s e s   t h e   m a rgi n   o f   h y pe r pl a n e s   w h e n   a   p a r t i c ul a ki n o f   l i n e a m o de l   f o r   t h e   d a t a   t h a t   a r e   l i n e a r l y   s e pa r a b l e   i s   f o un d.   T h e   S V M   c l a s s i f i e r   i n   t h e   E R F E - E C   e m pl oy s   a   l i n e a ke rn e l .   S V M   i s   w e l l - s ui t e d   f o s m a l l   t o   m e di um - s i z e d   da t a s e t s   [27] .   S V M   i s   go o f o r   f e a t ur e   s e l e c t i o n   due   t o   t h e   di s t ri b ut i o o f   t h e   r e l e v a nt   f e a t ur e s   t hr o ug m a r gi m a x i m i z a t i o n ,   t h e   t y p e   of  ke rn e l   b e i n g   l i n e a r   a n d   n o nl i n e a r,   a n d   i t s   r o b us t n e s s   t o w a r ds   n o i s y   a n d   i rr e l e v a n t   f e a t u r e s   [28] .     2. 2 . A d a B o o s t   A da B oo s t   i s   a e n s e m b l e   c l a s s i f i c a t i o t e c hni que   t ha t   c o m b i n e s   t h e   r e s ul t s   o f   n u m e r o us   w e a c l a s s i f i e r s   t o   p r o duc e   a   po w e r f ul   c l a s s i f i e r .   A   f e w   c r i t e ri a   a r e   us e d   i t h e   A da B o os t   c l a s s i f i c a t i o a pp r o a c t o   c h o o s e   t h e   w e a c l a s s i f i e r s .   W h e t h e   t ra i ni n g   d a t a   i s   di s t ri b ut e ra n do m l y ,   t h e   a c c u r a c y   of   t h e   w e a c l a s s i f i e r s   s h o ul d   b e   gr e a t e r   t ha n   5 0%.   T h e   w e i ght e t r a i ni n d a t a   o ught   t o   b e   m a n a ge a b l e   f o r   t h e   w e a k   c l a s s i f i e r s .   W h e t h e s e   c o n di t i o n s   a r e   m e t ,   t h e   A da B o os t   c l a s s i f i c a t i o t e c hni que   c a p r o v i de   a   f i na l   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E ns e m b l e   r e c ur s i v e   f e a t ur e   e l i m i nat i on - bas e d   …  ( T hi r um al a i m ut hu   T hi r um a l ai appan   R am anat han )   763   c l a s s i f i e r   w i t h   a a c c u r a c y   t h a t   o ut pe r f o r m s   a l l   o f   t h e   c h o s e n   w e a c l a s s i f i e r s .   T h e   A da B o o s t   c l a s s i f i c a t i o n   a pp r o a c h   go e s   t hr o ug h   s e v e r a l   i t e ra t i o n s   i n   w h i c h   i t   a t t e m pt s   t o   i m p r o v e   pe r fo r m a n c e   by   l ow e r i n t h e   t r a i ni n g   p r o c e s s   e rr o ra t e   w hi c i s   e s t i m a t e d   f r o m   t h e   p re v i o us   w e a c l a s s i f i e f o r   t h e   t r a i n i ng   da t a .   By   a dj us t i n g   t h e   w e i gh t s   f o r   t h e   t r a i n i ng  s a m p l e s   o e a c i t e ra t i o n ,   t h e   t r a i n i ng  p r o c e s s ' s   e rr o r a t e   i s   de c r e a s e d.   L e t   Y   { } = 1   b e   t h e   o ut c o m e   c l a s s   w h e r e       { 0 , 1}   a nd   c o n s i de X   { } = 1   a s   t r a i n i ng   da t a   w h e r e       .   L e t   W   { } = 1 /   b e   c o n s i de r e d   w h e r e   f o r   e a c s a m pl e   o f   t h e   t r a i n i ng  da t a ,   t h e   i ni t i a l   v a l ue   of   w i   i s   s e t   t o   1 m .   T h e   s t a ge s   t h a t   t h e   A d a B oo s t   c l a s s i f i c a t i o m e t h o t a ke s   i e a c h   i t e r a t i o n   a r e   l i s t e b e l ow .       a.   T h e   t ra i n i n g   d a t a   w i t h   a i ni t i a l   w e i gh t   v a l ue   o f   w i   i s   us e t o   t r a i t h e   w e a c l a s s i f i e r s ,   g p .   H e r e ,   t h e   i t e ra t i o l e v e l   i s   i n di c a t e by   p   =   1   t o   k .   b.   T h e   t ra i n i n g   i na c c ura c y   fo r   t h e   w e a c l a s s i f i e g p p   i s   c a l c ul a t e a t   e a c h   r e pe t i t i o n   l e v e l ,   p .   c.   D e t e r m i n e   α t   us i ng  (1 0).       p   0 . 5   ×   ( l n( 1 -   p )/   p   (10)     d.   U s i n (1 1),   t h e   w e i gh t s   o f   t h e   i na c c ura t e   s a m pl e s   a r e   c ha n ge d.     w i ( p + 1 )     ×   {        ( ) =   α              ( )     (11)     Z j   i s   t h e   n o r m a l i z i ng  f a c t o i t hi s   c a s e .   T h e   a b ov e   s t e ps   a bov e   de m o n s t ra t e h o w   t h e   w e i gh t   v a l ue s   of   t h e   t r a i n i ng  i n s t a n c e s   a r e   c ha n ge a t   e a c h   l o o t o   gua ra n t e e   t ha t   t h e   b e s t   c l a s s i f i c a t i o n   i s   p r o v i de b y   e nh a n c i ng   t h e   o ut put   o f   t h e   w e a ke c l a s s i f i e r s   t h a t   a p p r o a c he b e f o r e   i t .   In   (12)   p r o v i de s   t h e   f i na l   A d a B oo s t   c l a s s i f i c a t i o n.       H ( x’ =   a r g m a x   I ( ( ) = ) = 1     (12)     H e r e ,   f   is   t h e   c l a s s   l a b e l ,   p   is   t h e   v a l ue   c o m put e b a s e o t he   t r a i ni n g   p r o c e s s   e r r o r a t e   a t   i t e r a t i o l e v e l   p ,   g p ( x ’)   i s   t h e   c l a s s i f i c a t i o n   o f   t h e   w e a c l a s s i f i e a t   i t e r a t i o l e v e l   p   f o r   t h e   t e s t   s a m pl e   x ’,   a n i s   a n   i ndi c a t o r   f u n c t i o n   t ha t   r e t u rns   i f   t h e   a r gu m e n t   i s   t r ue   o r   o t h e r w i s e .   T h e   de c i s i o t r e e   i s   us e a s   t h e   w e a c l a s s i f i e r   i n   A d a B oo s t   m o de l   i m p l e m e nt e i t h e   E R F E - E C .   T h e   A da B o o s t   a l go r i t h m ,   w hi c f oc us e s   o n   w e a l e a rn e r   e nh a n c e m e n t ,   ha s   b e e n   r e po r t e t o   de m o ns t ra t e   po s i t i v e   r e s ul t s   w h e n   c l a s s i fy i n m e di c a l   da t a   [2 9],   [30] .   It   ha s   t h e   b e n e f i t s   o f   pr o v i di n g   s o l ut i o n s   t o   p r o b l e m s   l i ke   n o i s e   i t h e   da t a   a n d   o v e r f i t t i n g .   I a ddi t i o n,   A da B o o s t   c a c o n s t r uc t   m e di c a l   da t a s e t s   us i n g   w e a l e a rn e r   o ut pu t s   t o   f i nd  i m po r t a n t   f e a t u r e s   a nd  t h e r e f o r e ,   pe r f o r m   f e a t u r e   s e l e c t i o [18] .     2. 2 . G r ad i e n t   b o o s ti n g   G ra di e n t   b o os t i ng  i s   a e n s e m b l e   c l a s s i f i e w h o s e   o ut put   i s   de c i de by   t h e   w e i ght i n g   s c h e m e .   It   i s   b ui l t   o n   num e r o us   w e a c l a s s i f i e r s .   I n   g ra d i e nt   b oo s t i n g ,   t h e   r e g r e s s i o n   de c i s i o n   t r e e   i s   t y pi c a l l y   e m pl oy e a s   t h e   w e a c l a s s i f i e r.   By   t ra i ni n g   e a c h   w e a l e a rn e r   b a s e o t h e   e rr o r   o f   t h e   p r e v i o us   w e a l e a rn e r ,   g r a d i e nt   bo os t i n g   r e duc e s   t h e   e rr o r a t e   o f   t h e   t ra i ni n g   p r o c e s s .   L e t   Y   { } = 1   b e   t h e   o ut c o m e   c l a s s   w h e r e       { 0 , 1}   a n c o n s i de X   { } = 1   a s   t h e   t r a i n i ng  d a t a   w h e r e       .   G r a d i e n t   b oo s t i n a i m s   t o   r e duc e   t h e   a gg r e ga t i o o f   m a n y   s pe c i f i e l o s s   f un c t i o n s   ( F   ( ) )   by   c h o os i ng  a   c l a s s i f i c a t i o n   f un c t i o n   F ( x ),   w hi c h   i s   p r o v i de by   (13).         a r g mi n   ( , ( ) ) = 1   (13)     In  (14)   i l l us t r a t e s   t h e   e s t i m a t i ng   f u n c t i o n   F   in   an   a d di t i v e   fo rm .     F ( x =   ( ) = 1   (14)     In  t h i s   c a s e ,   k   de n o t e s   t h e   i t e ra t i o c o un t .   A i n c r e m e n t a l   pa t t e rn  o f   p r o c e s s i n g   i s   a ppl i e t o   t h e   { ( x )} .   I o rde t o   m a xi m i z e   t h e   a g g r e ga t e d   l o s s   a t   l e v e l   p ,   t he   r e c e nt l y   a dde f u n c t i o f p   i s   c h o s e n ,   ke e pi n g   { } = 1 1   u n c ha n ge d.   E a c h   pa ra m e t e r i z e w e a l e a rn e i s   r e p r e s e n t e d   by   t h e   f un c t i o n   f i .   L e t     be   t h e   de c i s i o t r e e ' s   pa ra m e t e r   v e c t o r .   S ub s e que n t l y ,     c o m pri s e s   c h a ra c t e r i s t i c s   t h a t   de l i n e a t e   t h e   d e c i s i o n   t r e e ' s   s t r uc t u r e ,   i n c l udi ng  t h e   s pl i t t i ng  f e a t u r e   a n t h e   t hr e s h o l f o r   s pl i t t i ng  i n di v i du a l   i n t e rna l   n o de s .   In   ( 15)  i l l us t r a t e s   h o w   a n   e s t i m a t e l o s s   f un c t i o i s   b ui l t   a t   t h e   l e v e l   p .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   758 - 771   764   ( 1 ( )   ( )   ( 1 ( ) )   ( )   1 2   ( ) 2   (15)     H e r e ,   1 ( )   a nd    a r e   gi v e by   (16)  a nd  ( 17),   r e s pe c t i v e l y .         1 ( )   ( ) 1 = 1   (16)       ( ,  ( ) )  ( )   F ( =   1 ( )   (17)     T h e   de c i s i o t r e e   i s   us e a s   t h e   w e a c l a s s i f i e i g ra di e nt   b oo s t i n g   m o de l   i m p l e m e n t e d   i t h e   E R F E - E C .   G ra di e n t   b oo s t i n a l go r i t h m ,   w hi c i s   a n   e n s e m b l e   of   w e a l e a rn e r s   i s   c o m b i n e w i t h   a   s t r o ng  pr e di c t i v e   m o de l   i a   s e que n t i a l   w a y   t o   m a ke   a   m o r e   a c c ura t e   c l a s s i f i c a t i o [31 ].   B e c a us e   o f   i t s   a b i l i t y   t m o de l   c o m pl e x,   n o n l i n e a r   r e l a t i o n s hi ps   b e t w e e n   f e a t u r e s   a n d   t h e   t a r ge t   v a ri a b l e ,   i t   h a s   b e c o m e   a   p r e f e rr e a pp r o a c h   f o r   a dd r e s s i n c a s e s   o f   i m b a l a n c e c l a s s i f i c a t i o [32].   B e c a us e   of   t h e   i m pl i c i t   f e a t u r e   s e l e c t i o n   w h i c t a ke s   pl a c e   duri n g   t h e   b ui l di n g   o f   t h e   m o de l ,   g ra di e nt   b oo s t i n g   c a n   a l s o   b e   us e o n   f e a t u r e   s e l e c t i o n   t a s ks   [ 33].     2. 2 . R an d o m   f o r e s t   S e ve r a l   de c i s i o t r e e s   a r e   us e i t h e   e n s e m b l e - b a s e ra n d o m   f o r e s t   c l a s s i f i c a t i o n   a l go r i t hm .   T h e   b a ggi n g   t e c hni que   i s   us e b y   t h e   r a ndo m   f o r e s t   w h e r e   t h e   ra n do m   s a m pl e s   a r e   c h o s e f r o m   t h e   t ra i ni n da t a s e t   a n d   t h e   de c i s i o n   t r e e s   a r e   f i t t e t o   t h e s e   s a m pl e s .   T h e   m a j o ri t y   v o t e s   f r o m   e a c h   de c i s i o n   t r e e   c o n s t r uc t e us i n t h e   r a n do m   f o r e s t   m o de l   de t e r m i n e   t h e   f i na l   r e s ul t .   T h e   c a n d i d a t e   s pl i t   t e c hn i que   f o r   e a c h   de c i s i o n   t r e e   m o de l   i t h e   r a n do m   f o r e s t   c l a s s i f i e s e l e c t s   a   g r o up  o f   f e a t ur e s   a t   ra n do m ,   a n d   t h e   b e s t   s pl i t   f e a t ur e   f r o m   t ha t   s ub s e t   i s   us e t o   s pl i t   e a c n o de   o f   t h e   c o r r e s po n di ng   de c i s i o t r e e .   I t h e   m a j o r i t y   o ra n do m   f o r e s t   m o de l s ,   t h e   b e s t   s pl i t   s e l e c t i o n   i s   c a rri e o ut   us i n g   t h e   G i n i   i m pu ri t y   m e a s u r e .   T h e   d a t a s e t ' s   f e a t ur e s   c a n   a l s o   b e   r a nke by   t h e   ra n do m   f o r e s t   c l a s s i f i e a c c o r di n g   t o   t h e i s i g ni f i c a n c e .   E a c f e a t u r e ' s   qua l i t y   i s   e s t i m a t e d   us i n g   t h e   i m pu r i t y   m e t ri c s   us e d   i t he   r a n do m   f o r e s t   m o de l .   T h e   a v e ra ge   i m p u r i t y   m e a s u r e   v a l ue   f o r   e a c h   f e a t u r e   a c r o s s   a l l   t h e   de c i s i o t r e e s   c o n s t r uc t e d   us i ng  t h e   ra n do m   f o r e s t   m o de l   r e f l e c t s   t h e   f e a t u r e ' s   i m po r t a n c e ;   f o r   i n s t a n c e ,   a   l o w e r   v a l ue   i m p l i e s   a   f e a t ur e ' s   h i g i m po rt a n c e .   T h e   m a x i m u m   de pt o f   e a c h   de c i s i o t r e e   i s   s e t   t o   t h e   v a l ue   o f   t w o   fo r   t h e   r a ndo m   f o r e s t   m o de l   us e i t h e   E R F E - E C .     R a ndo m   f o r e s t   i s   c o n s i de r e f o r   t h e   c l a s s i f i c a t i o p r o b l e m s   [34],   s i n c e   i t   i s   r e s i s t a nt   t o   o v e r f i t t i n g   a s   w e l l   a s   b e i n g   a b l e   t o   a c c o un t   f o r   t h e   m i s s i ng  v a l ue s   i t h e   t ra i ni n g   da t a .   R a ndo m   f o r e s t   i s   a   h i g h l y   e ffe c t i ve   a l go ri t hm   f o r   f e a t u r e   s e l e c t i o [35 ],   t ha n ks   t o   i t s   p r o v i s i o n   o f   b ui l t - in   m e t h o ds   f o r   ra n k i n g   a nd  s e l e c t i n g   t h e   i m po r t a n t   f e a t u r e s   b a s e o n   t h e i r   c o nt r i b ut i o n   i t h e   de c i s i o n - m a ki ng  p r o c e s s .   T h e   f l ow c h a r t   o f   E R F E - E C   i s   s h o w n   i F i gu r e   2 .   A s   s h o w n   i n   F i gu r e   2 ,   i n i t i a l l y ,   t h e   de c i s i o n   t r e e ,   ra n do m   f o r e s t ,   A da B o os t ,   g r a d i e n t   b o os t i ng,   a n d   S V M   c l a s s i f i e r s   a r e   t r a i n e d   w i t t h e   d a t a s e t   i n di v i du a l l y .   T h e t h e   t ra i n e c l a s s i f i e r s   a r e   i ndi v i dua l l y   us e t o   e s t i m a t e   t h e   s c o r e s   of   fe a t u r e s   f r o m   t h e   da t a s e t .   T h e t h e   a c c ur a c y   of   t h e   da t a s e t   i s   e s t i m a t e d.   T h e t h e   f e a t ur e   w i t t h e   l e a s t   s c o r e   i s   e l i m i na t e d   f r o m   t h e   d a t a s e t .   T h e   r e s ul t i n da t a s e t   i s   us e a g a i n   t o   t r a i n   t h e   c l a s s i f i e r s   i ndi v i dua l l y .   T h e n   a ga i n ,   t h e   t ra i n e c l a s s i f i e r s   a r e   i n di v i du a l l y   us e t o   e s t i m a t e   t h e   s c o r e s   o f   f e a t u r e s   f r o m   t h e   da t a s e t .   T h e n   a g a i n,   t h e   a c c ur a c y   of   t h e   d a t a s e t   i s   e s t i m a t e d.   T h e a ga i n ,   t h e   f e a t u r e   w i t t h e   l o w e s t   s c o r e   i s   e l i m i na t e d   f r o m   t h e   da t a s e t .   T hi s   p r o c e s s   ge t s   r e pe a t e u n t i l   t h e   f e a t u r e   s ub s e t   b e c o m e s   e m pt y .   F i na l l y ,   t he   f e a t ur e   s ub s e t   w i t m a xi m u m   a c c ur a c y   i s   us e d   fo r   t ra i ni n g   t h e   e n s e m b l e   c l a s s i f i e r .   T h e   t ra i n e e n s e m b l e   c l a s s i f i e i s   us e f o r   pe r f o r m i n g   t h e   f i na l   c l a s s i f i c a t i o n.         3.   R ES U LTS   A N D   D I S C U S S I O N     T h e   pe r f o r m a n c e   m e a s u r e s :   a c c ura c y ,   pr e c i s i o n,   s e n s i t i v i t y ,   s pe c i f i c i t y ,   a nd  F - m e a s u r e   a r e   us e d   t o   t e s t   t h e   pe r f o r m a n c e   o f   m a c h i n e   l e a rni n g   c l a s s i f i e r s   f o r   t h e   o pt i m i z e d   m e di c a l   d a t a s e t s   o b t a i n e f r o m   R F - E M L m e t h o d.   T h e   pe r f o r m a n c e   m e a s u r e s :   a c c u r a c y ,   s e n s i t i v i t y ,   a nd  s pe c i f i c i t y   a r e   e s t i m a t e d   us i n g   (18 ),   (19),   a nd   (20) ,   r e s pe c t i v e l y   [36].   T h e   pe r f o r m a n c e   m e a s u r e s :   p r e c i s i o a nd   F - m e a s u r e   a r e   e s t i m a t e us i n g   (21)  a nd  (2 2),   r e s pe c t i v e l y   [37].   H e r e ,   T P ,   T N ,   F P ,   a n F N   r e p r e s e n t   t r ue   po s i t i v e ,   t r ue   n e ga t i v e ,   f a l s e   po s i t i v e ,   a n d   f a l s e   n e ga t i v e ,   r e s pe c t i v e l y .     A c c ur ac y   =    +   +  +  +                                                                                                                                                                                                                                      (18)        =   TP TP + FP                                                                                                                                                                                                                                                   (19)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E ns e m b l e   r e c ur s i v e   f e a t ur e   e l i m i nat i on - bas e d   …  ( T hi r um al a i m ut hu   T hi r um a l ai appan   R am anat han )   765      =     +                                                                                                                                                                                                                                              (20)        =     +                                                                                                                                                                                                                                              (21)     F - m e as ur e   =   2   ×       ×       +                                                                                                                                                                                                 ( 22)           F i gu r e   2 F l o w c h a r t   o f   E R F E - E       T h e   P ID   d i a b e t e s   a n h e a rt   d i s e a s e   da t a s e t s   c o n t a i m i s s i n g   v a l ue s   w h i c h   a r e   r e pl a c e by   K N N   i m pu t a t i o m e t h o [38 ].   T a b l e s   s h o w s   t h e   l i s t   o f   f e a t ur e s   t ha t   a r e   s e l e c t e by   v a r i o us   r e c u r s i v e   f e a t ur e   e l i m i na t o r s   s uc a s   D T - R F E ,   R F - R F E ,   A B - R F E ,   G B - R F E ,   S V M - R F E   a n d   t h e i r e s pe c t i v e   c l a s s i f i c a t i o a c c ur a c y   fo r   t h e   W D B C,   P ID ,   h e a r t   di s e a s e ,   a nd  P a rki n s o n ’s   di s e a s e   d a t a s e t s ,   r e s pe c t i v e l y .     A s   s h o w n   i n   T a b l e   1,   t h e   A B - R F E   a n R F - R F E   s h o w e r e l a t i v e l y   h i g h   a c c u r a c y ,   w h e r e a s   t h e   D T - R F E   a n S V M - R F E   s h o w e r e l a t i v e l y   l ow   a c c ur a c y   fo r   t h e   W D B da t a s e t .   T h e   S V M - R F E   s h o w e d   r e l a t i v e l y   h i g a c c u r a c y   w h e r e a s   t h e   D T - R F E ,   A B - R F E ,   a n d   G B - R F E   s h o w e r e l a t i v e l y   l ow   a c c ur a c y   fo r   t h e   P ID   da t a s e t .   T h e   R F - R F E   s h o w e r e l a t i v e l y   h i g a c c ura c y   w h e r e a s   t h e   D T - R F E   s h o w e r e l a t i v e l y   l ow   a c c ur a c y   fo r   t h e   h e a r t   d i s e a s e   da t a s e t .   T h e   A B - R F E   s h o w e r e l a t i v e l y   h i g a c c u r a c y   w h e r e a s   t h e   D T - R F E   a n d   S V M - R F E   s h o w e r e l a t i v e l y   l ow   a c c ur a c y   fo r   t h e   P a r ki n s o d i s e a s e   d a t a s e t .   T a b l e   2   s h o w s   t h e   c o m m o Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 :   758 - 771   766   l i s t   o f   f e a t ur e s   t h a t   a r e   s e l e c t e by   t h e   E R F E   m e t h o b a s e o n   t h e   m a j o r i t y   vo t i ng  f r o m   t h e   r e c ur s i v e   f e a t ur e   e l i m i na t o r s   a n d   t h e i r e s pe c t i v e   c l a s s i f i c a t i o n   a c c ura c y   fo r   t h e   fo ur   m e di c a l   d a t a s e t s .         T a b l e   1 .   F e a t u r e s   s e l e c t e by   v a r i o us   r e c ur s i v e   f e a t u r e   e l i m i na t o r s   f o r   di f f e r e n t   m e di c a l   da t a s e t s   D a t a s e t s   Cl a s s i fi e r s   S e l e c t e d   fe a t u r e s   A c c u ra c y   ( % )   W D BC   D e c i s i o n   t r e e   RW ,   T W ,   S W ,   CP W   93   W D BC   A d a Bo o s t   T M ,   P M ,   S M ,   CM ,   CY M ,   CP M ,   S Y M ,   RS E ,   T S E ,   P S E ,   A S E ,   S S E ,   CS E ,   CP S E ,   S S E ,   F D S E ,   R W ,   T W ,   P W ,   A W ,   S W ,   CW ,   CY W ,   CP W ,   S W ,   F D W   97   W D BC   G ra d i e n t   b o o s t i n g   T M ,   P M ,   A M ,   CY M ,   CP M ,   S Y M ,   F D M ,   RS E ,   T S E ,   A S E ,   S S E ,   C S E ,   C P S E ,   F D S E ,   RW ,   T W ,   P W ,   A W ,   S W ,   CW ,   CY W ,   CP W ,   S W ,   F D W   96   W D BC   Ra n d o m   fo r e s t   RM ,   T M ,   P M ,   A M ,   CM ,   CY M ,   CP M ,   A S E ,   R W ,   T W ,   P W ,   A W ,   S W ,   C W ,   CY W ,   CP W ,   S W   97   W D BC   S V M   RM ,   CY M ,   T S E ,   R W ,   S W ,   C W ,   CY W ,   C P W ,   S W   93   P ID   D e c i s i o n   t r e e   P G C,   2 H S I BM I D P F ,   a g e   75   P ID   A d a Bo o s t   P G C,   T S F T 2 H S I B M I D P F   75   P ID   G ra d i e n t   b o o s t i n g   N T P ,   P G C ,   2 H S I B M I ,   a g e   75   P ID   Ra n d o m   fo r e s t   P G C,   T S F T 2 H S I B M I ,   a g e   77   P ID   S V M   N T P ,   P G C ,   D B P BM I D P F   81   H e a rt   d i s e a s e   D e c i s i o n   t r e e   A g e ,   g e n d e r,   T CP ,   RBP ,   S C,   F B P ,   RE R ,   M H R A ,   E I A ,   o l d p e a k ,   S P E S T S ,   N M V CF ,   t h a l a s s e m i a   74   H e a rt   d i s e a s e   A d a Bo o s t   A g e ,   g e n d e r,   T CP ,   RBP ,   S C,   M H R A ,   E I A ,   o l d p e a k ,   S P E S T S ,   N M V CF ,   t h a l a s s e m i a   82   H e a rt   d i s e a s e   G ra d i e n t   b o o s t i n g   a g e ,   g e n d e r,   T CP ,   RB P ,   S C ,   M H R A ,   E I A ,   o l d p e a k ,   S P E S T S ,   N M V CF ,   t h a l a s s e m i a   79   H e a rt   d i s e a s e   Ra n d o m   fo r e s t   a g e ,   g e n d e r,   T CP ,   RB P ,   S C ,   R E R,   M H R A ,   E I A ,   o l d p e a k ,   S P E S T S ,   N M V CF ,   t h a l a s s e m i a   85   H e a rt   d i s e a s e   S V M   G e n d e r,   T CP ,   RE R ,   E I A ,   o l d p e a k ,   S P E S T S ,   N M V CF ,   th a l a s s e m i a   84   P a rk i n s o n s   d i s e a s e   D e c i s i o n   t r e e   M V P :   F o ,   M V P :   F h i ,   s h i m m e r :   A P Q 5 ,   R P D E ,   s p r e a d 2 ,   P P E   87   P a rk i n s o n s   d i s e a s e   A d a Bo o s t   M V P :   F o ,   s h i m m e r :   A P Q 5 ,   D F A ,   s p r e a d 2 ,   P P E   92   P a rk i n s o n s   d i s e a s e   G ra d i e n t   b o o s t i n g   M V P :   F o ,   M V P :   F h i ,   s h i m m e r :   A P Q 5 ,   D 2 ,   P P E   90   P a rk i n s o n s   d i s e a s e   Ra n d o m   fo r e s t   M V P :   F o ,   M V P :   F l o ,   s p r e a d 1 ,   s p re a d 2 ,   P P E   90   P a rk i n s o n s   d i s e a s e   S V M   M V P :   s h i m m e r   ( d B),   RP D E ,   D F A ,   s p r e a d 1 ,   D 2   87       T a b l e   2 .   F i na l   l i s t   o f   fe a t ur e s   s e l e c t e by   t h e   E R F E - E C   m e t ho d   D a t a s e t s   S e l e c t e d   fi n a l   fe a t u re s   W D BC   T M ,   P M ,   CY M ,   C P M ,   T S E ,   A S E ,   RW ,   T W ,   P W ,   A W ,   S W ,   C W ,   CY W ,   C P W ,   S W   P ID   P G C,   2 H S I BM I D P F ,   A g e   H e a rt   D i s e a s e   A g e ,   g e n d e r,   T CP ,   RBP ,   S C,   RE R ,   M H R A ,   E I A ,   o l d p e a k ,   S P E S T S ,   N M V C F ,   t h a l a s s e m i a   P a rk i n s o n s   D i s e a s e   M V P :   F o ,   s h i m m e r :   A P Q 5 ,   s p re a d 2 ,   P P E       F i gu r e   c o m pa r e s   t h e   c l a s s i f i c a t i o a c c ura c i e s   o f   d e c i s i o n   t r e e ,   r a ndo m   f o r e s t ,   A da B o os t ,   g r a di e n t   bo os t i n g ,   a n S V M   c l a s s i f i e r s   w i t h   a n w i t h o ut   t h e   E R F E   f e a t u r e   s e l e c t i o n   m e t h o f o r   t h e   W D B da t a s e t .   F i gu r e   c o m pa r e s   t h e   c l a s s i f i c a t i o n   a c c ur a c i e s   o f   de c i s i o n   t r e e ,   ra n do m   f o r e s t ,   A d a B o os t ,   g ra di e n t   b oo s t i n g ,   a n d   S V M   c l a s s i f i e r s   w i t a nd   w i t h o ut   t h e   E R F E   f e a t ur e   s e l e c t i o n   m e t h o f o r   t h e   P ID   d a t a s e t .   F i gu r e   c o m pa r e s   t h e   c l a s s i f i c a t i o a c c ura c i e s   o f   de c i s i o n   t r e e ,   ra n do m   f o r e s t ,   A d a B oo s t ,   g ra di e n t   b oo s t i n g ,   a n d   S V M   c l a s s i f i e r s   w i t h   a n d   w i t h o ut   t h e   E R F E   f e a t u r e   s e l e c t i o m e t h o f o r   t h e   h e a r t   d i s e a s e   da t a s e t .   F i gu r e   6   c o m pa r e s   t h e   c l a s s i f i c a t i o a c c ura c i e s   o f   de c i s i o n   t r e e ,   ra n do m   f o r e s t ,   A d a B oo s t ,   g ra di e n t   b oo s t i n g ,   a n d   S V M   c l a s s i f i e r s   w i t a nd  w i t h o ut   t h e   E R F E   f e a t u r e   s e l e c t i o m e t h o f o r   t h e   P a rki n s o n ’s   di s e a s e   d a t a s e t .     A s   s h o w n   i F i gu r e   3 ,   t h e   de c i s i o t r e e ,   ra n do m   f o r e s t ,   A d a Bo os t ,   a nd  g ra d i e nt   b o o s t i n c l a s s i f i e r s   s h o w e r e l a t i v e l y   h i g a c c ura c i e s   f o r   t h e   o pt i m i z e W D B da t a s e t   a f t e t h e   E R F E   b a s e f e a t ur e   s e l e c t i o n   pr o c e s s   w h e c o m pa r e t o   t h e i a c c ur a c i e s   t ha t   a r e   e v a l ua t e f o r   t h e   w h o l e   W D B da t a s e t .   B ut   t h e   S V M   c l a s s i f i e s h o w e r e l a t i v e l y   l ow   a c c ura c y   f o r   t h e   o pt i m i z e W D B d a t a s e t   a f t e t h e   E R F E   b a s e f e a t u r e   s e l e c t i o n   p r o c e s s   w h e c o m pa r e t o   i t s   a c c ura c y   t ha t   i s   e v a l u a t e f o r   t h e   w h o l e   W D B da t a s e t .     A s   s h o w n   i n   F i gu r e   4,   t h e   S V M   c l a s s i f i e s h o w e r e l a t i v e l y   h i g a c c ura c y   fo r   t h e   o pt i m i z e P ID   da t a s e t   a f t e r   t h e   E R F E   b a s e f e a t u r e   s e l e c t i o n   p r o c e s s   w h e n   c o m pa r e t o   i t s   a c c ura c y   t h a t   i s   e v a l ua t e d   f o r   t h e   w h o l e   P ID   d a t a s e t .   B ut   t h e   de c i s i o t r e e ,   r a ndo m   f o r e s t ,   A d a B oo s t ,   a nd   g r a di e n t   b oo s t i n g   c l a s s i f i e r s   s h o w e d   r e l a t i v e l y   l ow   a c c ur a c i e s   f o r   t h e   o pt i m i z e P ID   d a t a s e t   a f t e t h e   E R F E   b a s e f e a t u r e   s e l e c t i o n   p r o c e s s   w h e n   c o m pa r e t o   t h e i a c c u r a c i e s   t ha t   a r e   e v a l ua t e d   f o r   t h e   w h o l e   P ID   d a t a s e t .     A s   s h o w n   i n   F i gu r e   5 ,   t h e   S V M   c l a s s i f i e r   s h o w e r e l a t i v e l y   h i g a c c u r a c y   fo r   t h e   o pt i m i z e h e a rt   di s e a s e   da t a s e t   a f t e t h e   E R F E   b a s e f e a t u r e   s e l e c t i o p r o c e s s   w h e n   c o m pa r e d   t o   i t s   a c c u r a c y   t ha t   i s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E ns e m b l e   r e c ur s i v e   f e a t ur e   e l i m i nat i on - bas e d   …  ( T hi r um al a i m ut hu   T hi r um a l ai appan   R am anat han )   767   e v a l ua t e f o t h e   w h o l e   h e a r t   d i s e a s e   d a t a s e t .   B ut   t h e   ra n do m   f o r e s t ,   A d a B oo s t ,   a nd   g ra di e n t   b o o s t i n c l a s s i f i e r s   s h o w e r e l a t i v e l y   l ow   a c c ur a c i e s   f o r   t h e   o pt i m i z e h e a r t   di s e a s e   da t a s e t   a f t e r   t h e   E R F E   b a s e d   f e a t ur e   s e l e c t i o p r o c e s s   w h e n   c o m pa r e d   t o   t h e i a c c u r a c i e s   t h a t   a r e   e v a l ua t e f o r   t h e   w h o l e   h e a r t   d i s e a s e   da t a s e t .   I n   c a s e   o f   t h e   de c i s i o n   t r e e   c l a s s i f i e r,   i t   s h o w e t h e   s a m e   a c c u r a c y   fo r   t h e   h e a rt   d i s e a s e   da t a s e t   w h e e v a l ua t e w i t a n d   w i t h o ut   t h e   f e a t u r e   s e l e c t i o n   p r o c e s s .   A s   s h o w n   i n   F i gu r e   6 ,   t h e   ra n do m   f o r e s t ,   g r a di e n t   b o o s t i n g,   a n S V M   c l a s s i f i e r s   s h o w e r e l a t i v e l y   l o w   a c c ur a c i e s   f o r   t h e   o pt i m i z e d   P a r k i n s o n ’s   di s e a s e   d a t a s e t   a f t e t h e   E R F E   b a s e f e a t u r e   s e l e c t i o p r o c e s s   w h e n   c o m pa r e t o   t h e i r   a c c ura c i e s   t h a t   a r e   e v a l ua t e f o r   t h e   w h o l e   P a r ki n s o n ’s   di s e a s e   da t a s e t .   I n   c a s e   o f   t h e   de c i s i o n   t r e e   a n d   A d a B oo s t   c l a s s i f i e r s ,   t h e y   s h o w e t h e   s a m e   a c c u r a c i e s   f o t h e   P a r k i n s o n ’s   di s e a s e   d a t a s e t   w h e n   e v a l u a t e w i t a nd  w i t h o ut   t h e   f e a t u r e   s e l e c t i o p r o c e s s .       F i gu r e   7   s h o w s   t h e   pe r f o r m a n c e   m e a s u r e s   o f   E R F E - E C   f o r   t h e   f o u m e di c a l   da t a s e t s .   A s   s h o w n   i F i gu r e   7 ,   t h e   s e n s i t i v i t y   of   E R F E - E C   i s   r e l a t i v e l y   h i g h,   a n d   t h e   p r e c i s i o o f   E R F E - E C   i s   r e l a t i v e l y   l o w   w h e c o m pa r e t o   t h e   o t h e pe r f o r m a n c e   m e a s u r e s   f o r   t h e   W D B da t a s e t .   T h e   s pe c i f i c i t y   of   E R F E - E C   i s   r e l a t i v e l y   h i g h ,   a nd   t h e   s e n s i t i v i t y   of   E R F E - E i s   r e l a t i v e l y   l ow   w h e n   c o m pa r e t o   t h e   o t h e r   pe r f o r m a n c e   m e a s u r e s   f o r   t h e   P ID   d a t a s e t .   T h e   s e n s i t i v i t y   of   E R F E - E i s   r e l a t i v e l y   h i g h,   a n d   t h e   s pe c i f i c i t y   of   E R F E - E i s   r e l a t i v e l y   l ow   w h e c o m pa r e d   t o   t h e   o t h e pe r f o r m a n c e   m e a s u r e s   f o t h e   h e a rt   di s e a s e   da t a s e t .   T h e   s e n s i t i v i t y   of   E R F E - E C   i s   r e l a t i v e l y   h i g h,   a n d   t h e   s pe c i f i c i t y   of   E R F E - E C   i s   r e l a t i v e l y   l o w   w h e n   c o m pa r e d   t o   t h e   o t h e pe r f o r m a n c e   m e a s u r e s   f o r   t h e   P a r ki n s o n ’s   d i s e a s e   da t a s e t .     T h i s   s t udy   i n v e s t i ga t e d   t h e   e f f e c t s   of   r e c u r s i v e   f e a t ur e   e l i m i na t i o m e t h o t hr o ug a e n s e m b l e - b a s e a pp r o a c h.   W h i l e   e a r l i e s t ud i e s   [3],   [5]   h a v e   e xpl o re t h e   i m pa c t   o f   r e c ur s i v e   f e a t ur e   e l i m i na t i o m e t h o f o r   c l a s s i fy i n g   t h e   W D B a n d   P ID   d a t a s e t s ,   t h e y   ha v e   n o t   e xpl i c i t l y   a dd r e s s e i t s   i n f l ue n c e   o n   m e di c a l   da t a   c l a s s i f i c a t i o n   us i n a e n s e m b l e - b a s e a pp r o a c h.   W e   f o un t ha t   t h e   e ff e c t i v e n e s s   of   E R F E   m e t h o ge t s   v a ri e a c c o r di n t o   t h e   t e s t i ng  da t a s e t s   a s   s h o w n   i n   F i gu r e s   3 - 6.   T h e   E R F E   m e t h o p r o po s e i n   t h i s   s t udy   r e duc e t h e   W D B d a t a s e t   t o   t h e   m o s t   i m pa c t f ul   f e a t u r e s ,   p r e s e r v i n o n l y   t h o s e   e s s e n t i a l   f o r   pr e di c t i n g   m o r e   a c c ura t e   o ut c o m e s   a s   s h o w n   i n   F i gu r e   3 .           F i gu r e   3 .   P e r f o r m a n c e   c o m pa r i s o n   o f   v a r i o us   c l a s s i f i e r s   f o r   t h e   W D B d a t a s e t             F i gu r e   4 .   P e r f o r m a n c e   c o m pa r i s o n   o f   v a r i o us   c l a s s i f i e r s   f o r   t h e   P ID   da t a s e t     Evaluation Warning : The document was created with Spire.PDF for Python.