I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  1 5 ,   No .   4 ,  D e c em b er   20 2 6 ,   p p .   1 6 1 4 ~ 1 6 2 3   I SS N:  2252 - 8 7 7 6 ,  DOI :  1 0 . 1 1 5 9 1 /iji ct . v 1 5 i 4 . pp 1 6 1 4 - 1 6 2 3           1614       J o ur na l ho m ep a g e :  h ttp : //ij ict. ia esco r e. co m   Exploring  ef fec tive fe a tu re sele ction  methods  in  log istic  regres sio n f o r cr e dit  sco ring  mo del s in XYZ  bank       B rig it t a   P er m a dh i ,  Dev i F it r ia na h   C o m p u t e r   S c i e n c e   D e p a r t m e n t ,   B I N U S   G r a d u a t e   P r o g r a m  –   M a s t e r   o f   C o m p u t e r   S c i e n c e ,   B i n a   N u sa n t a r a   U n i v e r si t y ,   J a k a r t a ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   1 6 ,   2 0 2 5   R ev is ed   J u n   2 5 ,   2 0 2 6   Acc ep ted   Au g   2 8 ,   2 0 2 6       Th is  re se a rc h   e x p l o re s  o p ti m ize d   v a riab le  se lec ti o n   in   c re d it   sc o ri n g   m o d e ls,   c o m p a rin g   wra p p e r,   e m b e d d e d ,   n o n e ,   a n d   h y b r id   a p p r o a c h e s .   Lo g isti c   re g re ss io n   is   a p p li e d   to   m o d e l  t h e   d e p e n d e n c e   o f   e x p la n a to ry   v a riab les   o n   th e   targ e t   v a riab le   wh il e   m it ig a ti n g   u n d e rfit ti n g ,   o v e rfi tt in g ,   a n d   c o m p u tati o n a l  c h a ll e n g e s.  F e a tu re   se lec ti o n   m e th o d s  h e l p   m it i g a te  th e se   issu e s  b y   re d u c in g   d ime n si o n a li t y   a n d   imp r o v i n g   m o d e l  g e n e ra li z a ti o n .   T h e   Hy b ri d   m o d e l  a c h iev e d   th e   b e st  o v e ra ll   p e rfo rm a n c e   with   a c c u ra c y   =   0 . 9 8 4 0   o n   t h e   tes t  se t  a n d   a c c u ra c y   =   0 . 9 8 3 9   o n   th e   train i n g   se t  ( tes t - train   d iffere n c e   =  - 0 . 0 0 0 1 ),   a s  we ll   a s  th e   b e st  r e c a ll   =   0 . 9 9 9 3 ,   F 1 - sc o re   =   0 . 9 8 4 2 ,   a n d   th e   lea st n u m b e r  o f  fa lse   p o siti v e s (F P   =   4 7 )  a n d   fa lse   n e g a ti v e s (F N = 1 ),   wh ich   su g g e sts  g o o d   p re d icti v e   a b il it y   a n d   sta b il it y   wit h   th e   fe we st  m isc las sifica ti o n s.  Th e   wra p p e r  a n d   e m b e d d e d   m o d e ls   h a v e   l o we r  a c c u ra c ies   o f  0 . 9 7 9 3   a n d   0 . 9 8 3 0 ,   re sp e c ti v e ly ,   a n d   m il d   o v e rfi tt in g .   Th e   b a se li n e   m o d e l  with   n o   fe a tu re   se lec ti o n   p e rfo rm e d   th e   wo rst  i n   term s  o f   b o t h   a c c u ra c y   a n d   F 1 - sc o re   (a c c u ra c y   =   0 . 5 0 0 0 ,   F 1 - sc o re   =   0 . 6 6 6 7 ).   I n   c o n c lu si o n ,   t h e   re su lt s   i n d ica te   th a t   t h e   c o m b in a ti o n   o f   wra p p e r  a n d   e m b e d d e d   a p p ro a c h e s  is   th e   m o st  a c c u ra te,  sta b le,  a n d   g e n e ra li sa b le   m o d e l   fo r  c re d it   sc o ri n g   tas k s.   K ey w o r d s :   Acc u r ac y   C r ed it sco r in g   Featu r e  s elec tio n   Hy b r id   m o d el   L o g is tic  r eg r ess io n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   B r ig itta Per m ad h i    C o m p u ter   Scien ce   Dep ar tm e n t,  B I NUS  Gr ad u ate  Pro g r a m  –   Ma s ter   o f   C o m p u ter   Scien ce   B in a  Nu s an tar a  Un iv er s ity   J ak ar ta,   I n d o n esia   E m ail: b r ig itta.p er m a d h i@ b in u s . ac . id       1.   I NT RO D UCT I O N   I n   to d ay ' s   d ata - d r iv e n   wo r l d ,   elig ib ilit y   s co r in g   m o d els  p la y   a  c r u cial  r o le  in   s u p p o r tin g   in d iv id u als  an d   o r g an izatio n s   in   m ak i n g   well - in f o r m ed   d ec is io n s   [ 1 ] .   E lig ib ilit y   s co r in g   is   a  f o u n d atio n al  p r o ce s s   f o r   ev alu atin g   o b jects  b ased   o n   p er tin en t  v ar iab le s ,   allo win g   f o r   th e   p r e d ictio n   o f   s p ec if ic  ch ar ac ter is tics   [ 2 ] .   T h is   ca p ab ilit y   en ab les  b u s in ess es  an d   in d iv id u als  to   as s ess   r is k s   an d   m ak e  well  in f o r m ed   ch o ices  [ 3 ] .     I t h as a p p licatio n s   ac r o s s   v ar i o u s   s ec to r s ,   in clu d in g   f in an ce ,   h ea lth ca r e,   m a r k etin g ,   an d   i n s u r an ce   [ 4 ] .   T h is   m eth o d   ass ig n s   n u m er ical  s co r es  to   o b jects   f o r   c o m p ar is o n ,   class if icatio n ,   an d     d ec is io n - m ak in g ,   m ak in g   it  ess en tial  in   f ield s   r eq u ir in g   o b jectiv e  an aly s is .   I n   cr ed it  s co r in g ,   p r e d ictiv e  tech n iq u es  s u ch   as  lo g is tic  r e g r ess io n ,   r an d o m   f o r est  an d   d ec is io n   tr ee s   an aly ze   d ata  t o   ass es s   cr ed it  r is k ,   p r o d u cin g   s co r es th at  i n d icate   lev els o f   r is k ,   q u ality   o r   p r o b a b ilit y   [ 2 ] .   A  k ey   ch allen g e   in   cr ed it   s co r in g   is   o v er f itti n g ,   wh ich   o cc u r s   wh en   a   m o d el  b ec o m es  to o   t ailo r ed   to   th e  tr ain in g   d ata,   r e d u cin g   it s   ab ilit y   to   g en e r alize   to   n e w  d ata,   lead in g   to   p o o r   r ea l - wo r ld   p er f o r m a n ce .   C o n v er s ely ,   u n d e r f itti n g   o cc u r s   wh en   th e  m o d el  is   to o   s im p lis tic  to   r ec o g n ize  m ea n i n g f u l  d ata  p atter n s ,   r esu ltin g   in   wea k   p r ed ictiv e  p er f o r m a n ce   o n   b o th   t r ain in g   a n d   te s tin g   s ets [ 5 ] .   T o   a d d r ess   th ese  is s u es,  f ea tu r e  s elec tio n   m eth o d s   ar e  ess en tial f o r   ef f ec tiv ely   r ed u cin g   f ea tu r e  d im en s io n ality   [ 6 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       E xp lo r in g   effec tive  fea tu r e  s elec tio n   meth o d s   in   lo g is t ic  r eg r ess io n   fo r   cred it  …  ( B r ig itta   P erma d h i )   1615   Featu r e  s elec tio n   m o d els ar e  v alu ab le  f o r   d ata  an al y s ts   in   s el ec tin g   th e  m o s t sig n if ican t v ar iab les [ 7 ] .   B y   s y s tem atica lly   s e lectin g   o n ly   th e  m o s t  r elev a n t  f ea tu r e s ,   f ea tu r e  s elec tio n   en h an ce s   m o d el  ef f icien c y ,   s im p lifie s   co m p u tatio n s ,   an d   r ed u ce s   o v er f itti n g   r is k ,   lea d in g   to   m o r e  i n ter p r eta b le  a n d   co m p u tatio n ally   ef f icien t c r ed it sco r in g   m o d els [ 8 ] .   T h e  wr ap p er   m eth o d   f o llo w s   an   iter ativ e   p r o ce s s   wh ic h   is   i n itializin g   a  f ea tu r e   s u b s et,   tr ain in g   th e   m o d el,   ev al u atin g   its   p er f o r m an ce ,   u p d atin g   th e   s u b s et,   an d   r ep ea tin g   t h e  cy cle  u n til  a  s to p p in g   co n d itio n   is   m et  [ 9 ] .   T h e   em b e d d ed   m eth o d   in te g r ates  f ea tu r e   s elec tio n   with in   th e   m o d el  tr ain in g   p r o ce s s ,   allo win g   th e   alg o r ith m   to   lear n   an d   ass ig n   h ig h er   im p o r tan ce   to   th e  m o s t   r elev an t  f ea tu r es  wh ile  m in im izin g   th e  in f lu en ce   o f   less   s ig n if ican t  o n es  [ 8 ] .   Hen ce ,   we  p r o p o s ed   a  n ew  h y b r id   ap p r o ac h ,   wh ich   co m b in es   m u ltip le  s elec tio n   tech n iq u es  to   le v er ag e  t h eir   r esp ec tiv e  s tr en g th s ,   e n h an cin g   m o d el  in ter p r etab ilit y ,   p er f o r m an ce ,   a n d   m itig atin g   o v er f itti n g   [ 1 0 ] .   W h ile  h y b r id   f ea tu r e  s elec tio n   m eth o d s   s u ch   as  L ass o   c o m b in ed   with   s eq u e n tial  f ea tu r e  s elec tio n   h av e  b ee n   p r ev io u s ly   ex p lo r ed ,   th i s   s tu d y   d o es  n o t  aim   to   p r o p o s e  a   f u n d am en tall y   n ew  alg o r ith m .     I n s tead ,   th e  co n tr ib u tio n   o f   th i s   r esear ch   lies   in   th e  co n tex tu al  ad ap tatio n   an d   em p ir ical  v a lid atio n   o f   a  h y b r id   f ea tu r e  s elec tio n   s tr ateg y   o n   a   lar g e - s ca le,   r ea l - wo r ld   b an k i n g   d ataset  [ 1 0 ] .   Un lik e   p r io r   s tu d ies  th at  f o cu s   o n   m eth o d o l o g ical  n o v elty ,   th is   s tu d y   e m p h asizes  h o w  th e   in te g r atio n   o f   em b e d d ed   an d   wr a p p er   m et h o d s   ca n   b e  ef f ec tiv ely   a p p lied   to   h ig h - d i m en s io n al  an d   im b alan ce d   f i n an cial  d ata.   T h e   r esu lts   d e m o n s tr ate  th at   s u ch   ad ap tatio n   lead s   t o   a  s tab le,   in ter p r etab le,   a n d   g en er aliza b le  m o d el,   w h ich   is   cr itical  f o r   p r ac tical  cr ed it   s co r in g   ap p licatio n s .   L o g is tic  R eg r ess io n   is   r eta in ed   in   th is   s tu d y   d u e  to   its   s t r o n g   in ter p r etab ilit y   an d   alig n m en t  with   r eg u lato r y   r eq u ir e m en ts   co m m o n ly   f o u n d   in   f i n an cial  in s titu tio n s   [ 1 1 ] .   I n   cr ed it  s co r in g   ap p licatio n s ,     m o d els  m u s t  n o t  o n ly   ac h iev e  h ig h   p r ed ictiv e  p er f o r m an c e  b u t  also   p r o v id e   tr an s p ar e n t  an d   e x p lain ab l e   d ec is io n - m ak in g   p r o ce s s es.  L o g is tic  R eg r ess io n   en ab les  p r ac titi o n er s   to   clea r l y   u n d er s ta n d   th e   r elatio n s h ip   b etwe en   in p u t  v ar iab les an d   cr ed it r is k ,   m ak in g   it su itab le  f o r   au d it a n d   co m p lian ce   p u r p o s es [ 1 2 ] .   Fu r th er m o r e ,   f ea tu r e  s elec tio n   is   n o t  o n ly   im p o r tan t  f o r   i m p r o v i n g   m o d el  p e r f o r m an c e  b u t  also   p r o v id es   s ig n if ican t  b u s in ess   v alu e   [ 5 ] .   B y   r ed u cin g   th e   n u m b er   o f   in p u t  v ar iab les,  it  s im p lifie s   m o d el   in ter p r etatio n   f o r   s tak eh o ld er s   an d   s u p p o r ts   r e g u lato r y   tr a n s p ar en cy .   I n   a d d itio n ,   f ewe r   v a r iab les  r ed u ce   d ata   co llectio n ,   s to r ag e ,   an d   p r o c ess in g   co s ts ,   m ak in g   th e  m o d el  m o r e   ef f icie n t  an d   p r ac tical  f o r   r ea l - wo r l d   im p lem en tatio n   in   b an k i n g   en v ir o n m e n ts .   T h is   s tu d y   aim s   to   o p tim ize  f ea tu r e  s elec tio n   in   cr ed it  s co r in g   m o d els  u s in g   d ata  f r o m   B an k   XYZ ,   f o cu s in g   o n   im p r o v in g   m o d el   ac cu r ac y   an d   ef f i cien c y .   T h e  r esear ch   m eth o d   in cl u d es  d ata   co llectio n ,   s ettin g   o b jectiv e,   clea n s in g   d ata,   f e atu r e  s elec tio n ,   d ata  s p litt in g ,   in p u ttin g   p r e p r o ce s s ed   d a ta  in to   t h e  m o d el,   ev alu atio n   a n d   v alid atio n   [ 1 1 ] .   T h is   s tu d y   will  co n tr ib u te  t o   ad v an ci n g   f ea t u r e  s elec tio n   a n d   em p h asize  th eir   im p o r tan ce .       2.   RE S E ARCH   M E T H O D   T h e  r esear ch   p r o ce s s   b eg i n s   with   d ata   co llectio n ,   f o llo wed   b y   d ef in in g   th e   m o d el’ s   o b jectiv e.     Nex t,  d ata  clea n in g   is   p er f o r m ed   to   en s u r e  th e  q u ality   an d   co n s is ten cy   o f   th e  d ataset.   Featu r e  s elec tio n   is   th en   ap p lied   to   id en tif y   th e  m o s t  s i g n if ican t  v ar ia b les.  I n   th is   s tu d y ,   f o u r   f ea t u r e  s elec tio n   s tr ateg ies  ar e  em p lo y ed :   W r ap p er ,   E m b e d d ed ,   Hy b r id ,   a n d   a  b aselin e  with   n o   f e atu r e  s elec tio n ,   ch o s en   to   r e p r esen t  a  r an g e  o f   co m p u tatio n al  c o m p lex ity   a n d   g en er aliza tio n   ab ilit y .   T o   m in im ize  p o ten tial  b ias  an d   en h an ce   r ep r o d u cib ilit y ,   th e  d ataset  was  r an d o m ly   d iv i d ed   in to   tr ain in g   an d   test in g   s u b s ets.  T h e  lo g is tic  r eg r ess io n   m o d el  was  f itted   u s in g   th e   tr ain in g   d ata  an d   s u b s eq u en tly   e v alu ated   o n   th e  test   s et  to   ass ess   its   p r ed i ctiv e  p er f o r m a n ce .     E ac h   f ea tu r e   s elec tio n   ap p r o ac h   is   ass ess ed   u s in g   s tan d ar d   class if icatio n   m etr ics,  i n clu d in g   ac cu r ac y ,   p r ec is io n ,   r e ca ll,  an d   F1 - s co r e   [ 1 3 ] .   T h e  r esu lts   o b tain ed   f r o m   th ese  ev alu atio n s   ar e  an aly ze d   an d   co m p ar ed   to   d eter m in e  th e  r elativ e  ef f ec tiv en ess   o f   ea ch   f ea tu r e  s elec tio n   m eth o d .   A  ce n tr al  h y p o th esis   o f   th is   s tu d y   is   th at  th e  H y b r id   m eth o d   will  y ield   s u p er io r   r esu lt s   b y   c o m b in in g   s tatis tical  r elev an ce   an d   m o d el - s p ec if ic   r ef in em en t.   T h e   f in al   s tep   in v o lv es  v alid atin g   th e   m o d el' s   p er f o r m a n ce   o n   n ew  d ata  [ 1 4 ] .   Fig u r e  1   illu s tr ates  th e  en tire   p r o ce s s .     2 . 1 .     Da t a   c o llect io n   T h e  f ir s t  s tep   in v o lv es  o b tain in g   th e  d ataset  f o r   th e  elig ib i lity   s co r in g   m o d el.   I n   ad d itio n   to   d ata  ac q u is itio n ,   th is   p h ase  also   in v o lv es  id en tify i n g   th e   d ep e n d en t  v ar iab le  ( )   a n d   in d ep en d en t  v ar iab les  ( )   in   th e  p r ed ictiv e  m o d el.   I t  is   e s s en tial  to   en s u r e  th at  th e  d ataset  co n tain s   r elev an t  f ea tu r e s   n ec ess ar y   f o r   p r ed ictin g   th e  d esire d   o u tco m es  [ 1 ] .   I n   th is   s tu d y ,   d ata  is   o b tain ed   f r o m   B an k   XYZ   an d   p er tain s   to   c r ed it   ap p r o v als,  m ak in g   it  a  cr ed it   s co r in g   m o d el  [ 1 5 ] .   I n   th is   m o d el,   th e  tar g et  v a r iab le  ( )   is   cr ed it  ap p r o v al   d ec is io n   an d   th e   o th er   co lu m n s   b ec o m e  th e  in d ep en d en t v a r iab les ( ).     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 5 ,   No .   4 ,  D e c em b er   20 2 6 :   1 6 1 4 - 1 6 2 3   1616       Fig u r e  1 .  R esear ch   m eth o d       2 . 2 .     Set t ing   o bje ct iv e   I n   th is   s tep ,   th e   class if icatio n   cr iter ia  f o r   cr ed itwo r t h in ess   ar e  d ef in e d .   Sp ec if ically ,   cr ed it   s co r es  o f   3 ,   4 ,   an d   5   ar e  ca teg o r ized   as  "Bad , "  wh ile  s co r es  o f   1   an d   2   ar e  co n s id er e d   "Go o d " .   T h ese  Go o d /B ad   class if icatio n s   s er v e  as  th e  tar g et  v ar iab le  f o r   tr ain in g   th e  m o d el.   T h e  d ef in itio n s   o f   g o o d   an d   b ad   is   f lex ib le   an d   ca n   b e  ad ju s ted   b ased   o n   s p ec if ic  n ee d s   an d   co n te x ts   [ 1 6 ] .     2 . 3 .     Da t a   clea nin g   Data   clea n in g   is   p er f o r m ed   to   en s u r e  o f   h ig h   q u ality   an d   r eliab le  in p u t  f o r   th e   m o d els.    T h is   s tep   in v o lv es  th e  h an d lin g   o f   m is s in g   d ata,   o u tlier s ,   d ata  er r o r s   an d   d ata  ty p es  [ 1 0 ] .   Ad d itio n ally ,   f ilter in g   is   ap p lied   to   r em o v e   co n s tan t v ar iab les,  wh ich   p r o v id e  n o   u s ef u l in f o r m atio n   a n d   d u p licate  v ar iab les,  wh ich   in tr o d u ce   r ed u n d a n cy .   Pro p er   d ata  clea n i n g ,   in clu d i n g   th ese  f ilter in g   s tep s ,   is   n ec e s s ar y   f o r   th e   m o d el   to   lear n   f r o m   ac cu r ate  an d   r ep r esen tativ e  d ata  [ 1 ] .     2 . 4 .     F e a t ure  s elec t io n   Featu r e  s elec tio n   is   a  cr itical  p r o ce s s   in   m ac h in e  lear n in g .   I t  in v o lv es  s elec tin g   a  r elev an t   s u b s et  o f   in p u t  v ar iab les  f r o m   a  lar g er   d ataset  [ 1 7 ] .   T h e  p r im ar y   o b jectiv e  o f   f ea tu r e   s elec tio n   is   t o   id en tif y   th e   m o s t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       E xp lo r in g   effec tive  fea tu r e  s elec tio n   meth o d s   in   lo g is t ic  r eg r ess io n   fo r   cred it  …  ( B r ig itta   P erma d h i )   1617   in f o r m ativ e  an d   s ig n if ican t  f e atu r es  th at  co n tr ib u te  th e  m o s t  to   th e  p r ed ictiv e  ab ilit y   o f   a   m ac h in e  lear n in g   m o d el  [ 1 8 ] .   Sev er al  f ea t u r e  s elec tio n   m eth o d s   ex is t,  in clu d in g   f ilter ,   wr a p p er ,   an d   em b e d d ed   m eth o d s   [ 1 9 ] .   T h e  f ilter   m eth o d   ev alu ates  e ac h   f ea tu r e  in d iv id u ally   u s in g   s tatis t ical  tech n iq u es  to   d eter m in e  it s   r elev an ce   lev el  to   t h e  tar g et  v a r iab le.   T h e  f ilter   m eth o d   h elp s   id e n tify   a n d   r em o v e  co n s tan t,  d u p licate  o r   h ig h l y   co r r elate d   f ea tu r es in   th e  d ataset  [ 1 0 ] .   T h e  wr ap p er   m eth o d   is   an   iter ativ e  ap p r o ac h   th at  s elec ts   an   o p tim al  s u b s et  o f   v ar iab les  f o r   a   p r ed i ctiv e  m o d el  [ 1 5 ] .   I n   ea c h   iter atio n ,   a  m o d el  is   b u ilt  u s in g   th e  s elec ted   v ar iab les  an d   ev alu ated   u s in g   m etr ics  lik e  ac cu r ac y   o r   F1 - s co r e  [ 2 0 ] .   T h e  p r o ce s s   co n tin u es  u n til  s to p p in g   cr iter ia  ar e  m et.   T h is   m eth o d   ac co u n ts   f o r   v ar ia b le  in ter ac ti o n s   an d   is   ef f e ctiv e  f o r   h a n d li n g   co r r elate d   o r   less   im p ac tf u l   v ar iab les,  en s u r i n g   m o r e  ac cu r ate  a n d   o p tim al  f ea tu r e  s elec tio n   [ 2 1 ] .   I n   ad d itio n ,   it  is   g o o d   at  r em o v in g   r e d u n d a n t  o r   wea k ly   co r r elate d   f ea tu r es.  T h is   h ap p en s   b ec au s e,   b y   test in g   th e  ef f ec ts   o n   a  m o d el' s   p er f o r m a n ce ,   th is   m eth o d   ca n   cu t  o u t  all  th e  v ar iab les  wh i ch   d o   n o t  ad d   a n y th in g   to   t h e  m o d el' s   p r ed ictiv e  ca p ab il ity .   Ho wev er ,   it  is     tim e - co n s u m in g   f o r   lar g e - s ca le  d ata  d u e  to   its   co m p u tati o n al  in ef f icien cy .   W r ap p e r   is   g r ee d y   an d   co u ld   ea s ily   g et  s tu ck   in   a   lo ca l   o p ti m u m .   T h e  f ea t u r e  s elec tio n   p r o ce s s   wo u ld   th en   b e   to o   d ep e n d en t  o n   v alid atio n   p er f o r m an ce ,   d is ca r d   u s ef u l   f ea tu r es  to o   a g g r ess iv ely ,   an d   m ay   ca u s e  u n d er f itti n g .   I n   co n tr ast,  th e  o th er   s h o r tco m in g   o f   th e  wr ap p e r   is   it  m ig h t  ca u s e  o v er f it tin g .   B y   r ep ea te d ly   o p tim iz in g   f o r   v alid atio n   p er f o r m an ce ,   it  ca n   f it  to o   clo s ely   to   th e  tr ain i n g   d a ta,   ca p tu r in g   n o is e  an d   u n n ec ess ar y   f ea tu r es,     wh ich   d im in is h es th e  m o d el’ s   ab ilit y   to   g en er alize   t o   u n s ee n   d ata.   T h e  em b ed d ed   m eth o d   in teg r ates  f ea tu r e  s elec tio n   in t o   th e   tr ain in g   p r o ce s s ,   allo win g   th e   alg o r ith m   to   au to m atica lly   s elec t  th e  m o s t  im p o r tan t  f ea tu r es  [ 2 2 ] .   Sig n if ican t  f ea tu r es  ar e  g iv en   h ig h er   weig h ts ,   wh ile   less   im p o r tan t  o n es  ar e  d is r eg ar d ed   [ 2 3 ] .   Ho wev er ,   t h is   m eth o d   m ay   s tr u g g le  with   h ig h ly   co r r elate d   f ea tu r es   an d   m ay   n o t   alwa y s   p r o v id e  p r ec is e  im p o r tan ce   r an k i n g s   [ 7 ] .   A  m ajo r   wea k n ess   is   o v er - p e n aliza tio n   th r o u g h   L ass o   r eg u lar izatio n :  it  f o r ce s   to o   m an y   f ea tu r es  to   b e  ze r o ,   d esp ite  p o ten tially   h av in g   co m p lem en tar y   v alu e  to   o th er   f ea tu r es.  T h is   m ay   lea d   to   u n d er f itti n g   as  L ass o   d is c ar d s   im p o r tan t  f ea tu r es.  I n   ad d itio n ,   its   em p h asis   o n   e v alu atin g   f ea tu r es  i n d iv i d u ally   m ea n s   th at  f ea tu r e   in ter ac tio n s   o r   co m b in ed   ef f ec ts   o f   f ea t u r es  ar e   o v er lo o k ed ,   d esp ite  th eir   p o te n tial  to   im p r o v e  p r ed ictiv e  ac c u r ac y .   T h is   lim itatio n   b ec o m e s   m o r e  p r o n o u n ce d   wh en   f ea tu r es  ar e  h i g h ly   c o r r elate d ,   s in ce   it  ty p ically   r et ain s   o n ly   a   s in g le  v ar ia b le  f r o m   th e   g r o u p   an d   r em o v es  f ea t u r es  th at  s till   ca r r y   in f o r m ativ e   s ig n als,  lead in g   to   u n d e r f itti n g .   Fu r th er m o r e ,   L ass o   s tr u g g les  to   ca p tu r e  n o n - lin ea r   r elatio n s h i p s   b etwe en   f ea tu r es  an d   th e   tar g et  v ar ia b le,   lim itin g   its   ca p ab ilit y   to   m o d el   co m p lex   p atter n s   an d   i n cr ea s in g   th e  r is k   o f   u n d er f itti n g   in   s u ch   s ce n ar io s .   T h e  h y b r id   m eth o d   in   t h is   s tu d y   co m b i n es  em b e d d ed   an d   wr ap p e r   f ea t u r e   s elec tio n   tec h n iq u es  t o   im p r o v e  b o th   m o d el  p er f o r m a n ce   an d   g en er aliza tio n .   W h ile  em b ed d ed   m eth o d s   s u ch   as  L ass o   ar e  ef f ec tiv e  in   r ed u cin g   d im en s io n ality   th r o u g h   r e g u lar izatio n ,   wr a p p er   m eth o d s   s u ch   as  Seq u en tial   Fo r war d   Selectio n   ( SF S)  ar e  ca p ab le  o f   ca p tu r i n g   in ter ac tio n s   b etwe en   f ea tu r es.  B y   in teg r atin g   th ese  ap p r o ac h es,  th e  h y b r id   m eth o d   aim s   to   b alan ce   s tatis tical  r elev an ce   an d   p r e d ictiv e  p er f o r m a n ce   [ 1 0 ] .   I n   th is   im p lem en tatio n ,   th e   h y b r id   ap p r o ac h   is   co n d u cte d   in   two   s tag es.  First,  L 1 - b ased   L a s s o   r eg u lar izatio n   is   ap p lied   to   t h e  d ataset  to   elim in ate  less   r elev an t  f ea tu r es  b y   s h r i n k in g   th eir   co e f f icien ts   to war d   ze r o .   T h e  r e g u lar izati o n   s tr en g t h   is   co n t r o lled   t o   b alan ce   b etwe en   f ea tu r e  s p a r s ity   an d   in f o r m atio n   r eten tio n .   Seco n d ,   Seq u en tial   Fo r war d   Selectio n   ( SF S)  is   ap p lied   to   th e  r ed u ce d   f ea tu r e  s et.   I n   th is   s tag e,   f ea tu r es  ar e  ad d ed   iter ativ el y   b ased   o n   t h eir   co n tr ib u tio n   to   m o d el  p e r f o r m an ce ,   u s in g   L o g is tic  R eg r ess io n   as   th e  b ase  esti m ato r .   T h e  s elec tio n   p r o ce s s   co n tin u es  u n til  n o   s ig n if ican t  i m p r o v em e n t  in   ev alu atio n   m etr ics   is   o b s er v ed .   T h is   two - s tag e  p r o ce s s   en s u r es  th at  th e  s elec te d   f ea tu r es  ar e  b o th   s tatis tical ly   m ea n in g f u l  an d   em p ir ically   ef f ec tiv e  f o r   p r ed i ctio n   [ 2 3 ] .   T h is   s tu d y   ap p lies   f o u r   f ea t u r e  s elec tio n   m eth o d s :  wr ap p er ,   em b ed d ed ,   h y b r id ,   an d   n o   f ea tu r e  s elec tio n .   T h e  wr a p p er   m eth o d   u s es  SF S  to   iter ativ ely   s elec t  o p tim al  f ea tu r es,  wh ile   th e   em b ed d ed   m eth o d   ap p lies   L ass o   ( L 1 )   r e g u lar iza tio n   to   elim in ate  less   im p o r ta n t  f ea tu r es.  T h e   h y b r id   m et h o d ,   as  th e  p r o p o s ed   ap p r o ac h ,   is   co m p ar e d   ag ain s t  th ese  co n v en tio n al  m eth o d s   to   ass es s   p er f o r m an ce .   E ac h   s elec ted   f ea tu r e   s u b s et  is   te s ted   u s in g   lo g is tic   r eg r ess io n ,   an d   th e  r esu lts   ar e  ev alu ated   u s in g   a  co n f u s io n   m atr ix ,   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e .     2 . 5 .     Da t a   s pli t t ing   T h e  clea n ed   d ataset  is   s p lit  i n to   tr ain in g   an d   test in g   s u b s ets  u s in g   a  Ho ld o u t  v alid atio n   ap p r o ac h   with   a  7 0 :3 0   r ati o .   T o   en s u r e  th at  th e  class   d is tr ib u tio n   r em ain s   co n s is ten t  ac r o s s   b o t h   s u b s ets,  s tr atif ied   s am p lin g   is   ap p lied   d u r i n g   th e   s p litt in g   p r o ce s s .   T h is   ap p r o a ch   p r eser v es  th e  p r o p o r tio n   o f   “g o o d ”  a n d   “b a d ”   cr ed it c lass es,  th er eb y   r ed u ci n g   s am p lin g   b ias an d   en s u r in g   a  f air   ev alu atio n   o f   m o d el  p er f o r m an ce   o n   u n s ee n   d ata.   T h e  tr ain in g   s u b s et  is   u s ed   to   b u ild   a n d   o p tim ize  th e  m o d el,   wh ile  th e  test in g   s u b s et  ev alu ates  its   p er f o r m an ce   o n   u n s ee n   d ata,   a s s es s in g   h o w  well  th e  m o d el  g en er alize s   to   r ea l - wo r ld   s itu ati o n s .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 5 ,   No .   4 ,  D e c em b er   20 2 6 :   1 6 1 4 - 1 6 2 3   1618   2 . 6 .     M o del c re a t io n   T h e  lo g is tic  r eg r ess io n   m o d e l  is   b u ilt  u s in g   th e  tr ain in g   d ata  to   p r ed ict  a  b i n ar y   o u tc o m e  [ 2 0 ] .   L o g is tic  r eg r ess io n   m o d els  th e  r elatio n s h ip   b etwe en   i n p u t   v ar iab les  ( )   a n d   th e  p r o b ab il ity   o f   an   ev en t   ( )  o cc u r r in g ,   p r o d u cin g   b in ar y   o u tp u ts   ( 0   o r   1 )   [ 1 5 ] .   T h is   is   ac h iev ed   th r o u g h   th e  s ig m o i d   f u n ctio n ,   wh ich   m ap s   a  lin ea r   co m b in atio n   o f   th e  i n p u ts   an d   th eir   r esp ec tiv e  weig h ts   to   a  p r o b ab ilit y   v alu e)   [ 1 5 ] .   T h e  r esu ltin g   p r o b a b ilit y   is   th en   s u b jecte d   to   a  th r esh o ld   to   d eter m in e  th e  class if icatio n   o u tp u t,  with   ad ju s tm en ts   m ad e  to   b alan ce   b etwe en   ac c u r ac y   a n d   m in im izin g   f alse n e g ativ es [ 1 6 ] .     T r ain in g   an d   test in g   p h ases   ar e  b o th   in v o lv e d   in   th e  lo g is tic  r eg r ess io n   p r o ce s s .   T h e  m o d el   is   tr ain ed   o n   lab eled   d ata,   a d ju s tin g   its   weig h ts   to   in cr ea s e  th e  ac cu r a cy   o f   its   p r ed icted   o u tco m es.  T esti n g ,   o n   th e  o t h er   h an d ,   is   p er f o r m e d   b y   ap p l y in g   th e  lear n ed   co e f f icien ts   to   n ew  d ata.   T h is   allo ws  th e  r es ea r ch er   to   g en er ate   ac cu r ate  an d   in ter p r etab le  p r ed ictio n s   th at  ca n   b e  u s ed   in   a  wid e  r an g e  o f   ap p licatio n s   b y   esti m atin g   th e  p r o b a b ilit y   o f   a  s p ec if ic  o u tco m e.   Du r in g   m o d el  cr ea tio n ,   it  is   c r u cial  to   b alan ce   o v er f itti n g   a n d   u n d e r f itti n g   [ 2 4 ] .   Ov er f itti n g   o cc u r s   wh en   a  m o d el  is   to o   co m p le x   an d   "m em o r izes"  th e  tr ain in g   d ata,   ca p tu r in g   n o is e  an d   o u tlier s   in s tead   o f   g en er al  p atter n s ,   lead in g   to   lo w  tr ain in g   er r o r   b u t  h i g h   te s tin g   er r o r .   Ad d r ess in g   o v er f itti n g   m ay   in v o lv e   ad d in g   d ata,   r eg u lar izatio n   o r   r ed u cin g   m o d el  c o m p lex it y   [ 7 ] .   I n   co n tr ast,  u n d er f itti n g   o cc u r s   wh en   th e  m o d el  i s   n o t  s o p h is ticated   en o u g h   to   id en tif y   u n d er ly in g   p atter n s ,   lead in g   to   h ig h   tr ain in g   an d   test in g   er r o r   [ 5 ] .   Po s s ib le  ap p r o ac h es  to   ad d r ess in g   u n d er f itti n g   in clu d e   in cr ea s in g   m o d el  co m p le x ity   o r   in co r p o r atin g   ad d itio n al  r e lev an t  f ea tu r es.  Ma in tain in g   a  b ala n ce   b etwe en   u n d er f itti n g   an d   o v er f itti n g   is   ess en tial  f o r   r eliab le  m o d el  p er f o r m a n ce .   C o m m o n   s tr ateg i es  u s ed   to   ac h ie v e  th is   b alan ce   in clu d e  r eg u lar iza tio n   an d   f ea tu r e  s elec tio n .   Af ter   th e  lo g is tic  r eg r ess io n   m o d el  is   b u ilt  u s in g   th e  tr ain in g   d ata  a n d   p ass ed   th e  s atis f ac to r y   ev alu atio n ,   we  ca n   u s e  it  to   m ak e  p r ed ictio n s   o n   n ew  d ata.   B y   in p u ttin g   th e  v alu es  o f   th e  in p u t  v ar iab les  in to   th e  m o d el,   we  ca n   o b tain   th e  p r ed icted   v alu es o f   th e  o u tp u t  v ar iab le  o r   th e   p r o b ab ilit ies.   T o   en s u r e  r eliab le   m o d el  p er f o r m an ce ,   s ev er al  im p le m en tatio n   c o n s id er atio n s   ar e  ap p lied .   R eg u lar izatio n   is   u s ed   in   L o g is tic  R eg r ess io n   to   p r ev en t  o v er f itti n g .   C lass   im b alan ce   is   h an d led   th r o u g h   s tr atif ied   s am p lin g   d u r i n g   d ata   s p litt in g   to   p r eser v e  class   d is tr ib u tio n .   I n   ad d itio n ,   p r e p r o ce s s in g   s tep s   in clu d e   th e  r em o v al  o f   c o n s tan t a n d   h i g h ly   co r r elate d   f ea tu r es to   r ed u ce   n o is e  an d   r ed u n d a n cy   in   t h e  d ataset.     2 . 7 .     M o del e v a lua t i o n   T h e  ev alu atio n   m eth o d   in v o l v es  u s in g   a  co n f u s io n   m atr ix   t o   test   m o d el  p er f o r m a n ce   an d   ac cu r ac y   o n   th e   test   d ata   [ 1 9 ] .   T h is   m atr ix   is   a  s u m m a r y   tab le   t h at  ca p tu r es  t h e  m o d el' s   co r r ec t  an d   in co r r ec t  p r ed ictio n s   b y   co m p ar in g   p r ed icted   class   lab els   with   ac t u al  class   lab el s .   T h e  co n f u s io n   m atr ix   h as  f o u r   ess en tial  co m p o n en ts :  tr u e  p o s itiv e  ( T P),   tr u e  n eg ativ e  ( T N) ,   f als e  p o s itiv e  ( FP )   an d   f alse  n eg ativ e  ( FN)   [ 2 5 ] .   T r u e  p o s itiv es  r ep r esen t  th e   p o s itiv e  ca s es  th at  ar e  co r r e ctly   class if ied   an d   T r u e  Neg ativ es  is   th e  ca s es   co r r ec tly   id en tifie d   as  n eg ati v e.   Fals e  Po s itiv es  r ep r esen t  in s tan ce s   in co r r ec tly   class if ie d   as  p o s itiv e ,   ev en   th o u g h   th e y   ar e   n eg ati v e  an d   Fals e  Neg ativ es  d en o te   ca s es  in co r r ec tly   class if ied   as  n eg ativ e  d esp ite  b ei n g   p o s itiv e  [ 2 4 ] .   T h is   a p p r o ac h   co n s titu tes  th e   p r im ar y   e v al u atio n   m eth o d   u s ed   in   th is   s tu d y ,   p r o v i d in g   a  s tan d ar d ized   f r am ewo r k   f o r   a s s es s in g   cl ass if icatio n   p er f o r m an ce .   Usi n g   th ese  co m p o n e n ts   o f   t h e  co n f u s io n   m atr ix ,   we  d er i v e  k ey   m etr ics th at  p r o v i d e  in s ig h ts   in to   th e  m o d el’ s   p er f o r m a n ce   s u ch   as:   Acc u r ac y   is   th e  o v er all  co r r ec t n ess   r ate,   ca lcu lated   b y   ( 1 ) .       =    +   +  +  +      ( 1 )     Pre cisi o n   is   th e  p r o p o r tio n   o f   t r u e  p o s itiv e  p r ed ictio n s   am o n g   p o s itiv e  p r e d ictio n s ,   ca lcu lat ed   b y   ( 2 ) .       =     +    ( 2 )     R ec all  o r   Sen s itiv ity   i s   th e  p r o p o r tio n   o f   tr u e  p o s itiv e  p r ed ictio n s   am o n g   ac tu al  p o s itiv e  in s tan ce s ,   ca lcu lated   b y   ( 3 ) .       =     +    ( 3 )     F1 - s co r e  r ep r esen ts   th e  b alan c e  b etwe en   p r ec is io n   a n d   r ec all ,   ca lcu lated   b y   ( 4 ) .     1 −  =   2 ∗  ∗   +   ( 4 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       E xp lo r in g   effec tive  fea tu r e  s elec tio n   meth o d s   in   lo g is t ic  r eg r ess io n   fo r   cred it  …  ( B r ig itta   P erma d h i )   1619   C o m p ar in g   th e  m etr ic   v alu e s   f r o m   th e  s elec ted   f ea tu r e - s elec tio n   m eth o d   with   th o s e  f r o m   th e   co n v en tio n al  m o d els  will  h elp   clar if y   th eir   r elativ e  p e r f o r m a n ce .   T h is   ev alu atio n   s u p p o r ts   co n s is ten t  co m p ar is o n   ac r o s s   d if f er en t  m o d el  co n f i g u r atio n s   an d   ass is ts   in   id en tif y in g   th e  m o s t  s u itab le  m o d el  f o r   th e  task .   I t a ls o   h elp s   in d icate   ar ea s   th at  m ay   r eq u ir e  f u r th er   im p r o v em en t  o r   clo s er   atten tio n .     2 . 8 .     M o del v a lid a t io n   Af ter   b u ild in g   th e  m o d el  an d   s elec tin g   th e  b est  s u b s et,   it  c an   b e  v alid ated   o n   n ew  d ata  to   co n f ir m   it’ s   o p tim al.   Mo d el  v alid atio n   ass ess e s   th e  m o d el’ s   g en er al izatio n   ab ilit y   a n d   ac c u r ac y   with   n ew  in s tan ce s ,   co m p ar in g   p r e d ictio n s   to   ac tu al  o u tco m es  [ 1 3 ] .   Key   ev alu a tio n   m etr ics  lik e  ac cu r ac y ,   p r ec is io n ,   r ec all  an d   F1 - s co r e  h elp   d ete r m in e  th e  m o d el’ s   r eliab ilit y .   I f   t h e  m o d el  p er f o r m s   s atis f ac to r ily ,   it  is   d ee m ed   s u itab le  f o r   r ea l w o r ld   ap p licatio n s   [ 2 4 ] .   I n   ad d itio n   to   th e  Ho ld o u t  v alid atio n   ap p r o ac h ,   5 - f o ld   cr o s s - v alid atio n   is   co n d u cted   to   f u r th er   ev alu ate  m o d el  r o b u s tn ess .   T h e  d ataset  is   d iv id ed   in to   f iv e   s u b s ets,  an d   th e   m o d el   is   tr ain ed   an d   ev alu ate d   iter ativ ely   ac r o s s   d if f er e n t  f o ld s .   T h e  av er a g e  ac cu r ac y   a cr o s s   f o ld s   is   u s ed   to   p r o v i d e  a  m o r e  r eliab l e   esti m ate  o f   m o d el  p e r f o r m an c e  an d   to   r ed u ce   s en s itiv ity   to   d ata   p ar titi o n in g .     2 . 9 .     Resul t   a na ly s is   Af ter   th e  ev al u atio n   p h ase,   th is   s tu d y   p er f o r m s   a n   an al y s is   in   a  s tr u ctu r ed   co m p ar i s o n   o f   th e   o u tco m es  f r o m   th e   ap p lied   f ea tu r e  s elec tio n   m eth o d s .   Acc u r ac y ,   p r ec is io n ,   r ec all  an d   F1 - s co r e  in   th e   tr ain in g   an d   test in g   s ets  ar e  an aly ze d ,   in   o r d er   to   ev alu ate  th e  p r e d ictiv e  q u ality .   T est - tr ain   d if f er en ce s   ar e  f u r th er   ca lcu lated   an d   c o m p ar e d   in   o r d er   t o   g et  a   s en s e  f o r   g en er aliza tio n ,   i n clu d in g   o v er -   an d   u n d er f itti n g .   Misclas s if icatio n   co u n ts   ar e  f u r th er   co m p ar ed   to   aid   th e  in ter p r etatio n   o f   r eliab ilit y   u n d er   class   im b alan ce .   Fin ally ,   s elec ted   f ea tu r es  ar e  b r ief ly   r ev iewe d   f o r   r ele v an ce   an d   d iv er s ity .   T h e  m o d el  with   th e  b est  p er f o r m in g   g en er aliza tio n   is   i d en tifie d   as m o s t su itab le  b ase d   o n   th is   an al y s is .       3.   RE SU L T S AN D  D I SCU SS I O N   I n   th is   p ap er   we  ar e  ev alu atin g   an d   co m p a r in g   th r ee   o f   f ea tu r e  s elec tio n   m eth o d s ,   wr ap p er s ,   em b ed d e d   a n d   h y b r id   m eth o d s   u n d er   o n e  l o g is tic  r eg r ess io n   m o d el,   t o   a p p ly   in   cr ed it   s co r in g .   T h e   p r o ject  aim s   to   cr ea te  a  tem p late  f o r   p er f o r m in g   th e  f ea t u r e  s elec tio n   ef f ec tiv ely ,   f o r   n u m e r ical  d ata,   to   b u ild   co n s is ten t p r ed ictiv e  m o d els with   n o   o r   v er y   litt le  o v er f itti n g   [ 1 7 ] .   T h e  d ataset  is   a  cr ed it  s co r in g   d ataset  f r o m   a  b an k in g   in f o r m atio n   wh ich   co n s is ts   o f   6 6   c o lu m n s   a n d   1 5 3 , 5 8 8   r o ws,  4 0   o f   t h e  f ea t u r es a r e  co n s tan t  an d   1 1   ar e  h ig h ly   co r r elate d   f ea tu r es r em o v ed   i n   th e  p r ep r o ce s s in g   p h ase.   T h e  tar g et  v ar ia b le  “Ku alitas” i s   co n v er ted   to   two - class   class if icat io n   with   "g o o d "  ( 1 ,   2 )   an d   " b ad "  ( 3 ,   4 ,   5 )   as a p p r o v al  a n d   d en ial  r es p ec tiv ely .   T h e  r esear ch   em p lo y s   th r ee   f e atu r e  s elec tio n   m o d el  wr a p p er s ,   em b ed d ed   a n d   h y b r id   to   id en tify   k ey   v ar iab les  f o r   ac c u r ate  o u tco m e  p r e d ictio n   [ 1 8 ] .   T h e  wr ap p er   m eth o d   test s   v ar io u s   f ea tu r e  s u b s ets  b a s ed   o n   p er f o r m an ce   m etr ics,  o p tim iz in g   f o r   th e   b est  co m b in atio n   [ 2 5 ] .   T h e  em b ed d e d   m eth o d   in teg r ates  f e atu r e   s elec tio n   d ir ec tly   in to   t h e  m o d el  tr ain in g ,   en h an cin g   ef f i cien cy ,   th o u g h   its   ef f ec tiv en ess   ca n   v ar y   ac r o s s   alg o r ith m s   [ 2 1 ] .   T h e  h y b r id   ap p r o ac h   co m b in es  f ilter ,   wr ap p er   an d   em b ed d e d   m e th o d s ,   lev er ag in g   th eir   s tr en g th s   to   cr ea te  a  co m p r eh en s iv e  an d   b alan ce d   s elec tio n   p r o ce s s   th at  o p tim izes  m o d el   p er f o r m a n ce   [ 2 6 ] .   E ac h   ap p r o ac h   p lay s   a  r o le  in   co n tr o llin g   o v er f itti n g ,   with   wr ap p er   m eth o d s   f in e - tu n in g   p e r f o r m a n ce   th r o u g h   ev alu atio n - b ased   s elec tio n ,   an d   em b ed d e d   m eth o d s   ap p l y in g   r eg u lar izatio n   to   r e d u ce   v ar ian ce .   T h e  h y b r id   m o d el  in teg r ates th ese  s tr en g t h s   to   en h an ce   b o th   p r e d ictio n   ac cu r ac y   an d   g e n er aliza tio n .   T h e  o r ig in al  d ataset  is   s p lit   i n to   a  tr ain in g   d ataset  an d   a  test in g   d ataset,   with   th e  f o r m er   u s ed   f o r   lear n in g   th e   m o d el  p ar a m eter s   an d   th e  latter   u s ed   f o r   e v alu atin g   p r e d ictiv e  ac cu r ac y .   I n   t h is   s tu d y ,   we  u s e  a   7 0 /3 0   r atio   o f   tr ain   d ata  to   test   d ata  is   u s ed .   T h is   allo ws  th e  m o d el  to   lear n   f r o m   a  lar g e  en o u g h   s am p le  o f   th e   d ata  an d   to   test   its   p er f o r m an c e  o n   u n s ee n   d ata.   T h e  ch o ice  o f   a  lo g is tic  r eg r ess io n   m o d el  was  f o r   th e  ea s e  o f   u s e  an d   its   r ea d ab ilit ies  o f   i n ter p r etatio n   w h ich   ar e  two   k ey   f ea tu r es  in   a  cr e d it  s co r in g   m o d el.   L o g is tic  r eg r ess io n   is   a  lin ea r   m o d el  t h at  u s es  th e  lo g is ti c  f u n ctio n   to   m o d el  th e  p r o b a b ilit y   o f   a n   ev en t,  m ak in g   it  a  n atu r al  ch o ice  f o r   b in ar y   class if icatio n   task s   s u ch   as  cr ed it  s co r in g ,   wh er e   th e  o u tco m e  is   eith er   "d ef a u lt"  o r   "n o n - d ef au lt".  T h e  ac cu r ac y   o f   th e  m o d el  is   m ea s u r ed   b y   th e   p er ce n tag e  o f   c o r r ec t p r ed icti o n s   [ 2 5 ] .     T h e  r esu lts   in   T ab le  1   p r esen t  a  co m p ar ativ e  ev alu atio n   o f   th r ee   f ea tu r e  s elec tio n   ap p r o ac h es:  th e   W r ap p er   m eth o d ,   th e  E m b e d d ed   m eth o d ,   an d   th e  Hy b r id   m eth o d .   T h e  E v alu atio n   was  co n d u cted   to   d eter m in e  wh ich   tec h n iq u e   o f f er s   th e  b est  g en e r aliza tio n   p er f o r m an ce   wh e n   ap p lied   to   im b alan ce d ,   h ig h - d im en s io n al  f i n an cial  d ata.   I n   th e  c o n tex t   o f   cr ed it   r is k   m o d elin g ,   s elec ted   f ea tu r es  m u s t  s u p p o r t  b o th   h ig h   m o d el  f id elity   d u r in g   tr ain in g   an d   s u s tain ed   p r e d ictiv e  r eliab ilit y   wh en   ap p lied   t o   p r e v io u s l y   u n s ee n   d ata.   Alth o u g h   all  th r ee   m eth o d s   d em o n s tr ate  s tr o n g   p e r f o r m a n ce   ac r o s s   th e  e v alu atio n   m etr ics,  th e   h y b r id   ap p r o ac h   d em o n s tr ates  th e  s tr o n g est  g en er aliza tio n   am o n g   all  m eth o d s ,   with   a  m in im al  p er f o r m an ce   g ap   b etwe en   t r ain in g   a n d   test in g   s ets  an d   t h e  f ewe s t  m is clas s if icatio n s ,   m ak in g   it  th e  m o s t  d ep en d ab le  ch o ice   f o r   d e p lo y m e n t in   p r ac tical  s ettin g s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 5 ,   No .   4 ,  D e c em b er   20 2 6 :   1 6 1 4 - 1 6 2 3   1620   T h e  W r ap p er   h as  a  r ec all  o f   1 . 0 0 0 0   f o r   b o th   th e  tr ain   an d   test   s e t.  Desp ite  th is ,   th e  s m al l  test - tr ain   p r ec is io n   g a p   ( 0 . 0 0 1 8 )   in d icat es  s o m e  s lig h t  o v e r f itti n g .   T h e  W r ap p er   m eth o d   ass ess es  t h e  ef f ec t   o f   f ea tu r e   s u b s ets  o n   p r ed ictio n   p e r f o r m an ce   d ir ec tly .   Fo r   th is   r ea s o n ,   it  s elec ted   o n ly   o n e   f e atu r e  f o r   p o r tf o li o   class if icatio n .       T ab le  1 .   C o m p a r ativ e  r esu lts   o f   f ea tu r e   s elec tio n   m eth o d s   Met ri c   W ra p p er   E m b e d d e d   H y b ri d   N o n e   T ra i n   T e s t   D i ffer en ce   T ra i n   T e s t   D i ffer en ce   T ra i n   T e s t   D i ffer en ce   T ra i n   T e s t   D i ffer e n ce   A cc u a ry   0 , 9 8 0 3   0 , 9 7 9 3   0 , 0 0 1 0   0 , 9 8 4 0   0 , 9 8 3 0   0 , 0 0 1 0   0 , 9 8 3 9   0 , 9 8 4 0   0 , 0 0 0 1   0 , 5 0 0 4   0 , 5 0 0 0   0 , 0 0 0 4   Prec i s i o n   0 , 9 6 2 1   0 , 9 6 0 3   0 , 0 0 1 8   0 , 9 7 0 0   0 , 9 6 8 9   0 , 0 0 1 1   0 , 9 7 0 0   0 , 9 6 9 6   0 , 0 0 0 4   0 , 5 0 0 2   0 , 5 0 0 0   0 , 0 0 0 2   Reca l l   1 , 0 0 0 0   1 , 0 0 0 0   -   0 , 9 9 8 9   0 , 9 9 8 0   0 , 0 0 0 9   0 , 9 9 8 6   0 , 9 9 9 3   0 , 0 0 0 7   1 , 0 0 0 0   1 , 0 0 0 0   -   F1   Sc o re   0 , 9 8 0 7   0 , 9 7 9 8   0 , 0 0 0 9   0 , 9 8 4 2   0 , 9 8 3 3   0 , 0 0 0 9   0 , 9 8 4 2   0 , 9 8 4 2   -   0 , 6 6 6 7   0 , 6 6 6 7   -       W e  o b tain   a   h ig h   class if icatio n   ac cu r ac y   b u t  at   th e   ex p e n s e  o f   an   o v e r f itted   m o d el  with   a  test - tr ain   d if f er en ce   o f   0 . 0 1 7 4   in   ac c u r ac y ,   0 . 0 0 6 9   in   p r ec is io n ,   an d   0 . 0 0 4 1   in   F1 - s co r e.   T h is   r esu lt  is   lim ited   b y   th e   in tr in s ic  ch ar ac ter is tic  o f   th e   wr ap p er   m eth o d   th at  te n d s   to   o v er f it  o n   th e  tr ai n in g   d ata   wh en   p er f o r m in g   f ea tu r e  s elec tio n ,   lead in g   to   n a r r o w  b u t  n o n - g en er alis ab le  f ea tu r e  s u b s ets.  Mo r e  s p ec if ically ,   as th e  ev alu atio n   o f   th e  f ea tu r es  is   b ased   o n   th e   o u t - of - s am p le  p r ed ictiv e  p er f o r m an ce ,   th e  i n f o r m atio n   p o ten tially   r e tain ed   b y   s elec ted   f ea tu r es  is   s o lely   b a s ed   o n   th e  d ataset  at  h an d ,   t h u s   cr ea tin g   o v e r s im p lifie d   m o d els  th at  d o   n o t   ac co u n t f o r   n ew  o r   d i f f er en t i n p u ts .   T h e  E m b ed d ed   m eth o d   h as  an   ac cu r ac y   o f   0 . 9 8 3 0   a n d   s m all  test - tr ain   d if f er en ce s   o f   0 . 0 0 0 9   in   r ec all  an d   F1 - s co r e,   s u g g esti n g   o n ly   a  s lig h tly   o v er f itted   m o d el.   T h e  f ea tu r e  s elec tio n   is   p er f o r m ed   d ir ec tly   i n   th e   tr ain in g   p r o ce s s   o f   t h e  class if ier   u s in g   r e g u lar izatio n ,   an d   i t  s elec ts   5   f ea tu r es  th at  in f o r m   ab o u t   th e  ty p e  o f   cr ed it,  esti m ated   in te r est  in c o m e,   r e ce n cy   o f   th e   lo an   as s ess m en t,  th e  ty p e   o f   r e g io n ,   an d   p r o v is io n in g   in f o r m atio n .   T h is   r esu lts   in   a  less   n ar r o w  b u t  s till   m o r e  f o cu s ed   s et  o f   f ea tu r es  co m p a r ed   to   th e  b aselin e  m o d el.   Ho wev e r ,   b ein g   o p tim ized   to war d s   th e  s am e  tr ai n in g   o b jectiv es,  th e  s elec tio n   m ay   s till   en co d e     non - p er ce iv ab le   b iases   p r ese n t  in   th e   d ata   at  h a n d ,   th u s   s lig h tly   af f ec tin g   th e  m o d el’ s   g en er aliza tio n   p er f o r m an ce .   T h is   r esu lt   h as  s h o wn   a   lim itatio n   o f   th e  e m b e d d ed   f ea tu r e   s elec tio n   m et h o d   as  im p lem en te d   in   th is   s tu d y :  d esp ite  im p r o v in g   ef f icien c y   b y   lear n in g   an d   s elec tin g   f ea tu r es  s im u lta n eo u s ly ,   its   s tr o n g   d ep en d e n ce   o n   m o d el - s p ec if i c  o b jectiv es  lim its   its   ad ap ta b ilit y   wh en   f ac ed   with   d i f f er en t  o r   u n s ee n   d ata   d is tr ib u tio n s .   T h e  Hy b r id   m eth o d   h as   th e  b est  p er f o r m an ce   with   a   test   ac cu r ac y   o f   0 . 9 8 4 0   an d   a   tr ain in g   ac cu r ac y   o f   0 . 9 8 3 9 ,   a n d   a  s m all  test - tr a in   d if f e r en ce   o f   - 0 . 0 0 0 1 .   T h e  r ec all  is   v er y   h ig h   with   a   v alu e  o f   0 . 9 9 9 3   an d   th e   F1 - s co r e  is   th e  s am e  f o r   b o th   s ets  at  0 . 9 8 4 2 .   T h is   m et h o d   also   s h o ws  th e  lo west  n u m b er   o f   m is class if icati o n s   o n   th e  test   s et.   T h ese  r esu lts   ca n   b e  ex p lain e d   b y   th e  two - s tag e  f ea tu r e  s elec tio n   p r o ce s s   th at  co m b in es  a   f ilter in g   ap p r o ac h   in   t h e  f o r m   o f   L ass o   r eg u lar izatio n ,   an   e m b ed d e d   m eth o d   th at  p en aliz es  m u ltico llin ea r ity   an d   n o is e  in   th e  d ata,   an d   Seq u en tial   Fo r war d   Selectio n ,   th e   wr ap p er   m et h o d   th at  r an k s   f e atu r es  ac co r d in g   to   th eir   co n tr i b u tio n   to   th e   p r e d ictiv e  o b jectiv e.   T h e  s elec ted   f ea tu r es  ar e   d iv er s e  a n d   i n f o r m ativ e,   c o v er in g   d if f er en t  asp ec ts   o f   th e  f i n an c ial  an d   b eh a v io r al  c h ar ac ter is tics   o f   th e  lo a n s ,   s u ch   as  in ter est  in co m e,   cr e d it   am o u n t,  i n s tallm en t  v alu es,  d u r atio n ,   a n d   r is k   ass ess m en t.  As  a  r esu lt,  th e  m o d el  is   co m p r eh en s iv e  a n d   less   p r o n e   to   o v er f itti n g   o r   u n d er f itti n g ,   m ea n in g   th at   it  is   b o t h   ac cu r ate  a n d   g en er aliza b le.   T h e  r esu lts   o b tain e d   w ith   th e  Hy b r i d   ap p r o ac h   in d icate   th at  it  is   n o t  o n ly   we ll - b alan ce d   in   ter m s   o f   m o d el  co m p lex ity   an d   r elev an ce ,   b u t   th at  it  is   also   a b le  to   c o m b in e   d if f er en t   s tr ateg ies  o f   s elec tio n   in   a   s y n e r g is tic  m an n e r ,   in   o r d er   to   f u r th er   im p r o v e  th e  m o d el’ s   g en er aliza tio n   p er f o r m a n ce ,   esp ec ially   wh en   wo r k in g   with   h ig h - d im en s io n al   an d   im b alan ce d   f in a n cial  d ata.   T h e  m o d el  with   n o   f ea t u r e  s elec tio n   h as  t h e  wo r s t  p er f o r m an ce   o v er all  o n   all  ev al u atio n   m et r ics.  T h e  test - tr ain   d if f er e n ce s   ar e  t h e  lo west  am o n g   all  th e  m eth o d s   b u t   th e  ab s o lu te  v alu es  in   ac cu r ac y ,   p r ec is io n ,   an d   F1 - s co r e  a r e  also   t h e  lo west,  an d   th e r e  is   a   v e r y   h ig h   n u m b er   o f   m is class if icatio n s   o n   th e   co n f u s io n   m atr ix .   T h is   p o o r   p e r f o r m an c e  ca n   b e  ex p lain ed   b y   th e  lac k   o f   f ea tu r e   s elec tio n   th at  lea v e s   th e  m o d el  w ith   all  th e  av ailab le  f ea tu r es,  in clu d i n g   ir r elev an t,  r e d u n d an t,  o r   n o is y   o n es.  I n   o th er   wo r d s ,   th is   r esu lts   in   a  lo t  o f   n o is e  th at  in cr ea s es  th e  m o d el ’ s   v ar ian ce   a n d   d ec r ea s es  th e  clar ity   o f   th e  p r ed ictio n s .   T h e s e  r esu lts   h ig h lig h t   th e  im p o r tan ce   o f   f ea tu r e  s ele ctio n   wh en   wo r k in g   with   co m p lex   an d   im b alan ce d   d ata.   T o   f u r th er   v alid ate   m o d el   p er f o r m a n ce ,   5 - f o l d   cr o s s - v alid atio n   was  c o n d u cted   o n   t h e  L o g is tic  R eg r ess io n   m o d el  u s in g   th e  s elec ted   f ea tu r es.  T h e  r esu lts   s h o w  r elativ ely   co n s is ten t  ac cu r ac y   s co r es  ac r o s s   f o ld s ,   with   th e  m ea n   p er f o r m an ce   co m p ar a b le  to   th e  Ho ld o u t  test   r esu lts .   T h is   s u g g ests   th at  th e  m o d el   p er f o r m an ce   is   n o t  s tr o n g ly   a f f ec ted   b y   d ata  p ar titi o n in g ,   i n d icatin g   r ed u ce d   r is k   o f   o p t im is tic  b ias  in   th e   ev alu atio n .   Alth o u g h   th e  m o d el  ac h iev es  v er y   h ig h   r ec all  an d   m i n im al  d if f er en ce s   b etwe en   tr ain i n g   a n d   test in g   p er f o r m an ce ,   th ese  r esu lts   ar e  in ter p r eted   with   ca u tio n .   T h e  n ea r - p e r f ec t  r ec all  m ay   b e  in f lu en ce d   b y   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       E xp lo r in g   effec tive  fea tu r e  s elec tio n   meth o d s   in   lo g is t ic  r eg r ess io n   fo r   cred it  …  ( B r ig itta   P erma d h i )   1621   d ataset  ch ar ac ter is tics   an d   cl ass   d is tr ib u tio n .   T h er ef o r e,   m o d el  p er f o r m an ce   is   ev alu ate d   n o t  o n ly   th r o u g h   ac cu r ac y   m etr ics  b u t  also   th r o u g h   m is class if icatio n   an aly s is   an d   f ea tu r e  d iv er s ity   to   e n s u r e  th at  th e  m o d el  r em ain s   g en er aliza b le  a n d   r eli ab le.       4.   CO NCLU SI O N   T h e  p u r p o s e  o f   th is   p ap er   is   to   im p r o v e  th e   cr ed it  e v alu at io n   a n d   v e r if icatio n   s y s tem   u s ed   in   th e   b an k in g   in d u s tr y   t o   d eter m in e   th e  elig ib ilit y   cr iter ia  f o r   c r e d it  ca r d   ap p r o v al.   Fo r   t h is   p u r p o s e,   it  is   ess en tial  to   s elec t  th e  m o s t  r elev an t  f ea tu r es  to   en s u r e  r eliab le  an d   s u cc ess f u l  d ec is io n s .   T h e  f o u r   m etr ics  o f   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e  ar e  u s ed   as  t h e  p r im ar y   p er f o r m an ce   in d icato r s   f o r   th e   ML   m o d els,   an d   th e   r esu lts   in d icate   th at  th e  Hy b r i d   m o d el  was th e  m o s t g en er ali za b le  to   u n s ee n   d ata.   T h e  r esu lts   f o r   th e   m o d el   th at   d id   n o t  p er f o r m   f ea tu r e  s elec ti o n   wer e  m ain ly   in ten d e d   to   h ig h lig h t  th e  r is k s   o f   u s in g   all  av ailab le   v ar iab les.  T h is   alg o r ith m   h a d   th e  lo west  p er f o r m an ce   a n d   h ig h est  n u m b er s   o f   f alse p o s itiv es a n d   n eg ativ es,  wh ich   ca n   b e  d ir ec tly   attr ib u te d   to   th e  d ata’ s   d i m en s io n ality ,   im b alan ce ,   an d   t h e   p r esen ce   o f   n o is e,   r e d u n d an t,  an d   u n r elate d   in f o r m atio n .   T h is   clea r ly   in d icate s   th at  tar g et ed   f ea tu r e  s elec tio n   is   a  u s ef u l te ch n iq u e  f o r   r em o v in g   am b ig u ity   f r o m   t h e  d ata.   I t  is   v is ib le  th at  t h e  th r e e  m et h o d s   h a v e  s ig n if ica n t  ad v an ta g es  an d   d is ad v an ta g e s :  th e  h ig h   r ec all   o f   th e  W r ap p er   m eth o d   d ir ec tly   im p ac ts   th e  lo w  p er f o r m an ce   an d   g en er aliza tio n   o f   th e  r esu lts .   Sin ce   th i s   alg o r ith m   o n l y   h ad   o n e  f ea t u r e  in   th e  f in al  s elec tio n ,   th e  tr ain in g   r esu lts   wer e  s u b ject  to   a  s in g le  im p o r tan t  in f lu en ce   an d   h ad   a   l o w  lev e l  o f   b ias.  T h e  e m b ed d e d   m et h o d   h as  a   g r ea ter   n u m b er   o f   f ea tu r es,  an d   wh il e   s o m e  b ias  is   also   v is ib le  f r o m   th e  tr ain in g   d ata,   t h e  p r e d ictiv e  an d   r elate d   f ea tu r es  im p r o v e  th e  f in al  b alan ce   o f   th e  two   m etr ics.  B o th   o f   th ese  d r awb ac k s   an d   a d v an ta g e s   ar e   p r esen t  in   th e  hyb r i d   m e th o d ,   as  it  u s es  th e  E m b ed d e d   tech n iq u e  f o r   a  q u ick   in itial  s elec tio n   an d   th e   W r ap p er   m eth o d   f o r   a  s ec o n d ar y   an d   th o r o u g h   s eq u en tial  elim in atio n   o f   th e  least  p r ed ictiv e  v ar iab les.  T h u s ,   th e  o b tain ed   m o d el  h as  a  s u f f icien t  n u m b er   o f   f ea tu r es  th at  ar e  d iv er s e  an d   co n tex tu ally   u n iq u e,   m a k in g   th is   alg o r ith m   th e  m o s t  s u cc ess f u l  an d   th e  m o s t   d ep lo y a b le  in   r ea l - wo r ld   cr e d it sco r in g .   I n   ad d itio n   t o   its   s tr o n g   p r e d i ctiv e  p er f o r m an ce ,   th e   p r o p o s ed   Hy b r id   m o d el  d em o n s tr ate s   p r ac tical   ap p licab il ity   in   r ea l - wo r ld   b an k in g   e n v ir o n m en ts .   B y   le v er ag in g   lo g is tic  r eg r ess io n ,   th e  m o d el  r em ain s   h ig h ly   i n ter p r etab le   an d   alig n ed   with   r eg u lat o r y   e x p ec tatio n s ,   en ab lin g   tr an s p ar e n t  d ec is io n - m ak i n g .   Fu r th er m o r e ,   th e  r ed u ce d   n u m b er   o f   s elec ted   f ea tu r es c o n tr i b u t es to   co m p u tatio n al  ef f icie n cy   an d   lo wer s   d ata  co llectio n   co s ts .   T h er ef o r e,   t h is   m o d el  is   n o t  o n ly   ac cu r ate  b u t  also   im p lem en tab le,   m ak in g   it  a  v iab le   d ec is io n - s u p p o r t to o l f o r   cr e d i t a p p r o v al  p r o ce s s es in   f in an cial  in s titu tio n s .   T h is   s tu d y   f o cu s es  p r im ar i ly   o n   th e   p r ed ictiv e   m o d elin g   asp ec t  o f   cr e d it  s co r in g   an d   d o es  n o t   ex p licitly   in co r p o r ate  r eg u lato r y   f r a m ewo r k s   s u ch   as  weig h t  o f   ev i d en ce   ( W OE ) ,   in f o r m atio n   v alu e  ( I V) ,     o r   f air n ess   co n s tr ain ts .   Ho we v er ,   th e  u s e  o f   L o g is tic  R eg r ess io n   s u p p o r ts   in ter p r eta b ilit y   an d   alig n s   with   co m m o n   r e g u lato r y   ex p ec tat io n s   in   f in an cial  in s titu tio n s .   Fu tu r e  r esear ch   m ay   ex ten d   th is   wo r k   b y   in teg r atin g   ex p lain ab ilit y   tech n iq u es a n d   f air n ess   co n s id er at io n s .       ACK NO WL E DG M E N T S    T h is   p ap er   also   co n tain s   p r o p r ietar y   d ata ,   in clu d i n g   a  d atas et  an d   m ater ials   u n d er   a  n o n - d is clo s u r e   ag r ee m en t  ( NDA) .   Fo r   th at  r ea s o n ,   th e  d ataset  ca n n o t  b e   d is tr ib u ted   to   th e  p u b lic.   I f   th er e  ar e  an y   d ata   in q u ir ies   f o r   ac ad em ic  p u r p o s es,  p lease  s en d   th e  in q u i r y   to   t h e  au th o r   v ia  b r ig itta.p er m a d h i@ b in u s . ac . id .   T h e  au th o r s   wo u ld   lik e  to   a c k n o wled g e  t h e  u s e  o f   a r tific ial  in tellig en ce   to o ls   f o r   p ar ap h r asin g   an d   lig h t  d eb u g g in g   ass is tan ce   d u r in g   th e  p r ep a r atio n   o f   th is   p ap er .   All  f in al  in te r p r etati o n s ,   an aly s es,  an d   co n clu s io n s   ar e  th e  s o le  r esp o n s ib ilit y   o f   th e  au th o r s .   T h e  p r o m p ts   u s ed   wer e :   i)   Please  p ar ap h r ase  th e   f o llo win g   p ar a g r ap h   to   m ak e  it  clea r   an d   u n d er s tan d ab le  an d   m ain tain   th e  s am e  m ea n in g .   ii)  Please  h elp   m e   im p r o v e  t h e  f lu e n cy   an d   co h er en ce   o f   th is   p a r t.   iii)  Please h elp   im p r o v e  co d e   clar ity   an d   ad d   co m m e n ts .       F UNDING   I NF O R M A T I O N   T h e  au th o r s   s tate  th at  n o   f u n d i n g   was  in v o lv e d .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 5 ,   No .   4 ,  D e c em b er   20 2 6 :   1 6 1 4 - 1 6 2 3   1622   Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   B r ig itta Per m ad h i   ✓   ✓   ✓     ✓   ✓   ✓     ✓   ✓   ✓         Dev i Fitria n ah   ✓   ✓     ✓   ✓   ✓   ✓   ✓     ✓   ✓   ✓   ✓   ✓     C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h e  au th o r s   s tate  n o   co n f lict o f   in ter est.       DATA AV AI L AB I L I T Y   T h e  d ata  th at  s u p p o r t  th e  f i n d in g s   o f   th is   s tu d y   ar e   av aila b le  o n   r eq u est  f r o m   th e   co r r esp o n d in g   au th o r ,   [ i n itials ,   B P].   T h e  d at a,   wh ich   co n tain   in f o r m atio n   th at  co u ld   co m p r o m is e  th e  p r iv ac y   o f   r es ea r c h   p ar ticip an ts ,   ar e  n o t p u b licly   a v ailab le  d u e  to   ce r tain   r estrictio n s .       RE F E R E NC E S   [ 1 ]   T.   K o b a y a s h i   e t   a l . ,   “ D e v e l o p m e n t   o f   a   sco r i n g   mo d e l   b a se d   o n   o b j e c t i v e   f a c t o r s  t o   p r e d i c t   g a n g r e n o u s / p e r f o r a t e d   a p p e n d i c i t i s , ”   BM C   G a s t ro e n t e r o l o g y ,   v o l .   2 3 ,   n o .   1 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 8 6 / s 1 2 8 7 6 - 023 - 0 2 7 6 7 - 7.   [ 2 ]   O .   P .   R u d ,   “ D a t a   mi n i n g   c o o k b o o k :   mo d e l i n g   d a t a   f o r   mar k e t i n g ,   r i s k ,   a n d   c u st o mer  r e l a t i o n sh i p   ma n a g e me n t , ”     J o h n   W i l e y   &   S o n s ,   2 0 0 1 .   [ 3 ]   R .   D a mi a z a   a n d   D .   F i t r i a n a h ,   “ P r e d i c t i o n   a n a l y si s   o f   K a r t u   Ja k a r t a   P i n t a r   ( K JP )   a w a r d e e s   i n   v o c a t i o n a l   h i g h   s c h o o l   X Y Z   u si n g   C 4 . 5   a l g o r i t h m,”   I n t e rn a t i o n a l   J o u rn a l   o f   M a c h i n e   L e a r n i n g   a n d   C o m p u t i n g ,   v o l .   1 0 ,   n o .   1 ,   p p .   4 4 – 5 0 ,   J a n .   2 0 2 0 ,     d o i :   1 0 . 1 8 1 7 8 / i j m l c . 2 0 2 0 . 1 0 . 1 . 8 9 6 .   [ 4 ]   M .   M o me n i ,   M .   R a s h i d i f a r ,   F .   H .   B a l a m ,   A .   R o o i n t a n ,   a n d   A .   G h o l a mi n e j a d ,   “ A   c o m p r e h e n s i v e   a n a l y s i s  o f   g e n e   e x p r e ss i o n   p r o f i l i n g   d a t a   i n   C O V I D - 1 9   p a t i e n t s   f o r   d i sc o v e r y   o f   sp e c i f i c   a n d   d i f f e r e n t i a l   b l o o d   b i o mar k e r   si g n a t u r e s,”   S c i e n t i f i c   Re p o r t s ,    v o l .   1 3 ,   n o .   1 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 5 9 8 - 0 2 3 - 3 2 2 6 8 - 2.   [ 5 ]   J.  L i   e t   a l . ,   “ F e a t u r e   s e l e c t i o n :   a   d a t a   p e r s p e c t i v e , ”   A C M   C o m p u t i n g   S u r v e y s ,   v o l .   5 0 ,   n o .   6 ,   p p .   1 – 4 5 ,   D e c .   2 0 1 7 ,     d o i :   1 0 . 1 1 4 5 / 3 1 3 6 6 2 5 .   [ 6 ]   R .   S a l ma n ,   A .   A l z a a t r e h ,   a n d   M .   T .   A l   B a t a i n e h ,   “ F e a t u r e   s e l e c t i o n   o f   t h e   r e s p i r a t o r y   m i c r o b i o t a   a ss o c i a t e d   w i t h   a st h m a , ”     J o u rn a l   o f   Bi g   D a t a ,   v o l .   1 0 ,   n o .   1 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 023 - 0 0 7 6 7 - 8.   [ 7 ]   Y. - W .   C h e n   a n d   C . - J.  L i n ,   “ C o m b i n i n g   S V M s  w i t h   v a r i o u s  f e a t u r e   se l e c t i o n   s t r a t e g i e s , ”   i n   F e a t u re  E x t r a c t i o n ,   S p r i n g e r   B e r l i n   H e i d e l b e r g ,   p p .   3 1 5 – 3 2 4 .   [ 8 ]   V .   K u mar,  “ F e a t u r e   se l e c t i o n :   a   l i t e r a t u r e   r e v i e w , ”   T h e   S m a rt   C o m p u t i n g   Re v i e w ,   v o l .   4 ,   n o .   3 ,   2 0 1 4 ,     d o i :   1 0 . 6 0 2 9 / s mart c r . 2 0 1 4 . 0 3 . 0 0 7 .   [ 9 ]   B .   V e n k a t e s h   a n d   J.  A n u r a d h a ,   “ A   r e v i e w   o f   f e a t u r e   s e l e c t i o n   a n d   i t s   met h o d s, ”   C y b e r n e t i c s   a n d   I n f o rm a t i o n   T e c h n o l o g i e s ,    v o l .   1 9 ,   n o .   1 ,   p p .   3 – 2 6 ,   M a r .   2 0 1 9 ,   d o i :   1 0 . 2 4 7 8 / c a i t - 2 0 1 9 - 0 0 0 1 .   [ 1 0 ]   S .   A .   A l a sa d i   a n d   W .   S .   B h a y a ,   “ R e v i e w   o f   d a t a   p r e p r o c e s si n g   t e c h n i q u e s   i n   d a t a   mi n i n g , ”   J o u r n a l   o f   En g i n e e r i n g   a n d   A p p l i e d   S c i e n c e s ,   v o l .   1 2 ,   n o .   1 6 ,   p p .   4 1 0 2 – 4 1 0 7 ,   2 0 1 7 .   [ 1 1 ]   D .   A .   V .   d e   P a u l a ,   R .   A r t e s ,   F .   A y r e s ,   a n d   A .   M .   A .   F .   M i n a r d i ,   “ Es t i m a t i n g   c r e d i t   a n d   p r o f i t   s c o r i n g   o f   a   B r a z i l i a n   c r e d i t   u n i o n   w i t h   l o g i st i c   r e g r e ssi o n   a n d   ma c h i n e - l e a r n i n g   t e c h n i q u e s , ”   RAU S P   M a n a g e m e n t   J o u rn a l ,   v o l .   5 4 ,   n o .   3 ,   p p .   3 2 1 – 3 3 6 ,   2 0 1 9 ,     d o i :   1 0 . 1 1 0 8 / r a u s p - 03 - 2 0 1 8 - 0 0 0 3 .   [ 1 2 ]   R .   G a i   a n d   H .   Z h a n g ,   “ P r e d i c t i o n   mo d e l   o f   a g r i c u l t u r a l   w a t e r   q u a l i t y   b a se d   o n   o p t i mi z e d   l o g i s t i c   r e g r e s si o n   a l g o r i t h m, ”     EU RAS I P   J o u rn a l   o n   Ad v a n c e s  i n   S i g n a l   Pr o c e ss i n g ,   v o l .   2 0 2 3 ,   n o .   1 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 1 8 6 / s1 3 6 3 4 - 0 2 3 - 0 0 9 7 3 - 9.   [ 1 3 ]   D .   F i t r i a n a h ,   “ F e a t u r e   e x p l o r a t i o n   f o r   p r e d i c t i o n   o f   p o t e n t i a l   t u n a   f i s h i n g   z o n e s,”   I n t e rn a t i o n a l   J o u r n a l   o f   I n f o rm a t i o n   a n d   El e c t r o n i c s   E n g i n e e r i n g ,   2 0 1 5 ,   d o i :   1 0 . 7 7 6 3 / i j i e e . 2 0 1 5 . v 5 . 5 4 3 .   [ 1 4 ]   M .   J.   Er sh a d i   a n d   D .   O m i d z a d e h ,   “ C u st o mer   v a l i d a t i o n   u s i n g   h y b r i d   l o g i s t i c   r e g r e ss i o n   a n d   c r e d i t   sc o r i n g   m o d e l :   a   c a se   st u d y , ”   C a l i t a t e a ,   v o l .   1 9 ,   n o .   1 6 7 ,   p p .   5 9 – 6 2 ,   2 0 1 8 .   [ 1 5 ]   Z.   Y e ,   H .   Z h a n g ,   J.  L i a n g ,   S .   Y i ,   a n d   X .   Z h a n ,   “ S i g n i f i c a n c e   o f   l o g i s t i c   r e g r e ssi o n   sc o r i n g   m o d e l   b a se d   o n   n a t u r a l   k i l l e r     c e l l - me d i a t e d   c y t o t o x i c   p a t h w a y   i n   t h e   d i a g n o si s  o f   c o l o n   c a n c e r , ”   Fr o n t i e rs  i n   I m m u n o l o g y ,   v o l .   1 4 ,   J a n .   2 0 2 3 ,     d o i :   1 0 . 3 3 8 9 / f i mm u . 2 0 2 3 . 1 1 1 7 9 0 8 .   [ 1 6 ]   A .   R a h ma n ,   “ S t a t i st i c s - b a se d   d a t a   p r e p r o c e s si n g   me t h o d s   a n d   ma c h i n e   l e a r n i n g   a l g o r i t h ms  f o r   b i g   d a t a   a n a l y si s , ”     I n t e r n a t i o n a l   J o u r n a l   o f   Ar t i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 7 ,   n o .   2 ,   p p .   4 4 – 6 5 ,   2 0 1 9 .   [ 1 7 ]   M .   B e n n a sar,   Y .   H i c k s ,   a n d   R .   S e t c h i ,   “ F e a t u r e   sel e c t i o n   u si n g   j o i n t   m u t u a l   i n f o r m a t i o n   ma x i mi s a t i o n , ”   Ex p e rt   S y st e m s  w i t h   Ap p l i c a t i o n s ,   v o l .   4 2 ,   n o .   2 2 ,   p p .   8 5 2 0 – 8 5 3 2 ,   D e c .   2 0 1 5 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 1 5 . 0 7 . 0 0 7 .   [ 1 8 ]   J.  S u b r a m a n i a n   a n d   R .   S i mo n ,   “ O v e r f i t t i n g   i n   p r e d i c t i o n   m o d e l s   –   I s  i t   a   p r o b l e m  o n l y   i n   h i g h   d i me n si o n s? , ”     C o n t e m p o r a ry  C l i n i c a l   T ri a l s ,   v o l .   3 6 ,   n o .   2 ,   p p .   6 3 6 – 6 4 1 ,   N o v .   2 0 1 3 ,   d o i :   1 0 . 1 0 1 6 / j . c c t . 2 0 1 3 . 0 6 . 0 1 1 .   [ 1 9 ]   O .   M e h r p o u r   e t   a l . ,   “ C o m p a r i s o n   o f   d e c i s i o n   t r e e   w i t h   c o m mo n   mac h i n e   l e a r n i n g   mo d e l s   f o r   p r e d i c t i o n   o f   b i g u a n i d e   a n d   su l f o n y l u r e a   p o i s o n i n g   i n   t h e   U n i t e d   S t a t e s :   a n   a n a l y s i s  o f   t h e   N a t i o n a l   P o i s o n   D a t a   S y s t e m, ”   BM C   M e d i c a l   I n f o rm a t i c s  a n d   D e c i s i o n   Ma k i n g ,   v o l .   2 3 ,   n o .   1 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 1 1 8 6 / s1 2 9 1 1 - 0 2 2 - 0 2 0 9 5 - y.   [ 2 0 ]   K .   H .   H u i ,   C .   S .   O o i ,   M .   H .   L i m,   M .   S .   Le o n g ,   a n d   S .   M .   A l - O b a i d i ,   “ A n   i m p r o v e d   w r a p p e r - b a s e d   f e a t u r e   s e l e c t i o n   m e t h o d   f o r   mac h i n e r y   f a u l t   d i a g n o si s , ”   PLO S   O N E ,   v o l .   1 2 ,   n o .   1 2 ,   p .   e 0 1 8 9 1 4 3 ,   D e c .   2 0 1 7 ,   d o i :   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 8 9 1 4 3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       E xp lo r in g   effec tive  fea tu r e  s elec tio n   meth o d s   in   lo g is t ic  r eg r ess io n   fo r   cred it  …  ( B r ig itta   P erma d h i )   1623   [ 2 1 ]   Y .   B .   W a h ,   N .   I b r a h i m,   H .   A .   H a mi d ,   S .   A b d u l - R a h ma n ,   a n d   S .   F o n g ,   “ F e a t u r e   se l e c t i o n   me t h o d s:   c a se   o f   f i l t e r   a n d   w r a p p e r   a p p r o a c h e s f o r   m a x i mi s i n g   c l a ssi f i c a t i o n   a c c u r a c y , ”   Pe r t a n i k a   J o u rn a l   o f   S c i e n c e   a n d   T e c h n o l o g y ,   v o l .   2 6 ,   n o .   1 ,   p .   3 2 9 ,   2 0 1 8 .   [ 2 2 ]   U .   M .   K h a i r e   a n d   R .   D h a n a l a k sh mi ,   “ S t a b i l i t y   o f   f e a t u r e   se l e c t i o n   a l g o r i t h m:   A   r e v i e w , ”   J o u r n a l   o f   K i n g   S a u d   U n i v e rs i t y   -   C o m p u t e r   a n d   I n f o rm a t i o n   S c i e n c e s ,   v o l .   3 4 ,   n o .   4 ,   p p .   1 0 6 0 – 1 0 7 3 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . j k s u c i . 2 0 1 9 . 0 6 . 0 1 2 .   [ 2 3 ]   X. - Y .   Li u ,   Y .   Li a n g ,   S .   W a n g ,   Z . - Y .   Y a n g ,   a n d   H . - S .   Y e ,   “ A   h y b r i d   g e n e t i c   a l g o r i t h m  w i t h   w r a p p e r - e m b e d d e d   a p p r o a c h e s   f o r   f e a t u r e   s e l e c t i o n , ”   I E EE  Ac c e ss ,   v o l .   6 ,   p p .   2 2 8 6 3 – 2 2 8 7 4 ,   2 0 1 8 ,   d o i :   1 0 . 1 1 0 9 / a c c e s s. 2 0 1 8 . 2 8 1 8 6 8 2 .   [ 2 4 ]   J.  L i u   e t   a l . ,   “ D e v e l o p m e n t   a n d   v a l i d a t i o n   o f   p r e d i c t i v e   m o d e l   b a se d   o n   d e e p   l e a r n i n g   m e t h o d   f o r   c l a ss i f i c a t i o n   o f   d y sl i p i d e m i a   i n   C h i n e se   me d i c i n e , ”   H e a l t h   I n f o rm a t i o n   S c i e n c e   a n d   S y s t e m s ,   v o l .   1 1 ,   n o .   1 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s1 3 7 5 5 - 0 2 3 - 0 0 2 1 5 - 0.   [ 2 5 ]   N .   K u s h mer i c k ,   “ W r a p p e r   i n d u c t i o n :   Ef f i c i e n c y   a n d   e x p r e ssi v e n e ss,”   A rt i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 1 8 ,   n o .   1 – 2 ,   p p .   15 – 6 8 ,     A p r .   2 0 0 0 ,   d o i :   1 0 . 1 0 1 6 / s0 0 0 4 - 3 7 0 2 ( 9 9 ) 0 0 1 0 0 - 9.   [ 2 6 ]   R .   K o h a v i   a n d   G .   H .   J o h n ,   “ W r a p p e r s  f o r   f e a t u r e   su b s e t   se l e c t i o n , ”   A rt i f i c i a l   I n t e l l i g e n c e ,   v o l .   9 7 ,   n o .   1 – 2 ,   p p .   2 7 3 – 3 2 4 ,     D e c .   1 9 9 7 ,   d o i :   1 0 . 1 0 1 6 / s 0 0 0 4 - 3 7 0 2 ( 9 7 ) 0 0 0 4 3 - x.       B I O G RAP H I E S O F   AUTH O RS       Br ig itta   Per m a d h i           h a s   a   Ba c h e l o r  o f  C o m p u ter  S c ien c e   (S . K o m . ) ,   wit h   t h e   c las s  o f  2 0 2 4   a n d   a   M a ste r  o f  Co m p u ter  S c ien c e   (M . Ko m . )  fr o m   Bin a   Nu sa n tara   Un iv e rsit y   (Bin u s ),   In d o n e sia .   Bri g it ta   P e rm a d h i' s  field   o f  st u d y   is  c o m p u ter   sc ien c e   with   a n   e m p h a sis o n   d a ta  sc ien c e   a n d   n a tu ra l  la n g u a g e   p ro c e ss in g   (NLP ).   He r  re se a rc h   in tere sts  in c lu d e   d a ta   sc ien c e ,   n a tu ra l  lan g u a g e   p r o c e ss in g ,   a n d   a p p l ica ti o n s  wi th i n   t h e   field   o f  c o m p u ter  sc ien c e .   S h e   h a s  b e e n   i n v o lv e d   in   re se a rc h   p r o jec ts  o r  a c a d e m ic  wo rk   re late d   to   h y b r id   a p p ro a c h e s  fo r   tex t  su m m a riza ti o n   u si n g   BERT   a n d   T5   m o d e ls,  u ti li z in g   th e   t ra n sfo rm e rs  li b ra ry   in   P y th o n .   S h e   c a n   b e   c o n tac ted   a t  e m a il :  b ri g it ta.p e rm a d h i@b i n u s.a c . id .         De v i  Fi tr ia n a h           is  a   lec tu re r  a n d   re se a rc h e r  in   M a ste r  o f  C o m p u ter  S c ien c e   De p a rtme n t  in   Bin a   N u sa n tara   Un iv e rsit y   (Bin u s ),   In d o n e sia .   S h e   re c e iv e d   Ba c h e lo r’s  d e g re e   in   Co m p u ter  S c ien c e   m a jo r  i n   C o m p u ter  S c ien c e   fro m   Bin a   Nu s a n tara   Un iv e rsity   in   2 0 0 0 ,   M a ste r’s  d e g re e   in   I n fo rm a ti o n   Tec h n o l o g y   fro m   U n iv e rsita s  In d o n e sia   in   2 0 0 8 ,   a n d     Do c to r  o f  P h il o so p h y   (P h . D.)  i n   Co m p u ter  S c ien c e   fro m   Un iv e rsi tas   In d o n e sia   in   2 0 1 5 .   S h e   re c e iv e d   re se a rc h   p lac e m e n t  (S a n d wic h   P ro g ra m )  in   Lab o ra to ry   f o r  P a tt e rn   Re c o g n it i o n   a n d   Im a g e   P ro c e ss in g   a n d   G IS   (P RI P G IS   Lab ),   De p a rtme n t  o f   Co m p u t e r  S c ien c e ,   M ich i g a n   S tate   Un iv e rsity ,   Eas t  Lan sin g ,   M ic h i g a n ,   Un i ted   S tate s,  in   2 0 1 4 .   S h e   is  c u rre n tl y   a c ti v e   in   th e   lec tu rin g   a n d   re se a rc h e s  in   t h e   field   o f   d a ta   m in i n g ,   b ig   d a t a   a n a ly ti c s,   a n d   a rti ficia l   in telli g e n c e .   Th e   c o u rse s  sh e   tea c h e s  in c lu d e   d a ta  m in in g ,   b ig   d a ta  a n a ly ti c s,  a n d   to p ics   in   a rti ficia l  in tell ig e n c e .   He r   re se a rc h   in tere sts  in c lu d e   d a ta  m in i n g ,   m a c h in e   lea rn i n g ,   a rti ficia l   in telli g e n c e ,   a n d   a p p l ied   re m o te  se n sin g .   S h e   c a n   b e   c o n tac ted   a t  e m a il :   d e v i. fit r ian a h @b in u s.a c . id .     Evaluation Warning : The document was created with Spire.PDF for Python.