I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   1 4 ,   N o .   1 A pr i l   20 2 5 ,   pp.   20 ~ 30   I S S N:  2252 - 8776 DO I 10 . 11591/i ji c t . v 1 4 i 1 . pp 20 - 30             20       Jou r n al  h o m e page ht tp: // ij ict . iaes c or e . c om   P r e d ic t iv e  m o d e f or  c on ve r t i n g l e ad s i n t o r e p e at  o r d e r   c u st om e r  u si n m ac h in e  l e ar n in g       De r yan   E ve r e s t h M au r e d Gede  P u t r Ku s u m a   D e pa r tm e nt   of   C o mput e r  S c i e n c e B I N U S  G r a dua te  P r o gr a   M a s te r  of  C o mput e r   S c i e n c e , B in a  N us a nt a r a  U ni v e r s it y   J a ka r ta , I ndo ne s ia       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d   M a y   31,   2024   R e vi s e Oc t   23,   2024   A c c e pt e N o v   19,   2024     I n   t h co m p e t i t i v e   b u s i n e s s   l an d s c ap e ,   c u s t o me r el at i o n s h i p   m an ag emen t   (CRM)  i s   p i v o t al   fo m an a g i n g   c u s t o me r e l at i o n s h i p s .   L e a d   g en e rat i o n   an d   c u s t o me r e t e n t i o n   ar e   c r i t i c al   as p ec t s   o CRM   as   t h ey   c o n t ri b u t t o   s u s t ai n i n g   b u s i n e s s   g ro w t h   a n d   p ro f i t ab i l i t y .   A l s o ,   i d en t i f y i n g   an d   c o n v e rt i n g   l e ad s   i n t o   r e p e at   cu s t o me rs   i s   e s s en t i al   fo r   o p t i m i z i n g   r ev e n u an d   mi n i m i z i n g   p ro mo t i o n al   co s t s .   T h i s   s t u d y   f o c u s e s   o n   d e v el o p i n g   a   p re d i c t i v e   mo d el   u s i n g   m a ch i n e   l e arn i n g   t ec h n i q u e s   t o   c o n v e rt   l e ad s   i n t o   re p e at   o rd e cu s t o me rs   i n   co n v e n t i o n a l   b u s i n e s s e s .   L ev e ra g i n g   d at fro a   mo t o rcy cl e   d i s t ri b u t i o n   c o m p an y   i n   J ak art an d   T an g e ran g ,   t h e   s t u d y   c o m p ar e s   t h e   p e rfo r m a n ce   o v ari o u s   mo d el s   fo r   p red i c t i n g   r e p e at   o rd e rs .   T h i s   i n cl u d e s   i n d i v i d u a l   m o d e l s   l i k D ee p FM,   ran d o fo r e s t ,   an d   g rad i e n t   b o o s t i n g   d eci s i o n   t ree   m o d e l s .   A d d i t i o n al l y ,   i t   e x p l o r e s   t h e   e ff ec t i v e n e s s   o f   s t ac k i n g   t h e s e   mo d el s   u s i n g   l o g i s t i c   r eg re s s i o n   as   me t a - l e arn e r .   Fu rt h e r mo r e ,   t h e   s t u d y   i m p l emen t s   b ac k w ard   f e at u r e   el i m i n at i o n   f o f e at u r s e l ec t i o n   an d   h y p e rb an d   f o r   h y p e rp arame t e t u n i n g   t o   e n h an ce   m o d e l   p e rfo r m an ce.   T h r e s u l t s   i n d i c at t h at   St ack i n g   m o d el   u s i n g   b as m o d e l   d e fa u l t   c o n fi g u r at i o n   s t an d s   o u t   as   t h e   mo s t   ro b u s t ,   a c h i e v i n g   t h e   h i g h e s t   s c o r e s   i n   a cc u ra cy   (0 . 9 5 ),   a r e u n d e t h c u r v r ec ei v e r - o p e rat i n g   c h ara c t e ri s t i c   c u r v e   ( AUC - RO C )   (0 . 6 7 ),   l o g   l o s s   (0 . 19 ),   w e i g h t e d   av e rag p re ci s i o n   (0 . 9 5 ),   w ei g h t ed   a v e rag r e c a l l   (0 . 9 5 ),   an d   w e i g h t e d   av e ra g e   F1 - s c o r e   (0 . 9 2 ),   e ff ec t i v e l y   h an d l i n g   t h e   i m b al a n ce d   d at as e t .   K e y w o r d s :   De e pF M   m o de l   Gr a d i e n t   b oo s t i n g   M a c hi ne   l e a r ni ng   R a n do m   f o r e s t   R e pe a t   o r de r   c us to m e r s   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   De r y a n   E v e r e s t h a   M a ur e   De pa r t m e n t   o f   C o m put e r   S c i e n c e ,   B I NU S   Gr a dua te  P r o gr a m     M a s t e r   o f   C o m put e r   S c i e n c e   B i n a   Nu s a n t a r a   Uni v e r s i t y   J a ka r t a   11480 I n do n e s i a   E m a i l de r y a n . m a ur e d @bi nu s . a c . i d       1.   I NT RODU C T I ON   I n   t h e   c o m pe t i t i v e   b u s i ne s s   l a n d s c a pe ,   c us t o m e r   r e l a t i o ns hi m a n a ge m e n t   ( C R M )   p l a y s   a   vi t a l   r o l e   i n   m a n a g i ng  c us t o m e r   r e l a t i o n s hi p s ,   w i t h   l e a ge n e r a t i o n   a n c us to m e r   r e t e n t i o n   be i ng  ke y   c o m po n e n t s .   A c c o r d i n to  t h e   m a r ke t   r e s e a r c h   r e p o r t ,   a ppr o xi m a t e l y   27. 8%   o f   C R M   us a ge   i s   de d i c a t e to  t h e s e   a r e a s   [ 1] .   A   s ur v e y   c o n duc t e i n   t h e   Uni t e S t a t e s   r e v e a l s   t h a t   e n h a nc i n pe r f o r m a n c e   t h r o ugh   C R M   c us to m e r   a n a ly t i c s   h a s   l e to   a   58 %   i nc r e a s e   i n   c us t o m e r   r e t e n t i o n   or   l o y a l t y   [ 2] .   L e a ds   r e pr e s e n t   p r os pe c t i v e   c us t o m e r s   o r   pr o s pe c t s   s h o w i n i n t e r e s i n   a   c o m pa ny 's   pr o duc t s   o r   s e r vi c e s .   M a n a g i ng  l e a ds   w i t hi n   C R M   s y s t e m s   he l p s   c o m pa ni e s   i de n t i f y   a n pr i o r i t i z e   p ot e n t i a l   l e a d s   f o r   c o n ve r s i o n   i n t n e or   r e p e a o r de r   c us t o m e r s .   R e t a i ni ng  e xi s t i n c u s t o m e r s   i s   c r uc i a f o r   l o n g - t e r m   s uc c e s s ,   a s   c us t o m e r s   w h o   e n ga ge   in   r e pe a o r de r s   h o l s i g ni f i c a n t   v a l ue   i n   t e r m s   o f   r e t e n t i o n   a n b us i ne s s   r e v e n u e .   T h e r e f o r e ,   i de n t i f yi ng  c us to m e r s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         P r e dictive   mode f or   c onv e r ti ng  leads   int r e pe at  or de r   c us tome r   …  ( De r y an  E v e r e s tha  M aur e d )   21   wh o   c a n   be   c o nv e r t e i n to   r e pe a t   or de r   c us to m e r s   i s   im pe r a t i v e ,   a s   i t   r e duc e s   pr o m o t i o n a l   c o s t s   a n in c r e a s e s   r e t u r n   o n   i nv e s t m e n t   ( R OI )   [ 3] .   T h e   i n t e gr a t i o n   o f   m a c hi ne   l e a r ni ng  t e c hni que s   h a s   e m e r ge a s   a   po we r f u l   t oo l   i n   e nh a n c i ng  C R M   e f f e c t i v e n e s s ,   pa r t i c u l a r ly   i n   o pt i mi z i ng  l e a m a na ge m e n t   t h r o ugh   t h e   i d e n t i f i c a t i o n   o f   pot e n t i a l   c u s to m e r s   [ 4] .   Va r i o us   m a c hi ne   l e a r ni ng  m o de l s ,   i n c l ud i ng  ba s i c   c l a s s i f i e r s ,   e n s e m bl e   m o de l s ,   a n f us i o n   m o d e l s ,   h a v e   b e e n   a pp li e t o   c o n s t r uc t   pr e di c t i v e   m o de l s   f o r   r e pe a t   o r de r   c us to m e r s .   B e nh a ddo a n L e r a y   [ 5]   d e v e l o pe d   l e a s c o r i n m o de l s   u s i ng  B a y e s i a n   n e t wor ks ,   w hi c h   l e v e r a ge h e ur i s t i c s   a n e x pe r t   kn o wl e dg e   to   a c hi e ve   s i g nif i c a n t   pr e c i s i o n ,   r e c a ll ,   a n a c c ur a c y .   N y r a n d   M e z e i   [ 6]   a uto m a t e l e a a s s e s s m e n t   us i n m a c hi n e   l e a r ni ng  a l go r i t hm s ,   hi g hl i g h t i n r a n do m   f o r e s t ' s   s upe r i o r i t y   i n   c o n t r o l li ng  bi a s e s   a n o p t i mi z i n n e ur a l   n e t wo r k   m o de l s .   I n   a   s im il a r   v e i n ,   E s pa d i nha - C r uz   e al.   [ 7 ]   f o c us e o n   e nh a n c i ng  l e a m a n a ge m e n t   e f f i c i e n c y   b y   c o m pa r i ng  a l go r i t hm s   a n l e v e r a g i ng  e n s e m ble  r e gr e s s i o n   m o de l s   f o r   i m pr o v e a c c ur a c y .   Ay a z   [ 8]   c o m pa r e m a c hi ne   l e a r ni ng  m o de l s   f o r   l e a s c o r i n g,   e m p h a s i z i ng  t h e   s i g ni f i c a n c e   o f   f e a t ur e   s e l e c t i o n   a n d   hy pe r pa r a m e t e r   t uni n i n   de c i s i o n   t r e e - b a s e m o de l s .   A r un   [ 4]   un de r s c o r e t h e   r o l e   o f   da t a   a n a l y s i s   a nd   m a c hi ne   l e a r ni ng  i n   C R M ,   hi g hl i g h t i n t h e   i m p o r t a n c e   o f   pr e d i c t i v e   a c c ur a c y   i u n de r s t a n d i ng  c us t o m e r   b e h a vi o r   a n o p t i mi z i ng  pr o s pe c s c o r e s .   Ya n e al .   [ 9]   de v e l o ps   a   dy na m i c ,   da t a - dr i v e n   f r a m e wo r k   f o r   pr e d i c t i n r e pe a t   pu r c h a s e s   us i n a   v o t i n g - b a s e m e t h o wi t h   t r a n s a c t i o n a l   d a t a ,   s h o wi n t h a t   t h e   i n t e gr a t i o o f   e x t r e m e   gr a d i e n t   b oo s t i n ( XG B )   a n l i g ht   g r a di e n t   b o o s t i n m a c hi ne   ( L G B M )   y i e l d s   th e   b e s t   pe r f o r m a n c e .   M o r t e n s e n   e al.   [ 10]   pr o p o s e c l a s s if i c a t i o n   m o de l s   f o r   pr e d i c t i n pr o s pe c t   s uc c e s s ,   w i t r a n do m   f o r e s t   o u tper f o r m i n o t h e r s .   M o r e o v e r ,   Hua n [ 11]   c o m pa r e pr e d i c t i ve   m o de l s   f o r   r e pe a t   b u y e r   b e h a vi o r ,   hi g hl i g h t i ng  De e pF M ' s   a c c ur a c y   a n L i g h t GB M ' s   t r a i ni ng  s pe e d.   E n s e m bl e   t e c hni que s   pr o p o s e by   Xu  e al.   [ 12]   a n Z h a n a n W a n g   [ 13]   s i g ni f i c a n t l y   e nh a n c e m o de l   r o b u s t n e s s   a n a c c ur a c y .   T h e   us e   o f   l o w - l e v e l   i n t e r a c t i o n   da t a   [ 14] ,   f e a t ur e   e n g i n e e r i ng  [ 15] - [ 17 ] ,   de e l e a r ni ng  e ns e m b l e   m o de l s   [ 18] ,   m o de l   d i s t i ll a t i o n ,   a n f us i o n   t e c hni que s   [ 19] ,   [ 20 ] ,   a s   we l l   a s   v o t e   s tac k i n m e t h o ds   [ 21] ,   f ur t h e r   i m pr o v e m o de l   a c c u r a c y   a n d   i n t e r pr e t a bi li t y .   Go kh a l e   a n J o s hi   [ 22]   a n S a n ga r a li nga m   e al.   [ 23]   e x p l o r e o p t i m a l   c l a s s if i c a t i o a l go r i t hm s   f o r   l e a po t e n t i a l   a n s upe r vi s e l e a r ni ng  f o r   c us t o m e r   i de n t i f i c a t i o n ,   r e s pe c t i v e ly ,   hi g hli g h t i n g   t h e   i m po r t a n c e   o f   a c c ur a t e   m o de l i ng  i n   C R M   s t r a teg i e s   a n b us i ne s s   de c i s i o n - m a k i ng.     T h e s e   s t ud i e s   c o l l e c t i v e ly   s h o wc a s e   t h e   di ve r s e   m e t h o do l o g i e s   a n a ppr o a c h e s   i n   l e a s c o r i n a nd  c us t o m e r   pr e di c t i o n ,   e m p h a s i z i ng  t h e   c r i t i c a l   r o l e   o f   f e a t ur e   e n g i n e e r i ng,   m o de l   o pt i m i z a t i o n ,   a n a lgo r i t hm   s e l e c t i o n   i n   dr i vi ng  e f f e c t i v e   C R M   s t r a t e gi e s   a n b u s i ne s s   o u t c o m e s .   R e c e n t   r e s e a r c h   ha s   pa r t i c u l a r ly   hi g hli g h t e t h e   b e n e f i t s   o f   e x p l o r i ng  De e pF M   m o de l s ,   whi c h   ha v e   de m o n s t r a t e d   s upe r i o r   pe r f o r m a n c e   in  pr e d i c t i n r e pe a t   or de r   c us to m e r s   c o m pa r e t o   d e c i s i o n   t r e e - b a s e m o de l s   li ke   r a n do m   f o r e s t   a n d   gr a d i e n t   b o o s t i n [ 11] .   Ho we v e r ,   m uc h   o f   t h e   pr i o r   r e s e a r c h   h a s   f o c us e o n   a s s e s s i ng  c u s to m e r   pot e n t i a l   w i t hi n   t h e     e - c o m m e r c e   do m a i a n h a s   n ot   t h o r o ughl y   e x a mi ne t h e   b e n e f i t s   o f   f e a t ur e   s e l e c t i o n   a n hy pe r pa r a m e t e r   t uni n f o r   e n h a n c i ng  m o de l   pe r f o r m a n c e ,   e s pe c i a ll y   i n   s c e n a r i o s   i nv o l vi ng  c l a s s   i m ba l a n c e   a n o p t i mi z a t i o o f   pr e d i c t i v e   a c c ur a c y .   G i v e n   t h e s e   f i nd i ngs ,   t hi s   s t udy   a im s   to   c o m pa r e   t h r e e   t y pe s   o f   m a c hi ne   l e a r ni ng  m o de l s   De e p F M ,   r a n do m   f o r e s t ,   a n gr a di e n t   b oo s t i n de c i s i o n   t r e e   (G BD T ) .   I a ppl i e s   f e a t ur e   s e l e c t i o n   t h r o ugh   b a c kwa r f e a t ur e   e l i mi na t i o n   a n hy pe r pa r a m e t e r   t uni n us i n hy pe r b a n d,   w hi l e   a l s o   e x p l o r i n t h e   e f f e c t i ve n e s s   o f   s t a c k i n t h e s e   m o de l s   us i ng  l o g i s t i c   r e gr e s s i o n   a s   a   m e t a - l e a r n e r .   T h e   go a l   i s   to   e n h a n c e   t h e   a c c ur a c y   o f   pr e d i c t i v e   m o de l s   f o r   l e a c o n v e r s i o n   i n t r e pe a o r de r   c us to m e r s   i n   c o n v e n t i o n a l   b u s i ne s s   s e tt i ngs .   T hi s   s t udy   a do pt s   a   c a s e   s t udy   a ppr o a c h   f o c us e o n   a   c o m pa ny   o pe r a t i n i n   t h e   m o to r c y c l e   d i s t r i b ut i o n   s e c t or   i t h e   J a ka r t a   a n T a n ge r a n r e g i o n s .   T h e   c o m pa ny   n e e d s   t o   m a n a ge   i t s   l e a da t a   ( o u t b o un l e a ds )   to  i de n t i f y   t h o s e   wi t h   t h e   pot e n t i a l   t b e c o m e   r e pe a t   or de r   c us t o m e r s   b a s e o n   a tt r i b ut e s   s uc h   a s   de m o gr a phi c s   a n d   c o n s u m e r   b e h a vi o r .       2.   RE S E AR CH  M E T HO D   T h e   c o n c e pt ua l   f r a m e wo r o f   t hi s   r e s e a r c h   i s   i ll us t r a t e d   i n   F i gu r e   1.   T hi s   r e s e a r c h   a do pt s   t h e   c r o s s - i ndus t r y   s t a n d a r pr o c e s s   f o r   da t a   m i n i n ( C R I S P - DM )   f r a m e wo r k,   wi de ly   r e c o gni z e f o r   i t s   e f f e c t i ve n e s s   in   t a c kl i ng  va r i o us   c h a ll e n ge s   e n c o un t e r e i n   da t a   m i n i ng  pr o j e c t s   w i t hi n   i ndus t r i a l   e nvi r o nm e n t s   [ 24] .   C R I S P - DM   e n c o m pa s s e s   s i ke y   s t a ge s b us i ne s s   u n de r s t a n d i n g,   da t a   un de r s t a n d i n g,   da t a   pr e pa r a t i o n ,   m o de l li ng,   e v a l ua t i o n ,   a n de p l o y m e n t   [ 25] .   I n   t hi s   r e s e a r c h ,   t h e   C R I S P - DM   f r a m e wo r i s   ut i l i z e up  to   t h e   e va l ua t i o s t a ge ,   wi t h   e a c h   s t a ge   de t a i l e i n   s u b s e c t i o n s   2. 1   to   2 . 5.   T h e   r e s e a r c h   b e g i ns   w i t h   b u s i ne s s   u n de r s t a n d i ng,   f o c us i n o n   i de n t i f yi ng  ke y   b us i ne s s   o bj e c t i v e s   by  a n a ly z i ng  da t a   f r o m   t h e   c us t o m e r   da t a b a s e   ( C DB )   to   un de r s t a n t h e   f a c t o r s   t h a t   dr i v e   r e pe a t   or de r s .   F o l l o w i ng  t hi s ,   da t a   un de r s t a n d i n i nv o l ve s   c o l l e c t i n a n e x p l o r i n t h e   da t a   to  a s s e s s   i t s   qua li t y   a n d   un c o v e r   r e l e v a n t   pa tt e r n s .   I n   t h e   da t a   pr e pa r a t i o s t a ge ,   t h e   da t a   i s   c l e a n e a n t r a n s f o r m e t e ns ur e   i t   i s   r e a d y   f o r   m o de l i ng.   Dur i n m o de l i ng,   a l go r i t hm s   s uc h   a s   r a n do m   f o r e s t ,   GB DT ,   a n De e pF M   a r e   a pp l i e to  Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   1 A pr i l   20 2 5 :   20 - 30   22   b u il pr e d i c t i v e   m o de l s .   F ur t h e r   m o de l   o pt i m i z a t i o n   i s   c o n duc t e t h r o ugh   f e a t ur e   s e l e c t i o n   us i ng  ba c kwa r d   f e a t ur e   e l im i na t i o n ,   hy p e r pa r a m e t e r   t uni n us i ng  hy pe r b a n d,   a n s t a c k i n m o de l s   us i ng  l o g i s t i c   r e gr e s s i o n   a s   m e t a - l e a r n e r   to  e nh a n c e   pe r f o r m a n c e .   T h e   m o de l s   a r e   t h e n   e va l u a t e i n   t h e   e va l u a t i o n   s t a ge   us i ng   pe r f o r m a n c e   m e t r i c s   to  s e l e c t   t h e   m o s r o b us m o de l .   F i na l ly ,   t h e   de t e r m i n i ng  t h e   b e s t   m o de l   s t a ge   i de n t i f i e s   t h e   m o s t   s ui t a bl e   m o de l ,   w hi c h   i s   t h e n   us e a s   t h e   pr e di c t i v e   m o de l   t i de n t i f y   l e a ds   li ke ly   t b e c o m e   r e pe a c us t o m e r s .           F i gur e   1 .   T h e   c o n c e pt ua l   f r a m e wo r k       2. 1.     B u s in e s s   u n d e r s t an d in g   B a s e o n   t h e   b us i ne s s   r e gu l a t i o n s   w i t hi n   t h e   c o m pa ny   a t   t h e   r e s e a r c h   c a s e   s t ud y   l o c a t i o n ,   a   r e pe a o r de r   c o n s u m e r   i s   de f i ne a s   a   c us to m e r   w h o   pu r c h a s e s   a   m o tor c y c l e   m o r e   t h a n   o n c e   f r o m   t h e   s a m e   de a l e r .   Ho we v e r ,   to  a i l e a ge n e r a t i o n ,   pa r t i c u l a r ly   c o nc e r ni ng  r e pe a t   or de r   c o n s u m e r s   ( R O) ,   a   l i s t   o f   c us to m e r s   wh o   h a v e   pur c h a s e m o to r c y c l e s   m o r e   t h a n   o n c e   f r o m   d i f f e r e n t   de a l e r s   w il l   a l s o   b e   c o n s i de r e a s   lea ds   f o r   f o l l o w - up  by   t h e   de a l e r s   f r o m   pr e vi o us   pur c h a s e s .   L e a ge n e r a t i o n   i s   a l s o   b a s e o n   i n d i v i dua l   c u s t om e r   t y p e   a n c us t o m e r s   a ge o v e r   17   y e a r s   o l d.   He n c e ,   t h e   l a b e ll i ng  pr o c e s s   f o r   m o de l   de v e l o p m e n t   da t a   i s   c a t e g o r i z e a s   f o l l o ws :   i )   p o s i t i v e   c l a s s   ( 1) r e pe a or de r   c o n s u m e r s ,   m e a ni ng  c us t o m e r s   w h o   h a v e   p ur c h a s e m o t or c y c l e s   m o r e   t h a n   o n c e ;   a n i i )   n e ga t i v e   c l a s s   ( 0) :   c o n s u m e r s   w h o   d o   n ot  m a ke   r e pe a t   o r de r s .     2. 2.     Dat a   u n d e r s t an d in g   T h e   da t a s e us e i n   t hi s   r e s e a r c h   c o n s i s t s   o f   t h e   c us to m e r   da t a b a s e   ( C DB ) ,   whi c h   i nc l ude s   i nv o i c e   da t a   a n m o tor c y c l e   i nf o r m a t i o n   f r o m   t h e   c o m pa ny   a t   t h e   c a s e   s t udy   l o c a t i o n .   T hi s   da t a s e c o v e r s   t h e   pe r i o f r o m   2018  to   2022  a n tot a l s   1 , 474 , 369   r e c o r ds .   T h e   i nv o i c e   da t a   c a pt ur e s   t h e   tr a n s a c t i o n s   o f   m oto r c y c l e   pu r c h a s e s   m a de   by   c u s t o m e r s   a n i s   s t o r e i n   a   t a bl e   n a m e M OH ON F AK T UR ,   w i t h   f i e l i nf o r m a t i o de t a i l e i n   T a bl e   1.     A dd i t i o n a ll y ,   t h e   m o tor   p r i c e s   t a bl e   i n   T a bl e   s to r e s   m oto r c y c l e   i nf o r m a t i o n ,   i n c l ud i ng  t h e   m o de l   c o de   ( K D_M DL ) ,   or i g i na l   m o de l   c o de   ( K D_M D L _ A S A L ) ,   m o to r   n u m b e r   ( NO _M T R ) ,   m o to r   s e r i e s   n a m e   ( NM _M T R ) ,   m o to r   c a t e gor y   ( C UB _S P OR T ) ,   a n m o t or   pr i c e   ( M T R _HR GJ U AL ) .     F r o m   t h e   c o m bi na t i o n   o f   t h e s e   t wo   da t a s e t s ,   t h e   f e a t ur e s   us e i n   t h e   da t a   pr e pa r a t i o n   s t a ge   c o n s i s t   o f   16  f e a t ur e s n u m e r i c a l   ( C I C I L A N,   DP,   J M L _ AN GSUR A N,   M T R _HR GJ U A L ) ,   c a t e gor i c a l   ( J N S _K L M ,   J NS_J U AL ,   S T S _R UM AH ,   T UJ U_PA KA I ,   K OD E _K E R J A ,   C UB _S P OR T ,   K OD E _DI DI K ,   K E L U AR _B L N) ,   a n o b j e c t   f e a t ur e s   ( T GL _M OH ON ,   NO _DL R P ,   NO _K T P NPW P ,   T GL _L A HI R ) .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         P r e dictive   mode f or   c onv e r ti ng  leads   int r e pe at  or de r   c us tome r   …  ( De r y an  E v e r e s tha  M aur e d )   23   T a bl e   1 .   S t r uc t u r e   o f   M OH ON F AK T UR   t a bl e   A tt r ib ut e   g r o up   F ie ld   F ie ld   d e s c r ip ti o n   D a ta  T y p e   C us to me r  pr of il e   K O D E _D I D I K   C us to me r   e du c a ti o c o d e   O bj e c   o r di na c a te g or ic a l   K O D E _ K E R J A   C us to me r  j o b C o d e   O bj e c   n o mi na c a t e g o r ic a l   S T S _R U M A H   C us to me r   h o me   s ta tu s   c o d e   O bj e c   n o mi na c a t e g o r ic a l   K E L U A R _B L N   R a nge  of  s pe ndi ng m o n e y  p e r  m o nt h   O bj e c   o r di na c a te g or ic a l   D e a be ha v i o ur   T G L _M O H O N   T r a ns a c ti o d a te   O bj e c t   J N S _J U A L   T r a ns a c ti o m e th o d   I nt 64    nomi na c a t e g o r i c a l   K D _M D L   U ni que   pur c ha s e m o t o r b ik e  m o d e c o d e   O bj e c t   N O _M T R   U ni que   pur c ha s e m o t o r b ik e   c o d e   O bj e c t   N O _D L R P   U ni que  d e a le r   c o d e   ( c us t o m e r  pur c ha s e  l oc a ti o n )   O bj e c t   DP   N o mi na a m o unt   of  d o w n pa y m e nt   I nt 64   C I C I L A N   T h e  n o mi na in s ta ll m e nt  a m o unt   I nt 64   J M L _A N G S U R A N   T e n or  a mo unt   in  m o nt hs   I nt 64   T U J U _P A K A I   C o de   of  t h e  i nt e nde us e   of  t h e  m o t o r b ik e  pu r c ha s e d   O bj e c   n o mi na c a t e g o r ic a l   T H N _M T R   Y e a r  m o t o r  pu r c ha s e d   O bj e c t   C us to me r  I d e nt it y   N O _K T P N P W P   C us to me r   u ni que   I D E   O bj e c t   N M 1_M O H O N   C us to me r  na me   O bj e c t   N O _R G K   U ni que  m o t o r bi k e   f r a me  nu mbe r  c o d e   O bj e c t   N O _M S N   U ni que  m o t o r bi k e   e ngi n e  numb e r   c o de   O bj e c t   N O _H P   C o ns ume r   te l e ph o n e  numb e r   O bj e c t   J N S _B E L I   T y p e s   of   c o ns ume r s   O bj e c t   T G L _ L A H I R   C o ns ume r ' s  da te   of  bi r th   O bj e c t   G E N D E R   G e nde r   I nt 64    nomi na c a t e g o r i c a l       T a bl e   2 S t r uc t u r e   o f   m o to r   pr i c e s   t a bl e   F ie ld   F ie ld   d e s c r ip ti o n   D a ta   t y pe   K D _M D L   U ni que  m o t o r bi k e  m o d e c o d e   O bj e c t   K D _M D L _A S A L   U ni que   c o de   f or   o r ig in a m ot o r bi k e  m o d e l   O bj e c t   N O _M T R   U ni que  m o t o r bi k e   c o d e   O bj e c t   N M _M T R   M o t o r  s e r i e s  na me   O bj e c t   C U B _S P O R T   M o t o r c y c le   c a t e g o r y   O bj e c   n o mi na c a t e g o r ic a l   M T R _ H R G J U A L   M o t o r c y c le  s e ll in g pr i c e   I nt 64       2. 3.     Dat a   p r e p ar at ion   T h e   da t a   pr e pa r a t i o n   s t a ge   i nv o l v e s e v e r a l   c r uc ia l   s t e ps   to   e n s ur e   t h e   qua l i t y   a n r e li a bil i t y   o f   t h e   da t a s e us e f o r   t h e   pr e d i c t i v e   m o de l .   T h e s e   s t e ps   i n c l ude da t a   i n t e gr a t i o n ,   da t a   tr a n s f o r m a t i o n ,   h a n d li ng   mi s s i ng  v a l ue s ,   i d e n t i f yi ng  a bn o r m a l   u s e r s ,   s p l i t t i n t h e   da t a ,   a n a ddr e s s i n i m ba l a nc e da t a .   E a c h   o f   t h e s e   pr o c e s s e s   wa s   c a r e f u ll y   e x e c ut e to  m a i n t a i n   t h e   i n t e gr i t y   o f   t h e   da t a ,   ul t i m a t e l y   l e a d i ng  to  b e tt e r   m o de l   pe r f o r m a n c e .   Da t a   i n t e gr a t i o n   wa s   t h e   f i r s t   s t e p,   wh e r e   m o to r c y c l e   pur c h a s e   i nv o i c e   da t a   ( T a bl e   1)   wa s   c o m bi ne d   w i t h   m o to r c y c l e   i nf o r m a t i o n   da t a   ( T a bl e   2 ) .   T h e   i n t e gr a t i o n   wa s   a c hi e v e by   m a t c hi ng  t h e   m o de l   c o de   ( K D_M D L )   i n   t h e   i nv o i c e s   w i t h   t h e   o r i g i na l   m o de l   c o de   ( K D _M DL _ A S AL )   i n   t h e   m o t or c y c l e   i nf o r m a t i o da t a .   T hi s   s t e e n s ur e t h a t   a l l   r e l e v a n t   da t a   wa s   l in ke a n c o ul b e   us e c o h e s i ve ly   f o r   f ur t h e r   a n a ly s i s .   Ne x t ,   t h e   da t a   t r a n s f o r m a t i o n   pr o c e s s   wa s   un d e r t a ke n   t o   c o n v e r t   a n m o d i f y   t h e   da t a   i n t a   f o r m a t   m o r e   s u i t a bl e   f o r   a n a ly s i s   a n m o de l i ng.   T hi s   i nv o l v e c o nv e r t i n c e r t a i n   f i e l ds ,   s uc h   a s   T GL _ M O HO a n d   T GL _L A HI R ,   f r o m   o bj e c t   t y p e s   t da t e t i m e ,   s t a n da r d i z i ng  ot h e r   o bj e c t   t y pe s   t i n t e ge r s ,   a n r e p l a c i ng   s pe c i f i c   s t r i n v a l ue s   w i t h   n u m e r i c   o n e s   i n   f i e lds   l i ke   K O DE _DI DI K ,   KO DE _K E R J A ,   S T S _R UM A H,   T UJ U_PAKA I ,   a n J M L _ A NG S U R A N.   A dd i t i o n a ll y ,   n e v a r i a bl e s   we r e   c r e a t e d,   i nc l ud i n pu r c h a s i ng   b e h a vi o r   a tt r i b ut e s   ( e . g. ,   b u y i ng  c y c l e ,   r e c e n c y ,   tot a l   pur c h a s e s ,   tot a l   a m o un t   s pe n t ,   a n a v e r a ge   s pe nd i n pe r   pur c h a s e )   a n a ge   c a t e go r i e s ,   whil e   c a t e go r i c a l   v a r i a bl e s   s uc h   a s   J NS_ KL M ,   J NS_J U A L ,   S T S _R UM A H,   T UJ U_PAKA I ,   K OD E _ K E R J A ,   KA T E GO R I _U S I A ,   a n C UB _S P OR T   we r e   tr a n s f o r m e i n t o n e - h o e n c o d i n f o r   b e t t e r   m o de l   i n t e r pr e t a t i o n .   M o r e o v e r ,   n u m e r i c   v a r i a bl e s   we r e   tr a n s f o r m e us i ng  l o ga r i t hm ic   a n s qua r e t r a n s f o r m a t i o ns   to   e n h a n c e   f e a t ur e   r i c hn e s s ,   s uc h   a s   C I C I L AN ,   DP,   J M L _A NG S UR A N,   J M L _ AN GSUR A N_ M E A N,   m t r _h r g j ua l ,   B U YI NG _C YC L E ,   R E C E NC Y,   A VG _T OT A L _ S P E NT ,   J M L _P E M B E L I AN .   Ha n d li ng  m i s s i ng  v a l ue s   wa s   a   c r i t i c a l   s t e to   e n s ur e   t h a t   t h e   da t a s e wa s   c o m p l e t e   a n a c c ur a t e .   M i s s i ng  v a l ue s   c a n   s i g nif i c a n t l y   d i s r upt   a n a ly s i s   a n m o de li ng,   s o   n u l l   o r   Na v a l ue s   i n   s p e c i f i c   f i e l ds   li ke   K OD E _DI DI K   a n R E C E NC we r e   r e p l a c e w i t h   0.   T hi s   r e p l a c e m e n t   pr e v e n t e pot e n t i a l   e r r o r s   i n   t h e   m o de li ng  pr o c e s s   a n e n s ur e t h a t   a l l   r e c o r ds   we r e   f u ll y   ut i li z e d.   I de n t i f yi ng  a bn o r m a l   u s e r s   i nv o l ve c l e a ni ng  t h e   da t a   to  r e m o v e   po t e n t i a ll y   i nva li o r   m i s t y pe d   e n t r i e s ,   pa r t i c u l a r l y   i n   t h e   NO _ K T P NPW P   f i e l d .   R e c o r ds   wi t h   i n c o r r e c o r   s us pi c i o us   NO _K T P NPW P   v a l ue s   we r e   de l e t e d,   a n da t a   wa s   f il t e r e to   i n c l u de   o nl y   c us t o m e r s   a ge 17  a n a b o v e .   T hi s   s t e wa s   c r uc i a Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   1 A pr i l   20 2 5 :   20 - 30   24   to   m a i n t a i n i ng  t h e   a c c ur a c y   a n c o ns i s t e n c y   o f   t he   da t a s e t,   whi c h   i t ur n   e n s ur e m o r e   r e l i a bl e   a na ly s i s   a n m o de li ng  o u t c o m e s .   T h e   da t a   wa s   t h e n   s p li t   i n t t r a i ni ng  a n t e s t i n s e t s   to  f a c i li t a t e   m o de l   tr a i ni n a n e v a l ua t i o n .   T h e   da t a s e wa s   d i vi de w i t h   80%   a l l o c a t e to  t r a i ni n a n 20%   to  t e s t i n g,   a n t h e   t r a i ni ng  s e t   wa s   f ur t h e r   s p l i t   us i n 4 - f o l c r o s s - v a li da t i o n .   T hi s   a ppr o a c h   he l pe pr e v e n t   o v e r f i t t i n a n e ns ur e t h a t   t h e   m o de l s   pr e d i c t i o n s   wo u l b e   c o ns i s t e n t   a n ge n e r a li z a bl e .   F i na ll y ,   t h e   i s s u e   o f   i m ba l a nc e da t a   wa s   a dd r e s s e us i n S M OT E E NN ,   a   c o m bi na t i o n   o f   s y n t h e t i c   mi n o r i t y   o v e r - s a m p li ng  t e c h ni que   ( S M OT E )   a n e d i t e n e a r e s t   n e i g hb o r s   ( E NN )   [ 26 ] .   T hi s   m e t h o h e l pe t b a l a n c e   t h e   di s t r i b ut i o n   o f   c l a s s e s   by   ge n e r a t i n s y n t he t i c   s a m p l e s   f o r   t h e   m i n o r i t y   c l a s s   a n r e f ini ng  t h e   da t a s e by   r e m o vi ng  n o i s y   s a m p l e s   f r o m   t h e   m a j o r i t y   c l a s s .   S M OT E E NN   i s   hi g hly   e f f e c t i v e   i n   h a n d li ng   im ba l a n c e da t a   a n s i g ni f i c a n t l y   e nh a n c e s   m o de l   a c c ur a c y   [ 27] .   I n   t hi s   r e s e a r c h ,   S M OT E   wa s   c onf i gur e w i t h   s a m p li ng_ s t r a t e gy = ' a ut o '   to   b a l a n c e   t h e   mi n o r i t y   c l a s s   w i t h   t he   m a j o r i t y   c l a s s ,   a n k_ n e i g hbo r s = 5   to  de t e r m i ne   t h e   n u m be r   o f   n e a r e s t   n e i g hb o r s   f o r   s y n t h e s i z i ng  ne s a m p l e s .   E NN   w a s   a ppl ied  w i t s a m p l i ng_ s t r a t e g y = ' a ll '   t o   r e m o v e   n o i s e   f r o m   a l c l a s s e s ,   e ns ur i n a   c l e a n e r   da t a s e t.   T o   e n s ur e   c o n s i s t e n t   r e s u l t s ,   S M OT E   a n E NN   s e t h e   s e e f o r   t h e   r a n do m   n u m be r   ge n e r a t o r   us i n r a n do m _ s t a t e = 42 .   A pp lyi ng   S M OT E E NN   to   t h e   t r a i ni ng  da t a   r e s u l t e i n   s i g nif i c a n t   c h a n ge s   i n   t h e   c l a s s   d i s t r i b ut i o n .   B e f o r e   r e s a m p li ng,   t h e   da t a s e c o n t a i n e 864, 039  s a m p l e s ,   w i t h   t h e   m a j o r i t y   c l a s s   ( n o n - r e pe a t   o r de r )   h a vi n 815, 870  s a m p l e s   a n t h e   mi n o r i t y   c l a s s   ( r e pe a t   o r de r )   o nl y   48, 169  s a m p l e s .   Af t e r   a pp l yi ng  S M OT E E NN ,   t h e   tot a l   nu m b e r   o f   s a m p l e s   wa s   r e duc e to  715, 697 ,   wi t h   t h e   m a j o r i t y   c l a s s   r e duc e to   480 , 975  s a m p l e s   a n t h e   m i n o r i t y   c l a s s   i nc r e a s e to  234, 722   s a m p l e s .   Al t h o ugh   S M OT E E NN   di n o a c hi e ve   pe r f e c t   b a l a n c e ,   t h e   m o r e   e qua l   d i s t r i b ut i o n   i m pr o v e t h e   m o de l s   a bil i t y   t a c c ur a t e l y   pr e d i c t   t h e   m i n o r i t y   c l a s s .   Af t e r   c o m p l e t i n a l l   t h e s e   da t a   pr e pa r a t i o n   s t e ps ,   t h e   da t a s e t   wa s   r e f i ne to   i nc l ude   7 8   f i na l   f e a t ur e s   a n a   tot a l   o f   1, 080, 049  r e c o r ds .   T h e s e   f e a t ur e s ,   whi c h   a r e   e s s e n t i a l   f o r   t h e   m o de l in pr o c e s s ,   a r e   de t a i l e i T a bl e   3.   T hi s   pr e pa r e d   da t a s e pr o vi de a   s t r o n f o un da t i o n   f o r   b u i l d i ng  a   r e l i a ble  a n e f f e c t i v e   pr e d i c t i ve   m o de l .       T a bl e   3 .   T h e   f e a t ur e s   us e a s   i n put   f o r   m o de l i ng  pr o c e s s   N ume r i c a f e a tu r e   C a te gor ic a f e a tu r e   C I C I L A N , D P , J M L _A N G S U R A N J M L _A N G S U R A N _M E A N , mt r _hr g ju a l,    B U Y I N G _C Y C L E , R E C E N C Y T O T A L _ S P E N T ,   J M L _P E M B E L I A N , C I C I L A N _D P _r a ti o J M L _A N G S U R A N _ T O T A L _S P E N T _r a ti o R E C E N C Y _B U Y I N G _C Y C L E _ r a ti o , C I C I L A N _l o g,  D P _l o g, J M L _A N G S U R A N _l o g,  J M L _A N G S U R A N _M E A N _l o g,   mt r _h r gj ua l_ l o g,  B U Y I N G _C Y C L E _l o g, R E C E N C Y _l o g,  T O T A L _S P E N T _l o g, J M L _P E M B E L I A N _l o g,  C I C I L A N _s qua r e d, D P _s qua r e d,  J M L _A N G S U R A N _s qua r e d,  J M L _A N G S U R A N _M E A N _s qua r e d, mt r _hr gj ua l_ s qua r e d,  B U Y I N G _C Y C L E _s qua r e d, R E C E N C Y _s qua r e d,  T O T A L _S P E N T _s qua r e d, J M L _ P E M B E L I A N _s qua r e d,  T O T A L L A B E L   J N S _K L M _0, J N S _K L M _1, J N S _ K L M _2, J N S _J U A L _1,  J N S _J U A L _2, S T S _R U M A H _0,  S T S _R U M A H _1,  S T S _R U M A H _2, S T S _R U M A H _3,  T U J U _P A K A I _0,   T U J U _P A K A I _1,  T U J U _P A K A I _2,  T U J U _P A K A I _3,  T U J U _P A K A I _4,  T U J U _P A K A I _5,  T U J U _P A K A I _6,   T U J U _P A K A I _7,  K O D E _ K E R J A _0, K O D E _ K E R J A _1,  K O D E _ K E R J A _2,   K O D E _ K E R J A _3, K O D E _ K E R J A _4,   K O D E _ K E R J A _5, K O D E _ K E R J A _6, K O D E _ K E R J A _7,  K O D E _ K E R J A _8, K O D E _ K E R J A _9, K O D E _ K E R J A _10,   K O D E _ K E R J A _11, K O D E _ K E R J A _12, K O D E _ K E R J A _13,  K O D E _ K E R J A _14, K O D E _ K E R J A _15, K O D E _ K E R J A _16,   C U B _S P O R T _1, C U B _S P O R T _2, C U B _S P O R T _3,  K A T E G O R I _U S I A _1,  K A T E G O R I _U S I A _2,  K A T E G O R I _U S I A _3,  K A T E G O R I _U S I A _4,   K A T E G O R I _U S I A _5,  K A T E G O R I _U S I A _6,  K A T E G O R I _U S I A _7,  K O D E _D I D I K K E L U A R _B L N       2. 4.     M od e l in g   T h e   de v e l o p m e n t   o f   t h e   pr e di c t i v e   m o de l   i nv o l ve t h r e e   m a c hi ne   l e a r ni ng  m o de l s r a n do m   f o r e s t,   GB DT ,   a n De e p F M .   T h e   d a t a s e t   wa s   s p l i t   i n t o   8 0%   f o r   tr a i ni ng  a n 20%   f o r   t e s t i n g.   I ni t i a ll y ,   t h e s e   m o de l s   we r e   t r a i n e w i t h   de f a u l t   pa r a m e t e r s ,   f o l l o we by   o pt i mi z a t i o n   to  e nh a n c e   pe r f o r m a n c e .   C r o s s - v a l i da t i o wa s   pe r f o r m e us i ng  k - f o l d   ( k = 4)   o n   t h e   t r a i ni ng  da t a .   F o r   e a c h   f o l d,   t h e   tr a i ni ng  da t a   wa s   s p l it   i n t o   k   s ubs e t s ,   a n S M OT E E NN   wa s   a ppl i e to  b a l a n c e   t h e   da t a   wi t hi n   t h e   c ur r e n t   f o l d.   T h e   m o de l s   we r e   t h e t r a i n e o n   t h e   b a l a n c e k - s ub s e t s   a n va l i d a ted  o n   t h e   r e m a i n i ng  s u b s e t .   P e r f o r m a n c e   m e t r i c s   we r e   r e c o r de f o r   e a c h   f o l d,   a n t h e   b e s t - pe r f o r m i ng  f o l wa s   i de n t i f i e ba s e o n   t h e s e   m e t r i c s .   T h e   mo de l   wa s   r e tr a i ne us i ng  t hi s   b e s t - pe r f o r m i ng  f o l a n s u b s e que n t l y   us e to   m a ke   pr e d i c t i o ns   o n   t h e   t e s t   da t a ,   e ns ur i n g   r o b us t n e s s .   A dd i t i o n a ll y ,   o p t i mi z a t i o n   i nc l ude f e a t ur e   s e l e c t i o n   t h r o ugh   b a c kw a r f e a t ur e   e l i mi n a t i o n   a n d   hy pe r pa r a m e t e r   t un i n u s i ng  hy pe r ba n to   i de n t i f y   t h e   be s t   f e a t ur e s   a n pa r a m e t e r s   f o r   e a c h   m o de l .   F o l l o w i ng  t h e   i n d i v i dua l   m o de l   t r a i ni ng,   a   s t a c k i n pr o c e s s   wa s   i m p l e m e n t e d,   wi t h   l o g i s t i c   r e gr e s s i o n   s e r vi ng  a s   t h e   m e t a - l e a r n e r   to   f ur t h e r   e nh a n c e   pr e d i c t i v e   a c c ur a c y .     2. 4. 1.   M od e l   r an d om   f o r e s t   R a n do m   f o r e s t   i s   a n   e ns e m b l e   l e a r ni ng  m e t h o us e f o r   c l a s s i f i c a t i o n   a n r e gr e s s i o n   t a s ks .   I t s   o pe r a t i o n   i nv o l v e s   b u il d i ng  m u l t i p l e   de c i s i o n   tr e e s   dur i n t h e   t r a i ni ng  ph a s e   a n c o m bi n i ng  t h e i r   pr e d i c t i o ns   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         P r e dictive   mode f or   c onv e r ti ng  leads   int r e pe at  or de r   c us tome r   …  ( De r y an  E v e r e s tha  M aur e d )   25   to  m a ke   t h e   f i na l   pr e d i c t i o n .   E a c h   de c i s i o n   tr e e   i s   c o n s t r uc t e us i n a   r a n do m   s u b s e t   o f   t h e   t r a i ni ng  da t a   a n d   r a n do m   s ubs e t   o f   f e a t ur e s ,   i n t r o duc i n d i ve r s i t y   a n r e duc i n o v e r f i t t i n [ 8] .   I n   t hi s   r e s e a r c h ,   r a n do m   f o r e s t   m o de l   wa s   c o ns t r uc t e us i n t h e   R a n do m F o r e s tC l a s s if i e r   l i br a r y   w i t h   de f a u l t   pa r a m e t e r s m a x _ de pt h = 5,   n _ j o b s = - 1,   oo b _s c o r e = T r ue ,   a n r a n do m _s t a t e = 42.       2. 4. 2.   M od e l   gr ad ient   b oos t in d e c is ion   t r e e   GB DT   i s   a n   e ns e m b l e   m o de l   us e f o r   r e gr e s s i o n   a n c l a s s if i c a t i o n   t a s ks .   T hi s   m o de l   c o ns t r uc t s   m u l t i p l e   we a l e a r n e r s   ( us ua l ly   de c i s i o n   t r e e s )   s e que n t i a ll y ,   w h e r e   e a c h   t r e e   a tt e m pt s   to   c o r r e c t h e   e r r o r s   m a de   by   t h e   pr e c e d i n o n e .   T h i s   pr o c e s s   c o n t i n u e s   un t i l   a   pr e de t e r m i ne n u m be r   o f   l e a r n e r s   i s   c r e a t e or   un t i l   c e r t a i n   s t o ppi n c r i t e r i a   a r e   m e t .   T hi s   i s   a c hi e v e by   mi n im i z i ng  t h e   l o s s   f u n c t i o n   ( m e t h o pa r a m e t e r )   w i t h   e a c h   b a s e   m o de l   a dde [ 14] .   I n   t hi s   r e s e a r c h ,   GB DT   m o de l   wa s   c o n s t r uc t e u s i n t h e   Gr a d i e n t B oo s t i n gC l a s s i f i e r   l i br a r y   w i t h   de f a u l t   pa r a m e t e r s m a x _de pt h = 5,   n _e s t i m a t o r s = 100,   oo b _s c o r e = T r ue ,   a n r a n do m _s t a t e = 42.     2. 4. 3.   M od e l   De e p F M   De e pF M   i s   a   hy b r i m o de l   t h a e f f e c t i v e ly   c a pt ur e s   l o w - o r de r   a n hi g h - o r de r   f e a t ur e   i n t e r a c t i o n s   b y   c o m bi n i ng  t h e   l i ne a r   c o m po n e n t   o f   f a c t or i z a t i o n   m a c hi ne s   ( F M )   a n de e n e ur a l   n e t wo r k   ( DN N)   [ 11] .   T h e   De e pF M   m o de l   s t r uc t u r e   c o n s i s t   o f   s e v e r a l   c o m po n e n t s t h e   l i ne a r   c o m po n e n t   ( s pa r s e   f e a t ur e   a n d   de n s e   e m b e dd i ng) ,   t h e   f a c t o r i z a t i o n   m a c hi ne   l a y e r   c o m p o n e n t ,   t h e   de e n e ur a l   n e t wo r c o m po n e n t   ( hi dd e n   l a y e r ) T h e   l i ne a r   c o m po n e n t   de a l s   w i t h   c a t e go r i c a l   f e a t ur e s ,   e n c o d i n t h e m   i n t o   b ot h   s pa r s e   f e a t ur e   s pa c e   a n de n s e   e m b e dd i ng  v e c t or s .   I t   c a p t ur e s   l i ne a r   i n t e r a c t i o ns   by   s u m mi ng  s pa r s e   f e a t ur e   v a l ue s   a n c a l c u l a t i n dot  pr o duc t s   o f   de ns e   e m be dd i ngs .   T h e   F M   l a y e r   f o c us e s   o n   pa i r w i s e   i n t e r a c t i o ns ,   c o m put i n t h e   i nn e r   pr o duc t   o f   f e a t ur e   e m b e dd i ng s   to   c a p t ur e   i n t e r a c t i o n s   b e t we e n   d if f e r e n t   f e a t ur e s .   T h e   DN c o m po n e n t   c a pt ur e s   hi g h - o r de r   i n t e r a c t i o ns   t h r o ugh   m u l t i p l e   l a y e r s   o f   ne ur a l   n e t wo r ks ,   l e a r ni ng  c o m p l e x   pa tt e r n s   a n d   f e a t ur e   r e pr e s e n t a t i o ns .   I t   p r o c e s s e s   de ns e   e m be dd i n gs   a n pr e d i c t s   t h e   t a r ge t   v a r i a bl e   u s i n no n - l i ne a r   t r a n s f o r m a t i o ns .       2. 4. 4 M od e l   o p t im iz at ion   M o de l   o p t i mi z a t i o n   i n   t hi s   r e s e a r c h   i nv o l v e s e v e r a l   t e c hni que s ,   s t a r t i n w i t h   f e a t ur e   s e l e c t i o us i n ba c k wa r f e a t ur e   e l i mi na t i o n .   I n   t hi s   m e t h o d,   a   s i g nif i c a n c e   l e ve l   ( S L )   o f   0. 05   wa s   s e t,   c o r r e s po n d i n g   to  a   95 %   c o n f i d e n c e   l e v e l .   T h e   p - v a l ue   wa s   c a lcu l a t e f o r   e a c h   f e a t ur e ,   a n a ny   f e a t ur e   wi t h   a   p - v a l ue   gr e a t e r   t h a n   t h e   s i g ni f i c a n c e   l e v e l   wa s   r e m o v e d.   I f   a   f e a t ur e s   p - v a l ue   d i n o e x c e e t h e   s i g ni f i c a nc e   l e v e l ,   t h e   e l im i na t i o n   pr o c e s s   wa s   h a l t e d.   T hi s   i t e r a t i ve   a ppr o a c h   c o n t i n ue u n t i l   n o   a dd i t i o n a l   f e a t ur e s   m e t   t h e   r e m o v a l   c r i t e r i a ,   u l t i m a t e l y   r e duc i ng  t h e   n u m be r   of   f e a t ur e s   f r o m   7 8   to  59,   a s   s h o wn   i n   T a bl e   4       T a bl e   4 F i n a l   f e a t ur e   a f t e r   f e a t ur e   s e l e c t i o n   N ume r i c a f e a tu r e   C a te gor ic a f e a tu r e   C I C I L A N , D P , J M L _A N G S U R A N J M L _A N G S U R A N _M E A N , mt r _hr g ju a l,   B U Y I N G _C Y C L E , R E C E N C Y T O T A L _ S P E N T C I C I L A N _l o g, D P _ l o g, J M L _A N G S U R A N _l o g,  J M L _A N G S U R A N _M E A N _l o g,  B U Y I N G _C Y C L E _l o g, R E C E N C Y _l o g,  T O T A L _S P E N T _l o g, C I C I L A N _s qua r e d,  D P _s qua r e d, J M L _A N G S U R A N _s qua r e d,  J M L _A N G S U R A N _M E A N _s qua r e d,  mt r _hr gj ua l_ s qua r e d,  B U Y I N G _C Y C L E _s qua r e d,  R E C E N C Y _s qua r e d,  T O T A L _S P E N T _s qua r e d,  T O T A L   J N S _K L M _1, J N S _K L M _2, J N S _J U A L _1,   S T S _R U M A H _1, S T S _R U M A H _2,   T U J U _P A K A I _1,  T U J U _P A K A I _2,   T U J U _P A K A I _3,  T U J U _P A K A I _4,   T U J U _P A K A I _5,   T U J U _P A K A I _6,   T U J U _P A K A I _7,   K O D E _ K E R J A _0,   K O D E _ K E R J A _1,   K O D E _ K E R J A _2,   K O D E _ K E R J A _5, K O D E _ K E R J A _6,   K O D E _ K E R J A _7,  K O D E _ K E R J A _8, K O D E _ K E R J A _11, K O D E _ K E R J A _12,  K O D E _ K E R J A _13, K O D E _ K E R J A _14,   K O D E _ K E R J A _15,   K O D E _ K E R J A _16,   C U B _S P O R T _2,  C U B _S P O R T _3,   K A T E G O R I _U S I A _1,   K A T E G O R I _U S I A _3,  K A T E G O R I _U S I A _4,   K A T E G O R I _U S I A _5,  K A T E G O R I _U S I A _7,  K O D E _D I D I K ,   K E L U A R _B L N       H y pe r pa r a m e t e r   t uni n wa s   a l s o   c a r r i e o u us i n hy pe r b a n d,   a n   e f f i c i e n t   a l go r i t hm   t h a d y n a mi c a ll y   a ll o c a t e s   r e s o ur c e s   to   t h e   m o s t   p r o m is i n hy pe r pa r a m e t e r   c o nf i gur a t i o n s s i g ni f i c a n t l y   r e duc i ng   c o m put a t i o n a l   c o s t s   c o m pa r e to  tr a di t i o n a l   gr id  s e a r c h   m e t h o ds   [ 28] .   I n   t hi s   r e s e a r c h ,   hy pe r ba n wa s   e m p l o y e d   to  i de n t i f y   t h e   b e s pa r a m e t e r s   f or   t h e   t h r e e   m o d e l s ,   us i n s e v e r a l   pa r a m e t e r   op t i o n s   l i s t e d   i T a bl e   5 ,   w i t h   a   hy p e r b a n c o nf i gur a t i o n   s e t   a m a x _ i t e r a t i o n = 27  a n e t a = 3   f o r   e a c h   m o de l .   T hi s   t uni n pr oc e s s   wa s   a pp l i e to  m o de l s   ut i li z i ng  b o t h   t h e   f u ll   s e t   o f   f e a t ur e s   a n t h e   r e duc e s e t ,   wi t h   t h e   o p t i m a l   p a r a m e t e r s   de t a i l e i n   T a bl e   6.   T h e   hy p e r pa r a m e t e r   t uni n r e s u l t s   r e v e a l e d i s t i nc t   s t r a t e gi e s   de pe n d i n o n   f e a t ur e   s e l e c t i o n .   F o r   t h e   r a n do m   f o r e s t   m o de l ,   t h e   f e a t ur e - s e l e c t e v e r s i o n   o p t e f o r   a   de e pe r   tr e e   ( v s .   5)   a n t h e   G i ni   c r i t e r i o n ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   1 A pr i l   20 2 5 :   20 - 30   26   whil e   t h e   a l l - f e a t ur e s   m o de l   a do pt e m o r e   c o n s e r v a t i v e   s e t t i n gs .   I n   t h e   GB DT ,   f e a t ur e   s e l e c t i o n   r e s u l t e i n   f e we r   e s t i m a t or s   ( 15  v s .   45)   b ut   de e pe r   tr e e s   a n s t r i c t e r   s p l i t s ,   i n d i c a t i n a   m o r e   e f f i c i e n t   l e a r ni ng  pr o c e s s .   T h e   De e p F M   m o de l ,   w h e n   u s i ng  f e a t ur e   s e l e c t i o n,   e m p l o y e a   s m a ll e r   b a t c h   s i z e   ( 64  vs .   256)   a n a   s i m p l e r   a r c hi t e c t ur e   b ut  a   h i g he r   l e a r ni ng  r a t e   ( 0. 7356   v s .   0 . 04129) ,   s ugge s t i n f a s t e r   a da p t a t i o n   w i t h   f e w e r ,   m o r e   s i g nif i c a n t   f e a t ur e s .   Ov e r a l l ,   m o de l s   w i t h   f e a t ur e   s e l e c t i o n   we r e   m o r e   a ggr e s s i ve   a n o pt i mi z e f o r   a   s m a ll e r   f e a t ur e   s e t,   wh e r e a s   m o de l s   ut i li z i ng  a l l   f e a t ur e s   too a   m o r e   c a ut i o us   a ppr o a c h   to   p r e v e n t   o v e r f i t t i n g .   L a s t l y ,   a   s t a c k i n m o de l   a ppr o a c h   wa s   ut i li z e i n   t h r e e   v a r i a t i o ns .   T h e   f i r s t   a ppr o a c h   us e b a s e   m o de l s   ( r a n do m   f o r e s t ,   GB DT ,   a n De e p F M )   w it h   de f a u l t   c o nf i gur a t i o n s .   T h e   s e c o n a ppr o a c h   u s e b a s e   m o de l   t h a t   a ppl i e hy pe r pa r a m e t e r   tuni n us i ng  a l l   f e a t ur e s ,   a n t h e   t hi r a ppr o a c h   us e b a s e   m o de l   t h a a pp l i e hy pe r pa r a m e t e r   t uni n w i t h   f e a t ur e   s e l e c t i o n .   T hi s   e n s e m bl e   m e t h o a i m e t l e ve r a ge   t h e   s t r e n gt h s   o f   e a c h   b a s e   m o de l   a n im pr o v e   o v e r a l l   pr e d i c t i o n   a c c ur a c y ,   pa r t i c u l a r ly   f o r   pr e di c t i n r e pe a t   or de r   c us t o m e r s .         T a bl e   5 .   L i s t   o f   pa r a m e t e r s   to   f i n b e s t   pa r a m e t e r   M o de l   L is pa r a me t e r  t o   f in d be s pa r a m e t e r   RF   ' c r i te r i o n' hp. c h o i c e (  ' c ' , (  ' g in i' , ' e nt r o p y '   ) ) ,   ' b oo ts tr a p' hp. c h o i c e (  ' b' (   T r u e , F a ls e  ) ) ,   ' c la s s _w e ig ht ' hp. c h o i c e (  ' c w ' , (  ' ba la n c e d' , ' ba la nc e d_s ubs a mpl e ' , N o n e  ) ) ,   ' ma x _d e pt h' hp.quni f or m(   ' md' , 2, 10, 1 ) ,   ' ma x _ f e a tu r e s ' hp. c h o i c e (  ' m f ' , (  ' s qr t ' , ' l o g2' , N o n e  ) ) ,   ' mi n_s a mpl e s _s pl it ' hp.quni f o r m (  ' ms p' , 2, 20, 1 ) ,' m in _s a mpl e s _l e a f ' hp.quni f or m(  ' ms l' , 1, 10, 1  )   G B D T   ' le a r ni ng_ r a te ' hp.uni f o r m (  ' lr ' , 0.01, 0.2 ) ,   ' s ubs a mpl e ' hp.uni f o r m (  ' s s ' , 0.8, 1.0 ) ,   ' ma x _d e pt h' hp.quni f or m(   ' md' , 2, 10, 1 ) ,   ' ma x _ f e a tu r e s ' hp. c h o i c e (  ' m f ' , (  ' s qr t ' , ' l o g2' , N o n e  ) ) ,   ' mi n_s a mpl e s _l e a f ' hp.quni f o r m (  ' ms s ' , 1, 10, 1 ) ,   ' mi n_s a mpl e s _s pl it ' hp.qunif or m(  ' ms s ' , 2, 20, 1 )   D e e p F M   o pt im i z e r hp. c h o i c e (  ‘ o [ r ms pr o p , ‘ a da gr a d’ , ‘ a da ma x ] ) ,   le a r ni ng_ r a te hp.l o guni f or m( l e a r ni ng_ r a te - 5, 0) ,   ba tc h_s iz e hp.c h o i c e ( ba tc h_s i z e , [ 64, 128, 256] ) ,   l2 _r e g_l in e a r hp.l o guni f or m( l2 _r e g_l in e a r - 10,  - 5) ,   l2 _r e g_e mb e ddi ng hp.l o guni f or m( l2 _ r e g_ e mb e ddi ng - 10,  - 5) ,   l2 _r e g_dnn’ hp.l o guni f or m( l2 _r e g_dnn’ - 10,  - 5) ,   dnn_dr o p o ut hp.uni f or m( dnn_dr o p o ut , 0, 0.5 ) ,   dnn_a c ti v a ti o n’ hp. c h o i c e ( dnn_a c ti v a ti o n , [ r e lu , ‘ s ig m o id , ‘ ta nh’ ] ) ,   s e e d hp. c h o ic e ( s e e d’ [ 0,1024] ) ,   dnn_hidde n_unit s hp. c h o i c e ( dnn_h id de n_uni ts , [ ( 256, 128,  64) ( 64, 32, 16) , ( 30, 20, 10 ) ] )       T a bl e   6 T h e   o p t i m a l   pa r a m e t e r   f o r   e a c h   m o de l   M o de l   B e s p a r a m e t e r   RF   ' n_e s ti ma t o r s ' 5,  ' b oo ts tr a p' F a ls e ' c la s s _w e ig ht ' ' ba la n c e d' ,   ' c r it e r i o n' ' e nt r o p y ' ' ma x _d e pt h' 5,   ' ma x _ f e a tu r e s ' ' l o g2 ' , ' mi n_s a mpl e s _l e a f ' 5,   ' m in _s a mpl e s _s pl it ' 15   R F  ( F e a tu r e  S e l e c ti o n)   ' n_e s ti ma t o r s ' 5,  ' boo ts tr a p' F a ls e ' c la s s _w e ig ht ' ' ba la nc e d' ' c r it e r i o n ' ' gi ni ' ' ma x _d e pt h ' 8,  ' ma x _ f e a tu r e s ' ' l o g2 ' , ' mi n_s a mpl e s _l e a f ' 8, ' m in _s a mpl e s _s pl it ' 6   G B D T   ' n_e s ti ma t o r s ' 45,   ' l e a r ni ng_r a t e ' :   0.18861818786755138,  ' ma x _d e pt h' 4,   ' ma x _ f e a tu r e s ' N o n e ,   ' mi n_s a mpl e s _l e a f ' 10, ' mi n_s a mpl e s _s pl it ' 7, ' s ubs a mpl e ' 0.9 025409533959227   G B D T   ( F e a tu r e   S e l e c ti o n)   ' n_e s ti ma t o r s ' 15, ' l e a r ni ng_ r a te ' 0.19080522396266575,  ' ma x_de pt h' 9, ' ma x _ f e a tu r e s ' N o n e ' mi n_s a mpl e s _l e a f ' 2, ' mi n_s a mpl e s _s pl it ' 4, ' s ubs a mpl e ' 0.94 42618269109583   D e e p F M   ' it e r a ti o ns ' 9,  ' ba tc h_s i z e ' 256, ' dnn_a c ti v a ti o n' ' r e lu ' , ' dnn_dr opo ut ' 0.09398487307992287,    ' dnn_hidde n_unit s ' ( 256, 128, 64) , ' l2 _r e g_dnn' 0.000 1542774 8646839538,    ' l2 _r e g_ e mb e ddi ng' 0.0006685422033088367,  ' l2 _r e g_l in e a r ' 0.0005985209123729851,   ' le a r ni ng_ r a te ' 0.041293725390164925, ' o pt im i z e r ' ' a da ma x ' , ' s e e d' 0   D e e p F M   ( F e a tu r e   S e l e c ti o n)   ' it e r a ti o ns ' 9,  ' ba tc h_s i z e ' 64, ' dnn_a c ti v a ti o n' ' r e lu ' , ' dnn_dr o p o ut ' 0.043312236659931225,   ' dnn_hidde n_unit s ' ( 30, 20, 10) ,   ' l2 _r e g_dnn' 7.363305306789 893e - 05,   ' l2 _r e g_ e mb e ddi ng' 0.0014565149402621209,   ' l2 _r e g_l in e a r ' 0.0012858385266040664,   ' le a r ni ng_ r a te ' 0.7355648719703358,   ' o pt im i z e r ' ' a da ma x ' , ' s e e d' 1024       2. 5.     E val u at ion   T h e   pe r f o r m a nc e   e v a l ua t i o n   i n   c a s e s   o f   c l a s s   i m b a l a n c e   i n   t hi s   r e s e a r c h   w i ll   f o c us   o n   s e ve r a l   ke m e t r i c s a c c ur a c y ,   A UC - R OC ,   l o l o s s ,   we i g h t e a v e r a ge   pr e c i s i o n ,   we i g h t e a v e r a ge   r e c a ll ,   a n we i g h t e d   a v e r a ge   F 1 - s c o r e .   T h e s e   m e t r i c s   a r e   c r uc i a l   f o r   pr o vi d i ng  a   c o m pr e h e n s i ve   a n f a i r   a s s e s s m e nt   o f   t h e   m o de l s   a bil i t y   to   h a n d l e   c l a s s   i m ba l a nc e .   B y   e v a luat i n t h e s e   m e t r i c s ,   we   c a n   de t e r m i ne   h o we l l   t h e   m o de d i f f e r e n t i a t e s   b e t we e n   m a j o r i t y   a n m i n o r i t y   c l a s s e s   a n e ns ur e   t h a t h e   pr e di c t i o ns   a r e   n ot  bi a s e d   to wa r ds   t h e   m a j o r i t y   c l a s s .   A c c ur a c y   m e a s ur e s   h o s uc c e s s f u l   a   c l a s s i f i c a t i o n   m o de l   i s   a m a k i ng  c o r r e c pr e d i c t i o n s .   F o r   bi n a r y   c l a s s if i c a t i o n ,   a c c ur a c y   c a n   b e   c a l c u l a t e us i n ( 1) .       =         +           ( 1)   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         P r e dictive   mode f or   c onv e r ti ng  leads   int r e pe at  or de r   c us tome r   …  ( De r y an  E v e r e s tha  M aur e d )   27   A U C - R OC   m e a s ur e s   t h e   c l a s s if i c a t i o n   m o de l 's   pe r f o r m a n c e   i n   d i s t i ngu i s hi ng  be t we e n   po s i t i v e   a n d   n e ga t i v e   c l a s s e s .   T h e   R OC   c ur v e   i s   a   gr a ph   t h a i ll u s t r a t e s   t h e   r e l a t i o ns hi b e t we e n   t h t r ue   p o s i t i v e   r a t e   ( R e c a l l )   a n f a l s e   po s i t i ve   r a t e   a v a r i o us   pr e d i c t i o n   t h r e s h o l ds .   A U C - R OC   c a l c u l a t e s   t h e   a r e a   un de r   t h e   R OC   c ur v e .   T h e   A UC - R O C   v a l ue   r a n ge s   f r o m   to  1,   w h e r e   a   v a l ue   c l o s e r   to  1   i n d i c a t e s   t h a t h e   m o de l   i s   b e t t e r   a d i s t i n gu i s hi ng  b e t we e n   po s i t i v e   a n ne ga t i v e   c l a s s e s ,   t h e   f o r m u l a   i s   de f i ne a s   ( 2 ).      =         ( + 1 ) 2   ( 2 )     W h e r e      i s   t h e   s e r i a l   n u m be r   o f   t h e   s a m p l e ,   M   i s   t he   n u m be r   o f   po s i t i v e   s a m p l e s ,   a n i s   t h e   n u m be r   o f   ne ga t i v e   s a m p l e s .   L o l o s s   m e a s ur e s   t h e   l i ke li h oo e s t i m a t i o n   o f   t h e   pr e d i c t i o n   pr o b a bil i t y ,   t h e   f o r m u l a   i s   de f i ne a s   ( 3 ).     L og   _  =   1   ( ( ) + = 1   ( 1 )   log   ( 1 ) )   ( 3 )     P r e c i s i o n   m e a s ur e s   t h e   l e v e l   o f   a c c ur a c y   b e t we e t h e   pr e d i c t e r e s u l t s   pr o vi de by   t h e   m o de l   a n d   t h e   a c t ua l   a v a il a bl e   da t a ,   p r e c i s i o n   i s   de f i ne a s   ( 4 ).        =            +        ( 4 )     T h e   r e c a l l   m e t r i c   e va l ua t e s   h o we l l   a   m o de l   c a n   r e c o gni z e   a ll   a c c ur a t e l y   i d e n t i f i e da t a   s a m p l e s   i t h e   t r ue   c l a s s   w i t hi n   t h e   da t a s e t ,   r e c a l l   i s   de f i ne a s   ( 5 ).       =             +        ( 5 )     T h e   F 1 - s c o r e   gi v e s   a   c o m pr e h e ns i ve   a s s e s s m e n t   of   t h e   m o de l 's   p e r f o r m a n c e   by   i nc o r po r a t i n b o t h   pr e c i s i o a n r e c a ll   i n t o   a   s i n g l e   v a l ue ,   t h e   f o r m u l a   i s   de f i ne a s   ( 6 ).     1  =   2 ×       ×        +    ( 6 )     T h e   we i g h t e a v e r a ge   pr o vi de s   a   m o r e   a c c ur a t e   a s s e s s m e n t   o f   t h e   m o de l ' s   pe r f o r m a n c e   i n   c a s e s   o f   im ba l a n c e da t a .   B y   a ppr o p r i a t e l y   we i g h t i n e a c h   c l a s s   ba s e o n   i t s   a c t ua l   d i s t r i b ut i o n ,   t h e   we i g h t e a v e r a g e   a l l o w s   us   t e v a l ua t e   t h e   m o de l ' s   pe r f o r m a nc e   by   c o n s i d e r i n t h e   r e l a t i v e   i m po r t a n c e   o f   e a c h   c l a s s .   W e i g h t e a v e r a ge   pr e c i s i o n   ( 7 ) ,   r e c a l l   ( 8 ) ,   a n F 1 - s c o r e   ( 9 )   c o n s i d e r   c l a s s   i m ba l a n c e   by   a s s i g ni ng  we i g h t s   to  t h e   pr e c i s i o n ,   r e c a l l ,   a n F 1 - s c o r e   o f   e a c h   c l a s s   ba s e o n   t h e   pr o p or t i o n   o f   t h a t   c l a s s   i n   t h e   da t a s e t .            =   (                  )      ) = 1               ( 7 )           =   (                 )      ) = 1              ( 8 )         1  =   (                  )      ) = 1     1         ( 9 )       3.   RE S UL T S   AN DI S CU S S I ON   Af t e r   c o m p l e t i n a l l   s t a ge s t h e   m o de l s   w e r e   e v a luat e o n   t h e   t e s t i n da t a .   T o   e n r i c h   t h e   a n a ly s i s   o f   m o de l   pe r f o r m a n c e ,   t hi s   r e s e a r c h   a l s o   c o m pa r e th e   r e s u l t s   w i t h   a   b a s e li ne   m o de l   us i ng  l o gi s t i c   r e gr e s s i o n .   T hi s   c o m p a r i s o n   a i m e t a s s e s s   w h e t h e r   t h e   a d de c o m p l e xi t y   o f   m o r e   a dv a nc e m o de l s   pr o vi de d   s i g nif i c a n t   a dv a n t a ge s   o v e r   t h e   s i m p l e r   b a s e li ne   m o de l .   T h e   e v a l ua t i o n   m e t r i c s   f o r   t h e   t h r e e   m o de l s   wh e t h e r   us i n de f a u l t   s e tt i n g s ,   hy pe r pa r a m e t e r   t un i n g   u s i n a l l   f e a t ur e ,   hy pe r pa r a m e t e r   t uni n u s i ng   f e a t ur e   s e l e c t i o n ,   o r   t h e   b a s e l i ne   m o de l   a r e   de t a i l e i n   T a bl e   7 .   F o r   t h e   r a n do m   f o r e s m o de l ,   f e a t ur e   s e l e c t i o a n hy pe r pa r a m e t e r   t uni n l e to  s ub s t a n t i a l   im pr o v e m e n t s .   T h e   de f a u l t   c o n f i gur a t i o n   y i e l de a n   a c c ur a c y   o f   0. 61   a n a n   A U C - R OC   o f   0. 66,   s u gge s t i ng   mo de r a t e   c l a s s if i c a t i o n   c a pa bi li t y .   H y pe r pa r a m e t e r   t uni n us i n g   a l l   f e a t ur e s   s l i g h t l y   im pr o v e a c c ur a c y   to  0. 62,   t h o ugh   A UC - R OC   de c r e a s e t 0. 65 .   H o we v e r ,   a f t e r   f e a t ur e   s e l e c t i o n ,   a c c ur a c y   i nc r e a s e s i g nif i c a n t l y   to   0 . 76,   a n t h e   we i g h t e a v e r a ge   F 1 - s c o r e   r o s e   to   0 . 82,   i n d i c a t i n e nha n c e pe r f o r m a n c e   i h a n d li ng  c l a s s   im ba l a n c e   a n ge n e r a t i n m o r e   a c c ur a t e   pr e di c t i o n s .   A dd i t i o n a ll y ,   t h e   l o l o s s   m e t r i c   de c r e a s e f r o m   0. 49  i Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   1 A pr i l   20 2 5 :   20 - 30   28   t h e   de f a u l t   s e t t i n t o   0 . 41  a f t e r   f e a t ur e   s e l e c t i o n   a n t uni ng,   r e f l e c t i n a n   i m pr o v e m e n t   i n   t h e   m o de l’ s   a bil i t y   to  pr o duc e   we l l - c a li b r a t e pr o b a bil i t y   e s t i m a t e s .       T a bl e   7 .   T h e   c o m pa r i s o n   o f   pe r f o r m a n c e   m e a s ur e m e n t   r e s u l t s   f r o m   a l l   m o de l s   M o de l     A c c u r a c y   AUC - R O C   W e ig ht e a v g pr e c is io n   W e ig ht e a v g r e c a ll   W e ig ht e a v F1 - s c o r e   L o l o s s   R a ndo f or e s t   D e f a ul t   0.61   0.66   0.92   0.61   0.71   0.49   A ll   f e a tu r e  a nd  h y p e r pa r a m e t e r  t uni ng   0.62   0.65   0.92   0.62   0.72   0.51   F e a tu r e   s e l e c ti o n a nd  h y p e r pa r a m e t e r  t uni ng   0.76   0.66   0.91   0.76   0.82   0.41   G r a di e nt   boo s ti ng  de c is io n t r e e   D e f a ul t   0.95   0.66   0.95   0.9 5   0.93   0.21   A ll   f e a tu r e  a nd  h y p e r pa r a m e t e r  t uni ng   0.95   0.66   0.95   0.95   0.93   0.21   F e a tu r e   s e l e c ti o n a nd  h y p e r pa r a m e t e r  t uni ng   0.94   0.66   0.92   0.94   0.92   0.21   D e e p F M   D e f a ul t   0.60   0.46   0.89   0.60   0.71   6.31   A ll   f e a tu r e  a nd  h y p e r pa r a m e t e r  t uni ng   0.60   0.46   0. 89   0.60   0.71   6.30   F e a tu r e   s e l e c ti o n a nd  h y p e r pa r a m e t e r  t uni ng   0.60   0.46   0.89   0.60   0.71   6.31   S ta c ki ng    lo gi s ti c   r e gr e s s io n   D e f a ul t   0.95   0.67   0.95   0.95   0.93   0.19   A ll   f e a tu r e  a nd  h y p e r pa r a m e t e r  t uni ng   0.95   0.66   0.95   0.95   0.93   0.19   F e a tu r e   s e l e c ti o n a n h y p e r pa r a m e t e r  t uni ng   0.95   0.67   0.95   0.95   0.92   0.20   M o de ba s e li ne     l o gi s ti c   r e g r e s s i o n   0.85   0.52   0.89   0.85   0.87   0.68       T h e   GB DT   m o de l   s h o we c o n s i s t e n t   pe r f o r m a n c e   a c r o s s   d i f f e r e n t   c o nf i gur a t i o ns .   T h e   de f a u l t   m o de l   h a a n   a c c ur a c y   o f   0. 95  a n a n   A UC - R OC   o f   0. 66 ,   wi t h   a   we i g h t e a v e r a ge   F 1 - s c o r e   o f   0. 93.   H y pe r pa r a m e t e r   t uni n us i n g   a l l   f e a t ur e s   di n o s i g nif i c a n t l y   a l t e r   t h e s e   m e t r i c s ,   i n d i c a t i n t h a GB DT   m o de l   wa s   a l r e a d y   we ll - o p t i mi z e d.   Af t e r   f e a t ur e   s e l e c t i o n ,   t h e   we i g h t e a v e r a ge   F 1 - s c o r e   s l i g h t l y   d e c r e a s e d   to   0 . 92,   whi l e   a c c ur a c y   a n A U C - R OC   r e m a i ne d   s t a bl e ,   r e f l e c t i n r o b us t n e s s   to   f e a t ur e   c h a n ge s .   T h e   l o l o s s   f o r   t h i s   m o de l   r e m a i ne l o a 0. 21   a c r os s   a l l   c o nf i gur a t i o n s ,   i n d i c a t i n hi g h   c o nf i de n c e   i n   i t s   pr e d i c t i o n s .   I n   c o n tr a s t ,   t h e   De e pF M   m o de l   s t r uggl e i n   a l l   s c e n a r i o s whi c h   c o n t r a di c t s   Hua n g s   [ 11]   f i n d i ngs   i n   pr e d i c t i n r e pe a or de r   c us to m e r s   c o m pa r e to  de c i s i o n   tr e e - b a s e m o de l s   l i ke   r a n do m   f o r e s t   a n GB DT W h e t h e r   us i ng  de f a u l t   s e t t i n g s ,   hy pe r pa r a m e t e r   t uni n g   us i ng  a l l   f e a t ur e ,   o r   hy p e r pa r a m e t e r   t un i n us i ng   f e a t ur e   s e l e c t i o n ,   a c c ur a c y   s t a y e a t   0. 60 ,   a n A UC - R OC   r e m a i ne l o a t   0 . 46.   T h e   c o n s i s t e n t   we i g h t e d   a v e r a ge   F 1 - s c o r e   o f   0. 71  a n hi g h   l o l o s s   v a l ue s ,   r a n g i ng  f r o m   6. 30  to   6 . 31,   i n d i c a t e s i g ni f i c a n t   c h a l l e n ge s   i n   d e a li ng  w i t h   c l a s s   i m ba l a n c e ,   s ugge s t i n t h a t   De e pF M   m a y   n o b e   i de a l   f o r   s uc h   t a s ks .     T h e   s t a c k i n m o de l   us i ng  l o g i s t i c   r e gr e s s i o n   a s   t h e   m e t a - l e a r n e r   c o n s i s t e n t l y   o ut pe r f o r m e o t h e r   m o de l s a li g ni ng  w i t h   e a r li e r   s t ud i e s   by   [ 12] ,   [ 15 ] ,   [ 19 ] ,   [ 21] ,   whi c h   de m o ns t r a t e t h a t   e n s e m b l e   m e t h o ds   t y p i c a ll y   o f f e r   s upe r i o r   pr e di c t i v e   pe r f o r m a n c e .   T h e   de f a u l t   s t a c k i n m o de l   a c hi e v e a n   a c c ur a c y   o f   0. 95  a n a n   A U C - R OC   o f   0. 67.   W hi l e   hy p e r pa r a m e t e r   t un i ng  w i t h   a ll   f e a t ur e s   s li g h t l y   d e c r e a s e t h e   AU C - R OC   t o   0. 66,   a c c ur a c y   a n t h e   we i g h t e a v e r a ge   F 1 - s c o r e   r e m a i ne hi g h   a t   0. 95  a n 0. 93,   r e s pe c t i v e ly .   Af t e r   f e a t ur e   s e l e c t i o n ,   t h e   A UC - R OC   i m pr o v e b a c to  0. 67 ,   th o ugh   t h e   we i g h t e a v e r a ge   F 1 - s c o r e   s l i g h t l y   de c r e a s e to  0. 92.   T hi s   hi g hl i g h t s   t h e   s t a c ki n m o de l s   s t r e n gt h   i n   m a n a g i ng  c l a s s   im ba l a n c e   a n de l i ve r i ng  a c c ur a t e ,   b a l a n c e pr e di c t i o ns .   Not a b l y ,   t h e   l o l o s s   o f   t h e   s t a c k i n m o de l   wa s   t h e   l o we s t   a c r o s s   a l l   m o de l s ,   r e a c hi ng   0. 19,   whi c h   i n d i c a t e s   s upe r i o r   r e l i a bil i t y   i n   i t s   pr o b a bil i t y   pr e d i c t i o n s .   C o m pa r e t t h e   b a s e li ne   l o g i s t i c   r e g r e s s i o n ,   whi c h   h a a n   a c c ur a c y   o f   0. 85  a n a n   A UC - R O C   o f   0. 52,   t h e   a dv a n c e m o de l s   de m o ns t r a t e s i g nif i c a n t   i m pr o v e m e n t s .   T h e   ba s e li ne s   we i g h t e a v e r a ge     F1 - s c o r e   o f   0. 87  a n l o l o s s   o f   0. 68  f ur t h e r   unde r s c o r e   t h e   b e n e f i t s   o f   us i ng  m o r e   c o m p l e x   m o de l s   l i ke   r a n do m   f o r e s t ,   GB DT ,   a n e s pe c i a l ly   s t a c k i n w i t h   l o g i s t i c   r e gr e s s i o n ,   whi c h   de li ve r e s upe r i o r   pe r f o r m a n c e   a c r o s s   v a r i o us   m e t r i c s .   Ov e r a ll ,   t h e   s t a c k i n m o de l   w i t h   l o g i s t i c   r e gr e s s i o n   a s   t h e   m e t a - l e a r n e r   de l i ve r e t h e   b e s t   pe r f o r m a n c e ,   c o n s i s t e n t l y   a c h i e vi ng  hi g h   a c c ur a c y ,   we i g h t e a v e r a ge   F 1 - s c o r e s ,   a n l o l o l o s s   a c r o s s   a l c o nf i gur a t i o ns .   W hil e   t h e   r a n do m   f o r e s t   m o de l   s h o we s i g nif i c a n t   i m pr o v e m e n t   a f t e r   f e a t ur e   s e l e c t i o n   a n hy pe r pa r a m e t e r   t uni n g,   i t   s t i ll   f e ll   s h o r t   c o m pa r e to  t h e   GB DT   a n s t a c k i n m o de l s .   T h e   De e p F M   m o de l   c o n s i s t e n t l y   u n d e r pe r f o r m e a c r o s s   a l l   c o nf i gur a t i o n s .   Al t h o ugh   t h e   b a s e li ne   m o de l   wa s   l e s s   po we r f u l ,   i t   pr o vi de a   us e f u l   b e n c hm a r k,   hi g hl i g h t i n t h e   pe r f o r m a n c e   ga i ns   o f f e r e by   m o r e   a dva n c e m o de l s .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         P r e dictive   mode f or   c onv e r ti ng  leads   int r e pe at  or de r   c us tome r   …  ( De r y an  E v e r e s tha  M aur e d )   29   T h e   a pp l i c a t i o n   o f   b a c kw a r f e a t ur e   e l im i na t i o n   a n hy p e r b a n wa s   pa r t i c u l a r ly   e f f e c t i v e   i e nh a nc i n t h e   r a n do m   f o r e s t   m o de l ,   s h o w i n t h a t   t h e s e   m e t h o ds   c a n   i m pr o v e   m o de l   pe r f o r m a n c e   by  o p t i mi z i ng  f e a t ur e   s e l e c t i o n   a n c o nf i gur a t i o n .   Ho we v e r ,   f o r   t h e   GB DT ,   pe r f o r m a n c e   r e m a i ne r ob us t   a n d   s t a bl e ,   e v e n   w i t h   mi n im a l   a d j us t m e n t s .   Unf o r t u n a t e l y ,   t h e s e   m e t h o ds   d i n o t   s i g nif i c a n t l y   e nha n c e   t h e   pe r f o r m a n c e   o f   t h e   De e p F M   m o de l .   S t a c k i n m e t h o ds   a c r o s s   t h e   m o de l s   d i n o s ub s t a n t i a ll i n c r e a s e   a c c ur a c y   b ut   pr o vi de c o n s i s t e n t   a n s t a bl e   p e r f o r m a n c e .       4.   CONC L USI ON   T hi s   r e s e a r c h   c o n duc t e e x pe r i m e n t s   to   de v e l o pr e d i c t i v e   m o de l s   f o r   c o n v e r t i n l e a ds   i n t o   r e pe a o r de r   c us to m e r s ,   us i n r a n do m   f o r e s t GB DT ,   a n De e pF M .   M o de l   o p t i mi z a t i o n   wa s   pe r f o r m e d   t h r o ugh   f e a t ur e   s e l e c t i o n   us i n ba c kwa r f e a t ur e   e l im i n a t i o n   a n hy pe r pa r a m e t e r   t uni n w i t h   h y p e r b a nd.   T h e s e   pr o c e s s e s   we r e   pa r t i c u l a r l y   im po r t a n t   gi v e n   t h e   i m ba l a n c e n a t ur e   o f   t h e   da t a s e t ,   a s   t h e y   a im e to  e nh a n c e   t h e   m o de l s   a bil i t y   t h a n d l e   c l a s s   i m ba l a n c e   e f f e c t i v e ly A dd i t i o n a ll y ,   t h e   e x p l o r a t i o n   o f   s t a c k i ng  m o de l s   wa s   c a r r i e o u t ,   wi t h   l o g i s t i c   r e gr e s s i o n   a s   t h e   m e t a - l e a r n e r .   T h e   pe r f o r m a n c e   o f   t h e s e   m o de l s   o n   t h e   t e s da t a   wa s   a l s o   c o m pa r e w i t h   a   b a s e li ne   m o de l   us i n l o g i s t i c   r e gr e s s i o n   t e n r i c h   t h e   a na ly s i s   o f   m o de pe r f o r m a n c e .   T h e   r e s ul t s   i n d i c a t e   t h a t   t h e   S t a c ki ng  m o de l   us i ng  t h e   de f a u l t   b a s e   m o de l   c o nf i gur a t i o n   s t a n ds   o u t   a s   t h e   m o s t   r o b us t ,   a c hi e vi ng  t h e   hi g h e s t   s c o r e s   i n   a c c ur a c y   ( 0. 95) ,   A UC - R OC   ( 0. 67) ,   l o l o s s   ( 0. 19 ) ,   we i g h t e a ve r a ge   pr e c i s i o n   ( 0. 95) ,   we i g h t e a v e r a ge   r e c a l l   ( 0. 95 ) ,   a n we i g h t e a v e r a ge   F 1 - s c o r e   ( 0. 9 3 ) ,   e f f e c t i v e ly   h a n d li ng  t h e   i m ba l a nc e da t a s e t .   T a ddr e s s   t h e   da t a   i m ba l a nc e ,   S M OT E E NN   wa s   a pp l i e d,   b ut   t h e   c h a ll e n g e   pe r s i s t e d,   pa r t i c u l a r ly  a f f e c t i n t h e   De e pF M   m o de l s   pe r f o r m a n c e .   G i ve n   t hi s   un de r pe r f o r m a n c e ,   f ut u r e   r e s e a r c h   s h o u l d   e x p l o r e   a l t e r n a t i v e   m o de l s   li ke   De e p F o r e s t ,   De e pGB M ,   a n o t h e r   n e ur a l   n e t wo r ks ,   whi c h   m a y   be   be tt e r   s u i t e f o r   pr e d i c t i n r e pe a t   o r de r   c us to m e r s .   A dd i t i o na l ly ,   f ur t h e r   s t udi e s   c o ul i nve s t i ga t e   m o r e   n ua n c e da t a - l e v e pr e pr o c e s s i ng  m e t h o ds ,   s uc h   a s   A D A S YN   o r   S M OT E T o m e k,   a n hy br i a ppr o a c h e s   t h a t   i n t e gr a t e   o v e r - s a m p l i ng,   un de r - s a m p li ng,   a n e n s e m b l e   t e c hni q ue s .   W hil e   m e t h o ds   l i ke   b a c k wa r f e a t ur e   e l im i n a t i o n   a n d   hy pe r b a n o f f e r e s o m e   im pr o v e m e n t s ,   e s pe c i a l ly   i n   ha n d l i ng  c l a s s   im ba l a n c e ,   t h e i r   i m pa c t   wa s   l i mi t e d.   T h us ,   f ut ur e   r e s e a r c h   c o ul b e n e f i t   f r o m   t e c hniques   l i k e   r e c ur s i v e   f e a t ur e   e l im i na t i o n ,   L a s s o ,   B a y e s i a o p t i mi z a t i o n ,   or   A uto M L   to   e n h a n c e   m o de l   a c c ur a c y   a n be tt e r   a ddr e s s   c l a s s   im ba l a n c e .   T h e   s t a c k i n a ppr o a c h   w i t h   l o g i s t i c   r e gr e s s i o a s   t h e   m e t a - l e a r n e r   d i n ot   y i e l s i g ni f i c a n pe r f o r m a n c e   i m pr o v e m e n t s ,   s ugge s t i n t h a t   e x p lo r i n d i f f e r e n t   s t a c k i n c o m bi na t i o ns   a n m e t a - l e a r n e r s   c o ul b e   b e n e f i c i a l .   F ut ur e   s t udi e s   s h o u l f o c us   o n   r e f i n i ng  t h e s e   t e c hni que s   a n a pp l yi ng  t h e m   t pr a c t i c a C R M   s c e n a r i o s   to   b e tt e r   m a n a ge   a n i nc r e a s e   r e pe a t   c us to m e r   o r de r s .   B y   a ddr e s s i ng  t h e s e   a r e a s ,   f ut ur e   r e s e a r c h   c a n   c o n t r i b ut e   to   m o r e   a c c ur a t e   p r e di c t i v e   m o de l s   a n o f f e r   v a l u a bl e   i n s i g h t s   f o r   b us i ne s s e s   c o n v e n t i o n a l   a im i ng  to   o p t i m i z e   t h e i r   C R M   s t r a t e g i e s   a n b o o s t   c us to m e r   r e t e n t i o n .       RE F E R E NC E S   [ 1]   M a r ke R e s e a r c R e p or 2022,”   F or tu ne   B us in e s s   I ns ig ht 2023.  ht tp s :/ /ww w .f o r tu ne bus in e s s in s ig ht s .c o m/ c us t ome r - r e la ti o ns hi p - ma na g e me n t - c r m - ma r ke t - 103418   ( a c c e s s e d J ul . 19 , 2023) .   [ 2]   R e ic hh e ld  F   F , “ T h e   o ne  numb e r   y ou ne e d t o  gr o w ,”   H ar v ar d B us in e s s  R e v ie w , v ol . 81, n o . 12, pp. 46 54, 2004.   [ 3]   B Z ha o A T a ka s u,  R Y a h y a p o ur a nd  X F u,   L oy a C o ns ume r s   o r   o n e - ti me   de a hun te r s r e pe a bu y e r   pr e di c ti o n   f o r     E - c o mm e r c e ,”   in   2019  I nt e r nat io nal   C onf e r e n c e   on  D at M in in W or k s hops   ( I C D M W ) N ov 2019,  pp.  1080 1087,  do i:   10.1109/I C D M W .2019.00158.   [ 4]   V A r un,  M a c hi ne   le a r ni ng  t e c hni qu e s   f o r   c us t o m e r   r e la ti ons hi ma na ge me nt ,”   I nt e r nat io nal   J our nal   of   C r e at iv e   R e s e ar c h   T houghts  ( I J C R T ) vo l.  9, n o . 6, pp. 753 763, 2021.   [ 5]   Y B e nha ddo a nd  P L e r a y C us to me r   r e la ti o ns hi ma na ge me nt   a nd  s ma ll   da ta   -   a ppl i c a ti o of   ba y e s ia n e tw o r e li c it a ti o n   te c hni que s   f or   bui ld in a   l e a s c o r in m o d e l,   in   2017   I E E E /A C 14t h   I nt e r nat io nal   C onf e r e n c e   on  C om put e r   Sy s te m s   and   A ppl ic at io ns  ( A I C C SA ) , O c t.  2017, pp. 251 255, d o i:  10.1109/ A I C C S A .2017.51.   [ 6]   R N y r a nd  J M e z e i,   A ut o ma ti ng  l e a s c o r in w it ma c hi ne   le a r n in g:   a e x pe r im e nt a s tu d y ,”   in   P r oc e e di ngs   o f   th e   A nnual  H aw ai I nt e r nat io nal  C onf e r e nc e  on Sy s t e m  Sc ie nc e s , 2020, v o l . 2020 - J a nua r y , pp. 1439 1448, d o i:  10.24251/hi c s s .2020.177.   [ 7]   P E s pa di nh a - C r uz A F e r na nde s a n A .   G r il o ,   L e a m a na ge me n o pt im iz a ti o u s i ng   d a t a   mi ni ng:   A   c a s e   in   th e   te le c o mm un ic a ti o n s   s e c to r ,   C o m p ut e r s  &  I nd u s t r i al  E n gi ne e r i ng ,  v o l.  1 54 p.  1 07 12 2,   A pr 20 21 do i:   10 .1 01 6/ j. c ie .2 02 1. 10 71 22.   [ 8]   S . B . A y a z , “ L e a d S c o r in g w i th  ma c hi n e  l e a r ni ng,”  U ni ve r s it y   of  A ppl i e d S c i e n c e s , 2023.   [ 9]   L .   Y a ng,  J W u,  X N iu ,   a nd  L S hi ,   T o w a r ds   pur c ha s e   p r e di c ti o n:   a   vo ti ng - ba s e m e th o le ve r a gi ng   tr a ns a c ti o na in f o r ma ti o n,”   in   2022  5t I nt e r nat io nal   C onf e r e nc e   on  D at Sc ie nc e   a nd  I nf or m at io T e c hnol ogy   ( D SI T ) J ul 2022,  pp.  1 5,  do i:   10.1109/DS I T 55514.2022.9943898.   [ 10]   S .   M o r te n s e n ,   M .   C h r i s t i s o n ,   B .   L i ,   A .   Z h u ,   a n d   R .   V e n k a t e s a n ,   P r e d ic t i n a n d   d e f i n i n g   B 2B   s a l e s   s u c c e s s   w i t h   m a c h i ne   le a r n i n g ,”   i n   2 0 1 9   S y s t e m s   a n d   I n fo r m a t i o n   E n g i n e e r i n g   D e s i g n   S y m p o s i u m   ( S I E D S ) ,   A p r .   2 0 1 9 ,   p p .   1 5 ,   do i :   1 0 . 1 1 0 9 / S I E D S . 2 0 1 9 . 8 7 3 5 6 3 8 .   [ 11]   S H ua ng,  A I - ba s e r e p e a bu y e r s   pr e di c ti o s y s t e us in de e le a r ni ng,”   in   2021  6t I nt e r nat io nal   C on fe r e n c e   on   I nt e ll ig e nt   C om put in g and Signal  P r oc e s s in g ( I C S P ) , A pr . 2021, pp. 800 806, do i:  10.1109/ I C S P 51882.2021.9408760.   [ 12]   D X u,  W Y a ng,  a nd   L M a R e pur c ha s e   p r e di c ti o ba s e d   o e ns e mbl e   l e a r ni ng,”   in   2018  I E E E   Sm ar t W or ld U bi qui t ous   I nt e ll ig e nc e   &   C om put in g,  A dv anc e &   T r us te C om put in g,  Sc al abl e   C om put in &   C om m uni c at io ns C lo ud  &   B ig   D at a   C om put in g,  I nt e r ne t   of   P e opl e   and  Sm ar t   C it y   I nnov at io ( Sm ar tW or ld /S C A L C O M /UI C /A T C /C B D C om /I O P /S C I ) O c t.   2018,    pp. 1317 1322, do i:  10.1109/ S ma r tW o r ld .2018.00229.   Evaluation Warning : The document was created with Spire.PDF for Python.