I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   1 Feb r u ar y   20 26 ,   p p .   909 ~ 918   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 1 . p p 9 0 9 - 9 1 8       909     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Deep  lea rni ng - ba sed spa m det ectio for W ha tsApp   c ha tbot  fallba ck redu ctio n       Sa t rio   Sa dewo ,   Am a lia   Z a hra   D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   B I N U S   G r a d u a t e   P r o g r a m - M a s t e r   o f   C o m p u t e r   S c i e n c e ,   B i n a   N u s a n t a r a   U n i v e r si t y ,   J a k a r t a ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   22 2 0 2 5   R ev is ed   J an   2 2 0 2 6   Acc ep ted   J an   22 2 0 2 6       Ch a tb o ts   o n   Wh a tsAp p   a re   wi d e ly   u se d   fo r   c u sto m e se rv ice ,   b u th e i r   e ffe c ti v e n e ss   is  o ften   u n d e rm in e d   b y   fa ll b a c k   re sp o n se wh e n   u se in p u t   c a n n o b e   u n d e rsto o d .   m a jo c a u se   o th e se   fa ll b a c k is  u n so li c it e d   sp a m ,   wh ich   d isr u p ts  i n tera c ti o n a n d   r e d u c e se rv ice   q u a li ty .   Th is  stu d y   d e v e l o p s   a n d   e v a lu a tes   a   sp a m   d e tec ti o n   sy ste m   a ime d   a re d u c in g   fa ll b a c k   ra tes   a n d   e n h a n c in g   u se e x p e rien c e .   c o m p a ra ti v e   a n a ly sis  wa c o n d u c te d   b e twe e n   trad it io n a m a c h in e   lea rn i n g   m o d e ls  ( su p p o rt  v e c to m a c h in e   (S VM)  a n d   d e c isio n   tree   (DT) a n d   a d v a n c e d   d e e p   lea rn in g   a rc h it e c tu re s,  i n c lu d in g   lo n g   sh o rt - term   m e m o ry   (LS TM v a rian ts  ( v a n il la,  b id irec ti o n a l,   sta c k e d c o n v o lu ti o n a n e u ra n e two r k   ( CNN ) - LS TM ,   a n d   e n c o d e r - d e c o d e r a n d   tran sfo rm e r - b a se d   m o d e ls   ( b i d irec ti o n a e n c o d e re p re se n tatio n fr o m   tran sfo rm e rs  ( BERT ) - b a se ,   Distil BERT ,   a n d   c ro ss - li n g u a lan g u a g e   m o d e l - ro b u stly   o p ti m ize d   BERT   p re tra in in g   a p p r o a c h   ( XLM - ROBERT a ) ).   Us in g   1 7 0 , 0 0 0   m e ss a g e sa m p led   fro m   1 8   m il li o n   in tera c ti o n c o ll e c ted   b e twe e n   Ju ly   2 0 2 2   a n d   De c e m b e 2 0 2 3 ,   th e   m o d e ls  we re   a ss e s se d   with   sta n d a rd   e v a lu a ti o n   m e tri c s.  Re su lt s   sh o w   th a CNN - LS T M   a n d   Disti lBE RT   a c h iev e d   th e   m o st  ro b u st  p e rfo rm a n c e .   CNN - LS TM   a tt a in e d   a   p re c isio n   o 0 . 9 2 ,   re c a ll   o 0 . 9 1 ,   F 1 - sc o re   o 0 . 9 1 ,   a n d   a c c u ra c y   o 0 . 9 4 ,   wh il e   Di stil BERT   a c h iev e d   p re c isio n   o 0 . 9 2 ,   re c a ll   o 0 . 8 9 ,   F 1 - sc o re   o f   0 . 9 0 ,   a n d   a c c u ra c y   o f   0 . 9 3 .   T h e se   fin d in g h i g h l ig h t h e ir  su p e ri o a b i li ty   to   c a p t u re   c o n tex t u a l   p a tt e rn i n   sp a m   m e ss a g e s.  Im p lem e n ti n g   su c h   m o d e ls   is  e x p e c ted   to   sig n ifi c a n t ly   lo we r   fa ll b a c k   ra tes ,   t h e re b y   imp ro v i n g   c h a tb o t   re li a b il it y   a n d   u se sa ti sfa c ti o n .   K ey w o r d s :   Dee p   lear n in g   Fallb ac k   r esp o n s e   Ma ch in lear n in g   Natu r al  lan g u ag e   p r o ce s s in g   Sp am   d etec tio n   T r an s f o r m e r   m o d els   W h atsAp p   ch atb o t   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Satr io   Sad ewo   Dep ar tm en t o f   C o m p u ter   Scie n ce ,   B I NUS  Gr ad u ate  Pro g r a m - Ma s ter   o f   C o m p u te r   Scien c e   B in Nu s an tar Un iv er s ity   J ak ar ta,   I n d o n esia   E m ail:  s atr io . s ad ewo @ b in u s . ac . id       1.   I NT RO D UCT I O N   I n   t h co n t em p o r ar y   d ig i ta l   l an d s c ap e ,   W h a t s A p p   h a s   e s t ab l i s h ed   i t s e lf   a s   a   c r i t ic a c o m m u n ic a t i o n   m ed i u m ,   s er v i n g   g lo b a l   u s e r   b a s e   ex c e ed i n g   t wo   b i l l io n   [ 1 ] T h e   in t eg r a t i o n   o f   ch a t b o t s   o n t o   th i s   p l a t f o r m   h a s   p r e c ip i t a t e d   p ar ad i g m   s h if t   in   cu s t o m er   s er v i c e,   m a r k e t in g   s t r a t e g i e s ,   an d   u s er   e n g ag e m e n p r o to c o l s   [ 2 ] .   A lt h o u g h   ch a tb o t s   p r e s e n co n s i d e r ab l a d v an t a g e s ,   c o n t r i b u t i n g   t o   an   a v er ag r e v en u e   in cr e a s e   o f   6 7 %   a n d   a c c o u n t in g   f o r   2 6 %   o f   to t a l   s a l e s   i n t e r ac t i o n s   [ 3 ] ,   th e i r   o p er a t i o n a l   e f f i c a cy   i s   f r e q u en t l y   i m p ed e d   b y   t e ch n i c a l i m i t a t io n s   [ 4 ] .   p r ed o m in an t   i s s u i s   t h e   h i g h   r a te   o f   "f a l l b a c k r e s p o n s e s ,   wh e r e in   th e   ch a t b o t   i s   u n a b le   t o   i n t er p r e t   u s er 's   q u e r y ,   co n s eq u en t ly   d e l iv e r i n g   a   g e n e r i a n d   u n h e l p f u r ep l y .   T h i s   p h en o m e n o n   n o t   o n ly   d i m i n i s h e s   th e   u s e r   e x p e r ie n c b u t   a l s o   s i g n i f i e s   u n d er l y in g   a r c h i t ec t u r a l   o r   t r a in i n g   i n ef f i c i e n c ie s   [ 5 ] .   p r i n c ip a f a c t o r   co n t r ib u t in g   to   th e   h i g h   r a t e   o f   f a l l b a ck   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  15 ,   No .   1 Feb r u ar y   20 26 :   909 - 9 1 8   910   r e s p o n s e s   i s   t h e   p e r v a s i v en e s s   o f   u n s o l i c i t ed   s p a m   m e s s a g e s .   S u ch   m e s s a g e s   d i s r u p t   th e   in t e n d e d   c o n v e r s a t io n a l   tr a j e c to r y ,   tr i g g e r   n o n - p r o d u c t iv e   f a l l b a c k   r e s p o n s e s ,   a n d   m ay   in t r o d u c e   s e c u r i t y   v u l n e r ab i l i t i e s ,   i n c lu d in g   p h is h i n g   a t t a ck s   [ 6 ] ,   [ 7 ] .   T h i s   r es e a r c h   c o n f r o n t s   th e   ch a l l en g e   o f   s p a m - in d u c ed   f a l l b a ck   r e s p o n s e s   w i t h in   W h a t s A p p   ch a tb o t   ec o s y s t em .   T h e   i n v e s t i g a t io n   l e v e r ag e s   a   s u b s t an t i a l   d a t a s e t   o f   1 8   m i l l i o n   m e s s ag e s ,   co l l e c t e d   f r o m   an   o p er a t i o n a c h a tb o t   s er v i c e,   o f   wh i c h   6   m i l l io n   ( 3 3 % )   c u l m in a t e d   in   a   f a l l b a c k .   T h e   c en t r a o b j e c t iv i s   to   e n g in e e r   r o b u s t   s p a m   d e te c t i o n   m o d e c ap ab l e   o f   r e d u c i n g   th e   f a l l b ac k   r a t e   t o   t a r g e t   t h r e s h o l d   o f   1 5 %   o r   l es s .   Prio r   r esear ch   h as  af f ir m ed   th u tili ty   o f   m ac h in lear n in g   alg o r ith m s   s u c h   as  d ec is io n   tr ee s   ( DT )   an d   s u p p o r v ec to r   m ac h in e   ( SVM)   f o r   s p am   d etec tio n   ac r o s s   v ar io u s   p latf o r m s ,   i n clu d in g   e m ail  an d     SMS  [ 8 ] ,   [ 9 ] .   Mo r r ec en tl y ,   d ee p   lear n in g   m o d els,  n o tab ly   lo n g   s h o r t - ter m   m e m o r y   ( L STM )   a n d   b id ir ec tio n al  e n co d e r   r e p r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T ) ,   h av e   d em o n s tr ated   s u p e r io r   p e r f o r m an ce   i n   m an ag in g   th c o m p lex ity   a n d   co n tex tu al  n u an ce s   o f   n at u r al  lan g u ag e ,   attain in g   h ig h   ac cu r ac y   in   s p am   class if icatio n   task s   [ 1 0 ] ,   [ 1 1 ] .   T o   p r o v id clea r   b en ch m a r k   o f   th e   cu r r en s tate - of - t h e - ar t a n d   h i g h lig h t h ese  co m p ar ativ e   f in d i n g s ,   T ab le   1   p r esen ts   a   co m p a r ativ tax o n o m y   o f   r ec e n s p am   d etec tio n   s tu d ies  ac r o s s   v ar io u s   p latf o r m s   an d   m eth o d o lo g ies.   T h is   s tu d y   ad d r ess es  cr itica g ap   b y   ev alu atin g   s p am   d ete ctio n   m o d els  s p ec if ically   o n   W h atsAp p   ch atb o d ata,   wh ich   p r esen ts   a   u n iq u e   an d   n o n - tr iv ial  c h allen g co m p ar ed   to   p r ev io u s ly   s tu d ied   d o m ain s   lik e   em ail  an d   SMS.  Un lik tr ad iti o n al  s p am ,   W h atsAp p   s p am   i s   ch ar ac ter ized   b y   ex tr em e   b r ev ity ,   h ea v y   u s o f   in f o r m al  lan g u ag a n d   s lan g ,   an d   co n te x tu al  m im icr y   t h at  o f ten   im itates  leg itima te  u s er   q u er ies  to   ev a d e   d etec tio n   [ 1 2 ] .   T h ese  ch a r ac ter is tics   r en d er   m an y   f r eq u e n c y - b ased   m ac h in lear n in g   f ea tu r es  less   ef f ec tiv an d   n ec ess itate  ad v an ce d   d e ep   lear n in g   m o d els  ca p a b le   o f   u n d er s tan d in g   n u an ce d ,   co n tex t - d ep en d en t   p atter n s .   T h e   p r im ar y   c o n tr ib u tio n   o f   th is   wo r k   is   r ig o r o u s ,   d ir ec c o m p ar is o n   o f   tr ad i tio n al  an d   ad v a n ce d   d ee p   lear n in g   m o d els  o n   a   la r g e - s ca le,   r ea l - wo r ld   d ataset  to   id en tify   th e   m o s r o b u s a r ch itectu r f o r   t h is   s p ec if ic,   ch allen g in g   e n v ir o n m en t.  T o   p r o v i d clea r   s tr u ctu r f o r   th is   in v esti g atio n ,   th is   p ap er   aim s   to   an s wer   two   p r im ar y   r esear ch   q u esti o n s f i r s t,  ( R Q1 )   h o w   ca n   s p am   m ess ag es  th at   ca u s f allb ac k s   in   a   W h atsAp p   ch atb o b ef f ec tiv ely   d etec ted   u s in g   tr ad itio n a m ac h in lear n in g   ( SVM  an d   DT )   v er s u s   d ee p   lear n in g   m o d els  ( L STM   v ar ia n ts ,   an d   B E R T   v ar ia n ts ) ?;  an d   s ec o n d ,   ( R Q2 )   t o   wh at  e x te n d o   d ee p   lear n in g   m o d els  o u tp er f o r m   t r ad itio n a m ac h in lear n in g   m o d els  in   m in im izin g   th f allb ac k   r a te  th r o u g h   s u p er io r   s p am   class if icatio n   o n   th is   u n i q u d ataset?       T ab le  1 .   C o m p a r ativ tax o n o m y   o f   s tate - of - th e - ar t sp a m   d e tectio n   m o d els   Ti t l e / a u t h o r ( s)   P l a t f o r m   M e t h o d ( s)   Ev a l u a t i o n   me t r i c s   K e y   r e su l t ( s)   Emai l   s p a m   d e t e c t i o n   u s i n g   d e e p   l e a r n i n g   a p p r o a c h   [ 6 ]   Emai l   LSTM ,   B i LST M ,   B ER T   A c c u r a c y ,   p r e c i s i o n ,   r e c a l l ,   F1 - sc o r e   B ER T:   9 9 . 1 4 ( h i g h e st   a c c u r a c y )   S M S   s p a d e t e c t i o n   u s i n g   m a c h i n e   l e a r n i n g   a n d   d e e p   l e a r n i n g   t e c h n i q u e [ 1 0 ]   S M S   n a i v e   B a y e s,   LR ,   R F ,   S V M ,   K N N ,   D T ,   LSTM   P r e c i s i o n ,   r e c a l l ,   a c c u r a c y   LSTM :   9 8 . 5 ( h i g h e st   a c c u r a c y )   E - mai l   s p a m   d e t e c t i o n   u s i n g   mac h i n e   l e a r n i n g   [ 1 2 ]   Emai l   D T,   R F ,   n a i v e   B a y e s,   S V M ,   L R ,   M LP   A c c u r a c y   M LP:   9 8 ( h i g h e st   a c c u r a c y )   Emai l   s p a m   c l a ss i f i c a t i o n   u si n g   D i st i l B ER T   [ 1 3 ]   Emai l   D i st i l B ER T   A c c u r a c y   D i st i l B ER T :   9 7 . 8 4 ( v a l i d a t i o n   a c c u r a c y )   LSTM   n e t w o r k s f o r   e mai l   s p a c l a ss i f i c a t i o n   [ 1 4 ]   Emai l   LSTM   A c c u r a c y   LSTM :   9 7 . 4 a c c u r a c y   A   c o m p r e h e n s i v e   r e v i e w   o n   e ma i l   sp a m   c l a ssi f i c a t i o n   u si n g   m a c h i n e   l e a r n i n g   a l g o r i t h ms   [ 9 ]   Emai l   S V M ,   n a i v e   B a y e s ,   D T,   R F ,   n e u r a l   n e t w o r k s   A c c u r a c y ,   p r e c i s i o n ,   r e c a l l   S V M :   9 8 . 3 2 ( h i g h e st   a c c u r a c y )   S M S   s p a c l a ssi f i c a t i o n   u si n g   mac h i n e   l e a r n i n g   t e c h n i q u e s   [ 8 ]   S M S   n a i v e   B a y e s,   LR ,   S V M ,   RF   A c c u r a c y   S V M :   9 8 . 7 9 ( h i g h e st   a c c u r a c y )       2.   M E T H O D   T h r esear ch   m eth o d o lo g y   was sy s tem atica lly   d esig n ed   to   f ac ilit ate  th d ev elo p m en t a n d   s u b s eq u en t   ev alu atio n   o f   a   s p am   d etec tio n   m o d el.   As  d etailed   i n   th e   f o llo win g   s ec tio n s ,   th is   p r o ce s s   b eg an   with   d ata   co llectio n   an d   lab elin g ,   f o llo wed   b y   p r ep r o ce s s in g ,   m o d el   b u ild in g ,   h y p er p ar a m eter   tu n in g ,   an d   f in ally ,   a   co m p r eh e n s iv m o d el  ev alu at io n .   T h e   p r o ce d u r al  f r am ew o r k ,   d e p icted   in   Fig u r 1 ,   co m m en ce d   with   d ata   ac q u is itio n   an d   co n clu d ed   wit h   th is   co m p r eh en s iv e v alu ati o n   o f   th r esu ltan m o d els.   Fi g u r 1   illu s tr atin g   th s eq u en tial step s   f r o m   d ata  co llectio n   an d   a n n o tatio n   to   m o d el  ev alu atio n .     2 . 1 .     Da t a   c o llect io n a nd   prepa ra t io n   T h e   d a t a s e t   w a s   p r o c u r e d   f r o m   t h e   i n t e r a c ti o n   l o g s   o f   a   W h a t s A p p   c h a t b o t ,   c o v e r i n g   t h e   p e r i o d   f r o m   J u l y   2 0 2 2   t o   D e c e m b e r   2 0 2 3   a n d   e n c o m p a s s i n g   1 8   m i l li o n   m e s s a g es .   F o r   t h e   p u r p o s e   o f   t h is   s t u d y ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Dee p   lea r n in g - b a s ed   s p a d et ec tio n   fo r   Wh a ts A p p   ch a tb o t f a llb a ck   r ed u ctio n   ( S a tr io   S a d e w o )   911   r e p r e s e n t a ti v e   s a m p l o f   1 7 0 , 0 0 0   m e s s a g e s   t h a t h a d   t r i g g e r e d   a   f a ll b a c k   r es p o n s w as   is o l ate d .   T h i s   d a t as e t w as  s u b s e q u e n t l y   p a r ti t i o n e d   i n t o   t r a i n i n g   ( 7 0 % ) ,   v a l i d a ti o n   ( 1 5 % ) ,   a n d   t e s t i n g   ( 1 5 % )   s u b s e ts   [ 1 5 ] .   T h e   p a r t i t i o n i n g   w a s   p e r f o r m e d   c h r o n o l o g i c a l l y   t o   r i g o r o u s l y   a s s es s   t h e   m o d el' s   c a p a c it y   f o r   t e m p o r a l   g e n e r a li z a t i o n .   r ig o r o u s   an n o tatio n   p r o ce s s   was  th en   co n d u cte d   b y   p an el  o f   th r ee   d o m ain   ex p er ts   ( co m p o s ed   o f   o n d ata  s cien tis an d   two   p r o d u ct   o wn er   r e p r esen tativ es)  to   class if y   ea ch   m ess ag a s   eith er   ' s p am '   o r     ' n o n - s p am '   [ 1 6 ] .   T h is   p r o ce s s   was  g o v er n ed   b y   s tr ict  s et  o f   class if icatio n   r u les  d ef in ed   in   co llab o r atio n   wit h   th p r o d u ct  o wn er   t o   en s u r d o m ain   r elev a n ce ,   as  o u tlin ed   i n   T ab le  2 .   T o   en s u r c o n s is ten cy   an d   m in im ize  s u b jectiv b ias,  an   in itial  v alid atio n   was  p er f o r m e d   wh er all   th r ee   ex p er ts   i n d ep e n d en tly   l ab eled   a   s am p le  o f   1 5 , 0 0 0   m ess ag es;  th f in al  l ab el  f o r   t h is   s et  was  d eter m in ed   b y   m ajo r ity   v o te.   Fo llo win g   th is   m an u al   v alid atio n ,   s em i - s u p er v is ed   ap p r o ac h   was  u s ed   to   an n o tat th f u ll  d ataset:  p r elim in ar y   m o d el  tr ai n ed   o n   th 1 5 , 0 0 0 - m ess ag s et  was  u s ed   to   p r o v id e   in itial  p r ed ictio n s ,   wh ich   wer th e n   v alid ated   an d   co r r ec ted   b y   th ex p er t   p an el  t o   en s u r e   h ig h - q u ality   la b els  f o r   t h f in al   tr ain in g   d ata.   T h is   lab elin g   p r o ce s s   r esu lted   in   th d ata  d is tr ib u tio n   ac r o s s   th tr ain in g ,   v alid atio n ,   an d   test in g   s u b s ets  d etailed   in   T ab le  3 ,   wh ich   n o tab ly   in clu d es tem p o r al  v ar iatio n   i n   s p am   p r ev alen ce .           Fig u r 1 .   R esear ch   m eth o d o l o g y   f lo wch a r t       T ab le  2 .   Sp am   class if icatio n   c r iter ia  in   d ata  lab elin g   S p a m r u l e   Ex a m p l e   messa g e   I r r e l e v a n t   m e ssa g e s   " S h e   w a s   c r y i n g   i n   t h e   l a k e s" ,   " J u a l   b e l i   t a n a h   l e n g k a p   d i   si n i   "   P r o mo t i o n a l   mess a g e s ( n o n - c o m p a n y )   " S i t u p e rt a ru h a n   o n l i n e ,   si n i   k a k a k   j o i n " ,   " S a y a   m e n j u a l   l a m p u   b a c a ,   b i s a   k e   l i n k   i n i   y a "   M e ss a g e s wi t h   o n l y   a   s i n g l e   c h a r a c t e r     ( u n l e ss  sp e c i f i c   mea n i n g )   " A   B   C   D   F   G   Z , ? / ;   "   ( e x c e p t i o n :   Y / N )   M e ss a g e s wi t h   me a n i n g l e ss   c h a r a c t e r   c o m b i n a t i o n s   " B N V M M D F K D sf sd " ,   " D sa d a d k h e u r 3 4 3 2 4 2 3 5 "   P r o f a n e   o r   v u l g a r   w o r d s wi t h o u t   c o n t e x t   ( S p e c i f i c   v u l g a r   e x a m p l e s)   C o p i e d / p a st e d   c h a t   ( e x c e p t   r e p o r t   f o r mat s)   " Ma a f ,   p a s t i k a n   t i d a k   a d a   p e n u l i s a n   d a l a m   c h a t " ,   " Ap a   b i sa     sa y a   b a n t u ? ? "   M e ss a g e s wi t h   l i n k s   ( e x c e p t   c o m p a n y   d o ma i n s)   " w w w . i n st a g r a m. c o m / a k u j u a l n a si " ,   " w w w . h o t sp o t . c o m"       T ab le  3 .   L a b el  d is tr ib u tio n   p er   d ata  s u b s et   D a t a s e t   na me   La b e l   To t a l   N o n - s p a m   S p a m   D a t a   t r a i n i n g   0 7 2 0 2 2   t o   0 7 2 0 2 3   4 8 , 0 2 0   1 6 , 9 8 0   6 5 , 0 0 0   D a t a   v a l i d a t i o n   0 8 2 0 2 3   1 5 , 1 5 3   9 , 8 3 1   2 4 , 9 8 4   D a t a   t e s t i n g   0 9 2 0 2 3   1 4 , 9 2 3   1 0 , 0 5 8   2 4 , 9 8 1   D a t a   t e s t i n g   1 0 2 0 2 3   1 6 , 9 7 1   8 , 0 2 7   2 4 , 9 9 8   D a t a   t e s t i n g   1 1 2 0 2 3   1 2 , 5 8 2   2 , 4 1 5   1 4 , 9 9 7   D a t a   t e s t i n g   1 2 2 0 2 3   1 2 , 3 5 9   2 , 6 4 1   1 5 , 0 0 0       Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  15 ,   No .   1 Feb r u ar y   20 26 :   909 - 9 1 8   912   2 . 2 .     Da t a   prepro ce s s ing   Prio r   to   m o d el   tr ain in g ,   t h te x tu al  d ata   was  s u b jecte d   to   a   co m p r eh e n s iv p r ep r o ce s s in g   p ip elin to   en s u r its   clea n lin ess   an d   n o r m aliza tio n .   A   cr itical  s tep   f o r   im p r o v in g   m o d el  p e r f o r m an ce   [ 1 7 ] T h is   p i p eli n e   in v o l v e d   s e v e r a l   s ta g es:   c o n v er s i o n   o f   all   te x t   t o   l o w er ca s e r e m o v al   o f   p u n c tu ati o n   a n d   s p e cia l   c h a r a cte r s ;   n o r m al iz ati o n   o f   s l a n g   a n d   in f o r m a te r m i n o l o g y   t o   t h ei r   s ta n d a r d   l ex ica f o r m s ;   el im in ati o n   o f   s to p w o r d s   [ 1 8 ] to k en izatio n   to   s eg m en t h te x in to   d is cr ete  wo r d s   [ 1 9 ] ;   an d   th e   ap p licatio n   o f   s tem m in g   to   r ed u ce   wo r d s   to   th eir   m o r p h o lo g ical  r o o ts   [ 2 0 ] .     2 . 3 .     F e a t ure  ex t r a ct io n a nd   m o delin g   Fo r   th e   co n v en tio n al   m ac h in lear n in g   m o d els  ( DT   an d   SVM) ,   th p r ep r o ce s s ed   tex t   d ata  was   tr an s f o r m ed   in to   n u m er ical  f e atu r v ec t o r s .   Var io u s   f ea tu r e   ex tr ac tio n   tech n i q u es  wer e   e v alu ated ,   i n clu d in g   C o u n tVec to r izer ,   Hash in g Vec to r izer ,   ter m   f r e q u en c y - in v e r s d o cu m en f r eq u e n cy   (TF - I D F),   W o r d 2 V ec ,   an d   Fas tTe x t.  Fo llo win g   p r elim in ar y   ev alu atio n s ,   T F - I DF  was  d eter m in ed   to   b th o p tim al  m eth o d   f o r   f ea t u r r ep r esen tatio n ,   c o n s is ten t w ith   its   wid esp r ea d   s u cc ess f u l a p p licatio n   in   tex t c lass if icatio n   liter atu r [ 2 1 ] .   Fo r   th d ee p   lear n in g   p ar a d ig m ,   two   p r in ci p al  ar ch itectu r al  ca teg o r ies we r in v esti g ated :   i)   L STM a   r an g o f   L STM   v ar ian ts   wer im p lem en ted   an d   test ed ,   in clu d in g   v a n illa  L STM ,   s tack ed   L STM ,   b id ir ec tio n al  L STM ,   an d   h y b r id   C NN - L STM   ar ch itectu r e.   T h ese  m o d els  ar r ec o g n ized   f o r   th eir   p r o f icien cy   in   c ap tu r in g   s eq u en tial d ep en d en cies w ith in   tex tu al  d ata  [ 2 2 ] [ 2 4 ] .   ii)   B E R T p re - tr ain ed   B E R T   m o d els,  s p ec if ically   B E R T - b as e ,   Dis til B E R T ,   an d   cr o s s - lin g u al  lan g u ag e   m o d el - r o b u s tly   o p tim ized   B E R T   p r etr ain in g   ap p r o ac h   ( XL M - R OB E R T a ) ,   wer f in e - tu n ed   f o r   th e   b in ar y   s p am   class if icatio n   tas k .   T h ef f icac y   o f   th ese  m o d e ls   is   d er iv ed   f r o m   th eir   ad v a n ce d   ab ilit y   to   p r o ce s s   th b id ir ec tio n al  co n te x t o f   wo r d s   with in   s en ten ce   [ 1 1 ] ,   [ 1 3 ] ,   [ 2 5 ] .   T o   p r o v id e   th r e q u ested   m eth o d o lo g ical  clar ity ,   T ab le  4   d etails  th ar c h itectu r es  f o r   th tw o     to p - p er f o r m i n g   m o d els.  T h e   C NN - L STM   ar ch itectu r was  b u ilt  f r o m   s cr atch ,   wh ile  th Dis tilB E R T   ar ch itectu r s h o ws  th class if icatio n   h ea d   a d d ed   o n   t o p   o f   th p r e - t r ain ed   b ase  m o d el  f o r   f in e - t u n in g .   T h e   m o d els  wer im p lem en ted   u tili zin g   th e   T en s o r Flo a n d   Ker as  f r am ewo r k s .   cr i tical  p h ase  o f   th e   m eth o d o l o g y   was  h y p er p a r a m eter   tu n in g ,   wh er ein   tec h n iq u es  s u ch   as  g r id   s ea r ch   wer em p lo y e d   to   s y s tem atica lly   id en tify   th o p tim al  co n f ig u r atio n   o f   ea ch   m o d el' s   p ar am eter s   ( e. g . ,   lear n i n g   r ate,   n u m b er   o f   lay er s ,   an d   d r o p o u r ate)   to   m ax im ize  p r ed ictiv p er f o r m an ce   [ 2 6 ] .   T h f in al  o p tim al  h y p er p ar am eter s   f o r   th e   to p - p er f o r m i n g   m o d els  wer e   i d en tifie d   f r o m   th is   p r o ce s s .   F o r   th e   SVM  m o d el,   p o ly n o m ial  k er n el   with   a   d eg r ee   o f   2   an d   C   v alu o f   1   was  u s ed .   Fo r   th Dis til B E R T   m o d el,   th f in e - tu n e d   ar ch itectu r co n s is ted   o f   th r ee   h id d en   d en s lay er s   wit h   5 1 2 ,   2 5 6 ,   an d   1 2 8   n eu r o n s ,   r esp ec tiv ely ,   ea ch   f o llo we d   b y   d r o p o u lay e r   with   r ates o f   0 . 5 ,   0 . 4 ,   an d   0 . 3 .   An   Ad am   o p tim izer   with   lea r n in g   r ate  o f   0 . 0 0 0 1   was u tili z ed   f o r   t r ain in g .       T ab le  4 .   Ar c h itectu r al  s ch em a tic  o f   C NN - L STM   an d   Dis tilB E R T   ( f in e - tu n in g )   La y e r   A r c h i t e c t u r e   o f   C N N - LST M   A r c h i t e c t u r e   o f   f i n e - t u n i n g   D i s t i l B ER T   I n p u t   Emb e d d i n g   L a y e r   I n p u t   f r o m   D i st i l B ER B a se   ( 7 6 8   u n i t )   1   C o n v 1 D   ( 6 4   f i l t e r ,   k e r n e l = 5 )   D e n se   ( 5 1 2   u n i t )   2   M a x P o o l i n g 1 D   ( p o o l   si z e = 2 )   D r o p o u t   ( R a t e = 0 . 5 )   3   LSTM   ( 6 4   u n i t )   D e n se   ( 2 5 6   u n i t )   4   -   D r o p o u t   ( R a t e = 0 . 4 )   5   -   D e n se   ( 1 2 8   u n i t )   6   -   D r o p o u t   ( R a t e = 0 . 3 )   O u t p u t   D e n se   ( 1   u n i t ,   's i g mo i d ')   D e n se   ( 1   u n i t ,   's i g mo i d ')       3.   RE SU L T S AN D I SCU SS I O N   T h p er f o r m an ce   o f   th tr ain ed   m o d els  was  r ig o r o u s ly   ev alu ated   u s in g   p r ec is io n ,   r ec all ,   F1 - s co r e,   an d   ac cu r ac y   [ 2 7 ] .   T h is   ev al u atio n   was  co n d u cted   o n   d is tin ct  test   d atasets   f r o m   f o u r   c o n s ec u tiv m o n th s   ( Sep tem b er   to   Dec em b er   2 0 2 3 )   to   n o o n l y   m ea s u r p er f o r m an ce   b u also   to   ass ess   th m o d els'   s tab il ity   an d   r o b u s tn ess   ag ain s tem p o r al  s h if ts   in   d ata  p atter n s .   T h is   lo n g itu d in al  ap p r o ac h   is   cr itical,   as  th n atu r o f   s p am   ca n   ev o lv o v er   tim [ 2 8 ] .   All  r esu lts   p r esen ted   in   th e   s u m m ar y   tab les  r ef lect  th av er ag p er f o r m a n ce   ac r o s s   th ese  f o u r   test in g   p e r io d s   u n less   o th er wis s p ec if ied .     3 . 1 .     P re li m ina ry   f e a t ure  ex t ra ct io n e v a lua t i o n   B ased   o n   th p r elim in ar y   r esu l ts   s h o wn   in   T ab le  5 ,   T F - I DF  was selec ted   as th o p tim al  v ec to r izatio n   tech n iq u f o r   t h f in al  m ac h in lear n in g   m o d el   co m p a r is o n s .   W h ile  Hash in g Vec to r izer   an d   C o u n tVec to r ize r   g av th DT   m o d el  h ig h   ac cu r ac y   ( 0 . 9 2 ) ,   th eir   p er f o r m a n c with   SVM   was   s ig n if ican tl y   lo wer ,   with   r ec all  s co r es  o f   0 . 7 3   a n d   0 . 6 8 ,   r esp ec tiv ely .   T h e r ef o r e ,   T F - I DF  c o m b in ed   with   SVM,   w h ich   y i eld ed   a   s tr o n g   an d   m o r b alan ce d   p er f o r m a n ce   ( Acc u r ac y   0 . 8 8 ,   F1 - s co r 0 . 8 7 ) ,   was  id e n tifie d   as  t h m o s r o b u s ch o ice   f o r     b o th   alg o r ith m s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Dee p   lea r n in g - b a s ed   s p a d et ec tio n   fo r   Wh a ts A p p   ch a tb o t f a llb a ck   r ed u ctio n   ( S a tr io   S a d e w o )   913   T ab le  5 .   Su m m a r y   o f   ev alu ati o n   r esu lts   o f   m et h o d s   with   f ea tu r ex tr ac tio n   F e a t u r e   e x t r a c t i o n   M e t h o d   P r e c i s i o n   R e c a l l   F1 - s c o r e   A c c u r a c y   C o u n t V e c t o r i z e r   DT   0 . 9 1   0 . 9 2   0 . 9 2   0 . 9 2   S V M   0 . 8 5   0 . 6 8   0 . 6 7   0 . 7 4   W o r d 2 V ec   DT   0 . 8 7   0 . 8 7   0 . 8 7   0 . 8 7   S V M   0 . 8 5   0 . 8 6   0 . 8 5   0 . 8 5   F a st T e x t   DT   0 . 8 8   0 . 8 4   0 . 8 5   0 . 8 6   S V M   0 . 8 9   0 . 8 5   0 . 8 7   0 . 8 8   H a sh i n g V e c t o r   DT   0 . 9 2   0 . 9 3   0 . 9 2   0 . 9 2   S V M   0 . 8 6   0 . 7 3   0 . 7 4   0 . 7 8   Tf i d f V e c t o r i z e r   DT   0 . 9 1   0 . 9 2   0 . 9 2   0 . 9 2   S V M   0 . 8 9   0 . 8 7   0 . 8 7   0 . 8 8       3 . 2 .     M o del per f o rma nce   Fo llo win g   an   ex ten s iv h y p er p ar am eter   tu n i n g   p r o ce s s ,   b o t h   th tr ad itio n al  m ac h in lear n in g   an d   ad v an ce d   d ee p   lear n in g   m o d el s   d em o n s tr ated   s tr o n g   p r ed icti v ca p ab ilit ies.  Ho wev er ,   d is tin ct  p er f o r m an ce   h ier ar ch y   was  o b s er v e d ,   wi th   th d ee p   lear n in g   m o d e ls   co n s is ten tly   o u tp er f o r m in g   th eir   t r ad itio n al   co u n ter p a r ts .   T h is   a d v an tag e   i s   attr ib u tab le  to   th eir   in h e r en t   ca p ac ity   to   lear n   c o m p lex ,   h i er ar ch ical  f ea t u r es  an d   u n d er s tan d   co n te x tu al  r el atio n s h ip s   with in   th tex t,  wh ich   is   lim itatio n   f o r   alg o r i th m s   lik DT   an d   SVM  th at  r ely   o n   m o r s u p er f icial,   f r eq u en cy - b ased   f ea t u r es.  T ab le  6   p r esen ts   th a v er ag p er f o r m an ce   m etr ics o f   th m o s t n o tab le  m o d els o v er   t h f o u r - m o n th   test in g   p er io d .       T ab le  6 .   Av e r ag p e r f o r m an ce   co m p ar is o n   o f   all  m o d els ac r o s s   th f o u r - m o n th   test   p er io d     ( Sep tem b er   to   Dec em b er   2 0 2 3 )   M o d e l s   P r e c i s i o n   R e c a l l   F1 - sc o r e   A c c u r a c y   DT   0 . 9 0   0 . 9 2   0 . 9 1   0 . 9 3   S V M   0 . 9 0   0 . 9 2   0 . 9 1   0 . 9 3   S t a c k e d   LSTM   0 . 9 1   0 . 9 1   0 . 9 1   0 . 9 4   C N N - LSTM   0 . 9 2   0 . 9 1   0 . 9 1   0 . 9 4   En c o d e r   d e c o d e r   LST M   0 . 9 1   0 . 9 0   0 . 9 1   0 . 9 4   B ER T - B A S E   0 . 9 1   0 . 8 9   0 . 9 0   0 . 9 2   D i st i l B ER T   0 . 9 2   0 . 8 9   0 . 9 0   0 . 9 3   X LM - R o b e r t a   0 . 9 2   0 . 7 9   0 . 8 3   0 . 8 9       T h em p ir ical  r esu lts   id en ti f ied   th C NN - L STM   an d   Dis til B E R T   m o d els  as  th p r ee m in en t   ar ch itectu r es  in   ter m s   o f   p er f o r m an ce .   T h h y b r id   C NN - L STM   m o d el  ac h iev ed   th h i g h e s o v er all  ac cu r ac y   ( 0 . 9 4 ) ,   s h o wca s in g   th p o wer   o f   its   ar ch itectu r e.   T h is   s y n e r g y   is   p a r ticu lar ly   ef f ec tiv f o r   id en tify i n g   s p am ;   th C NN  lay er s   ac a s   p o w er f u f ea tu r ex tr ac to r ,   id en tif y in g   lo ca n - g r a m   p atter n s   an d   k ey wo r d s   o f ten   ass o ciate d   with   s p am   ( e. g . ,   ' p r o mo '   or   'lin i n i' ) ,   wh ile  th e   L STM   lay er s   an aly ze   th e   s eq u e n ce   in   wh ich   th ese   p atter n s   ap p ea r ,   ca p tu r i n g   th co n tex tu al  s tr u ctu r e   o f   t h m e s s ag e.   Dis til B E R T ,   l ig h ter   an d   f aster   v er s io n   o f   B E R T ,   also   d em o n s tr ated   ex ce llen t,  wel l - r o u n d ed   p er f o r m an ce   with   h ig h   p r ec is io n   ( 0 . 9 2 )   a n d   ac c u r ac y   ( 0 . 9 3 ) .   I ts   s tr en g th   lies   in   its   ab ilit y   t o   r etain   p o wer f u l   g r asp   o f   b i d ir ec tio n al  c o n tex t,   ev en   as  d is till ed   m o d el.   T h i s   is   cr u cial  f o r   d is tin g u is h in g   s o p h is ticated   s p am   th at  m im ics  co n v er s atio n .   Fo r   ex am p le,   in   m ess ag lik e   " K a ka d m ",   a   u n id ir ec tio n a m o d el   m ig h t   b co n f u s ed ,   b u t   b id ir ec tio n al   m o d el  ca n   an aly ze   th e   co n tex f r o m   b o t h   d ir ec tio n s   to   b ett er   ass ess   th in ten t,  r elatin g   it to   p atter n s   s ee n   in   o th er   p r o m o tio n al  s p am .     I n   co n tr ast,  th m u ltil in g u al  m o d el  XL M - R OB E R T a,   wh ile  ac h iev in g   h ig h   p r ec is io n ,   e x h ib ited   n o tab le  d ef icien c y   in   r ec all  ( 0 . 7 9 ) .   T h is   s u g g ests   th at  its   g en er alize d ,   cr o s s - lin g u al  tr ain in g   was  les s   ef f ec tiv f o r   th is   d o m ain - s p ec if ic  task .   T h m o d el,   tr ain ed   o n   1 0 0   la n g u ag es,  m ay   lack   th s p ec if i to k en izatio n   an d   em b ed d in g   r ep r esen tatio n s   n ee d ed   to   u n d er s tan d   th n u an ce s   o f   I n d o n esian   s lan g ,   in f o r m alities ,   an d     co n tex t - s p ec if ic  s p am   ( e. g . ,   " S itu s   p erta r u h a n   o n lin e ")   as  ef f ec tiv ely   as  th m o d els  f in e - tu n ed   s p ec if ically   o n   th is   d ataset.     3 . 3 .     Ana ly s is   o f   m is cla s s if ica t io ns   m o r g r an u la r   an aly s is   o f   th m is class if icat io n s   h ig h lig h ts   th p er s is ten ch allen g es  in   au to m ated   ch atb o s p am   d etec tio n .   Fig u r es  2   an d   3   p r esen th c o n f u s io n   m atr ices  f o r   th e   to p - p er f o r m in g   C NN - L STM   an d   Dis tilB E R T   m o d els,  r esp ec tiv ely .   T h ese  f ig u r es  d etail  th eir   p er f o r m an ce   ac r o s s   th f o u r - m o n th     test in g   p er io d .       Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  15 ,   No .   1 Feb r u ar y   20 26 :   909 - 9 1 8   914             Fig u r 2 .   Mo n th ly   c o n f u s io n   m atr ices f o r   th C NN - L STM   m o d el,   s h o win g   p r e d ictiv p er f o r m an ce   o n   t h test   s ets f r o m   Sep tem b er   to   Dec e m b er   2 0 2 3                 Fig u r 3 .   Mo n th ly   c o n f u s io n   m atr ices f o r   th Dis tilB E R T   m o d el,   s h o win g   p r e d ictiv p er f o r m an ce   o n   t h test   s ets f r o m   Sep tem b er   to   Dec e m b er   2 0 2 3   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Dee p   lea r n in g - b a s ed   s p a d et ec tio n   fo r   Wh a ts A p p   ch a tb o t f a llb a ck   r ed u ctio n   ( S a tr io   S a d e w o )   915   As  s u m m ar ized   i n   T a b le  7 ,   th m is class if icatio n   er r o r s   o b s er v ed   in   t h to p - p e r f o r m in g   m o d els  ca n   b g r o u p ed   in to   two   m ai n   ca te g o r ies b ased   o n   th d i r ec tio n   o f   th p r e d ictio n   er r o r :   i)   Fals p o s itiv es  ( non - s p am   class if ied   as  s p am ) th m o d els  o cc asio n ally   m is class if ied   m ess ag es  ch ar ac ter ized   b y   ex tr em b r e v ity ,   in f o r m ality ,   o r   a m b ig u it y   ( e. g . ,   " A ku   g ita [ I   am   Git a] ,   " Ha lo b u k [ Hello   m a' am ] ,   o r   s in g le - wo r d   r ep lies )   as  s p am .   T h is   er r o r   is   lik ely   b ec au s th ese  m ess ag es  lack   s u f f icien co n tex f o r   h i g h - c o n f id en ce   p r ed ictio n .   Fo r   ar ch itectu r es  lik C N N - L STM ,   b r ief ,   leg itima te  m ess ag es  s u ch   as  'A ku   g ita '   m ay   tr ig g er   lo ca p atter n   d ete cto r s   ( C NNs)  th at  h av lear n ed   to   ass o ciate   s h o r t,  n o n - g r am m atica l in p u ts   with   lo w - ef f o r t sp am ,   f ailin g   to   ca p tu r th b en ig n   s eq u e n tial c o n tex t th at  th L STM   lay er   wo u l d   ty p ical ly   an aly ze .   ii)   Fals n eg ativ es  ( s p am   class if ied   as  n o n - s p am ) m o r im p o r tan tly ,   th e   m o d els  s tr u g g l ed   to   class if y   s o p h is ticated   s p am   th at   ad e p tly   m im ics  h u m an   co n v er s atio n   o r   leg itima te   s y s tem   n o tific atio n s .   I n s tan ce s   s u ch   as   " K a ka d m [ Sis ter ,   DM   m e]   em p lo y   in f o r m al,   p er s o n a b le  lan g u ag e   t o   cir cu m v en t   f ilter s ,   wh er ea s   m ess ag es   lik e   "Welco m to   Gb o ar d   clip b o ar d . . . m asq u e r ad as  b en ig n   s y s tem   aler ts .   T h is   ev id en ce   d em o n s tr ates  clea r   ev o lu tio n   in   s p am m i n g   tech n iq u es  t o war d   s o cial  e n g in ee r in g   an d   co n tex tu al  ca m o u f lag t o   e v ad d etec tio n ,   wh ich   p r esen ts   a n   o n g o in g   ch allen g t h at  n ec ess itates  m o d els   ca p ab le  o f   d is ce r n in g   n o t ju s lex ical  co n ten t,  b u t a ls o   u n d er ly in g   in ten t.   T h is   an aly s is   in d icate s   th at  w h ile  d ee p   lear n in g   m o d els  p o s s ess   co n s id er ab le  p r e d ictiv p o wer ,   th eir   ac cu r ac y   ca n   b co m p r o m i s ed   wh en   co n f r o n ted   with   m ess ag es  th at  ar ei th er   co n tex t - d e f icien o r   in ten tio n ally   d ec e p tiv e.   I n   th is   r esp ec t,  th Dis tilB E R T   m o d el  d em o n s tr ated   m ar g i n al  ad v an ta g o v e r     C NN - L STM   b y   ex h ib itin g   a   lo wer   in cid en ce   o f   f alse  n e g ativ es.  T h is   is   cr u cial   d is tin ctio n   f o r   p r ac tical  im p lem en tatio n .   f alse  n eg a tiv ( lettin g   s p am   th r o u g h )   d i r ec tly   d eg r a d es  th u s er   ex p e r ien ce   an d   f ails   to   s o lv th co r p r o b lem .   I n   c o n tr ast,  f alse  p o s itiv ( b lo ck in g   leg itima te  m ess ag e)   is   al s o   u n d esira b le  b u t   ca n   b m itig ated   with   u s er   f ee d b ac k   m ec h an is m .   Dis tilB E R T 's  b id ir ec tio n al  co n tex t - a war en ess   ap p ea r s   to   g iv it  s lig h e d g in   id en ti f y in g   t h ese  ca m o u f lag ed   s p a m   m ess ag es,  m ak in g   it  m o r r o b u s ch o ice  f o r   en s u r in g   h ig h - q u ality ,   s ec u r u s er   ex p er ie n ce ,   wh ich   is   o f ten   th p ar a m o u n t o b jectiv e.       T ab le  7 .   R ep r esen tativ ex a m p les o f   f alse p o s itiv an d   f alse n eg ativ m is class if icatio n s   b y   th to p   m o d els   M i s c l a ssi f i c a t i o n   t y p e   M o d e l   Ex a m p l e   messa g e   A n a l y s i s/ r e a so n   f o r   e r r o r   F a l se   p o si t i v e   ( n o n - sp a m   a s s p a m)   C N N - LSTM / D i s t i l B E R T   " Ak u   g i t a " ,   " cs " ,   " H a l o b u k "   Le g i t i ma t e   m e ssa g e s a r e   t o o   b r i e f ,   i n f o r mal ,   o r   l a c k   c o n t e x t ,   mi m i c k i n g   l o w - e f f o r t   sp a m .   F a l se   n e g a t i v e   ( s p a a n o n - s p a m)   C N N - LSTM / D i s t i l B E R T   " Ak u   ri o " ,   " K a k a k   d m " ,   " S e l a m a t   d a t a n g   d i   p a p a n   k l i p   G b o a r d . . ."   S p a m   i s   c a m o u f l a g e d ,   m i mi c k i n g   f r i e n d l y   c o n v e r sa t i o n   o r   b e n i g n   s y st e n o t i f i c a t i o n s   t o   e v a d e   d e t e c t i o n .       3 . 4 .     E s t im a t ed  im pa ct   o n f a l lba ck   ra t e   p r im ar y   o b jectiv e   o f   t h is   r e s ea r ch   was  to   r ed u ce   th e   ch at b o t' s   f allb ac k   r ate,   wh ich   s to o d   at  3 3 %     ( 6   m illi o n   o u o f   1 8   m illi o n   m ess ag es),   to   tar g et  o f   1 5 o r   less .   T h an aly s is   in   s u b - s ec tio n   3 . 2   id e n tifie d   th C NN - L STM   m o d el  as  th to p   p er f o r m e r   in   ter m s   o f   o v er all  ac c u r ac y   an d   F1 - s co r e .   T h e r ef o r e ,     we  ca n   n o s im u late  th im p lem en tatio n   o f   th is   s p ec if ic  m o d el  to   esti m ate  its   d ir ec im p ac o n   th o v er all   f allb ac k   r ate.   B ased   o n   th m an u al  an n o t atio n   o f   t h 1 7 0 , 0 0 0 - m ess ag s am p le,   an   esti m ated   2 9 . 4 o f   th f allb ac k - in d u cin g   m ess ag es  wer id en tifie d   as  s p am   ( 4 9 , 9 5 2   s p am   m ess ag es  o u o f   1 6 9 , 9 6 0   to tal  s am p les).   E x tr ap o latin g   th is   to   th en tir p o p u latio n ,   ap p r o x im ately   1 . 7 6 4   m illi o n   o f   th 6   m illi o n   f allb ac k   m ess ag es  ar s p am ,   wh ile  th r em ain in g   4 . 2 3 6   m illi o n   ar leg itim ate,   n o n - s p am   q u er ies  th at  th ch atb o f ailed   to   co m p r eh e n d .   B y   im p lem en ti n g   th C NN - L STM   m o d el  ( r ec all 0 . 9 1 ,   p r ec is io n 0 . 9 2 ) ,   we  ca n   p r o ject    th f o llo win g :   i)   Sp am   f ilter ed   ( tr u p o s itiv es):  th e   m o d el   wo u l d   c o r r ec tl y   id en tif y   a n d   f ilter   1 . 6 0 5   m illi o n   s p am   m ess ag es ( 1 . 7 6 4   m illi o n * 0 . 9 1   r ec all) .   T h ese  m ess ag es wo u ld   b p r e v en ted   f r o m   t r ig g er in g   f allb ac k .   ii)   Sp am   m is s ed   ( f alse  n eg ativ es ) ap p r o x im ately   0 . 1 5 9   m illi o n   s p am   m ess ag es  ( 1 . 7 6 4   m ill io n * ( 1 - 0 . 9 1 ) )   wo u ld   b m is s ed   b y   th f ilter   an d   wo u ld   s till   r esu lt in   f allb ac k .   iii)   L eg itima te  f allb ac k s   ( tr u n e g ativ es):  th m o d el  m u s also   p r o ce s s   th 4 . 2 3 6   m illi o n   leg itima te  f allb ac k   q u er ies.  B ased   o n   th m o d el' s   p er f o r m an ce   o n   th test   s ets,  it  h as  f alse  p o s itiv r ate  ( FP R )   o f   4 . 5 2 % .   T h is   m ea n s   it  w o u ld   in co r r ec tly   f ilter   0 . 1 9 1   m illi o n   leg iti m ate  m ess ag es  ( 4 . 2 3 6   m illi o n * 0 . 0 4 5 2 ) .   T h r em ain in g   4 . 0 4 5   m illi o n   leg iti m ate  q u er ies  ( tr u n eg ativ es )   wo u ld   co r r ec tly   p ass   th r o u g h   th f ilter   an d   wo u ld   s till   ca u s f allb ac k ,   a s   th m o d el  is   d esig n ed   to   d et ec s p am ,   n o to   f ix   th c h atb o t' s   u n d er ly in g   co m p r eh e n s io n   is s u e.   T h n ew  esti m ated   to tal  f allb ac k   co u n wo u ld   th e r ef o r e   b e   th s u m   o f   m is s ed   s p am   ( 0 . 1 5 9   m illi o n )   an d   th e   leg itima te  f ailu r es  th at  p ass ed   th e   f ilter   ( 4 . 0 4 5   m illi o n ) ,   r esu ltin g   in   4 . 2 0 4   m ill io n   f allb ac k s .   T h is   in ter v en tio n   wo u ld   r e d u ce   t h e   o v er all   f allb ac k   r ate  f r o m   3 3 ( 6   m illi o n / 1 8   m illi o n )   to   a n   esti m ated   2 3 . 3 5 %   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  15 ,   No .   1 Feb r u ar y   20 26 :   909 - 9 1 8   916   ( 4 . 2 0 4   m illi o n / 1 8   m illi o n ) .   W h ile  th is   r ep r esen ts   a   s ig n if ica n r ed u ctio n   i n   f allb ac k   i n cid e n ts ,   it  d o es n o t m ee th am b itio u s   1 5 tar g et.   T h i s   f in d in g   is   cr itical,   as  it  d em o n s tr ates  th at  s p am   m itig atio n   is   o n ly   o n p a r o f   th s o lu tio n ;   s u b s tan tial  p o r tio n   o f   t h f allb ac k   p r o b lem   ( 4 . 0 4 5   m illi o n   m ess ag es)  is   d u e   to   le g itima te  u s er   q u er ies  th at  th ch atb o f ails   t o   u n d er s tan d .   T o   ad d r ess   th r ig o r   o f   th is   esti m atio n ,   s en s i tiv ity   an aly s is   wa s   p er f o r m ed   to   u n d er s tan d   h o w   th f in al  f allb a ck   r ate  w o u ld   ch an g b ased   o n   s m all  v ar iatio n s   in   th m o d el' s   p er f o r m an ce   an d   d ata  ass u m p t io n s .   T h is   a n aly s is   test s   th s tab ilit y   o f   th 2 3 . 3 5 esti m ate  b y   v ar y in g   th e   two   m o s cr itical  m etr ics:   th m o d el' s   r ec all  ( it s   ab ilit y   t o   ca tch   s p am )   an d   its   FP R   ( its   er r o r   r ate  o n     leg itima te  m ess ag es).   T h s e n s itiv ity   an aly s is   in   T ab le   8   d em o n s tr ates  th at  e v en   with   1 0 f l u ctu atio n   in   m o d el  p er f o r m a n ce ,   th f in al   f allb ac k   r ate  r em ain s   r elativ ely   s tab le  ( b etwe en   2 2 . 6 7 an d   2 4 . 1 3 %).   T h is   f in d in g   r ein f o r ce s   th p ap er ' s   m ain   co n cl u s io n   f o r   th is   s ec ti o n wh ile  th e   s p am   f ilter   is   h i g h ly   ef f ec tiv e,   t h m ajo r ity   o f   th e   f allb ac k   p r o b le m   ( o v e r   4   m illi o n   m ess ag es)  is   ca u s ed   b y   leg itima te,   n o n - s p am   q u e r ies  th at  th e   ch atb o t’ s   co r i n ten t r ec o g n iti o n   m o d u le  ca n n o t u n d er s tan d .       T ab le  8 .   Sen s itiv ity   an aly s is   o f   esti m ated   f allb ac k   r ate   S c e n a r i o   A ssu me d   r e c a l l   A ssu me d   F P R   Est i m a t e d   n e w   f a l l b a c k   r a t e   P e ssi m i st i c   ( 1 0 w o r se  p e r f o r ma n c e )   0 . 8 2   ( f r o 0 . 9 1 )   4 . 9 7 ( f r o m   4 . 5 2 %)   2 4 . 1 3 %   B a se l i n e   ( a c a l c u l a t e d )   0 . 9 1   4 . 5 2 %   2 3 . 3 5 %   O p t i mi s t i c   ( 1 0 %   b e t t e r   p e r f o r ma n c e )   0 . 9 9   ( f r o 0 . 9 1 )   4 . 0 7 ( f r o m   4 . 5 2 %)   2 2 . 6 7 %       4.   CO NCLU SI O N   T h is   r esear ch   s u cc ess f u lly   en g in ee r ed   a n d   e m p ir ically   ev a lu ated   s u ite  o f   m ac h in e   lea r n in g   a n d   d ee p   lear n in g   m o d els  f o r   th e   p u r p o s o f   s p am   d etec tio n   with in   W h atsAp p   ch atb o t   co m m u n icatio n s .   T h e   f in d in g s   f r o m   th is   r esear ch   c o n clu s iv ely   d em o n s tr ate  th at  d e ep   lear n in g   m o d els,  p ar ticu la r ly   th C NN - L STM   an d   Dis tilB E R T   ar ch itectu r es,  ar s ig n if ican tly   m o r ef f ec ti v th an   tr ad itio n al  m ac h in le ar n in g   alg o r ith m s   f o r   th is   class if icat io n   task .   T h ese  m o d els  ex h ib ited   h ig h   lev els  o f   ac cu r ac y   an d   s o p h is ticated   ca p ac ity   f o r   u n d er s tan d i n g   th c o n tex tu al  n u an ce s   in h er e n in   ch at b o m ess ag es.  I n   ter m s   o f   p r ac tical  i m p ac t,  s im u latio n   b ased   o n   th e   to p - p er f o r m in g   C NN - L STM   m o d el  ( ac c u r ac y   0 . 9 4 ,   r ec all  0 . 9 1 )   p r o jects  th a its   im p lem en tatio n   wo u ld   r ed u ce   th ch atb o t' s   o v er all  f allb ac k   r ate  f r o m   3 3 d o wn   to   an   esti m ated   2 3 . 3 5 %.  T h is   d ir ec tly   ad d r ess es  th r esear ch   p r o b l em   b y   d em o n s tr atin g   s ig n if ican m itig atio n   o f   s p a m - in d u ce d   f allb ac k s .   Ho wev er ,   th is   an al y s is   also   r ev ea ls   th at  lar g v o lu m o f   f allb ac k s   is   ca u s ed   b y   le g itima te,   n o n - s p am   q u er ies,  in d icatin g   th at   ac h i ev in g   th 1 5 tar g et  r eq u ir es  n o o n ly   s p am   f ilter in g   b u also   s u b s tan tial   im p r o v em e n ts   to   th ch atb o t's   co r in ten r ec o g n itio n   m o d u le.   Fro m   a n   in f o r m atics  an d   en g in ee r in g   p er s p ec tiv e,   th e   s tr o n g   p er f o r m an ce   o f   th e   m o r co m p u t atio n ally   ef f icien t   C NN - L STM   an d   Dis tilB E R T   m o d els  is   h ig h ly   s ig n if ican t.  T h is   ef f icien cy   is   cr itica f o r   r ea l - tim p r o ce s s in g   in   h ig h - th r o u g h p u t     s m ar cu s to m er   s er v ice   s y s tem s ,   as  lo laten cy   is   ess en tial  f o r   u s er   s atis f ac tio n .   Fu r t h er m o r e ,   th is   h as     d ir ec s y s tem - lev el  i n teg r ati o n   im p licatio n s   r elev a n to   elec tr ical  en g in ee r in g .   U n lik lar g e r   m o d els     ( lik B E R T - b ase  o r   XL M - R OB E R T a)   th at  o f ten   r eq u i r h e av y   clo u d   r eso u r ce s ,   t h ese  ef f icien ar ch itectu r es   ar id ea l   ca n d id ates  f o r   ed g d ep lo y m e n t.  T h ey   ar e   v iab le   f o r   im p lem en tatio n   in   em b ed d ed   n atu r al  lan g u ag e   p r o ce s s in g   ( NL P )   m o d u les  o n   lo ca s er v er s ,   wh ich   wo u ld   r e d u ce   n etwo r k   d e p en d e n cy ,   m i n im ize  ap p licatio n   p r o g r a m m in g   in ter f ac ( API )   laten cy ,   an d   lo wer   o p er atio n al  co s ts .   B u ild in g   o n   th ese  f i n d in g s ,   av e n u es  f o r   f u tu r e   r esear ch   in clu d e   th e   ex p lo r atio n   an d   f in e - t u n in g   o f   o t h er   a d v an ce d   tr a n s f o r m er - b ased   m o d els  s p ec if ically   tr ain ed   o n   I n d o n e s ian ,   s u ch   as  I n d o n esian   B E R T   ( I ndo B E R T )   an d   lite  B E R T   ( AL B E R T ) ,   o r   th d ev elo p m en o f   n o v el  h y b r id   ar c h itectu r es  d esig n ed   t o   m o r ef f ec tiv ely   co u n ter   th e   ev o lv in g   tactics  o f   s p am m er s .   Fu r th er m o r e,   th e x p an s io n   o f   th tr ain in g   d atas et  an d   th ex ec u tio n   o f   r ea l - ti m A/B   te s tin g   to   v alid ate  th s im u lated   f allb ac k   r ed u ctio n   wo u ld   c o n s titu te  v a lu ab le  n ex t step s   f o r   th is   r esear ch .       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Satr io   Sad ewo                               Am alia  Z ah r a                               Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Dee p   lea r n in g - b a s ed   s p a d et ec tio n   fo r   Wh a ts A p p   ch a tb o t f a llb a ck   r ed u ctio n   ( S a tr io   S a d e w o )   917   C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h d ata  t h at  s u p p o r th e   f in d in g s   o f   t h is   s tu d y   a r p r o p r iet ar y   an d   ar e   n o t   p u b licly   av ail ab le  d u e   to   p r iv ac y   a n d   co m m er cial  s en s itiv ity .       RE F E R E NC E S   [ 1 ]   S .   K e m p ,   D i g i t a l   2 0 2 3 :   g l o b a l   o v e r v i e w   r e p o r t ,   d a t a r e p o r t a l . c o m .   A c c e ss e d :   N o v .   0 4 ,   2 0 2 3 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / d a t a r e p o r t a l . c o m/ r e p o r t s / d i g i t a l - 2 0 2 3 - g l o b a l - o v e r v i e w - r e p o r t   [ 2 ]   C .   V .   M i si s c h i a ,   F .   P o e c z e ,   a n d   C .   S t r a u ss,   C h a t b o t i n   c u s t o mer  ser v i c e :   t h e i r   r e l e v a n c e   a n d   i m p a c t   o n   ser v i c e   q u a l i t y ,   Pro c e d i a   C o m p u t e r   S c i e n c e ,   v o l .   2 0 1 ,   p p .   4 2 1 4 2 8 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 2 2 . 0 3 . 0 5 5 .   [ 3 ]   V .   K a u s h a l   a n d   R .   Y a d a v ,   L e a r n i n g   s u c c e ssf u l   i m p l e me n t a t i o n   o f   c h a t b o t i n   b u s i n e sses  f r o B 2 B   c u st o mer  e x p e r i e n c e   p e r s p e c t i v e ,   C o n c u r re n c y   a n d   C o m p u t a t i o n :   P ra c t i c e   a n d   E x p e ri e n c e ,   v o l .   3 5 ,   n o .   1 ,   Ja n .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 2 / c p e . 7 4 5 0 .   [ 4 ]   L.   A n a y a ,   A .   B r a i z a t ,   a n d   R .   A l - A n i ,   I mp l e me n t i n g   A I - b a se d   c h a t b o t :   b e n e f i t s   a n d   c h a l l e n g e s ,   P ro c e d i a   C o m p u t e S c i e n c e   v o l .   2 3 9 ,   p p .   1 1 7 3 1 1 7 9 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 2 4 . 0 6 . 2 8 4 .   [ 5 ]   A .   K .   S h r i v a s,   A .   K .   D e w a n g a n ,   S .   M .   G h o sh ,   a n d   D .   S i n g h ,   D e v e l o p me n t   o f   p r o p o se d   e n sem b l e   m o d e l   f o r   sp a m   e - ma i l   c l a ss i f i c a t i o n ,   I n f o rm a t i o n   T e c h n o l o g y   a n d   C o n t r o l ,   v o l .   5 0 ,   n o .   3 ,   S e p .   2 0 2 1 ,   d o i :   1 0 . 5 7 5 5 / j 0 1 . i t c . 5 0 . 3 . 2 7 3 4 9 .   [ 6 ]   K .   D e b n a t h   a n d   N .   K a r ,   Em a i l   s p a d e t e c t i o n   u s i n g   d e e p   l e a r n i n g   a p p r o a c h ,   i n   2 0 2 2   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M a c h i n e   L e a r n i n g ,   Bi g   D a t a ,   C l o u d   a n d   Pa r a l l e l   C o m p u t i n g   ( C O M - IT - C O N ) ,   M a y   2 0 2 2 ,   p p .   3 7 41 ,   d o i :   1 0 . 1 1 0 9 / C O M - IT - C O N 5 4 6 0 1 . 2 0 2 2 . 9 8 5 0 5 8 8 .   [ 7 ]   S .   K a d d o u r a ,   G .   C h a n d r a se k a r a n ,   D .   E .   P o p e sc u ,   a n d   J .   H .   D u r a i sam y ,   A   sy st e ma t i c   l i t e r a t u r e   r e v i e w   o n   s p a c o n t e n t   d e t e c t i o n   a n d   c l a ss i f i c a t i o n ,   Pe e rJ  C o m p u t e S c i e n c e ,   v o l .   8 ,   J a n .   2 0 2 2 ,   d o i :   1 0 . 7 7 1 7 / p e e r j - c s . 8 3 0 .   [ 8 ]   T.   Jai n ,   P .   G a r g ,   N .   C h a l i l ,   A .   S i n h a ,   V .   K .   V e r m a ,   a n d   R .   G u p t a ,   S M S   sp a c l a ssi f i c a t i o n   u s i n g   m a c h i n e   l e a r n i n g   t e c h n i q u e s, ”  i n   2 0 2 2   1 2 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   C o m p u t i n g ,   D a t a   S c i e n c e   &   E n g i n e e ri n g   ( C o n f l u e n c e ) ,   2 0 2 2 ,   p p .   2 7 3 2 7 9   d o i :   1 0 . 1 1 0 9 / C o n f l u e n c e 5 2 9 8 9 . 2 0 2 2 . 9 7 3 4 1 2 8 .   [ 9 ]   M .   R a z a ,   N .   D .   J a y a si n g h e ,   a n d   M .   M .   A .   M u s l a m,   A   c o mp r e h e n s i v e   r e v i e w   o n   e ma i l   sp a c l a ssi f i c a t i o n   u si n g   m a c h i n e   l e a r n i n g   a l g o r i t h ms,   i n   2 0 2 1   I n t e rn a t i o n a l   C o n f e r e n c e   o n   I n f o rm a t i o n   N e t w o rk i n g   ( I C O I N ) ,   Ja n .   2 0 2 1 ,   p p .   3 2 7 332   d o i :   1 0 . 1 1 0 9 / I C O I N 5 0 8 8 4 . 2 0 2 1 . 9 3 3 4 0 2 0 .   [ 1 0 ]   S .   G a d d e ,   A .   L a k s h m a n a r a o ,   a n d   S .   S a t y a n a r a y a n a ,   S M S   s p a d e t e c t i o n   u si n g   ma c h i n e   l e a r n i n g   a n d   d e e p   l e a r n i n g   t e c h n i q u e s ,   i n   2 0 2 1   7 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   A d v a n c e d   C o m p u t i n g   a n d   C o m m u n i c a t i o n   S y st e m ( I C AC C S ) ,   M a r .   2 0 2 1 ,   p p .   3 5 8 3 6 2 d o i :   1 0 . 1 1 0 9 / I C A C C S 5 1 4 3 0 . 2 0 2 1 . 9 4 4 1 7 8 3 .   [ 1 1 ]   J.  D e v l i n ,   M .   W .   C h a n g ,   K .   L e e ,   a n d   K .   T o u t a n o v a ,   B E R T :   p r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r me r f o r   l a n g u a g e   u n d e r s t a n d i n g ,   i n   Pr o c e e d i n g o f   t h e   2 0 1 9   C o n f e r e n c e   o f   t h e   N o rt h ,   2 0 1 9 ,   p p .   4 1 7 1 4 1 8 6 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 9 - 1 4 2 3 .   [ 1 2 ]   B .   S o n a r e ,   G .   J.   D h a r mal e ,   A .   R e n a p u r e ,   H .   K h a n d e l w a l ,   a n d   S .   N a r h a r sh e t t i w a r ,   E - mai l   sp a m   d e t e c t i o n   u s i n g   m a c h i n e   l e a r n i n g ,   i n   2 0 2 3   4 t h   I n t e r n a t i o n a l   C o n f e re n c e   f o r   Em e r g i n g   T e c h n o l o g y   ( I N C ET) ,   M a y   2 0 2 3 ,   p p .   1 5   d o i :   1 0 . 1 1 0 9 / I N C ET 5 7 9 7 2 . 2 0 2 3 . 1 0 1 7 0 1 8 7 .   [ 1 3 ]   V .   I .   D .   R o sar i o ,   B .   D .   P .   F e r n a n d e z ,   a n d   D .   A .   P a d i l l a ,   Ema i l   sp a c l a ss i f i c a t i o n   u s i n g   D i st i l B E R T,   i n   2 0 2 3   I EE 1 5 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   H u m a n o i d ,   N a n o t e c h n o l o g y ,   I n f o rm a t i o n   T e c h n o l o g y ,   C o m m u n i c a t i o n   a n d   C o n t r o l ,   En v i r o n m e n t ,   a n d   Ma n a g e m e n t   ( H N I C E M) ,   2 0 2 3 ,   p p .   1 6 ,   d o i :   1 0 . 1 1 0 9 / H N I C EM 6 0 6 7 4 . 2 0 2 3 . 1 0 5 8 9 2 1 1 .   [ 1 4 ]   V .   S .   V i n i t h a ,   D .   K .   R e n u k a ,   a n d   L .   A .   K u mar ,   L o n g   s h o r t - t e r m e m o r y   n e t w o r k f o r   e m a i l   sp a c l a ss i f i c a t i o n ,   i n   2 0 2 3   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   S y st e m s   f o C o m m u n i c a t i o n ,   I o T   a n d   S e c u r i t y   ( I C I S C o I S ) ,   2 0 2 3 ,   p p .   1 7 6 1 8 0   d o i :   1 0 . 1 1 0 9 / I C I S C o I S 5 6 5 4 1 . 2 0 2 3 . 1 0 1 0 0 4 4 5 .   [ 1 5 ]   G .   Jam e s,   D .   W i t t e n ,   T.   H a s t i e ,   a n d   R .   T i b s h i r a n i ,   A n   i n t ro d u c t i o n   t o   st a t i st i c a l   l e a r n i n g ,   v o l .   1 0 3 .   i n   S p r i n g e r   T e x t i n   S t a t i st i c s,   v o l .   1 0 3 .   N e w   Y o r k ,   U n i t e d   S t a t e s :   S p r i n g e r   N e w   Y o r k ,   2 0 1 3 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 6 1 4 - 7 1 3 8 - 7.   [ 1 6 ]   R .   E .   S c h a p i r e ,   T h e   b o o st i n g   a p p r o a c h   t o   m a c h i n e   l e a r n i n g :   a n   o v e r v i e w ,   i n   N o n l i n e a Es t i m a t i o n   a n d   C l a s si f i c a t i o n   N e w   Y o r k ,   U n i t e d   S t a t e s :   S p r i n g e r ,   2 0 0 3 ,   p p .   1 4 9 1 7 1 ,   d o i 1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 2 1 5 7 9 - 2 _ 9 .   [ 1 7 ]   K .   P o t d a r ,   T .   S .   P a r d a w a l a ,   a n d   C D.   P a i ,   A   c o m p a r a t i v e   st u d y   o f   c a t e g o r i c a l   v a r i a b l e   e n c o d i n g   t e c h n i q u e f o r   n e u r a l   n e t w o r k   c l a ss i f i e r s,”   I n t e r n a t i o n a l   J o u rn a l   o f   C o m p u t e r   A p p l i c a t i o n s ,   v o l .   1 7 5 ,   n o .   4 ,   p p .   7 9 ,   O c t .   2 0 1 7 ,   d o i :   1 0 . 5 1 2 0 / i j c a 2 0 1 7 9 1 5 4 9 5 .   [ 1 8 ]   S .   B i r d ,   E.   K l e i n ,   a n d   E.   L o p e r ,   N a t u r a l   l a n g u a g e   p r o c e ssi n g   w i t h   Py t h o n S e b a s t o p o l ,   U n i t e d   S t a t e s:   O R e i l l y   M e d i a ,   I n c . ,   2 0 0 9 .   [ 1 9 ]   P .   W a n g ,   B .   X u ,   J.  X u ,   G .   T i a n ,   C . - L.   Li u ,   a n d   H .   H a o ,   S e ma n t i c   e x p a n si o n   u s i n g   w o r d   e mb e d d i n g   c l u s t e r i n g   a n d   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   f o r   i mp r o v i n g   sh o r t   t e x t   c l a ssi f i c a t i o n ,   N e u r o c o m p u t i n g ,   v o l .   1 7 4 ,   p p .   8 0 6 8 1 4 ,   Ja n .   2 0 1 6 ,     d o i :   1 0 . 1 0 1 6 / j . n e u c o m. 2 0 1 5 . 0 9 . 0 9 6 .   [ 2 0 ]   M .   H a r o o n ,   C o m p a r a t i v e   a n a l y si s   o f   st e mm i n g   a l g o r i t h ms  f o r   w e b   t e x t   m i n i n g ,   I n t e r n a t i o n a l   J o u r n a l   o f   Mo d e rn   Ed u c a t i o n   a n d   C o m p u t e r   S c i e n c e ,   v o l .   1 0 ,   n o .   9 ,   p p .   2 0 2 5 ,   S e p .   2 0 1 8 ,   d o i :   1 0 . 5 8 1 5 / i j m e c s.2 0 1 8 . 0 9 . 0 3 .   [ 2 1 ]   N .   N .   A .   S j a r i f ,   N .   F .   M .   A z m i ,   S .   C h u p r a t ,   H .   M .   S a r k a n ,   Y .   Y a h y a ,   a n d   S .   M .   S a m,  S M S   s p a m e ssa g e   d e t e c t i o n   u si n g   t e r m   f r e q u e n c y - i n v e r s e   d o c u me n t   f r e q u e n c y   a n d   r a n d o m   f o r e st   a l g o r i t h m,”   Pr o c e d i a   C o m p u t e r   S c i e n c e ,   v o l .   1 6 1 ,   p p .   5 0 9 5 1 5 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 1 9 . 1 1 . 1 5 0 .   [ 2 2 ]   Y .   W u ,   M .   Y u a n ,   S .   D o n g ,   L.   Li n ,   a n d   Y .   L i u ,   R e m a i n i n g   u s e f u l   l i f e   e st i mat i o n   o f   e n g i n e e r e d   s y s t e ms  u si n g   v a n i l l a   LST M   n e u r a l   n e t w o r k s ,   N e u r o c o m p u t i n g ,   v o l .   2 7 5 ,   p p .   1 6 7 1 7 9 ,   Ja n .   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m. 2 0 1 7 . 0 5 . 0 6 3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  15 ,   No .   1 Feb r u ar y   20 26 :   909 - 9 1 8   918   [ 2 3 ]   J.  Li ,   A   c o mp a r a t i v e   st u d y   o f   LST M   v a r i a n t i n   p r e d i c t i o n   f o r   T e sl a st o c k   p r i c e ,   BC Bu s i n e ss  M a n a g e m e n t ,   v o l .   3 4 ,     p p .   3 0 3 8 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 5 4 6 9 1 / b c p b m. v 3 4 i . 2 8 6 1 .   [ 2 4 ]   N .   C h e n ,   E x p l o r i n g   t h e   d e v e l o p me n t   a n d   a p p l i c a t i o n   o f   LST M   v a r i a n t s ,   Ap p l i e d   a n d   C o m p u t a t i o n a l   En g i n e e ri n g ,   v o l .   5 3 ,   n o .   1 ,   p p .   1 0 3 1 0 7 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 5 4 2 5 4 / 2 7 5 5 - 2 7 2 1 / 5 3 / 2 0 2 4 1 2 8 8 .   [ 2 5 ]   S .   K .   A k p a t sa   e t   a l . ,   O n l i n e   n e w s e n t i m e n t   c l a ssi f i c a t i o n   u si n g   D i s t i l B ER T,   J o u r n a l   o f   Q u a n t u m   C o m p u t i n g ,   v o l .   4 ,   n o .   1 ,     p p .   1 1 1 ,   2 0 2 2 ,   d o i :   1 0 . 3 2 6 0 4 / j q c . 2 0 2 2 . 0 2 6 6 5 8 .   [ 2 6 ]   L.   Y a n g   a n d   A .   S h a mi ,   O n   h y p e r p a r a met e r   o p t i mi z a t i o n   o f   ma c h i n e   l e a r n i n g   a l g o r i t h ms :   t h e o r y   a n d   p r a c t i c e ,   N e u ro c o m p u t i n g v o l .   4 1 5 ,   p p .   2 9 5 3 1 6 ,   N o v .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 2 0 . 0 7 . 0 6 1 .   [ 2 7 ]   M .   H o ss i n   a n d   M .   N .   S u l a i m a n ,   A   r e v i e w   o n   e v a l u a t i o n   me t r i c s   f o r   d a t a   c l a ss i f i c a t i o n   e v a l u a t i o n s,   I n t e rn a t i o n a l   J o u r n a l   o f   D a t a   M i n i n g   K n o w l e d g e   M a n a g e m e n t   Pr o c e ss ,   v o l .   5 ,   n o .   2 ,   p p .   1 1 1 ,   M a r .   2 0 1 5 ,   d o i :   1 0 . 5 1 2 1 / i j d k p . 2 0 1 5 . 5 2 0 1 .   [ 2 8 ]   S .   La q t i b ,   K .   E .   Y a ss i n i ,   a n d   M .   L .   H a sn a o u i ,   A   t e c h n i c a l   r e v i e w   a n d   c o mp a r a t i v e   a n a l y si o f   mac h i n e   l e a r n i n g   t e c h n i q u e f o r   i n t r u s i o n   d e t e c t i o n   s y st e ms  i n   M A N ET,   I n t e rn a t i o n a l   J o u rn a l   o f   E l e c t ri c a l   a n d   C o m p u t e E n g i n e e ri n g ,   v o l .   1 0 ,   n o .   3 ,     p p .   2 7 0 1 2 7 0 9 ,   Ju n .   2 0 2 0 ,   d o i :   1 0 . 1 1 5 9 1 / i j e c e . v 1 0 i 3 . p p 2 7 0 1 - 2 7 0 9 .       B I O G RAP H I E S O F   AUTH O RS       S a tr io   S a d e wo           is  c u rre n t ly   p u rsu in g   a   m a ste o Co m p u ter  S c ie n c e   d e g re e   a th e   BINU S   G r a d u a te  P ro g ra m ,   Bin a   Nu sa n tara   Un iv e rsity ,   Ja k a rta,  In d o n e sia .   He   re c e iv e d   h is   Ba c h e lo o En g i n e e rin g   (S . Ko m . in   In f o rm a ti c fro m   Un iv e rsita Isla m   In d o n e sia   (UII)  in   2 0 1 5 .   Alo n g si d e   h is  st u d ies ,   h e   c u rre n t ly   wo r k a a   p r o f e ss io n a a a n   I n d o n e sia n   G o v e rn m e n Ag e n c y .   His   p rim a ry   re se a rc h   in tere sts  i n c lu d e   a rti ficia in tell ig e n c e   (AI),   m a c h in e   lea rn in g ,   a n d   d e e p   lea rn in g .   Th is  p a p e is  su b m it ted   a s   a   p a rti a fu lfi ll m e n o t h e   re q u irem e n ts  fo r   h is  m a ste r' s   d e g re e   g ra d u a ti o n .   He   c a n   b e   c o n tac ted   a t   e m a il :   sa tri o . sa d e wo @b i n u s.a c . i d .         Am a li a   Za h r a           h o l d a   P h . D.  i n   Co m p u ter  S c ien c e   fr o m   th e   S c h o o o f   Co m p u ter  S c ien c e   a n d   In f o rm a ti c s,  Un iv e r sity   Co l leg e   Du b li n   (UCD ),   Ire l a n d ,   o b tai n e d   i n   2 0 1 4 .   S h e   re c e iv e d   h e r   b a c h e lo r' s   d e g re e   i n   C o m p u ter  S c ien c e   f ro m   th e   U n iv e rsit y   o In d o n e sia   (UI),   In d o n e sia ,   in   2 0 0 8 .   S h e   is  c u rr e n tl y   a   lec tu re a n d   q u a li ty   c o o rd i n a to a t h e   m a ste o f   Co m p u ter  S c ien c e   P ro g ra m ,   Bi n a   Nu sa n tara   Un iv e rsit y ,   a   p o siti o n   sh e   h a h e l d   si n c e   2 0 1 7 .   P rio t o   t h is,  sh e   se rv e d   a a   lec tu re a n d   re se a rc h e a th e   F a c u lt y   o C o m p u ter  S c ien c e ,   Un iv e rsity   o I n d o n e sia .   He re se a rc h   in tere sts  in c lu d e   sp e e c h   p r o c e ss in g ,   sp e e c h   re c o g n it i o n ,   sp e a k e re c o g n it i o n ,   sp o k e n   la n g u a g e   i d e n ti f ica ti o n ,   m a c h in e   lea rn in g ,   d e e p   lea rn i n g ,   b ig   d a t a   a n a ly ti c s,  a n d   c o m p u tati o n a l   in telli g e n c e .   S h e   c a n   b e   c o n tac ted   a t   e m a il :   a m a li a . z a h ra @b in u s.a c . id .     Evaluation Warning : The document was created with Spire.PDF for Python.