T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  24 ,   No .   2 A p r il   20 26 ,   p p .   56 4 ~ 5 7 3   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 24 i 2 . 27398          564       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Ev a lua ting lea rning  rate e ff ec ts on  lo ng  sho rt - ter m   m e m o ry   for  I ndo nesia n senti m en cla ss ifi ca tion       S er ly   E ldi na T e k a d M a t ula t a n No v riza l F a t t a h F a hm it r a   D e p a r t me n t   o f   I n f o r mat i c En g i n e e r i n g ,   S c h o o l   o f   El e c t r i c a l   a n d   I n f o r mat i c s U n i v e r s i t a M a r i t i R a j a   A l i   H a j i ,   T a n j u n g p i n a n g ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u l   14 2025   R ev i s ed   J an   12 2 0 2 6   A cc ep ted   J an   30 2 0 2 6       H y p e rp a ra m e ter  o p ti m iza ti o n   i a   c ru c ial   p r o c e ss   f o e n h a n c in g   t h e   p e rf o r m a n c e   o f   d e e p   lea rn in g   m o d e ls,  p a r ti c u larly   in   t h e   c o n tex o f   In d o n e sia n   se n ti m e n c las sif ic a t io n .   T h is  st u d y   e x a m in e th e   im p a c o f   v a r y in g   lea rn in g   ra tes   o n   a   l o n g   sh o r t - term   m e m o r y   ( L S T M a rc h it e c tu re   train e d   w it h   th e   a d a p t iv e   m o m e n e stim a ti o n   (A d a m )   o p ti m i z e r.   Th e   d a tas e c o m p rise 9 , 2 9 5   In d o n e sia n   c o m m e n ts  a u to m a ti c a ll y   lab e led   b y   th e   I n d o n e sia n   B id irec ti o n a l   E n c o d e R e p re se n tatio n f ro m   T ra n sf o rm e rs   ( In d o BERT )   m o d e l.   S tratif ied   k - f o ld   c ro ss - v a li d a ti o n   w a e m p lo y e d   to   m a in tain   c las b a lan c e   d u rin g   tr a in in g .   L e a rn in g   c u rv e w e r e   a n a l y z e d   to   e v a lu a te  c o n v e rg e n c e   a n d   id e n ti f y   p o ten ti a o v e rf it ti n g ,   w h il e   e a rly   sto p p in g   w a a p p li e d   w h e n   p e rf o rm a n c e   im p ro v e m e n ts  b e c a m e   in sig n ifi c a n t.   T h e   one - w a y   a n a l y sis  o f   v a rian c e   ( A N OV A )   tes ( p - a d j   =   0 . 0 0 0 5 7 5   <   0 . 0 5 re v e a led   sig n i f ica n d if fe re n c e a m o n g   th e   lea rn in g   ra te  v a riatio n s .   P o st - h o c   a n a ly sis  in d ica ted   th e   lea rn in g   ra tes   o 0 . 0 0 0 1 0 . 0 0 1 ,   a n d   0 . 0 0 2   d if f e sig n if ica n tl y   f r o m   0 . 0 2 .   De sc rip ti v e   sta ti stics   sh o w e d   th a a   lea rn i n g   ra te  o f   0 . 0 0 1   w a th e   m o st  o p ti m a l,   a c h i e v in g   th e   h ig h e st  v a li d a ti o n   a c c u r a c y   w h il e   m a in tain in g   a   re lativ e ly   lo w   v a ri a n c e .   Ev a lu a ti o n   a c ro ss   tw o   d a ta   c a teg o ries   d e m o n stra ted   th a lo w e lea rn in g   ra tes   ( 0 . 0 0 0 1   a n d   0 . 0 0 2 a c h iev e d   th e   b e s t   a c c u ra c y ,   7 8 . 7 1 %   o n   i n - d o m a in   d a ta,  w h e re a h ig h e lea rn i n g   r a tes   (0 . 0 1   a n d   0 . 0 2 )   p e rf o rm e d   b e tt e o n   c ro ss - d o m a in   d a ta  w it h   3 6 %   a c c u ra c y .   T h e se   f in d in g h ig h li g h th e   c ru c ial  ro l e   o f   lea rn in g   ra te  se le c ti o n   in   d e term in i ng  m o d e sta b il it y   a n d   g e n e ra li z a ti o n   c a p a b il it y .   K ey w o r d s :   A d ap tiv m o m en t e s ti m atio n   E ar ly   s to p p in g   L ea r n i n g   r ate   L o n g   s h o rt - ter m   m e m o r y     On e - w a y   a n al y s i s   o f   v ar ian ce   Sen ti m e n t c las s i f icatio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ser l y   E ld in a   Dep ar t m en t o f   I n f o r m atic s   E n g in ee r i n g Sch o o l o f   E lectr ical   an d   I n f o r m a tics   Un i v er s ita s   Ma r iti m   R aj A li  Haj i   T an j u n g p in a n g ,   I n d o n esia     E m ail:  s er l y eld i n a0 3 @ g m ai l.c o m       1.   I NT RO D UCT I O   Sen ti m e n an al y s is   o n   s o cial  m ed ia  h as  b ec o m p r o m i n e n r esear ch   ar ea   th at  lev er a g e s   n at u r al  lan g u a g p r o ce s s in g   ( NL P )   an d   co m p u tatio n al  lin g u is tic s   to   ex tr ac s u b j ec tiv in f o r m atio n   f r o m   te x tu a d ata,   th er eb y   i m p r o v i n g   th u n d er s tan d in g   o f   p u b lic  o p in io n ,   b r an d   p er ce p tio n ,   an d   s o cial  d y n a m ics   [ 1 ] ,   [ 2 ] .   I is   w id el y   u s ed   to   class i f y   I n d o n esian   te x i n to   t h r ee   s en ti m e n ca teg o r ies:   p o s iti v e,   n e g ati v e,   an d   n eu tr al  [ 3 ] .   On o f   t h m o s w id el y   u s ed   m o d els  f o r   th i s   p u r p o s is   t h lo n g   s h o r t - ter m   m e m o r y   ( L ST M) ,   ty p o f   r ec u r r en n eu r al  n et w o r k   ( R N N)   th at  is   ca p ab le  o f   ca p tu r i n g   lo n g - ter m   d ep en d en cie s   w it h in   s eq u en tia d ata,   al lo w i n g   it to   p er f o r m   ef f ec ti v el y   ac r o s s   w id r an g o f   tex t   p r o ce s s in g   ta s k s   [ 4 ] - [ 6 ] .   L ea r n i n g   r ate  o p tim izatio n   p la y s   cr u cial  r o le  in   d ee p   le ar n in g ,   as  it  s ig n if ican t l y   af f ec ts   m o d el  s tab ilit y   a n d   co n v er g e n ce .   Am o n g   v ar io u s   o p ti m izatio n   al g o r ith m s ,   t h e   ad ap tiv m o m e n esti m at io n   ( A d a m )   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         E va lu a tin g   le a r n in g   r a te  effec ts   o n   lo n g   s h o r t - term me mo r fo r   I n d o n esia n     ( S erly E ld in a )   565   o p tim izer   is   o n o f   th m o s p o p u lar ,   as  it  a d ap tiv el y   ad j u s ts   th lear n in g   r ate  u s i n g   b o th   m o m en t u m   a n d   g r ad ien m ea n   e s ti m atio n ,   e n ab lin g   f aster   a n d   m o r s tab le  co n v er g e n ce   [ 7 ] - [ 9 ] .   T h lear n in g   r ate  its el f   i s   cr itica h y p er p ar am e ter   th at   i n f lu e n ce s   th s tab ilit y   a n d   s p ee d   o f   th tr ain i n g   p r o ce s s .   A   h i g h   lear n i n g   r ate  in cr ea s es  t h r is k   o f   o v er s h o o tin g   t h o p ti m al  s o l u tio n ,   w h er ea s   lo w   lear n in g   r ate  le ad s   to   g r ad u al  an d   s lo w er   co n v er g e n ce   [ 10 ] .   P r o p er   tu n i n g   o f   t h is   p ar a m eter   i s   v ital  to   ac h ie v i n g   o p ti m al   m o d el   p er f o r m a n ce   an d   to   m iti g ati n g   o v er f it tin g   o r   u n d er f itti n g .   T h er ef o r e,   ad d itio n al  s tr ateg ie s   s u ch   a s   ea r ly   s to p p in g   a n d   d r o p o u t a r o f ten   ap p lied   to   p r ev en t t h e s is s u es [ 11 ].   P r ev io u s   s tu d ies   h a v e x p lo r ed   th i m p le m en ta tio n   o f   t h e   L ST m o d el  [ 1 2 ] ,   an d   th u s o f   t h e   A d a m   o p ti m izer   f o r   I n d o n esia n   s e n ti m en an al y s is   [ 1 3 ] .   Fo r   ex a m p le,   s t u d y   a n al y zin g   v ar io u s   lear n i n g   r ate  co n f i g u r atio n s   r ep o r ted   th at  d if f er en t   lear n i n g   r ate  v al u es  ( 0 . 1 ,   0 . 0 1 ,   0 . 0 0 1 )   an d   ep o ch   s ettin g s   ( 3 0 0 ,   5 0 0 ,   1 0 0 0 )   in f l u e n ce d   m o d el  s tab il it y   a n d   ac cu r ac y   i n   ti m e - s er ie s   p r ed ictio n   o f   c h lo r o p h y ll - co n ce n tr atio n ,   w it h   s u b o p ti m al  lear n i n g   r ate s   ca u s i n g   tr ain i n g   i n s tab ilit y   [ 1 4 ] .   Si m ilar l y ,   s t u d y   o n   th e   C I F A R - 1 0   d ata s et   s h o w ed   th at  lear n i n g   r ate  o f   0 . 0 0 1   c o m b i n ed   w it h   d r o p o u r ate  o f   0 . 5   y ield ed   th b est  p er f o r m an ce   i n   ad d r ess in g   o v er f itti n g   a n d   u n d er f itti n g   is s u e s   [ 10 ] .   An o th e r   s tu d y   o n   th e   I n d o n e s ian   B i d ir ec tio n al  E n co d er   R ep r esen tat io n s   f r o m   T r an s f o r m er s   ( I n d o B E R T )   s en ti m e n t   an al y s i s   m o d e co n clu d ed   th at  v ar iatio n s   in   th e   A d a m   lear n in g   r ate  s ig n i f ic an tl y   i n f l u e n ce d   s tab ilit y   a n d   ac cu r ac y .   T h o p ti m al  lea r n in g   r ate  o f   2 e - ac h iev ed   a n   ac c u r ac y   o f   9 4 . 1 4 %,  w h ile  a n   e x ce s s i v el y   l o w   v al u o f   1 e - 7   ca u s ed   i n s t ab ilit y   a n d   r ed u ce d   ac cu r ac y   to   6 9 . 7 6 % [ 1 5 ].   A lt h o u g h   p r ev io u s   s t u d ies  h a v ex a m in ed   th i m p ac o f   l ea r n in g   r ate  v ar iatio n s ,   th er e   r em ai n s   a   r esear ch   g ap .   B ased   o n   o u r   c u r r en k n o w led g e,   n o   s tu d y   h as  s p ec if icall y   in v es tig ated   th ef f ec o f   lear n i n g   r ate  v ar iatio n s   o n   th L ST m o d el  f o r   I n d o n e s ia n   tex class if icatio n   u s i n g   au to m a ticall y   lab eled   d ata   g en er ated   b y   f i n e - tu n ed   I n d o B E R T   m o d el.   Mo s p r io r   wo r k s   f o cu s ed   o n   ti m e - s er ie s ,   i m ag e,   o r   s en ti m en t   d atasets   w it h o u p er f o r m i n g   s t atis tical  s i g n i f ican ce   tes ts   o n   t h r esu lt s .   T h er ef o r e,   th is   s tu d y   ai m s   to   ev al u ate  th ef f ec t o f   d if f er en A d a m   le ar n in g   r ate  co n f ig u r atio n s   o n   t h p er f o r m a n ce   o f   tex t c la s s i f icatio n   m o d el.     T h m o d el  w as  tr ai n ed   u s i n g   9 , 2 9 5   I n d o n esian   co m m e n t s ,   an d   Stra tif ied   k - f o ld   cr o s s - v al i d atio n   w as   a p p lied   to   en s u r r esu lt  r eli ab ilit y   an d   to   ad d r ess   class   im b ala n ce   b y   m ai n tai n i n g   p r o p o r tio n al  class   d is tr ib u tio n s   in   ea c h   f o ld   [ 1 6 ] .   Fu r th er m o r e,   o n e - w a y   a n al y s i s   o f   v ar ia n ce   ( AN OV A )   test   w ith   s ig n i f ica n ce   lev el  o f   ( p - ad j   0 . 0 5 )   w as  co n d u c ted   to   d ete r m i n s tati s tical  s ig n i f ica n ce ,   f o llo w ed   b y   p o s t - h o test   to   ass es s   d if f er en ce s   a m o n g   lear n i n g   r ate  v ar iatio n s   [ 1 7 ] ,   [ 1 8 ] .   T h ev alu atio n   w a s   co n d u cted   u s i n g   co n f u s io n   m atr i x   u n d er   t w o   d ata  s ce n ar io s   to   ass ess   t h m o d el s   g e n er aliza tio n   ab ilit y in - d o m ai n   ( co m m e n t s   f r o m   th Sire k ap   ap p licatio n   o n   th P lay   Sto r e)   an d   cr o s s - d o m ai n   ( n e w s   h ea d lin e s   r elate d   to   th Ma k an a n   B er g izi  Gr atis   ( MB G) ”  to p ic)   [ 19 ] .     T h m a in   co n tr ib u tio n s   o f   t h is   s tu d y   ar as  f o llo w s ( i)   p r o v id in g   a n   e m p ir ical  a n al y s is   o f   th e f f ec o f   lear n i n g   r ate   v ar iatio n s   o n   th ac cu r ac y ,   s tab ilit y ,   an d   g e n er aliza tio n   ab ilit y   o f   t h L S T m o d el  an d   ( ii)  p r esen tin g   th f ir s s t u d y   t h at  ex a m in e s   th i m p ac o f   lear n i n g   r ate  v ar iatio n s   o n   an   I n d o n esian   L ST m o d el   au to m at icall y   lab eled   u s in g   t h I n d o B E R T   m o d el,   w it h   v al i d atio n   th r o u g h   o n e - w a y   A N OV A   s tati s tical  test   an d   ev alu a tio n   co n d u cted   o n   b o th   in - d o m ai n   an d   cr o s s - d o m a in   d ataset s .   T h r em ai n d er   o f   th is   p ap er   is   o r g an ized   as:  s ec tio n   2   d escr ib es  th r esear ch   m et h o d o lo g y ,   s ec tio n   3   p r esen ts   th ex p er i m en tal  r esu l ts   an d   an al y s is ,   a n d   s ec tio n   4   co n cl u d es th s t u d y   a n d   p r o v id es d ir ec tio n s   f o r   f u t u r r esear ch .       2.   M E T H O D   T h is   s tu d y   e m p lo y s   s en ti m e n clas s if icatio n   ap p r o ac h   to   an al y ze   te x t u al  d ata  s y s te m atic all y .   T h r esear ch   m et h o d o lo g y   is   s h o w n   in   Fig u r 1 ,   w h ic h   p r esen ts   t h p r o ce s s   f r o m   d ata  co llectio n   an d   p r ep r o ce s s in g   to   m o d el  tr ain in g   an d   ev al u atio n .   T h F ig u r e   1   p r o v id es  clea r   o v er v ie w   o f   th w o r k f lo w   u s ed   in   th is   s t u d y .           Fig u r 1 .   R esear ch   m et h o d o lo g y     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T ele co m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 56 4 - 57 3   566   2 . 1 .     Da t a   s cr a pin g   D a t a   c o ll e c ti o n   w a s   p e r f o r m e d   t h r o u g h   a   w e b   s c r a p in g   t e ch n iq u e   u s in g   th e   G o o g l e   Pl ay   S c r a p e r   [ 2 0 ] ,   to   s y s te m atica ll y   o b tain   u s er   c o m m e n t s .   I n   to tal,   1 9 , 9 3 6   en tr ies  w er co llected ,   f o c u s i n g   o n   Mo s R ele v an t”  r ev ie w s   f r o m   t h Sire k ap   ap p licatio n   av ai lab le  o n   th Go o g l P lay   Sto r e.     2 . 2   Da t a   prepa ra t i o n   T h d ata  p r e p ar atio n   s tag i n v o lv e s   s e v er al  ess e n t ial  p r o ce s s es  to   e n s u r th at  t h d ataset   is   s u itab le   f o r   an al y s i s   an d   m o d eli n g .   T h is   s ta g co n s i s ts   o f   p r ep r o ce s s in g ,   lab eli n g ,   f ea t u r ex tr ac tio n ,   an d   f o r m atti n g ,   ea ch   co n tr i b u t in g   to   i m p r o v ed   d ata  q u alit y   an d   m o d el  co m p atib ilit y .     2 . 2 . 1 .   P re pro ce s s ing   Da ta  p r ep r o ce s s in g   i s   f u n d a m en tal  s tep   i n   t h is   s t u d y   to   e n s u r th a th d ata  u s ed   f o r   an al y s i s   is   clea n ,   co n s is te n t,  a n d   p r o p er ly   p r ep ar ed   f o r   f u r t h er   p r o ce s s in g .   T h is   s tep   is   cr u cia i n   s e n ti m en a n al y s is ,   as  i t   co n v er ts   r a w   tex in to   s tr u ctu r ed   f o r m at   s u itab le  f o r   co m p u tat io n al  p r o ce s s i n g   [ 2 1 ] ,   [ 2 2 ] .   T h p r o ce s s   g en er all y   i n v o l v es  s e v er al  k e y   o p er atio n s ,   i n cl u d in g   r ed u n d an c y   r e m o v al  [ 2 3 ] ,   tex clea n in g ,   to k e n izatio n ,   s to p w o r d   r em o v al,   ca s f o ld in g ,   a n d   s te m m i n g   [ 2 4 ] ,   as   w ell  as  h an d li n g   m i s s i n g   v alu e s   [ 2 3 ] .   T h ese  p r ep r o ce s s in g   s tep s   co llecti v el y   i m p r o v t h q u ali t y   a n d   r eliab ilit y   o f   t h d ataset  f o r   m o d el  tr ain i n g .     2 . 2 . 2 L a belin g   T h d ata  lab elin g   p r o ce s s   w as   co n d u cted   u s i n g   t h I n d o B E R T   m o d el  av ailab le  o n   t h H u g g i n g   Fac e   p latf o r m ,   w h ic h   f ac ilit ate s   c o m m u n it y   co llab o r atio n   b y   p r o v id in g   o p en - s o u r ce   to o ls   [ 2 5 ] .   T h p r etr ain ed   m o d el  u s ed   f o r   th is   tas k   w a s   m d h u g o l/i n d o n e s ia - b er t - s e n ti m e n t - clas s i f icatio n .   Ma n u al   lab elin g   w a s   n o p er f o r m ed   d u to   li m ited   lin g u is t ic  ex p er tis an d   t h n ee d   to   m i n i m ize  an n o tato r   s u b j ec tiv it y .   T h I n d o B E R T   m o d el  w a s   ch o s e n   b ec au s i is   m o d er n   tr an s f o r m er - b ased   m o d el  tr ain ed   o n   lar g e - s ca le  I n d o n e s ia n   co r p u s ,   en ab lin g   d ee p er   u n d er s tan d in g   o f   co n te x tu a m e an in g   [ 2 6 ] .   Ho w e v er ,   lex ico n - b ased   ap p r o ac h es,  s u c h   as  t h I n d o n e s ia n   S e n t i m e n L ex ico n   ( I n Set) ,   h av e   f u n d a m en tal  li m itatio n s   b ec au s t h e y   r el y   o n   k e y w o r d   m atc h i n g   w ith in   t h lex ico n   a n d   ca n n o ca p tu r s e m a n tic  m ea n i n g   p atter n s   ex p r ess ed   in   f u l l   s en te n ce s   [ 2 7 ] .   Vale n ce   aw ar e   d ictio n ar y   an d   s e n ti m en r ea s o n er   ( VA DE R )   an d   T ex tB lo b   r eq u ir tr an s latio n   in to   E n g lis h ,   w h ich   m a y   r esu lt   in   th lo s s   o f   t h o r ig i n al  m ea n in g   [ 2 8 ] .   I n d o B E R T   w as  u s ed   i n   th is   s t u d y   to   au to m atica l l y   lab el  s e n ti m e n ts ,   cr ea ti n g   th r ee   clas s es n eg a tiv e ,   n eu tr al,   a n d   p o s itiv e.   Af ter   t h lab elin g   p r o ce s s ,   to tal  o f   1 7 , 1 5 2   tex en tr ies  w er o b ta in ed ,   co n s i s ti n g   o f   1 2 , 2 7 6   ( 7 1 . 6 %)  n eg ati v e,   2 , 9 4 6   ( 1 7 . 2 %)  n eu tr al,   an d   1 , 9 3 0   ( 1 1 . 2 %)  p o s itiv s e n ti m en ts .   T h r es u lt in g   lab eled   d ataset  w as t h e n   u s ed   to   tr ain   th L ST m o d el.     2 . 2 . 3 .   Resa m p lin g   T h d ataset  g en er ated   f r o m   th I n d o B E R T - b ased   lab elin g   p r o ce s s   w a s   f u r t h er   r ef i n e d   th r o u g h   u n d er s a m p li n g   u s in g   t h r an d o m   u n d er   s a m p ler   tech n iq u to   r ed u ce   class   i m b ala n ce   an d   m in i m ize  m o d e l   b ias  to w ar d   th m aj o r it y   class   [ 29 ] .   A f ter   th u n d er s a m p li n g   p r o ce s s ,   th d ataset  co n s i s te d   o f   9 , 2 9 5   en tr ies,  w it h   clas s   d is tr ib u tio n s   o f   4 , 4 1 9   ( 4 7 . 5 %)   n eg ati v e,   2 , 9 4 6   ( 3 1 . 7 %)   n eu tr al,   an d   1 , 9 3 0   ( 2 0 . 8 %)   p o s itiv s en ti m e n ts .   T h d is tr ib u t io n   r esu lt s   af ter   r esa m p li n g   ar s h o w n   i n   Fi g u r 2 .           Fig u r 2 C lass   d is tr ib u tio n   co m p ar i s o n   b ef o r an d   a f ter   u n d er s a m p li n g   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         E va lu a tin g   le a r n in g   r a te  effec ts   o n   lo n g   s h o r t - term me mo r fo r   I n d o n esia n     ( S erly E ld in a )   567   T h d ataset  w as  s tr ati f ied   in t o   9 0 f o r   tr ain in g   ( 8 , 3 6 5   en tr ies)  an d   1 0 f o r   test in g   ( 9 3 0   en tr ies),   en s u r in g   t h at   clas s   p r o p o r tio n s   r e m ai n ed   b ala n ce d   ac r o s s   s u b s ets.   A   s tr atif ied   1 0 - f o ld   cr o s s - v alid atio n   w a s   th en   ap p lied   to   th tr ain i n g   s et.   E ac h   f o ld   p r o d u ce d   tr ain in g   an d   v al id atio n   s u b s ets  w it h   b alan ce d   class   d is tr ib u tio n s ,   en ab lin g   co m p r eh en s i v m o d el  ev al u atio n   an d   en s u r i n g   m o r r eliab le  an d   r ep r esen tativ r esu lt s   [ 1 6 ] .     2 . 2 . 4 .   Sp litt ing   d a t a   T h d ataset  u s ed   in   th is   s t u d y   co n s is ted   o f   9 , 2 9 5   en tr ies,   d iv id ed   in to   a   tr ain in g   s et  c o m p r i s in g   8 9 . 9 9 ( 8 , 3 6 5   en tr ies)  an d   test in g   s et  co m p r is i n g   1 0 . 0 1 ( 9 3 0   en tr ies).   T h tr ain i n g   d ata  w er e   s u b s eq u en t l y   p ar titi o n ed   u s i n g   s tr atif ied   1 0 - f o ld   cr o s s - v ali d atio n ,   w it h   9 0 ( 7 , 5 2 8   en tr ies)  u s ed   f o r   tr ai n in g   an d   1 0 % ( 8 3 7   en tr ies)  f o r   v ali d atio n   in   ea ch   f o ld   d u r in g   m o d el  tr ain in g   [ 30 ].     2 . 2 . 5 .     F ea t ure  ex t ra c t io n   Featu r e x tr ac tio n   w as  co n d u cted   to   co n v er te x t u al  d ata  i n to   n u m er ical  r ep r ese n tatio n s   s u itab le  f o r   p r o ce s s in g   b y   t h clas s i f icati o n   alg o r it h m   [ 3 1 ] .   T h is   p r o ce s s   i n v o l v ed   to k e n izatio n ,   in   w h ic h   t h te x w as   tr an s f o r m ed   in to   in teg er   s eq u en ce s   u s i n g   t h Ker as  T o k en izer   [ 3 2 ] ,   an d   p ad d in g ,   w h ic h   s ta n d ar d ized   th in p u t   len g t h   b y   tr u n ca ti n g   te x ts   t h at  e x ce ed e d   th m a x i m u m   le n g th   o r   ap p en d in g   ze r o s   t o   s h o r ter   s eq u e n ce s   [3 3 ] .   T h ca teg o r ical  s en ti m e n lab els  w er m ap p ed   in to   th r ee   class es  a n d   en co d ed   u s in g   o n e - h o en co d in g .   T h f ea tu r ex tr ac tio n   p r o ce s s   is   illu s tr ated   s ch e m at icall y ,   a s   s h o w n   i n   Fi g u r 3 .           F ig u r 3 I llu s tr atio n   o f   th f ea tu r ex tr ac tio n   p r o ce s s       2 . 3 .     T ra ini ng   w it lo ng   s ho rt - t er m   m e m o ry   T h L ST alg o r it h m   f o r   s en ti m e n t   an al y s is   w as  t r ain ed   u s in g   s p ec if ic  h y p e r p ar am eter   co n f i g u r atio n s ,   w it h   p r i m a r y   f o cu s   o n   o p ti m izi n g   t h lear n in g   r ate  to   en s u r tr ain in g   s tab ilit y .   T h e   ev alu a ted   lear n i n g   r ate  v al u e s   w er 0 . 0 0 0 1 ,   0 . 0 0 1 ,   0 . 0 0 2 ,   0 . 0 0 5 ,   0 . 0 1 ,   an d   0 . 0 2 .   Du r in g   tr ain in g ,   an   ea r l y   s to p p in g   m ec h a n is m   w as  e m p lo y ed   to   ter m in a te  th p r o ce s s   w h en   i m p r o v e m e n t s   in   v ali d atio n   p er f o r m a n ce   b ec am i n s ig n i f i ca n t,  th er eb y   p r ev en ti n g   o v er f it tin g   a n d   ac ce ler atin g   co n v er g en ce   [ 3 4 ] .     T h L ST m o d el  w as  i m p le m en ted   u s i n g   th Ker a s   lib r ar y   i n   P y th o n   [ 3 5 ] .   T h m o d el   co n f i g u r atio n   i n   t h is   s t u d y   co n s i s ted   o f   6 4 - d i m e n s io n al  e m b ed d i n g ,   a n   L ST la y er   with   3 2   u n it s ,   an d   d en s la y er   w it h   3   o u tp u u n it s ,   alo n g   w it h   d r o p o u r ate  s e to   0 . 2   an d   b atch   s ize  o f   3 2 .   T h is   co n f ig u r atio n   w a s   ad ap ted   f r o m   p r ev io u s   s t u d ies,  in   w h ic h   an   e m b ed d in g   s ize  o f   6 4   an d   d r o p o u r ate   o f   0 . 2   w er f o u n d   ef f ec tiv f o r   s en ti m e n an a l y s is   tas k s   [ 3 6 ] ,   w h ile  t h u s o f   3 2   L ST u n it s   f o llo w ed   h y b r id   ar ch itect u r ap p lied   to   h o tel  r ev ie w   s en ti m en an al y s i s   [ 3 7 ] .   A   b atch   s ize  o f   3 2   w a s   co n s is ten t l y   ad o p ted   in   b o th   p r io r   s tu d ie s .     2 . 4 .     T esting   T h test in g   d at a s et  w a s   r eser v ed   ex clu s i v el y   f o r   e v al u ati n g   th f i n al  p er f o r m a n ce   o f   t h m o d el   an d   w a s   n o u s ed   d u r i n g   th tr ai n in g   o r   v alid atio n   p h ases   to   p r ev en b ias  [ 3 8 ] .   T h ev alu at io n   w as  co n d u cted   ac r o s s   t w o   d o m ai n s   u s in g   co n f u s io n   m a tr ix i n - d o m ai n ,   w h ic h   in cl u d es  9 3 0   test   s a m p les  f r o m   Sire k ap   ap p licatio n   r ev ie w s   o n   t h Go o g le  P lay   Sto r ( 4 4 2   n eg ativ e,   2 9 5   n eu tr al,   an d   1 9 3   p o s itiv e) ,   an d   cr o s s - d o m ai n ,   w h ich   i n cl u d es 1 0 0   n e w s   h ea d li n es r elate d   to   th M B ( 3 0   n eg ativ e,   4 0   n eu tr al,   a n d   3 0   p o s itiv e) .     2 . 5 .     M ea s ure m e nt   Mo d el  ev alu atio n   w as   c o n d u c ted   th r o u g h   cr o s s - v alid atio n   o n   t h tr ain in g   d ata,   f o llo w ed   b y   o n e - w a y   ANOV A   test   to   d eter m i n th s i g n i f ica n ce   o f   p er f o r m an ce   d if f er e n ce s   a m o n g   v a r io u s   lear n in g   r ate   co n f i g u r atio n s .   A   p o s t - h o test   w a s   s u b s eq u en tl y   ap p lied   t o   f u r th er   ex a m in p air w i s d if f er en ce s   [ 39 ] .   T o   v alid ate  th s tati s tical  r es u lts ,   f in al  e v al u atio n   w a s   co n d u cted   o n   th test i n g   d ataset  u n d er   t w o   s ce n ar io s :   co m m e n t s   f r o m   th Sire k ap   ap p licatio n   o n   th Go o g le  P la y   S to r an d   n e w s   h ea d lin e s   r elate d   to   th MBG   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T ele co m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 56 4 - 57 3   568   p r o g r am .   T h r ep r ese n ta tiv e   m o d el  w it h   t h b est  p er f o r m an ce   f r o m   ea c h   lear n i n g   r ate   co n f i g u r atio n   w a s   s elec ted   b ased   o n   th o p ti m al   f o ld .   Mo d el  p e r f o r m a n ce   w a s   m ea s u r ed   u s i n g   s ta n d ar d   class i f icatio n   m etr ic s   d er iv ed   f r o m   th co n f u s io n   m atr ix ,   in cl u d i n g   ac c u r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e.       3.   RE SU L T S AN D I SCU SS I O   3 . 1 .    E x peri m ent a l r esu lt s   a n d a na ly s is     T h ex p er im e n t s   w er co n d u c ted   o n   tex class i f icat io n   tas k   u s in g   L ST ar ch itectu r o p tim ized   w it h   th A d a m   o p ti m izer .   An   ea r l y   s to p p in g   m ec h a n i s m   w it h   a   p atien ce   o f   t h r ee   ep o ch s   w a s   ap p lied   to   p r ev en o v er f itti n g   [ 3 4 ] .   T r ain in g   w a s   h a lted   w h e n   n o   i m p r o v e m e n i n   v alid atio n   p er f o r m an ce   w a s   o b s er v ed   f o r   th r ee   co n s ec u tiv ep o ch s ,   an d   th b es t - p er f o r m i n g   m o d e w a s   s e lecte d   b ased   o n   t h lo w e s v alid atio n   lo s s   be f o r r ea ch in g   th p atie n ce   t h r es h o ld .   Fig u r 4   s h o w s   t h v alid atio n   lo s s   cu r v o f   t h m o d el  ac h iev i n g   t h e   h ig h e s v alid atio n   ac c u r ac y ,   p r esen ted   as   r ep r esen tati v e x a m p le  s i n ce   al f o ld s   ex h ib it  s i m ilar   p atter n s .   T h e   r ed   d ash - d o li n in d ica te s   t h s elec ted   m o d el  p r io r   to   th o n s et  o f   i n cr ea s i n g   lo s s ,   illu s tr atin g   t h lo s s   b eh av io r   b ef o r p o ten tial o v er f itti n g .           ( a)   ( b )           ( c)   ( d )           ( e)   ( f )     Fig u r 4 R ep r esen tati v lo s s   h is to r y   f o r   s elec ted   lear n i n g   r ates : ( a)   0 . 0 0 0 1 ,   ( b )   0 . 0 0 1 ,   ( c )   0 . 0 0 2 ,   ( d )   0 . 0 0 5 ,     ( e)   0 . 0 1 ,   an d   ( f )   0 . 0 2   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         E va lu a tin g   le a r n in g   r a te  effec ts   o n   lo n g   s h o r t - term me mo r fo r   I n d o n esia n     ( S erly E ld in a )   569   B ased   o n   th lo s s   c u r v e s   s h o w n   i n   F ig u r 4 ,   th e   m o d el  with   t h s m a lles t   lear n i n g   r ate   ( 0 . 0 0 0 1 )   r eq u ir ed   m o r ep o ch s   to   r ea ch   co n v er g e n ce   d u to   th li m ited   n u m b er   o f   w ei g h u p d ates,  r esu lti n g   in   a   s lo w e r ,   m o r s tab le  o p ti m izatio n   p r o ce s s .   I n   co n tr ast,  h ig h er   lear n i n g   r ates  ( 0 . 0 0 1 0 . 0 2 )   ac ce ler ated   th e   r ed u ctio n   o f   tr ain i n g   lo s s   an d   ca u s ed   an   ea r lier   in cr ea s in   v alid atio n   lo s s ,   in d icati n g   t h o n s et  o f   o v er f itti n g .   T h ese  co n f i g u r atio n s   ac h ie v ed   th eir   b est   p er f o r m a n ce   in   f e w er   ep o ch s ,   ex h ib iti n g   f aster ,   less   s tab l e   co n v er g e n ce   p atter n s .   I n   F ig u r 4 ( a)   co r r esp o n d s   to   0 . 0 0 0 1 ,   w h ile   F ig u r es   4 ( b )   to   ( f )   r ep r esen lear n i n g   r ate s   o f   0 . 0 0 1 ,   0 . 0 0 2 ,   0 . 0 0 5 ,   0 . 0 1 ,   a n d   0 . 0 2 ,   r esp ec tiv el y .   T h r esu lts   s h o w n   in   F ig u r e   5   in d icate   th at  lear n i n g   r ate  o f   0 . 0 0 1   p r o v id es  th b e s o v er all   p er f o r m a n ce ,   w it h   h ig h   ac cu r ac y ,   lo w   v ar ian ce ,   a n d   co n s is ten r es u lts   ac r o s s   f o ld s .   T h is   lear n in g   r ate  also   co n v er g e s   f aster   th a n   0 . 0 0 0 1   w h ile  m ai n tai n i n g   s i m i lar   ac c u r ac y   lev el s ,   d e m o n s tr ati n g   a n   o p ti m a b alan ce   b et w ee n   tr ain in g   s tab il it y   a n d   c o n v er g e n ce   s p ee d .   A lt h o u g h   th d ata s et  an d   m o d el  ar ch i tectu r d if f er   [ 1 0 ] ,   th f i n d in g s   co n s i s te n tl y   in d i ca te  th at  a   m o d er ate  lear n in g   r ate  i m p r o v es  co n v er g en ce   an d   en h a n ce s   t h e   m o d el s   lear n i n g   ca p ab il it y .   B ased   o n   th v alid atio n   tr ain i n g   r e s u l ts ,   to   as s e s s   t h s ta tis tical  s i g n if ican ce   o f   p er f o r m a n ce   d if f er en ce s   a m o n g   lear n i n g   r ates,  o n e - w a y   A N OV A   w a s   co n d u cted   u s i n g   th 1 0 - f o ld   cr o s s - v alid atio n   r es u lts ,   w it h   ac cu r a c y   v al u es  av er a g ed   ac r o s s   f o ld s .   A s s u m p tio n   tes ts   co n f ir m e d   th at  th d ata  w er e   n o r m all y   d i s tr ib u ted   ( S h ap ir o - W ilk   W   0 . 9 6 1 4 ,     0 . 0 5 5 3 )   an d   h ad   h o m o g en eo u s   v ar ia n ce s   (     = 1 . 3639   0 . 2 5 2 4 ) .             Fig u r 5 .   C o m p ar is o n   o f   lear n in g   r ate s   u s in g   s tr atif ied   1 0 - f o ld   cr o s s - v a lid ati on       T h A NOV A   r es u lt s   s h o w ed   s ig n if ican e f f ec o f   lear n i n g   r ate  o n   m o d el  ac c u r ac y   ( ( 5 , 54 ) = 5 . 1989 = 0 . 000575 ² = 0 . 3250 ) ,   w ith   eta  s q u ar ed   i n d icati n g   lar g e f f ec s ize,   s u g g e s ti n g   s tati s ticall y   s ig n i f ica n d if f er e n ce s   a m o n g   lear n in g   r ate  co n f i g u r atio n s .   T h u s o f   o n e - w a y   ANOV is   co n s is te n w i t h   p r ev io u s   s tu d ie s   w h ich   a ls o   ass es s ed   s i g n if ican ce   ( < 0 . 05 )   [ 1 7 ] ,   [ 39 ] .   Fu r th er m o r e,   th e   d escr ip tiv e   s tatis t ics  o f   m o d el  p er f o r m an ce   ac r o s s   th test ed   lear n in g   r ates  ar s u m m ar ized   i n   T ab l 1 .   A s   s h o w n ,   t h e   lo w er   lear n in g   r ates   ( 0 . 0 0 0 1   an d   0 . 0 0 1 )   y ield ed   th h i g h e s m ea n   v alid atio n   ac cu r ac y   w it h   r elati v el y   lo v ar ian ce ,   i n d icati n g   s tab le  m o d el  b eh av io r .   I n   co n tr a s t,  h i g h er   lear n i n g   r ates  (   0 . 0 1 )   r esu lted   i n   d ec r ea s ed   ac cu r ac y .       T ab le  1 Descr ip tiv s tat is tic s   o f   v alid atio n   r esu l ts   ac r o s s   v a r io u s   lear n i n g   r ates   L e a r n i n g   r a t e   M e a n   S t d   d ev   M i n   M a x   0 . 0 0 0 1   0 . 8 0 4 1   0 . 0 1 2 7   0 . 7 8 8 3   0 . 8 2 6 8   0 . 0 0 1   0 . 8 0 4 2   0 . 0 1 2 0   0 . 7 8 9 5   0 . 8 2 8 0   0 . 0 0 2   0 . 7 9 7 4   0 . 0 1 3 3   0 . 7 8 1 1   0 . 8 2 0 8   0 . 0 0 5   0 . 7 9 6 2   0 . 0 1 0 5   0 . 7 7 8 7   0 . 8 0 7 6   0 . 0 1   0 . 7 8 7 4   0 . 0 2 0 8   0 . 7 6 5 6   0 . 8 2 3 2   0 . 0 2   0 . 7 7 9 7   0 . 0 0 7 2   0 . 7 7 0 3   0 . 7 9 2 1       T h p o s t - h o an al y s i s   [ 1 8 ]   r e v ea led   th at  s ig n i f ica n t   d if f er e n ce s   i n   m o d el  ac cu r ac y   w er f o u n d   o n l y   f o r   th h i g h est  lear n i n g   r ate   ( 0 . 0 2 )   c o m p ar ed   w it h   0 . 0 0 0 1 ,   0 . 0 0 1 ,   an d   0 . 0 0 2 .   T ab le  2   s u m m ar izes   th e s co m p a r is o n s ,   w h ile  th r e m a i n in g   p air w is co m p ar is o n s   d id   n o s h o w   s i g n i f ica n d if f er en c es  at  s ig n i f ica n ce   lev el  o f     0 . 0 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T ele co m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 56 4 - 57 3   570   T ab le  2 P o s t - h o an al y s i s   o f   d if f er e n ce s   b et w ee n   lear n i n g   r ates   G r o u p   1   G r o u p   2   M e a n   d i f f e r e n c e   P - a d j   L o w e r   U p p e r   S i g n i f i c a n t   0 . 0 0 0 1   0. 02   - 0 . 0 2 4 4   0 . 0 0 2 0   - 0 . 0 4 2 1   - 0 . 0 0 6 7   Y e s   0 . 0 0 1   0 . 0 2   - 0 . 0 2 4 5   0 . 0 0 1 9   - 0 . 0 4 2 2   - 0 . 0 0 6 8   Y e s   0 . 0 0 2   0 . 0 2   - 0 . 0 1 7 7   0 . 0 4 9 9   - 0 . 0 3 5 4   0   Y e s       3 . 2 .     E v a lua t i o n   E v alu a tio n   w as  co n d u cted   to   v alid ate  th tr ain i n g   r esu lt s   u s in g   t h test   d ataset  [ 3 8 ] .   L o w er   lear n in g   r ates  ( 0 . 0 0 0 1   an d   0 . 0 0 1 )   ex h ib ited   m o r s tab le  co n v er g e n ce ,   w it h   o n e - w a y   ANOV A   in d i ca tin g   s ig n i f ica n t   ef f ec o n   ac cu r ac y .   T h m o d el s   g en er aliza tio n   ca p ab ilit y   w as  f u r th er   as s ess ed   t h r o u g h   co n f u s io n   m atr i x   an al y s is   u n d er   t w o   s ce n ar io s in - d o m ai n   an d   cr o s s - d o m a in   [ 19 ] .   T h d eta iled   ev alu atio n   r esu lt s   ar s h o w n   i n   T ab le  3 .       Ta b le   3 C lass if icatio n   r ep o r t : in - d o m ai n   an d   cr o s s - d o m ai n   D o mai n   L e a r n i n g   r a t e   A c c u r a c y   M a c r o   a v e r a g e   W e i g h t   a v e r a g e   P r e c i si o n   R e c a l l   F1 - s c o r e   P r e c i si o n   R e c a l l   F1 - sco r e   In - d o mai n   0 . 0 0 0 1   0 . 7 8 7 1   0 . 7 7 3 5   0 . 7 8 0 9   0 . 7 7 6 8   0 . 7 8 9 6   0 . 7 8 7 1   0 . 7 8 7 9   In - d o mai n   0 . 0 0 1   0 . 7 8 4 9   0 . 7 7 0 1   0 . 7 8 2 7   0 . 7 7 5 3   0 . 7 8 7 8   0 . 7 8 4 9   0 . 7 8 5 6   In - d o mai n   0 . 0 0 2   0 . 7 8 7 1   0 . 7 8 2 0   0 . 7 8 2 9   0 . 7 8 1 0   0 . 7 9 2 1   0 . 7 8 7 1   0 . 7 8 8 1   In - d o mai n   0 . 0 0 5   0 . 7 8 1 7   0 . 7 7 2 0   0 . 7 7 4 3   0 . 7 7 3 0   0 . 7 8 1 4   0 . 7 8 1 7   0 . 7 8 1 4   In - d o ma in   0 . 0 1   0 . 7 7 1 0   0 . 7 5 6 3   0 . 7 6 2 8   0 . 7 5 9 3   0 . 7 7 2 9   0 . 7 7 1 0   0 . 7 7 1 6   In - d o mai n   0 . 0 2   0 . 7 7 3 1   0 . 7 6 9 3   0 . 7 6 0 3     0 . 7 6 1 9   0 . 7 7 8 9   0 . 7 7 3 1   0 . 7 7 3 5   C r o ss - d o mai n   0 . 0 0 0 1   0 . 3 3 0 0   0 . 6 5 9 7   0 . 3 6 1 1   0 . 2 1 1 2   0 . 6 6 0 4   0 . 3 3 0 0   0 . 1 9 9 4   C r o ss - d o mai n   0 . 0 0 1   0 . 3 4 0 0   0 . 7 7 0 8   0 . 3 7 2 2   0 . 2 3 2 1   0 . 7 9 3 8   0 . 3 4 0 0   0 . 2 1 8 5   C r o ss - d o mai n   0 . 0 0 2   0 . 3 3 0 0   0 . 3 0 1 5   0 . 3 5 2 8   0 . 2 5 8 1   0 . 3 0 2 6   0 . 3 3 0 0   0 . 2 5 0 2   C r o ss - d o mai n   0 . 0 0 5   0 . 3 3 0 0   0 . 6 0 5 3   0 . 3 6 1 1   0 . 2 1 1 8   0 . 5 9 4 7   0 . 3 3 0 0   0 . 1 9 9 7   C r o ss - d o mai n   0 . 0 1   0 . 3 6 0 0   0 . 6 0 7 3   0 . 3 8 6 1   0 . 2 8 6 8   0 . 5 9 6 6   0 . 3 6 0 0   0 . 2 7 8 1   C r o ss - d o mai n   0 . 0 2   0 . 3 6 0 0   0 . 5 0 1 2   0 . 3 7 2 2   0 . 3 2 53   0 . 4 8 9 5   0 . 3 6 0 0   0 . 3 2 3 1       T h r esu lts   s h o w   t h at,   f o r   in - d o m ai n   d ata,   lear n in g   r ates  o f   0 . 0 0 0 1 ,   0 . 0 0 1 ,   an d   0 . 0 0 2   ac h iev ed   t h e   b est  p er f o r m a n ce ,   w it h   ac c u r ac ies  b et w ee n   7 8 . 4 9 an d   7 8 . 7 1 an d   F1 - s co r es   ar o u n d   0 . 7 8 .   T h ese  r esu lt s   in d icate   g o o d   b alan ce   b et we en   p r ec is io n   a n d   r ec all  u n d e r   th i m b ala n ce d   d ata  co n d iti o n .   I n   co n tr ast,  f o r   cr o s s - d o m ai n   d ata,   th o v er all   ac cu r ac y   d ec r ea s ed .   L o w er   l ea r n in g   r ates  ( 0 . 0 0 0 1 0 . 0 0 2 )   r ea ch ed   o n l y   3 3 % 3 4 %,  w h i le  h i g h er   lear n in g   r ates  ( 0 . 0 1   an d   0 . 0 2 )   s lig h tl y   i m p r o v ed   ac cu r ac y   to   ab o u 3 6 %,  w it h   F1 - s co r es   r an g i n g   f r o m   0 . 2 7   to   0 . 3 2 .   A lt h o u g h   t h d i f f er e n ce s   w er n o s u b s ta n tial,  th r e s u l ts   s u g g e s t h at  h i g h er   lear n in g   r ates  p r o v id s li g h tl y   b etter   g en er aliza t io n   to   o th er   d o m ai n s ,   w h ile  lo w er   lear n in g   r ates  p er f o r m   b etter   f o r   i n - d o m ai n   d ata.   T h i s   d if f er e n ce   in d icate s   t h m o d el s   li m ited   g e n er aliza tio n   ab i lit y ,   w h ic h   m a y   b af f ec ted   b y   t h d is ti n ct  c h ar ac ter is tics   o f   t h d ataset s u s e r   co m m e n ts   ar t y p icall y   i n f o r m al  a n d   co n tex t - d ep en d en t,  w h er ea s   n e w s   ti tle s   ten d   to   b m o r f o r m al  an d   t o p ic - f o cu s ed .     3 . 3 .    P er f o rm a nce   T h m o d el  p er f o r m a n ce   f o r   d if f er en lear n i n g   r ates  is   s h o w n   i n   T ab les  4   an d   5 .   Du r in g   th e   ex p er i m e n ts ,   th e   tr ain i n g   ti m w a s   r ec o r d ed   u s i n g   t h e   P y th o n   ti m m o d u le,   a n d   m e m o r y   u s a g w a s   m o n ito r ed   t h r o u g h   th e   p s u til  l ib r ar y   i n   Go o g le  C o lab o r ato r y .   T h f i n d in g s   r ev ea th at   lea r n in g   r ate  o f   0 . 0 0 2   p r o v id ed   th m o s ef f icie n tr ain i n g   ti m e,   w h ile  lear n i n g   r ate  o f   0 . 0 0 1   ac h iev ed   th lo w e s m e m o r y   co n s u m p tio n   w it h o u t   s i g n if ic an tl y   i n cr ea s i n g   th tr ain i n g   d u r atio n .   O v er al l,  t h p er f o r m an ce   ac r o s s   i n - d o m ai n   a n d   cr o s s - d o m ai n   d atasets   r e m ai n ed   r elativ e l y   c o n s is ten t,  w it h   o n l y   m i n o r   v ar iatio n s   o b s er v ed   d esp ite  d if f er e n ce s   i n   th n u m b er   o f   test   s a m p le s   an d   ev al u a tio n   p er io d s .       T ab le   4 .   A v er ag tr ai n i n g   ti m an d   m e m o r y   u s ag fo 10 - f o ld   cr o s s - v a lid atio n   L e a r n i n g   r a t e   A v e r a g e   t i me   ( s)   A v e r a g e   me mo r y   ( M B )   0 . 0 0 0 1   2 5 9 . 5   1 3 . 3   0 . 0 0 1   8 2 . 1   5 . 3   0 . 0 0 2   6 9 . 9   1 5 . 4   0 . 0 0 5   7 8 . 1   9 . 2   0 . 0 1   7 4 . 1   5 . 2 3   0 . 0 2   6 6 . 3   1 4 . 8       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         E va lu a tin g   le a r n in g   r a te  effec ts   o n   lo n g   s h o r t - term me mo r fo r   I n d o n esia n     ( S erly E ld in a )   571   T ab le   5 .   Mo d el  p er f o r m an ce   c o m p ar is o n   o n   i n - d o m ain   a n d   cr o s s - d o m ai n   tes tin g   D a t a se t   B e st   f o l d   L e a r n i n g   r a t e   T i me   ( s)   M e mo r y   ( M B )   In - d o mai n   4   0 . 0 0 0 1   0 . 7 9   1 9 . 1 3   In - d o mai n   2   0 . 0 0 1   0 . 7 9   0 . 3 8   In - d o mai n   2   0 . 0 0 2   0 . 8 1   2 9 . 0 0   In - d o mai n   1   0 . 0 0 5   0 . 7 8   6 . 2 5   In - d o mai n   5   0 . 0 1   0 . 8 0   1 . 7 5   In - d o mai n   2   0 . 0 2   0 . 7 8   1 8 . 6 3   C r o ss - d o mai n   4   0 . 0 0 0 1   2. 96   0 . 7 5   C r o ss - d o mai n   2   0 . 0 0 1   0 . 5 6   1 6 . 3 2   C r o ss - d o mai n   2   0 . 0 0 2   0 . 5 4   9 . 8 8   C r o ss - d o mai n   1   0 . 0 0 5   0 . 5 4   0 . 2 5   C r o ss - d o mai n   5   0 . 0 1   0 . 5 2   1 2 . 0 1   C r o ss - d o mai n   2   0 . 0 2   0 . 5 2   6 . 3 8       4.   CO NCLU SI O   T h is   s tu d y   a n al y ze d   th ef f ec o f   lear n in g   r ate  v ar iatio n s   o n   th s tab il i t y   a n d   ac cu r ac y   o f   L ST M - b ased   tex c lass if ica tio n   m o d els  u s in g   th e   A d a m   o p ti m i ze r .   T h r esu lts   d e m o n s tr ate   th at   lear n i n g   r ate   s ig n i f ica n tl y   i n f l u en ce s   m o d el  p er f o r m a n ce .   B ased   o n   1 0 - f o ld   cr o s s - v alid atio n   an d   o n e - w a y   ANOV A   tes t,  s ig n i f ica n d i f f er e n ce s   w e r o b s er v ed   a m o n g   lear n i n g   r ates,   w ith   p o s t - h o an al y s is   in d ica tin g   t h at  lear n i n g   r ate  o f   0 . 0 2   d if f er ed   s i g n if ica n tl y   f r o m   0 . 0 0 0 1 ,   0 . 0 0 1 ,   an d   0 . 0 0 2 .   A n a l y s is   o f   t h tr ai n i n g   a n d   v al id atio n   lo s s   cu r v e s   s h o w ed   th at  lear n i n g   r ate  o f   0 . 0 0 0 1   p r o d u ce d   th m o s s tab le  co n v er g en ce ,   al b eit  r eq u ir in g   m o r e   ep o ch s .   L ea r n i n g   r ates  o f   0 . 0 0 0 1   an d   0 . 0 0 2   ac h iev ed   t h h ig h e s i n - d o m ai n   ac cu r ac y   o f   7 8 . 7 1 %,  w h ile  a   lear n in g   r ate  o f   0 . 0 0 1   p r o v id e d   an   o p ti m al  b alan ce   b et w ee n   s tab ilit y   a n d   tr ain in g   ef f icie n c y ,   r ea ch in g   7 8 . 4 9 %   in - d o m ai n   ac cu r ac y .   Hig h er   lear n in g   r ates  ( 0 . 0 1 0 . 0 2 )   d em o n s tr ated   b etter   ad ap ta b ilit y   to   cr o s s - d o m ai n   d ata,   ac h iev in g   3 6 ac cu r ac y ,   i n d i ca tin g   p o ten tial  f o r   i m p r o v i n g   g en er aliza t io n   d esp ite  lo w er   ab s o lu te  ac cu r ac y .   T h er ef o r e,   lear n in g   r ate  o f   0 . 0 0 1   is   r ec o m m en d ed   f o r   ac h iev in g   b o th   h ig h   ac cu r ac y   a n d   ef f icie n tr ain i n g ,   w h er ea s   0 . 0 0 0 1   is   p r ef er ab le  w h e n   tr ain i n g   s tab ilit y   is   p r io r itized .   Hig h er   lear n in g   r ates  ( 0 . 0 1 0 . 0 2 )   ca n   b e   lev e r ag ed   to   en h a n ce   ad ap tab ilit y   o n   cr o s s - d o m ai n   d ata.   T h ese  f in d i n g s   p r o v id p r ac tica g u id a n ce   f o r   NL P   p r ac titi o n er s   in   I n d o n es ia  o n   e f f ec tiv e l y   tu n i n g   lear n i n g   r ates  f o r   I n d o n e s ian   s e n ti m en an al y s i s   tas k s .   F u tu r e   r esear ch   m a y   e x p lo r ad ap tiv lear n i n g   r at m ec h a n i s m s   o r   s ch ed u ler - b ased   o p ti m i za tio n   an d   e x te n d   ex p er i m e n ts   to   o t h er   d ee p   lea r n in g   ar ch itect u r es,  s u ch   as  b id ir ec tio n al  o r   atten tio n - b ased   L ST m o d els,  to   f u r t h er   i m p r o v cr o s s - d o m ai n   g en er aliza tio n .       ACK NO WL E D G M E NT   W ac k n o w led g t h Dep ar tm en o f   I n f o r m atic s   E n g i n ee r i n g ,   Facu lt y   o f   E n g in ee r i n g   an d   Ma r iti m e   T ec h n o lo g y ,   U n iv er s itas   Ma r i ti m   R aj A li  Haj i,  f o r   p r o v id in g   t h f ac ilit ie s   an d   ac ad e m ic   en v ir o n m e n t h at   en ab led   th co m p letio n   o f   th is   r esear ch .       F UNDIN G   I NF O R M AT I O N   Au t h o r s   s tate  n o   f u n d i n g   i n v o l v ed .       AUTHO CO NT RIB UT I O NS ST A T E M E NT   T h is   j o u r n al  u s e s   th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   to   r ec o g n ize  in d i v id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au t h o r s h ip   d is p u tes,  an d   f ac ilit ate  co lla b o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ser l y   E ld in                               T ek ad   Ma tu latan                                 No v r izal  Fatta h   Fa h m itra                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y si s   I     I n v e st i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i si o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T ele co m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 56 4 - 57 3   572   CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au t h o r s   s tate  n o   co n f lic t o f   i n t er est.       DATA AV AI L AB I L I T Y   T h d ata   s u p p o r tin g   th ex p er i m e n tal  f i n d in g s   o f   th is   s t u d y ,   in clu d i n g   th m o d el  r esu l ts   o n   tr ain i n g   an d   test   d ata  a s   w ell  a s   all  r elate d   ex p er i m e n g r ap h s ,   a r p u b licl y   a v ailab le  i n   t h p r o j ec r ep o s ito r y :   [ h ttp s :// g it h u b . co m /Ser l y - E ld i n a/ L ST M - L ea r n i n g R ate - I n d o n esia - Se n ti m e n t ].       RE F E R E NC E S   [ 1 ]   T .   Jo se p h ,   N a t u r a l   l a n g u a g e   p r o c e ssi n g   ( N L P )   f o r   se n t i me n t   a n a l y si i n   s o c i a l   me d i a ,   I n t e rn a t i o n a l   J o u rn a l   o f   C o m p u t i n g   a n d   En g i n e e ri n g ,   v o l .   6 ,   n o .   2 ,   p p .   3 5 4 8 ,   2 0 2 4 ,   d o i :   1 0 . 4 7 9 4 1 / i j c e . 2 1 3 5 .   [ 2 ]   J .   Jo se   a n d   R.  S i mr i t h a ,   S e n t i me n t   a n a l y si a n d   t o p i c   c l a ssi f i c a t i o n   w i t h   L S T M   n e t w o r k a n d   T e x t R a z o r ,   I n t e r n a t i o n a l   J o u rn a l   o f   D a t a   I n f o rm a t i c a n d   I n t e l l i g e n t   C o m p u t i n g ,   v o l .   3 ,   n o .   2 ,   p p .   4 2 5 1 ,   2 0 2 4 ,   d o i :   1 0 . 5 9 4 6 1 / i j d i i c . v 3 i 2 . 1 1 5 .   [ 3 ]   A .   H .   N a s u t i o n ,   A .   O n a n ,   Y .   M u r a k a mi ,   W .   M o n i k a ,   a n d   A .   H a n a f i a h ,   B e n c h mar k i n g   o p e n - so u r c e   l a r g e   l a n g u a g e   mo d e l f o r   se n t i me n t   a n d   e mo t i o n   c l a ssi f i c a t i o n   i n   I n d o n e si a n   t w e e t s,”   I E EE   Ac c e ss ,   v o l .   1 3 ,   p p .   9 4 0 0 9 9 4 0 2 5 ,   2 0 2 5 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 5 . 3 5 7 4 6 2 9 .   [ 4 ]   S .   H o c h r e i t e r   a n d   J .   S c h mi d h u b e r ,   L o n g   sh o r t - t e r me mo r y ,   N e u r a l   C o m p u t a t i o n ,   v o l .   9 ,   n o .   8 ,   p p .   1 7 3 5 1 7 8 0 ,   1 9 9 7 ,   d o i :   1 0 . 1 1 6 2 / n e c o . 1 9 9 7 . 9 . 8 . 1 7 3 5 .   [ 5 ]   S .   M .   A l - S e l w i   e t   a l . ,   R N N - L S T M :   f r o a p p l i c a t i o n t o   mo d e l i n g   t e c h n i q u e a n d   b e y o n d sy st e mat i c   r e v i e w ,   J o u rn a l   o f   K i n g   S a u d   U n i v e rsi t y   -   C o m p u t e a n d   I n f o r m a t i o n   S c i e n c e s ,   v o l .   3 6 ,   n o .   5 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j k s u c i . 2 0 2 4 . 1 0 2 0 6 8 .   [ 6 ]   I .   S .   B .   A z h a r ,   W .   K .   S a r i ,   a n d   N .   K .   P .   G u may ,   A   c o mp a r a t i v e   st u d y   o f   d e e p   l e a r n i n g p e r f o r man c e   me t h o d s   f o r   n e w a r t i c l e   u si n g   w o r d   r e p r e se n t a t i o n s,”   S i st e m a s i ,   v o l .   1 4 ,   n o .   2 ,   p .   9 3 2 ,   2 0 2 5 ,   d o i :   1 0 . 3 2 5 2 0 / st m si . v 1 4 i 2 . 5 0 9 0 .   [ 7 ]   J.  L .   B a   a n d   D .   P .   K i n g m a ,   A d a m:   a   me t h o d   f o r   st o c h a s t i c   o p t i mi z a t i o n ,   3 r d   I n t e rn a t i o n a l   C o n f e re n c e   o n   L e a r n i n g   Re p r e se n t a t i o n s ,   I C L 2 0 1 5   -   C o n f e r e n c e   T r a c k   Pr o c e e d i n g s ,   p p .   1 1 5 ,   2 0 1 5 .   [ 8 ]   W .   C h e n g ,   R .   P u ,   a n d   B .   W a n g ,   A M C :   a d a p t i v e   l e a r n i n g   r a t e   a d j u st me n t   b a se d   o n   mo d e l   c o mp l e x i t y ,   M a t h e m a t i c s ,   v o l .   1 3 ,   n o .   4 ,   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / m a t h 1 3 0 4 0 6 5 0 .   [ 9 ]   P. - J.  C h i a n g ,   A d a p t i v e   p e n a l t y   me t h o d   w i t h   a n   A d a o p t i mi z e r   f o r   e n h a n c e d   c o n v e r g e n c e   i n   o p t i c a l   w a v e g u i d e   mo d e   so l v e r s,”   O p t i c Ex p ress ,   v o l .   3 1 ,   n o .   1 7 ,   p .   2 8 0 6 5 ,   2 0 2 3 ,   d o i :   1 0 . 1 3 6 4 / o e . 4 9 5 8 5 5 .   [ 1 0 ]   C .   P e n g ,   C o mp r e h e n s i v e   a n a l y si o f   t h e   i m p a c t   o f   l e a r n i n g   r a t e   a n d   d r o p o u t   r a t e   o n   t h e   p e r f o r man c e   o f   c o n v o l u t i o n a l   n e u r a l   n e t w o r k o n   t h e   C I F A R - 1 0   d a t a se t ,   i n   A p p l i e d   a n d   C o m p u t a t i o n a l   E n g i n e e r i n g ,   2 0 2 4 ,   p p .   1 8 3 192 ,   d o i :   1 0 . 5 4 2 5 4 / 2 7 5 5 - 2 7 2 1 / 1 0 2 / 2 0 2 4 1 1 6 1 .   [ 1 1 ]   A .   K .   P .   A n i l   a n d   U .   K .   S i n g h ,   A n   o p t i m a l   so l u t i o n   t o   t h e   o v e r f i t t i n g   a n d   u n d e r f i t t i n g   p r o b l e o f   h e a l t h c a r e   mac h i n e   l e a r n i n mo d e l s,”   J o u r n a l   o f   S y s t e m En g i n e e ri n g   a n d   I n f o rm a t i o n   T e c h n o l o g y   ( J O S EI T ) ,   v o l .   2 ,   n o .   2 ,   p p .   7 7 8 4 ,   2 0 2 3 ,   d o i :   1 0 . 2 9 2 0 7 / j o se i t . v 2 i 2 . 5 4 6 0 .   [1 2 ]   N .   O .   A l j e h a n e ,   A   n e w   a p p r o a c h   t o   se n t i me n t   a n a l y si o n   t w i t t e r   d a t a   w i t h   L S T M ,   2 0 2 3   3 rd   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t i n g   a n d   I n f o rm a t i o n   T e c h n o l o g y   ( I C C I T ) .   I EEE,   p p .   6 5 7 6 6 3 ,   S e p .   1 3 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / i c c i t 5 8 1 3 2 . 2 0 2 3 . 1 0 2 7 3 8 7 6 .   [1 3 ]   S .   I .   W i g u n a ,   A .   Er f i n a ,   a n d   C .   W a r man ,   S e n t i me n t   a n a l y si o f   p u b l i c   o p i n i o n   o n   P i   n e t w o r k   o n   R e d d i t   u si n g   F i n B E R T ,   I n d o n e si a n   J o u r n a l   o f   D a t a   a n d   S c i e n c e ,   v o l .   6 ,   n o .   3 ,   p p .   4 2 6 4 3 2 ,   2 0 2 5 ,   d o i :   1 0 . 5 6 7 0 5 / i j o d a s.v 6 i 3 . 3 4 2 .   [1 4 ]   K .   S h i r i n i ,   M .   B .   K o r d a n ,   a n d   S .   S .   G h a r e h v e r a n ,   I mp a c t   o f   l e a r n i n g   r a t e   a n d   e p o c h s   o n   L S T M   mo d e l   p e r f o r man c e :   a   st u d y   o f   c h l o r o p h y l l - a   c o n c e n t r a t i o n i n   t h e   M a r mara  S e a ,   J o u r n a l   o f   S u p e rc o m p u t i n g ,   v o l .   8 1 ,   n o .   1 ,   p .   2 6 5 ,   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 2 2 7 - 0 2 4 - 0 6 8 0 6 - 2.   [1 5 ]   M .   N .   Z a i d a n ,   Y .   S i b a r o n i ,   a n d   S .   S .   P r a se t y o w a t i ,   L e a r n i n g   r a t e   a n d   e p o c h   o p t i mi z a t i o n   i n   t h e   f i n e - t u n i n g   p r o c e ss fo r   I n d o b e r t p e r f o r man c e   o n   se n t i me n t   a n a l y si o f   M y t e l k o msel   a p p   r e v i e w s,”   J u rn a l   T e k n i k   I n f o rm a t i k a   ( J u t i f ) ,   v o l .   5 ,   n o .   5 ,   p p .   1 4 4 3 1 4 5 0 ,   2 0 2 4 ,   d o i :   1 0 . 5 2 4 3 6 / 1 . j u t i f . 2 0 2 4 . 5 . 5 . 2 3 9 6 .   [1 6 ]   S .   S z e g h a l m y   a n d   A .   F a z e k a s,  A   c o mp a r a t i v e   st u d y   o f   t h e   u se   o f   st r a t i f i e d   c r o ss - v a l i d a t i o n   a n d   d i s t r i b u t i o n - b a l a n c e d   st r a t i f i e d   c r o ss - v a l i d a t i o n   i n   i mb a l a n c e d   l e a r n i n g ,   S e n so rs ,   v o l .   2 3 ,   n o .   4 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / s 2 3 0 4 2 3 3 3 .   [1 7 ]   K .   A n a a n d   A .   A l - Ju mai l y ,   I mp r o v e d   my o e l e c t r i c   p a t t e r n   r e c o g n i t i o n   o f   f i n g e r   mo v e me n t   u s i n g   r e j e c t i o n - b a se d   e x t r e me   l e a r n i n g   ma c h i n e ,   T e l k o m n i k a   ( T e l e c o m m u n i c a t i o n   C o m p u t i n g   E l e c t r o n i c a n d   C o n t ro l ) ,   v o l .   1 9 ,   n o .   1 ,   p p .   1 3 4 1 4 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 2 9 2 8 / T EL K O M N I K A . V 1 9 I 1 . 1 6 5 6 6 .   [1 8 ]   R .   F .   R o j a s,   C .   Jo se p h ,   G .   B a r g sh a d y ,   a n d   K .   L .   O u ,   Em p i r i c a l   c o m p a r i s o n   o f   d e e p   l e a r n i n g   m o d e l f o r   f N I R S   p a i n   d e c o d i n g ,   Fro n t i e rs  i n   N e u ro i n f o rm a t i c s ,   v o l .   1 8 ,   2 0 2 4 ,   d o i :   1 0 . 3 3 8 9 / f n i n f . 2 0 2 4 . 1 3 2 0 1 8 9 .   [ 19 ]   P .   Jo sh i ,   S .   M u n d r a ,   a n d   A .   M u n d r a ,   P r o t o - A t t - F S L :   e n h a n c e d   p r o t o t y p i c a l   n e t w o r k   f o r   c r o ss - d o mai n   f e w - sh o t   a i r l i n e   se n t i me n t   c l a ssi f i c a t i o n ,”  S o c i a l   N e t w o rk  An a l y s i a n d   Mi n i n g ,   v o l .   1 5 ,   n o .   1 ,   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 3 2 7 8 - 0 2 5 - 0 1 4 3 6 - 9.   [2 0 ]   H .   A l d a b b a s,   A .   B a j a h z a r ,   M .   A l r u i l y ,   A .   A .   Q u r e sh i ,   R .   M .   A .   L a t i f ,   a n d   M .   F a r h a n ,   G o o g l e   P l a y   c o n t e n t   scr a p i n g   a n d   k n o w l e d g e   e n g i n e e r i n g   u s i n g   n a t u r a l   l a n g u a g e   p r o c e ssi n g   t e c h n i q u e w i t h   t h e   a n a l y si o f   u se r   r e v i e w s,”   J o u r n a l   o f   I n t e l l i g e n S y s t e m s ,   v o l .   3 0 ,   n o .   1 ,   p p .   1 9 2 2 0 8 ,   2 0 2 0 ,   d o i :   1 0 . 1 5 1 5 / j i sy s - 2 0 1 9 - 0 1 9 7 .   [2 1 ]   M .   F .   A b d i l l a h   a n d   K .   K u sn a w i ,   C o mp a r a t i v e   a n a l y si o f   l o n g   sh o r t - t e r me mo r y   a r c h i t e c t u r e   f o r   t e x t   c l a ssi f i c a t i o n ,   I L K O M   J u r n a l   I l m i a h ,   v o l .   1 5 ,   n o .   3 ,   p p .   4 5 5 4 6 4 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 0 9 6 / i l k o m.v 1 5 i 3 . 1 9 0 6 . 4 5 5 - 4 6 4 .   [2 2 ]   C .   S a l a z a r ,   E.   M o n t o y a - M ú n e r a ,   a n d   J.  A g u i l a r ,   S e n t i me n t   a n a l y si i n   l e a r n i n g   r e so u r c e s,”   J o u r n a l   o f   C o m p u t e rs  i n   E d u c a t i o n v o l .   1 0 ,   n o .   4 ,   p p .   6 3 7 6 6 2 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 4 0 6 9 2 - 0 2 2 - 0 0 2 3 7 - 9.   [2 3 ]   S .   G a r g ,   D .   C h a t u r v e d i ,   T .   Ja i n ,   A .   M i s h r a ,   a n d   A .   K a p o o r ,   S e n t i me n t   a n a l y si s:   t e c h n i q u e s,  l i mi t a t i o n s,  a n d   c a se   st u d i e i n   d a t a   e x t r a c t i o n   a n d   c l a ss i f i c a t i o n ,   I n t e rn a t i o n a l   Re s e a rc h   J o u rn a l   o f   En g i n e e r i n g   S c i e n c e ,   v o l .   9 ,   n o .   3 ,   p p .   1 6 ,   2 0 2 3 .   [2 4 ]   M .   A f r a d ,   D .   C .   F e b r i a n t o ,   S .   W i j a y a n t o ,   a n d   M .   Y .   F a t h o n i ,   S e n t i me n t   a n a l y si s o f   v i si t o r   r e v i e w o n   B a t u r a d e n   t o u r i st   a t t r a c t i o n   u si n g   ma c h i n e   l e a r n i n g   me t h o d s ,   Ed u   K o m p u t i k a   J o u rn a l , v o l .   1 1 ,   n o .   1 ,   p p .   5 7 6 4 ,   2 0 2 4 ,   d o i : 1 0 . 1 5 2 9 4 / e d u k o m . v 1 1 i 1 . 1 0 5 6 1 .   [2 5 ]   U .   R .   P o l ,   H u g g i n g   f a c e :   r e v o l u t i o n i z i n g   A I   a n d   N L P ,   I n t e rn a t i o n a l   J o u rn a l   f o Re s e a r c h   i n   A p p l i e d   S c i e n c e   a n d   E n g i n e e ri n g   T e c h n o l o g y ,   v o l .   1 2 ,   n o .   8 ,   p p .   1 1 2 1 1 1 2 4 ,   2 0 2 4 ,   d o i :   1 0 . 2 2 2 1 4 / i j r a se t . 2 0 2 4 . 6 4 0 2 3 .   [2 6 ]   H .   A h mad i a n ,   T .   F .   A b i d i n ,   H .   R i z a ,   a n d   K .   M u c h t a r ,   H y b r i d   M o d e l f o r   e mo t i o n   c l a ss i f i c a t i o n   a n d   se n t i me n t   a n a l y si i n   i n d o n e si a n   l a n g u a g e ,   i n   A p p l i e d   C o m p u t a t i o n a l   I n t e l l i g e n c e   a n d   S o f t   C o m p u t i n g ,   Y o g y a k a r t a ,   I n d o n e si a ,   2 0 2 4 ,   p p .   2 0 9 2 1 4 d o i :   1 0 . 1 1 5 5 / 2 0 2 4 / 2 8 2 6 7 7 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         E va lu a tin g   le a r n in g   r a te  effec ts   o n   lo n g   s h o r t - term me mo r fo r   I n d o n esia n     ( S erly E ld in a )   573   [2 7 ]   Y .   F a u z i a h ,   B .   Y u w o n o ,   a n d   A .   S .   A r i b o w o ,   L e x i c o n   b a se d   se n t i me n t   a n a l y si i n   i n d o n e si a   l a n g u a g e s  :   a   sy st e mat i c   l i t e r a t u r e   r e v i e w ,   i n   R S F   C o n f e r e n c e   S e ri e s:   E n g i n e e r i n g   a n d   T e c h n o l o g y ,   2 0 2 1 ,   p p .   3 6 3 3 6 7 ,   d o i :   1 0 . 3 1 0 9 8 / c se t . v 1 i 1 . 3 9 7 .   [2 8 ]   K.   B a r i k   a n d   S .   M i sr a ,   A n a l y si s o f   c u st o me r   r e v i e w w i t h   a n   i mp r o v e d   V A D ER   l e x i c o n   c l a ssi f i e r ,   J o u rn a l   o f   Bi g   D a t a ,   v o l .   1 1 ,   n o .   1 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 0 2 3 - 0 0 8 6 1 - x.   [ 29 ]   S .   N .   A l mu a y q i l ,   M .   H u may u n ,   N .   Z .   Jh a n j h i ,   M .   F .   A l mu f a r e h ,   a n d   N .   A .   K h a n ,   E n h a n c i n g   se n t i me n t   a n a l y si v i a   r a n d o m   maj o r i t y   u n d e r - sam p l i n g   w i t h   r e d u c e d   t i me   c o m p l e x i t y   f o r   c l a ssi f y i n g   t w e e t   r e v i e w s,”   El e c t r o n i c ( S w i t z e rl a n d ) ,   v o l .   1 1 ,   n o .   2 1 ,   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / e l e c t r o n i c s 1 1 2 1 3 6 2 4 .   [3 0 ]   I .   O .   M u r a i n a ,   I d e a l   d a t a se t   s p l i t t i n g   r a t i o i n   m a c h i n e   l e a r n i n g   a l g o r i t h ms:   g e n e r a l   c o n c e r n f o r   d a t a   sc i e n t i st s   a n d   d a t a   a n a l y st s,”   7 t h   I n t e rn a t i o n a l   M a r d i n   A rt u k l u   S c i e n t i f i c   Re se a r c h e C o n f e re n c e ,   p p .   4 9 6 5 0 4 ,   2 0 2 2 .   [3 1 ]   A .   M a i t i ,   A .   A b a r d a ,   a n d   M .   H a n i n i ,   T h e   i mp a c t   o f   f e a t u r e   e x t r a c t i o n   t e c h n i q u e o n   t h e   p e r f o r man c e   o f   t e x t   d a t a   c l a ssi f i c a t i o n   mo d e l s,”   I n d o n e s i a n   J o u r n a l   o f   E l e c t ri c a l   En g i n e e ri n g   a n d   C o m p u t e S c i e n c e ,   v o l .   3 5 ,   n o .   2 ,   p p .   1 0 4 1 1 0 5 2 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 5 9 1 / i j e e c s.v 3 5 . i 2 . p p 1 0 4 1 - 1 0 5 2 .   [3 2 ]   L .   D a v o o d i ,   J.  M e z e i ,   a n d   M .   H e i k k i l ä ,   A sp e c t - b a se d   se n t i me n t   c l a ss i f i c a t i o n   o f   u se r   r e v i e w s t o   u n d e r st a n d   c u s t o me r   sat i sf a c t i o n   o f   e - c o mm e r c e   p l a t f o r ms,”   El e c t r o n i c   C o m m e rc e   R e se a rc h ,   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s1 0 6 6 0 - 025 - 0 9 9 4 8 - 4.   [3 3 ]   J.  S h o b a n a   a n d   M .   M u r a l i ,   A n   e f f i c i e n t   se n t i me n t   a n a l y si me t h o d o l o g y   b a se d   o n   l o n g   sh o r t - t e r me mo r y   n e t w o r k s,”   C o m p l e x   a n d   I n t e l l i g e n t   S y st e m s ,   v o l .   7 ,   n o .   5 ,   p p .   2 4 8 5 2 5 0 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 4 0 7 4 7 - 0 2 1 - 0 0 4 3 6 - 4.   [3 4 ]   M .   K .   A n a m,  S .   D e f i t ,   H a v i l u d d i n ,   L .   Ef r i z o n i ,   a n d   M .   B .   F i r d a u s,  E a r l y   st o p p i n g   o n   C N N - L S T M   d e v e l o p me n t   t o   i m p r o v e   c l a ssi f i c a t i o n   p e r f o r man c e ,   J o u rn a l   o f   Ap p l i e d   D a t a   S c i e n c e s ,   v o l .   5 ,   n o .   3 ,   p p .   1 1 7 5 1 1 8 8 ,   2 0 2 4 ,   d o i :   1 0 . 4 7 7 3 8 / j a d s.v 5 i 3 . 3 1 2 .   [3 5 ]   A .   C .   M .   V .   S r i n i v a s,   C .   S a t y a n a r a y a n a ,   C .   D i v a k a r ,   a n d   K .   P .   S i r i sh a ,   S e n t i me n t   a n a l y si u s i n g   n e u r a l   n e t w o r k   a n d   L S T M ,   i n   I O C o n f e re n c e   S e r i e s:   M a t e ri a l s   S c i e n c e   a n d   En g i n e e r i n g ,   2 0 2 1 ,   p .   0 1 2 0 0 7 ,   d o i :   1 0 . 1 0 8 8 / 1 7 5 7 - 8 9 9 x / 1 0 7 4 / 1 / 0 1 2 0 0 7 .   [3 6 ]   R .   K .   D a s,  M .   I sl a m,  M .   M .   H a sa n ,   S .   R a z i a ,   M .   H a s sa n ,   a n d   S .   A .   K h u s h b u ,   S e n t i me n t   a n a l y si i n   m u l t i l i n g u a l   c o n t e x t :   C o mp a r a t i v e   a n a l y si o f   mac h i n e   l e a r n i n g   a n d   h y b r i d   d e e p   l e a r n i n g   mo d e l s,”   H e l i y o n ,   v o l .   9 ,   n o .   9 ,   p .   e 2 0 2 8 1 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . h e l i y o n . 2 0 2 3 . e 2 0 2 8 1 .   [3 7 ]   Y .   A .   S i n g g a l e n ,   B i L S T M - L S T M   H y b r i d   mo d e l   w i t h   g l o v e   e mb e d d i n g f o r   h o t e l   r e v i e w   se n t i me n t   a n a l y si s,”   J o u rn a l   o f   I n f o rm a t i o n   S y st e m   R e se a rc h   ( J O S H ) ,   v o l .   6 ,   n o .   2 ,   p p .   8 5 7 8 6 8 ,   2 0 2 4 ,   d o i :   1 0 . 4 7 0 6 5 / j o sh . v 6 i 2 . 6 4 2 0 .   [3 8 ]   Z .   B .   K i z i l k a n ,   M .   S .   S i v r i ,   I .   Y a z i c i ,   a n d   O .   F .   B e y c a ,   N e u r a l   n e t w o r k a n d   d e e p   l e a r n i n g ,   S p ri n g e S e r i e i n   A d v a n c e d   Ma n u f a c t u r i n g .   S p r i n g e r   I n t e r n a t i o n a l   P u b l i s h i n g ,   p p .   1 2 7 1 5 1 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 0 - 9 3 8 2 3 - 9 _ 5 .   [ 39 ]   Z .   Z mi r l i ,   S .   El   H a r f a o u i ,   A .   M o h ssi n e ,   A .   D r i o u i c h ,   H .   C h a a i r ,   a n d   B .   S a l l e k ,   L e ss e n e r g y   a n d   a l u m i n u m e l e c t r o d e   c o n su m p t i o n   f o r   f l u o r i d e   r e mo v a l   u si n g   e l e c t r o c o a g u l a t i o n   p r o c e ss:   o p t i m i z a t i o n   b y   o n e - w a y   A N O V A   a n a l y si a n d   e x p e r i me n t a l   d e si g n ,   D e sa l i n a t i o n   a n d   Wa t e r   T re a t m e n t ,   v o l .   2 9 2 ,   p p .   1 8 5 2 0 5 ,   2 0 2 3 ,   d o i :   1 0 . 5 0 0 4 / d w t . 2 0 2 3 . 2 9 5 0 4 .       B I O G RAP H I E S O F   AUTH O RS       S e r ly   Eld in a           s h e   is  c u rre n tl y   p u rsu in g   a   Ba c h e lo o f   En g in e e rin g   (S . T . d e g re e   in   In f o rm a ti c En g in e e rin g   a th e   S c h o o o f   El e c tri c a a n d   In f o rm a ti c s,  Un iv e rsitas   M a rit im   Ra ja  A li   Ha ji   (UMR A H).  S h e   h a a n   in tere st  in   a rti f icia in telli g e n c e   ( A I),   p a rti c u larl y   in   n a tu r al   lan g u a g e   p ro c e ss in g   (NL P a n d   it a p p li c a ti o n in   tex a n a ly si s.  He re se a r c h   a re a in c lu d e   m a c h in e   lea rn in g   a n d   d e e p   lea rn i n g .   S h e   c a n   b e   c o n tac ted   at   e m a il :   se rl y e ld in a 0 3 @g m a il . c o m .         Te k a d   M a tu l a ta n           a   ten u re   l e c tu re in   th e   In f o rm a ti c D e p a r tm e n t,   S c h o o o El e c tri c a a n d   In f o rm a ti c s,  Un iv e rsitas   M a rit im   Ra ja  A li   Ha ji   (UMRA H),  P ro v i n c e   o f   Riau   Isla n d s.  G ra d u a ted   f ro m   F li n d e rs  Un iv e rsity   o f   S o u th   A u stra li a   ( 2 0 0 5 )   a n d   h a d   u n d e rg o n e   1   y e a o f   p re - d o c t o ra e d u c a ti o n   a A rizo n a   S tate   Un iv e rsity   (2 0 1 5 ).   A P in   th e   f ield   o f   e d u c a ti o n a l   d a ta  m in in g   (EDM )   2 0 1 4 - 2 0 1 7 ,   a n d   re se a rc h   a ss istan in   th e   f ield o f   m u lt i m o d a NL M ,   g e n e ra ti v e   A I,   a n d   v isu a c o m p u tati o n a l.   He   c a n   b e   c o n tac ted   at   e m a il tek a d . m a tu lata n @u m ra h . a c . id .         No v r i z a Fa tta h   Fa h m it r a           re c e iv e d   h is  Ba c h e lo r s   De g re e   in   I n f o rm a ti c s   En g in e e rin g   f ro m   S T M IK  A M IKO M   Yo g y a k a rta.  Af ter  th a t,   h e   to o k   t h e   I n f o rm a ti c S tu d y   P r o g ra m   -   M a ste r P ro g ra m   f o M e d ica In f o rm a ti c Co n c e n tratio n   a th e   Isla m ic  Un iv e rsit y   of   In d o n e sia .   In   2 0 2 4 ,   h e   jo i n e d   Un iv e rsitas   M a rit im   R a ja  A li   Ha j (UMRA H)  a a   l e c tu re f o th e   Ba c h e lo r De g re e   o f   In f o rm a ti c En g in e e rin g   S tu d y   P ro g ra m .   N o w   h i s   f ie l d   o f   s c ie n c e   is  sy s tem   i n f o rm a t i o n   t e c h n o l o g y   a d m i n i s t r a t i o n ,   h i s   r e s e a r c h   c o n c l u d e s   sy s t e m   a n a ly s t ,   u s a b i l i ty   a n a ly s i s ,   IT   a u d i t ,   a n d   I T   a d m i n i s tr a t i o n .   H e   c a n   b e   c o n t a c t e d   at   e m a i l :   n f f a h m i t r a @ u m r a h . a c . i d .     Evaluation Warning : The document was created with Spire.PDF for Python.