I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 ,   p p .   4 6 1 4 ~ 4 6 2 2   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 14 .i 6 . p p 4 6 1 4 - 4 6 2 2           4614     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Tra nsfo rmer and   text aug menta tio n f o r t o u rism  as p ect - ba sed   sentimen a na ly sis       Sa m uel Sit um ea ng ,   Sa ra h R o s dia na   T a m bu na n,  J ev a nia M a s t a wila   F ebry a nti  Sim a njunt a k   Sa nd ro   Sin a g a   I n f o r mat i o n   S y st e m   S t u d y   P r o g r a m,   F a c u l t y   o f   I n f o r ma t i c a n d   El e c t r i c a l   E n g i n e e r i n g ,   I n st i t u t   T e k n o l o g i   D e l T o b a ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   2 4 ,   2 0 2 4   R ev is ed   Oct  2 8 ,   2 0 2 5   Acc ep ted   No v   8 ,   2 0 2 5       Th e   3 6 . 9 8 %   g r o wth   in   t h e   q u a n t it y   o e lec tro n ic  w o rd   o m o u t h   (e - WOM o v e th e   p a st  fi v e   y e a rs  p re se n ts  o p p o rt u n it ies   fo th e   to u rism   in d u stry   to   u n d e rsta n d   t o u rists'   n e e d a n d   d e sire b e tt e wh e n   a n a l y z e d   e ffe c ti v e ly .   As p e c t - b a se d   se n ti m e n a n a ly sis  (ABSA)  is  p ro p o se d   a a   so lu ti o n ,   a it   c a n   id e n ti f y   t h e   se n ti m e n t   a a   m o re   d e tailed   a sp e c lev e l.   P rio r   re se a rc h   re v e a led   two   issu e s   in   ABSA:   imb a la n c e d   d a tas e ts  a n d   p o o r   p e rfo r m a n c e   in   re p re se n ti n g   imp li c it   a sp e c ts  a n d   o p in i o n s.  T h e   a u th o rs  p r o p o se d   a   c o m b in a ti o n   o t h e   b id irec ti o n a l   a n d   a u to - re g re ss iv e   tran sfo rm e r   (BART)  a n d   b id irec ti o n a l   e n c o d e re p re se n tatio n fr o m   tran sf o rm e rs  (BERT m o d e ls.   Lev e ra g in g   BART  c a p a b il it y   in   m o d e li n g   c o n tex a n d   BERT   e x p e rti se   in   m o d e li n g   tex se m a n ti c a n d   n u a n c e s,  th e   a u th o p r o p o se d   a n   AB S m o d e th a c o m b i n e BART  a n d   B ERT   u si n g   th e   e n se m b le  m e t h o d .   T h e   e x p e rime n tal  re su lt s   re v e a t h a c o m b i n in g   th e se   m o d e ls   sig n ifi c a n tl y   e n h a n c e th e   p e rfo rm a n c e   o f   th e   ABSA  m o d e l,   with   a n   F 1 - sc o re   re a c h in g   7 0 % .   F u rt h e rm o re ,   te x a u g m e n tat io n   a n d   p re p r o c e ss in g   d i d   n o t   b ri n g   imp ro v e m e n ts i n   ABSA  p e rfo rm a n c e .   K ey w o r d s :   A s p e c t - b as e d   s e n t i m e n t   a n a l y s i s   B AR T   B E R T   Sen tim en t a n aly s is   T o u r is m   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sam u el  Sit u m ea n g   I n f o r m atio n   Sy s tem   Stu d y   Pr o g r am ,   Facu lty   o f   I n f o r m atics a n d   E lectr ical  E n g in ee r in g   I n s titu t T ek n o lo g i D el   St .   Sis in g am an g ar aja,   Sit o lu a m a L ag u b o ti,   T o b a No r t h   Su m atr Pro v in ce ,   I n d o n esia   E m ail:  s am u el. s itu m ea n g @ d el. ac . id       1.   I NT RO D UCT I O N   E lectr o n ic  wo r d   o f   m o u th   (e - W OM )   is   an   ac tiv ity   wh er e   e x p er ien ce d   co n s u m er s   s h ar e   i n f o r m atio n   an d   r ec o m m en d atio n s   o n lin r eg ar d in g   ce r tain   v e n d o r s   o r   p r o d u cts  [ 1 ] ,   [ 2 ] .   T h Statis ta  s u r v ey   r ep o r ts   th at   T r ip Ad v is o r s   e - W OM   witn ess ed   an   asto u n d in g   3 6 . 9 8 g r o wth   f r o m   2 0 1 8   to   2 0 2 2 .   T h s u r v ey   f u r th e r   h ig h lig h ts   an   an n u al  in cr ea s e   in   e - W OM   q u a n tity ,   with   p r o jectio n s   f o r   co n tin u ed   r is in g   in   t h u p co m in g   y ea r s .   T h g r o wth   u n d o u b ted ly   p r esen ts   o p p o r t u n ities   f o r   th to u r is m   in d u s tr y   t o   u n d er s tan d   th to u r is ts n ee d s   an d   d esire s   wh en   an aly z ed   ef f ec tiv ely   [ 3 ] .   On f o r m   o f   e - W OM   an aly s i s   is   s en tim en an aly s is ,   a   n at u r al  lan g u ag e   p r o ce s s in g   ( NL P)  task   to   ev alu ate  th tex t' s   s en tim en [ 4 ] .   Ho wev er ,   s en tim en an aly s is   ca n n o b u s ed   to   f in d   o u th s p ec if ic  asp ec ts   r ev iewe d   b y   v is ito r s .   T h er ef o r e,   asp ec t - b ased   s en tim en a n al y s is   ( AB SA)   is   p r o p o s ed   as  s o lu tio n   s o   th at  t h s en tim en o f   asp ec ts   co n tain e d   ca n   b id e n tifie d   [ 5 ] .   Fo r   th to u r is m   s ec to r ,   AB SA  is   ap p lied   to   u n d er s tan d   to u r is t sen tim en t to war d s   ce r t ain   asp ec ts   o f   to u r is t a ttra ctio n .   I n   AB SA  r esear ch ,   t h f o u r   m ain   f o c u s   elem en ts   ar e   asp ec ca teg o r y   ( C ) ,   asp ec te r m   ( A ) ,   s en tim en p o lar ity   ( S),   an d   o p in io n   ter m   ( O)   [ 6 ] .   Fo r   in s tan ce ,   co n s id er in g   th s en te n ce   "th s taf f   h er is   v er y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Tr a n s fo r mer a n d   text  a u g men t a tio n   fo r   to u r is a s p ec t - b a s ed   s en timen t a n a lysi s   ( S a mu el  S i tu mea n g )   4615   f r ien d ly ! " ,   th e   r elev a n elem e n ts   ar "staf f ( A) ,   "ser v ice"   ( C ) ,   "q u ality   o f   s er v ice"   ( O) ,   an d   "p o s itiv e"   ( S).   T h is   allo ws co m p an ies to   g ain   m o r m ea n in g f u l a n d   s p ec if ic  in s ig h t in to   cu s to m er   ev alu ati o n s .   Ar ian to   an d   B u d i   [ 7 ]   r e v ea led   th at  t h p r o p o s ed   m o d el  p e r f o r m a n ce   is   s u b o p tim al.   H o wev er ,   th e   s tu d y   d o es  n o s p ec if ically   elu cid ate  th r ea s o n s   f o r   th is .   Po ten tial  ca u s es  ca n   b f o u n d   in   s tu d ies  [ 8 ] ,   [ 9 ] wh er s ev er al  is s u es  ar id en tifie d .   T h f ir s is s u is   th at  th p r o p o s ed   m o d el  is   s en s itiv e   to   th im b alan ce d   d is tr ib u tio n   o f   d ata  [ 9 ] .   On o f   th d atasets   u s ed   is   r estau r an t - AC OS,  wh ich   h as  d ata  d is tr ib u tio n   h ea v il y   s k ewe d   to war d s   th q u ad r u p l ty p ex p licit  asp ec with   ex p licit  o p in io n   ( E AE O)   at  6 4 %,  co m p ar ed   to   th e   o th er   th r ee   ty p es:  im p licit  asp ec with   ex p licit  o p in io n   ( I AE O) ,   ex p licit  asp ec with   im p lic it  o p in io n   ( E AI O) ,   an d   im p licit  asp ec with   im p licit  o p in io n   ( I AI O) .   T h e   s ec o n d   is s u is   th e   m o d el' s   p er f o r m an ce   o n   q u ad r u p le   ty p es  co n tain in g   im p licit  a s p ec ts   o r   im p licit  o p in i o n s ,   wh ich   r em ai n s   u n s atis f ac to r y .   T h m o d el' s   p er f o r m an ce   o n   th E AI O   q u ad r u p le   ty p e   in   b o th   d atasets   s h o ws  n o tab ly   lo f i g u r es,  n a m ely   2 3 . 4 f o r   t h e   lap to p - AC OS  d ataset  an d   2 0 f o r   th e   r estau r an t - AC OS  d ataset.   T h I AE O   q u ad r u p le  t y p s h o ws  f ig u r es  o f   5 2 . 7 9 o n   l ap to p - AC OS  an d   4 3 . 8 7 o n   r estau r a n t - AC OS,  wh ile  th I AI q u ad r u p le  ty p s h o ws  f ig u r es  o f   2 9 . 7 9 o n   l ap to p - AC OS  an d   4 2 . 8 6 o n   r estau r an t - AC OS.  T h r esu lts   f r o m   th is   s tu d y   in d icate   th at  th e   p r o p o s ed   m o d el  h as  n o y et  b ee n   ab le  to   r e p r esen im p licit  asp ec ts   o r   im p licit  o p in io n s   ef f ec tiv ely .   Hen ce ,   a   r o b u s ap p r o ac h   to   im b alan ce d   d ata  an d   g o o d   ch a r ac ter is tics   in   r ep r esen tin g   im p licit  o p in io n s   an d   asp ec ts   in   r ev iews is   n ec ess ar y   to   ad d r es s   th ese  is s u es.   T h p r ev io u s   ap p r o ac h   th at  ca n   b u s ed   as  an   alter n ativ f o r   im b alan ce d   d ata  p r o b le m s   is   d ata   au g m en tatio n .   Data   a u g m e n tatio n   h elp s   ac h iev e   s ev er al  g o als  s u ch   as  r e g u lar izatio n ,   r ed u cin g   r ea l - wo r l d   d ata,   esp ec ially   in   p r iv ac y - s en s itiv d o m ain s ,   m in im izin g   la b elin g   ef f o r t,  b alan cin g   im b al an ce d   d atasets ,   an d   en h an cin g   r esil ien ce   to   ad v er s ar ial  ex am p les  [ 1 0 ] .   Sh o r ten   an d   Kh o s h g o f taar   [ 1 0 ]   r ev ea led   th at  d ata  au g m en tatio n   ca n n o o v er co m all  p o s s ib le  tr an s f o r m atio n s   an d   elim in ate  all  ty p es  o f   b ias  in   th d ata.   As  an   ex am p le  o f   b ias  in   d ata  f r o m   r esear ch   [ 1 0 ] ,   if   th d ataset  in   n ews  class if icatio n   task   d o es   n o c o n tain   s p o r ts - r elate d   ar ticles,  th en   th d ata  au g m en tatio n   m eth o d   u s ed   b a s ed   o n   th at  d ata  s et  will  m o s t   lik ely   n o p r o d u ce   d ata  r elate d   to   s p o r ts   ar ticle s ,   ev en   if   it  is   ess en tial.  D ata  au g m en tatio n   ca n   in tr o d u ce   s u p p lem en ta r y ,   u n d esira b le  b iases   th at  r esu lt  i n   an   in ac cu r ate   r ep r esen tatio n   o f   th e n tire   p o p u latio n .   Fo r   in s tan ce ,   lan g u a g m o d els  lik g en e r ativ p r e - tr ain ed   tr an s f o r m er   ( GPT)   ca n   cr ea te  b iases   th at  ar th en   t r an s f er r ed   i n to   th e   d ataset  s u ch   as  th h ig h   co r r e latio n   b etwe en   th wo r d   “c r i m in al”  an d   m ale  id en tity   in   t h GPT - 2   o u tp u t,  as  well  as “ Go d ”  an d   C h r is tian ity .   T h is   ca n   ca u s th m o d el  t o   p r o d u ce   b iased   d ec is io n s   [ 1 1 ] .   T h er ar v ar io u s   d ata  au g m e n tatio n   tech n iq u es  with   v ar y i n g   co m p lex it y .   Ho wev er ,   co m p lex   d ata   au g m en tatio n   tech n i q u es  ten d   to   b in e f f icien t.  I n cr ea s ed   d em an d   o n   r eso u r ce s ,   esp ec ially   wh en   tr ain i n g   g en er ativ m o d els,  is   n atu r a p ar o f   d ata  a u g m e n tatio n .   T o   m itig ate  s o m o f   th lim itat io n s   an d   m ax im ize   th ad v a n tag es  o f   d ata   au g m en tatio n ,   t h au t h o r s   p r o p o s im p r o v em en ts   to   e x is tin g   d ata  au g m en tatio n   ap p r o ac h es  b ased   o n   s u g g esti o n s   p r o p o s ed   in   [ 1 2 ] L o n g p r et  a l [ 1 2 ]   s tated   th at   s ev er a d ata  a u g m e n tatio n   tech n iq u es  d o   n o i n cr ea s th p er f o r m an ce   o f   p r e - tr ain e d   t r an s f o r m er   m o d els  s u ch   as  b id ir ec tio n al  en c o d er   r ep r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T ) r o b u s tly   o p tim i ze d   B E R T   p r etr ain in g   ap p r o a ch   ( R o B E R T a ) ,   an d   ex tr a - lo n g   n eu r al  n etwo r k   ( X L Net )   o n   s im p le  class if icatio n   task s .   T h ey   h y p o th esized   th at   d ata  au g m en tatio n   tech n iq u es  wo u ld   o n l y   b u s ef u if   th ey   c o u ld   p r o d u ce   n o v el  lin g u is tic  p atter n s   th at  h ad   n e v er   b ee n   en co u n ter e d   b e f o r e.   Me an wh ile,   p r ev i o u s   ap p r o ac h   as  an   alter n ativ e   to   r ep r e s en tin g   im p licit  o p in io n s   f o r   m en tio n ed   asp ec ts   in   r ev iews  is   b y   co m b in in g   b id ir ec tio n al   an d   au to - r eg r ess iv tr an s f o r m er   ( B AR T )   an d   B E R T   u s in g   th en s em b le  m eth o d .   L ewis  et  a l.   [ 1 3 ]   in d icate s   th at  co m b in in g   th ese  two   tr an s f o r m er   m o d els  u s in g   en s em b le  m eth o d   s ig n if ican tl y   en h a n ce s   th p e r f o r m an ce   o f   tr an s f o r m er   m o d els  to   p r o v i d m o r e   r o b u s an d   ef f icien s o lu tio n s   f o r   v ar i o u s   NL task s .   B y   in teg r atin g   B AR T ' s   s tr en g th s   in   m o d elin g   co n tex an d   B E R T 's  s tr en g th s   in   u n d er s tan d in g   tex t'   s em an tics   an d   n u a n ce s ,   t h is   ap p r o a ch   ca n   p r o v i d m o r co m p r e h en s iv e   p er f o r m an ce   ac r o s s   v ar io u s   NL task s .   T h en s em b le  [ 1 4 ]   m eth o d ' s   u s en ab les  th co n c u r r en lev er a g in g   o f   b o th   m o d els'   s tr en g th s ,   th u s   d im in is h in g   ea ch   m o d el' s   s h o r tco m in g s   an d   im p r o v in g   th p er f o r m a n ce   o f   th r esu ltin g   m o d el  [ 1 5 ] .   f ac to r   th at  m a y   co n tr ib u te  t o   th m o d el' s   p er f o r m an ce   is   th d ataset  q u ality   [ 1 6 ] .   I n   NL task s ,   it ' s   n ec ess ar y   to   ac cu r ately   r ep r e s en th ch ar ac ter s   o r   wo r d s   in   ea ch   s en ten ce   to   ac h iev h ig h - q u ality   d ata.   C o n v er s ely ,   p o o r   d ata  q u ality   m ay   af f ec t   th m o d el' s   p er f o r m an ce .   R ep r esen tin g   th ese  u n its   p r esen ts   d iv er s ch allen g es  d ep e n d in g   o n   th e   lan g u a g b ei n g   p r o ce s s ed   an d   wr itin g   s y s tem s   [ 1 7 ] .   T h is   k n o wn   as  tex t   p r ep r o ce s s in g   [ 1 8 ] ,   n ee d s   to   b ap p lied   to   in v esti g ate  th d ataset  ch ar ac ter is tic s   th at  alig n   with   th p r o p o s e d   m o d el  in   h an d lin g   th AB SA c ase  an d   d eter m in i n g   its   s ig n if ican ce .   Hen ce ,   th is   s tu d y   o b jectiv was  to   ad d r ess   th id en tifie d   s h o r tco m in g s   b y   lev er a g in g   tr an s f o r m er   lan g u ag e   m o d els.  T o   th b est  o f   o u r   k n o wled g e,   t h is   in itiativ m ar k s   n o v el   ap p r o ac h   to   in teg r atin g   B AR T   an d   B E R T   u s in g   an   e n s em b l m eth o d ,   co m p lem en ted   b y   tex au g m en tatio n   an d   p r e p r o ce s s in g ,   to   ad d r ess   AB SA c h allen g es.   T h k ey   co n tr ib u tio n s   o f   th is   p ap er   ar as   f o llo ws:   i)   Dev elo p m en o f   an   ef f ec tiv e   tr an s f o r m er   m o d el  f o r   r ep r e s en tin g   im p licit  asp ec ts   an d   o p in io n s   f r o m   r ev iew  tex ts .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 :   4 6 1 4 - 4 6 2 2   4616   ii)   Sig n if ican ce   o f   t h tex t a u g m e n tatio n   im p ac t o n   th B AR T +BERT  en s em b le  m o d el.   iii)   Sig n if ican ce   o f   t h tex t p r ep r o ce s s in g   im p ac t o n   th B AR T +BERT  en s em b le  m o d el.   T h p ap e r   is   s tr u ctu r ed   i n   th e   f o llo win g   way :   s ec tio n   2   d escr ib es  th p r o p o s ed   m o d els  a n d   d etails  th ex p er im e n tal  s etu p .   Sectio n   3   a n aly ze s   th r esu lts   an d   ev alu ates  th m o d els’  p er f o r m an ce .   Fin ally ,     s ec tio n   4   co n clu d es with   d is cu s s io n   o f   f u t u r wo r k .       2.   M E T H O   T h is   s tu d y   p r o p o s es  n o v el  AB SA  m o d el  th at  in teg r ates  th s tr en g th s   o f   two   p o wer f u t r an s f o r m er   ar ch itectu r es:  B AR T   [ 1 3 ]   a n d   B E R T   [ 1 9 ] .   T h e y   ar e   p r e - t r ain ed   lan g u ag e   m o d els  ( PL Ms)   with   im p r ess iv e   ca p ab ilit ies  th at  ar ap p lic ab le  to   v a r io u s   NL task s .   T h p r o p o s ed   AB SA  m o d el  lev er a g es  th e     lar g lan g u a g m o d el s   ( L L M s ) B A R T L AR GE   an d   B E R T B ASE  u n ca s ed .   I n itially ,   b o t h   wer d esig n ed   as  g en er al - p u r p o s tr an s f o r m er s ,   ap p licab le   to   b r o a d   r a n g e   o f   NL task s .   T h e y   s er v e   d is tin ct  f u n ctio n s .   B E R T   is   s u itab le  f o r   NL task s   th at   r eq u ir a   d ee p   u n d er s tan d i n g   o f   s em an tics   an d   lan g u ag e   c o n tex t,  s u c h   as  te x class if icatio n   [ 2 0 ]   a n d   n am ed   en tity   r ec o g n itio n   [ 2 1 ] .   On   t h o th e r   h a n d ,   B AR T   is   id ea f o r   NL task s   th at   in v o lv tex g e n er atio n ,   s u ch   as  tex s u m m ar izatio n   [ 2 2 ] ,   q u esti o n   g en er atio n   [ 2 3 ] ,   cr ea t iv tex g en er atio n   [ 2 4 ] ,   a n d   m ac h in tr a n s latio n   [ 1 3 ] .   T h ese  m o d els  h av b ee n   tr ain ed   o n   m ass iv d atasets ,   en ab lin g   th em   t o   ca p tu r th h u m an   lan g u a g n u an ce s .   T h is   s tu d y   in tr o d u ce d   m o d if ic atio n s   to   th m o d el s   f in al  ( h e ad )   lay er   b y   ap p en d in g   th lin ea r   lay er   to   ea ch   p r e - tr ain e d   m o d el.   I n s tead   o f   s in g le  o u tp u n eu r o n   f o r   s en tim en class if icatio n   ( ty p ical  in   s in g le - lab el  task s ) ,   th h ea d   is   m o d if ied   to   h a v m u ltip le  o u t p u n e u r o n s ,   o n f o r   ea ch   p o s s ib le  s en tim en lab el  p er   asp ec t.  T h n ex c r u cial  s tep   in v o lv es  ap p l y in g   f in e - tu n i n g   to   p r ep a r th L L Ms  f o r   A B SA.  I n   tr ad itio n al  s en tim en an aly s is ,   th task   is   ty p ically   s in g le - lab el  class if icatio n   ( e. g . ,   p o s itiv e,   n eg a tiv e,   an d   n e u tr al) .   Ho wev er ,   AB SA  ta s k s   n ec ess itate  th m o d el  to   d is ce r n   asp ec ts   with in   th tex an d   s u b s e q u en tly   class if y   th s en tim en to war d s   ea ch   asp ec t.  Par k   et  a l.  [ 2 3 ]   e n co m p a s s es  s ix   asp ec ts ,   n am ely   attr ac tio n s ,   am en ities ,   ac ce s s ib ilit y ,   im ag e,   p r ice,   a n d   h u m an   r eso u r ce s ,   as  p iv o tal  asp ec ts   o f   to u r is m .   T h is   m u lti - lab el  class if icatio n   n atu r n ec ess itates  ad ju s tm en ts   to   th m o d el.   Fin e - tu n in g   en tails   ad ap tin g   th p r e - tr ain ed   m o d els  to   th e   AB SA n ee d s .   T h s u b s eq u en s tep   in v o lv es   ca lcu latin g   th av er a g class   p r o b a b ilit ies.  T h is   en tails   av e r ag in g   th e   p r o b a b ilit ies  p r ed icted   b y   th e   m o d el   ac r o s s   all  lab els  to   d e ter m in th e   o v er all  lik elih o o d   o f   ea ch   s en tim en t   class .   C o m p u tin g   th ese  a v er a g es  g ain s   m o r e   s tab le  an d   r eliab le  esti m ate  o f   th e   s en tim en f o r   ea ch   asp ec t,  m itig atin g   th im p ac o f   an y   s in g le  p r e d ictio n ' s   v ar iab ilit y .   Su b s eq u en tly ,   th p r ed ic tio n   em p lo y s   th ese  av er ag ed   p r o b ab ilit ies  to   ascer tain   th f in al  asp ec ts ' s   s en ti m en class if icatio n .   T h m o d el  ass ig n s   th lab el   with   th h ig h est  av er ag p r o b ab ilit y ,   en s u r in g   an   ac cu r ate  s en tim en an aly s is .   T h is   m eth o d   lev er a g es  th e   av er ag ed   p r o b ab ilit ies  to   m ak well - f o u n d ed   p r ed ictio n s ,   th er eb y   e n h an cin g   th m o d el's  p er f o r m an ce   in   m u lti - lab el  s en tim en t c lass if icatio n   task s .   Fig u r 1   d ep icts   th o v er all  ar c h itectu r o f   th m o d el.           Fig u r 1 .   T h p r o p o s ed   B AR T +BERT  m o d el  ar ch itectu r e       T h is   s tu d y   em p lo y ed   d ata s et  o f   Go o g le  Ma p s   u s er   r e v iews  o f   th B o r o b u d u r   T e m p le  an d   Pra m b an an   T em p le   to u r is attr ac tio n s   [ 7 ] .   R ev iews  in   th is   d a taset  u s I n d o n esian ,   E n g lis h ,   an d   s o m e   u s b o th   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Tr a n s fo r mer a n d   text  a u g men t a tio n   fo r   to u r is a s p ec t - b a s ed   s en timen t a n a lysi s   ( S a mu el  S i tu mea n g )   4617   lan g u ag es  s im u ltan eo u s ly .   T h er ef o r e,   la n g u a g s tan d ar d iza tio n   was  ap p lied   to   th r e v ie tex to   E n g lis h   wh ich   was b ased   o n   B AR T ' s   s u p er io r   p er f o r m an ce   in   tex t g e n er atio n   in   E n g lis h   [ 1 3 ]   As  s h o wn   in   T a b le  1 ,   th e   d ataset  is   im b alan ce d ,   wh e r th I AE q u ad r u p le  t y p h o ld s   m o r e   p r o m in e n ce   with in   b o th   g r o u p s   in   co n tr ast  to   th r em ain in g   q u ad r u p le  ty p es.  Ad o p tin g   an   im b alan ce d   d ataset   ca n   lead   to   b iased   m o d el  p er f o r m an ce ,   th m o d el' s   p er f o r m an ce   ten d s   to   b b etter   o n l y   f o r   th m ajo r ity   q u ad r u p le  ty p e.   T h er ef o r e,   t h is   s tu d y   ap p lies   tex t   au g m e n tat io n   to   b alan ce   t h d ataset  with   th d o m in an t   ty p e   am o u n t,  p r e v en tin g   th m o d el   f r o m   b ec o m in g   b iased   to war d s   th m ajo r ity   q u ad r u p le  ty p es.  I n   th is   s tu d y ,   th tex au g m e n tatio n   tech n iq u es  to   b em p lo y e d   ar w o r d   r ep l ac em en t,  b ac k   tr an s latio n ,   an d   r an d o m   d eletio n ,   co n s id er in g   t h at  th ese  ar c o m m o n l y   u s ed   i n   tex au g m en tatio n   [ 2 5 ] .   M o r eo v er ,   b ased   o n   r esear ch   in     [ 2 6 ] ,   [ 2 7 ] ,   it  is   s h o wn   th at  th ese  h av p o s itiv im p ac o n   m o d el  p er f o r m an ce .   I n   th b ac k   tr an s latio n   tech n iq u e,   th ch o s en   in ter m e d iar y   lan g u a g is   C h in ese  d u to   its   e s tab lis h ed   u s in   p r io r   s tu d ies,  wh ich   ar e   co n s id er ed   m atu r [ 2 8 ]   a n d   le v er ag th ch ar ac ter s '   ex ten s iv d iv er s ity ,   ap p r o x im ately   4 7 , 0 3 5 ,   en ab lin g   th e   ad d itio n   o f   d iv e r s s en ten ce   v ar iatio n s   [ 2 9 ] .   T h ex p lo r ato r y   d ata  a n aly s is   r ev ea led   a   s u b s tan tial  d e g r e o f   ch a r ac ter   in c o n s is ten cy   with in   th d ataset,   n ec ess itat in g   tex t p r ep r o ce s s in g   to   in v esti g ate  its   im p ac t o n   m o d el  p er f o r m a n ce .   T h er ef o r e ,   th is   s tu d y   ap p lies   co m m o n   te x p r ep r o ce s s in g   tech n iq u es  [ 1 8 ]   th at   h av e   estab lis h ed   a   b en e f icial  ef f ec o n   m o d e l   p er f o r m an ce   in   p r io r   r esear ch .   T h ese  tech n iq u es  in clu d e   ca s f o ld in g   [ 3 0 ] ,   s lan g   wo r d   co n v er s io n   [ 3 1 ] ,   d ig it   co n v er s io n ,   s p ec ial  ch ar ac ter   r em o v al  [ 3 2 ] ,   s to p w o r d   r em o v al  [ 3 3 ] ,   lem m atiza tio n   [ 3 4 ] ,   a n d   s tem m in g   [ 3 4 ]   C o n s eq u en tly ,   th is   s tu d y   will  ex am in th im p ac o f   d if f er e n tex au g m e n tatio n   an d   p r ep r o ce s s in g   tech n iq u es  o n   AB SA  m o d el  p er f o r m a n ce .   I aim s   t o   id e n tify   th m o s ef f ec tiv m et h o d s   t h r o u g h   in d ep en d en ex p er im en tatio n ,   im p lem e n tin g   th s u p e r io r   tex a u g m en tatio n   tech n i q u b e f o r e   ev alu atin g   ea c h   p r ep r o ce s s in g   tech n iq u co m p ar ed   to   th u n t r ea ted   d ataset.   T o   en s u r th g e n er aliza b ilit y   o f   th f in d i n g s   an d   m itig ate  p o ten tial  b iases ,   th is   s tu d y   u tili ze   th n o r m ality   test   o f   th e   p er f o r m a n ce   d ata   u s in g   th Sh a p ir o - W ilk   test   with in   5 - f o ld   cr o s s - v alid atio n   f r am ewo r k .   Su b s eq u en tly ,   n o n - p ar am etr ic  W ilco x o n   s ig n ed - r a n k   test   will  b ca r r ie d   o u to   d eter m in th e   s tatis tical  s ig n if ican ce   o f   an y   o b s er v ed   d if f er e n ce s   in   p er f o r m an ce   b etwe en   th m o d els ac r o s s   th f o ld s .     Giv en   th s ig n if ican r o le  o f   h y p er p a r am eter s   in   m o d el  o p tim izatio n ,   th is   s tu d y   d r aws  u p o n   in s ig h ts   f r o m   p r ev io u s   r esear c h   [ 3 5 ] [ 3 7 ]   to   d ef i n th h y p er p a r am eter   s ettin g s .   Ap ar f r o m   ad o p tin g   s ev e r al   h y p er p ar am eter s '   s ettin g s   r ef er r ed   to   p r io r   r esear ch ,   th au th o r s   also   im p lem en ted   co n tr o lled   tr ials   an d   an aly ze d   th ex p er im en tal  r esu lts   to   o p tim ize  th h y p er p ar am eter s '   s ettin g s .   T ab le  2   lis ts   th o p tim al  h y p er p ar am eter s .       T ab le  1 .   Nu m b er   o f   q u ad r u p le   ty p es    p er   r ev iew  g r o u p   R e v i e w   g r o u p   Q u a d r u p l e   t y p e   EA EO   EA I O   I A EO   I A I O   B o r o b u d u r   t e m p l e   1 , 1 8 6   4 9 3   2 , 1 0 2   2 2 4   P r a mb a n a n   t e m p l e   1 , 2 4 6   6 7 9   2 , 3 0 2   3 0 9     T ab le  2 .   Op tim al  h y p er p ar am e ter   s ettin g s   f o r     B AR T - B E R T   P a r a me t e r   V a l u e s   Ep o c h   10   B a t c h   si z e   32   Le a r n i n g   r a t e   3 × 10 - 5         W ev alu ate  m o d el  p er f o r m a n ce   u s in g   th F1 - s co r e,   wh ic h   is   th h ar m o n ic  m ea n   o f   p r ec is io n   an d   r ec all.   Pre cisi o n   m ea s u r es   th e   r atio   o f   ac cu r ately   p r e d icted   asp ec o r   o p in io n   ter m s   o u t   o f   all  th e   p r e d icted   ter m s .   I n   co m p ar is o n ,   r ec all  is   d ef in ed   as  th r atio   o f   co r r ec t ly   p r ed icted   asp ec ter m s   o r   o p in io n   ter m s   to   th to tal  n u m b er   o f   asp ec ter m s   o r   o p in io n   ter m s   in   th d ataset.   W al s o   u tili ze   th f lesch   r ea d in g   ea s ( FR E )   [ 3 8 ]   an d   th g u n n i n g   f o g   in d e x   ( FOG)   [ 3 9 ]   t o   ass ess   th r ea d ab ilit y   an d   co m p lex ity   o f   t h tex tu al  d ata.   T h e   FR E   ass ig n s   s co r f r o m   0   t o   1 0 0 ,   wh er e   h ig h e r   n u m b e r s   m ea n   th te x is   ea s ier   to   r ea d .   T h e   FOG  in d e x ,   co n v er s ely ,   esti m ates  th y ea r s   o f   s ch o o lin g   n ee d ed   t o   u n d e r s tan d   th tex o n   f ir s r ea d i n g .   h ig h er   FOG  s co r m ea n s   th tex t is m o r e   c o m p lex ,   with   a   s co r ab o v 1 4   g en er ally   c o n s id er ed   d if f icu lt.       3.   RE SU L T S AN D I SCU SS I O   T h p r o p o s ed   m o d els'   ef f ec tiv en ess   was  ass e s s ed   th r o u g h   v ar io u s   ex p er im en ts   to   ev al u ate  th eir   ca p ab ilit ies.  T h f o llo win g   s u b s ec tio n s   s h o an d   an al y ze   th m o d el  p e r f o r m an ce   ev al u atio n   f o r   AB SA.     3 . 1 .     Co m pa ra t iv a na ly s is   o f   AB SA  m o del   T ab le  3   d is p lay s   th m o d el  p er f o r m a n ce   b en c h m ar k in g .   T h r esu lts   s h o th at  th p r o p o s ed   m o d el   d em o n s tr ates  g o o d   ca p ab ilit y   to   id en tify   th asp ec ter m s   an d   ev alu ate  s en tim en p o lar ity .   T h ex p er im en t   r esu lts   s h o wca s ed   in   T ab le  3   in d icate   th at   th B AR T +BER T   en s em b le   m o d el  ac co m p lis h ed   s u p er io r   r esu lts   co m p ar ed   to   r ec e n ap p r o ac h e s B E R T   [ 1 9 ] k - n ea r est  n eig h b o r s   ( KNN)   [ 4 0 ] lin ea r   s u p p o r v ec to r   m ac h in e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 :   4 6 1 4 - 4 6 2 2   4618   ( SVM)   [ 4 1 ] r ad ial  b asis   f u n ctio n   ( R B F) - SVM   [ 4 2 ] d e cisi o n   tr ee   [ 4 3 ] r an d o m   f o r est  [ 4 4 ] m u ltil ay er   p er ce p tr o n   ( ML P)  [ 4 5 ] ,   Ad aBo o s [ 4 6 ] n aiv B ay es  [ 4 7 ] ,   a n d   q u a d r atic  d is cr im in an an al y s is   ( QDA)   [ 4 8 ] .       T ab le  3 .   Per f o r m an ce   o f   B AR T +BERT  m o d el  v s .   p r ev io u s   AB SA m o d els   M o d e l   P r e c i s i o n m a c ro   R e c a l l m a c r o   F1 m a c ro   B A R T + B E R T   ( p r o p o se d )   0 . 6 7   0 . 7 8   0 . 7 0   B ER T   0 . 2 4   0 . 1 4   0 . 1 5   K N N   0 . 4 2   0 . 2 1   0 . 2 5   Li n e a r   S V M   0 . 0 5   0 . 0 6   0 . 0 5   RBF - S V M   0 . 3 1   0 . 1 1   0 . 1 3   D e c i s i o n   t r e e   0 . 2 8   0 . 1 5   0 . 1 7   R a n d o f o r e s t   0 . 0 8   0 . 0 6   0 . 0 5   M LP   0 . 2 6   0 . 1 2   0 . 1 3   A d a B o o st   0 . 4 5   0 . 2 5   0 . 3   N a i v e   B a y e s   0 . 1 1   0 . 2 2   0 . 1 2   QDA   0 . 1 3   0 . 8 7   0 . 1 5       Ho wev er ,   it' s   cr u cial  to   ac k n o wled g th at  th d ata  d is tr ib u tio n   f o r   th B AR T +BERT   c o m b in atio n   d ev iates  f r o m   n o r m ality .   Si m ilar ly ,   th B E R T   m o d el  al s o   ex h ib its   d ev iatio n   f r o m   n o r m al  d is tr ib u tio n .   C o n s eq u en tly ,   n o n - p ar am etr ic  W ilco x o n   s ig n ed - r a n k   test   ass es s ed   th s tatis t ical  s ig n if i ca n ce   b etwe en   th e   p r o p o s ed   m o d els  an d   r ec en a p p r o ac h es,  s u ch   as  B E R T   [ 1 9 ] .   T h is   test   y ield ed   p - v alu e   o f   0 . 0 4 1 ,   in d icatin g   th p - v alu e   is   less   th an   α   ( 0 . 0 5 ) ,   wh ic h   r ev ea ls   th at  th o b s er v ed   d if f er en ce   i n   p er f o r m an ce   is   s tatis t ically   s ig n if ican t.  T h p r o p o s ed   m o d els'  im p r ess iv ca p ab ilit y   m ak es  it  f ea s ib le  to   ad d r ess   th AB SA   ch allen g to   ex tr ac t th im p licit ter m s ,   as d ep icted   in   T ab le  4 .   T a b l 4   p r e s e n t s   an   o v e r v ie o f   s e v er a l   f i n d i n g s   o b t a in e d   f r o m   t h r e s u l t s   o f   B A R T +B E R T   a n d   B E R T .   I n   th e   f i r s t   i n s t an ce ,   B E R T   i d en t i f i e s   b o th   " at t r a c t i o n "   an d   " i m ag e "   a s p e c t s   w i t h   p o s i t i v s e n t i m e n t s ,   w h i ch   d o e s   n o t   a l i g n   w i th   t h e   e x p e c t ed   t ar g e t .   B E R T   f a i l s   t o   r e co g n i z t h a t   " m u s t   v i s i t i m p l i e s   a   r ec o m m en d a t io n   w i t h o u t   e x p r e s s i n g   a   s t r o n g   p o s i t i v i ty .   Ho w e v er ,   th e   B A R T + B E R T   m o d el  s u c c e s s f u l ly   f o cu s e s   o n   i m p li c i t   o p i n io n   co n s i s t en t   w i th   t h e   o v e r a l co n t ex t .   O n   th o t h er   h an d ,   in   th e   s e c o n d   in s t a n c e,   th B E R T   m o d e i n ac c u r a t e ly   p r ed i c t s   th " a t t r ac t i o n "   a n d   " im a g e"   a s p e c t s   i m p l i e d   i n   t h e   t e x t ,   c a p tu r in g   o n l y   th e   ex p l i c i t l y   m en t i o n ed   "p r i ce "   a s p e c t .   M e an w h i l e,   th e   B AR T + B E R T   m o d e s u c c e s s f u l ly   p r ed i c t s   t h i m p l i e d   a s p e c t s   d e s p i t e   th l o r e a d ab i l i t y   an d   h i g h   co m p l ex i t y   o f   th t e x t,   a s   e v i d en c ed   b y   i t s   h i g h   F O G   s co r e   ( 2 7 . 0 2 )   an d   lo w   F R E   s c o r e   ( 1 8 . 0 2 ) .   T h e   B A R T + B E R T   m o d e l   e f f e c t i v e l y   c a p t u r e s   th e   " A t tr a c t io n an d   " I m a g e a s p ec t s   i m p l i e d   b y   t h e   s t r o n g   d i s s a t i s f a c t i o n   w i th   t h e   h i g h   en t r an c e   t i c k e t   p r i ce s   t o   B o r o b u d u r .   T h e   r e s u l t s   h ig h li g h t   t h e   p r o p o s e d   m o d e l 's   e x ce l l e n ce   i n   ad d r e s s i n g   s e n t im e n a n a l y s i s   a t h a s p ec t   l ev e l,   s h o wc a s i n g   i t s   ab i l i t y   t o   d i s c e r n   an d   in t er p r e t   v a r io u s   t o u r i s m   a s p e c t s   c o n t a in ed   w i t h in   t ex t u a c o n te n t ,   ev en   i n   t h c o n t ex t   o f   lo w   r e ad a b i l i ty   an d   c o m p l ex   s en t e n ce s .   T h e   r e s u l t s   h i g h l i g h t   t h e   p r o p o s ed   m o d e l's   e x c e l l e n c e   i n   ad d r e s s i n g   s en t i m en t   a n a ly s i s   a t   t h e   a s p ec l e v e l ,   s h o w c a s i n g   i t s   a b i l i t y   to   d i s c e r n   an d   in te r p r e t   v a r i o u s   t o u r i s m   a s p e c ts   c o n t a in e d   w i t h in   t ex t u a co n t en t ,   ev en   i n   t h c o n t ex t   o f   lo w   r e ad a b i l i ty   an d   c o m p le x   s en t e n c e s .       T ab le  4 .   C o m p a r ativ AB SA ta s k   ex am p le   F R E   F O G   I n p u t   t e x t   P r e d i c t i o n s   Ta r g e t   B A R T + B E R T   B ER T   8 2 . 8 1   5 . 8 4   " A   mu st   v i si t   i n   Y o g y a k a r t a !   G o   f o r   t h e   su n r i s e   f o r   su r e "     ( A t t r a c t i o n ,   0 )   ( A t t r a c t i o n 1 ) ( I mag e ,   1 )   ( A t t r a c t i o n ,   0 )   1 8 . 0 2   2 7 . 0 2   " Th e   e n t r a n c e   t i c k e t   f o r   f o r e i g n e r i s   v e r y   e x p e n si v e ,   3 5 0   t h o u sa n d ,   l o c a l   5 0   t h o u sa n d ,   v e r y   e x p e n si v e ,   i t 's   n o   w o n d e r   t o u r i s t r a r e l y   c o m e   t o   B o r o b u d u r ,   i n   B a l i   a l o n e   t h e r e   a r e   m a n y   i n t e r e st i n g   a n d   g r e a t   t o u r i s t   a t t r a c t i o n t o   v i si t   b u t   t h e   e n t r a n c e   t i c k e t   p r i c e   i n o t   e v e n   5 x   t h a t   f o r   f o r e i g n e r s ,   v e r y   d i s a p p o i n t e d   c a me   a l l   t h e   w a y   f r o B a l i   t o   M a g e l a n g   b r i n g i n g   f o r e i g n   g u e st s"   ( P r i c e - 1 ),   ( I mag e - 1 ) ,   ( A t t r a c t i o n ,   - 1)   ( P r i c e - 1 )   ( P r i c e - 1 ),   ( I mag e - 1 ) ,   ( A t t r a c t i o n ,   - 1)         3 . 2 .     P er f o r m a nce  B ART+ B E RT   w it t ex t   a ug m ent a t io n   T ab le  5   p r esen ts   co m p ar ati v an aly s is   o f   m o d el  p er f o r m an ce   ac r o s s   v ar io u s   tex au g m en tatio n   tech n iq u es.  T h e   r esu lts   im p ly   th at  th o r ig in al   d ataset  with o u au g m en tatio n ,   d em o n s tr ates  g o o d   p er f o r m an ce .   T h e   W ilco x o n   s ig n ed - r an k   test   o b tain ed   a   p - v alu o f   0 . 0 7 4   f o r   wo r d   r e p lace m en t,  0 . 0 7 8   f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Tr a n s fo r mer a n d   text  a u g men t a tio n   fo r   to u r is a s p ec t - b a s ed   s en timen t a n a lysi s   ( S a mu el  S i tu mea n g )   4619   b ac k   tr an s latio n ,   an d   0 . 0 7 4   f o r   r an d o m   d eletio n .   No tab l y ,   all  p - v alu es  ar m o r th an   0 . 0 5 ,   in d icatin g   n o   s tatis t ically   s ig n if ican d if f er e n ce   in   p er f o r m a n ce   b etwe en   t h B AR T +BE R T   an d   u n tr ea ted   m o d el.   T h s tu d y   f o u n d   th at   au g m e n tin g   th te x o f ten   alter ed   o r   ev e n   r em o v ed   th s p ec if ic   to u r is m   c o n tex cr u cial   to   t h e   r ev iews.  T h is   ch an g e   in   co n t ex r esu lted   in   t h m o d if icatio n   o f   th q u ad r u p le  ty p e,   wh ich   co n s is ts   o f   th e   asp ec ter m   a n d   o p in i o n   ter m .   C o n s eq u en tly ,   th is   i n tr o d u ce d   n o is r ath er   th a n   e n h an cin g   th d ataset,   lead i n g   to   n o   im p r o v e m en t in   th e   m o d el's ab ilit y .       T ab le  5 .   Per f o r m an ce   o f   B AR T +BERT  with   tex t a u g m en tatio n   M o d e l   P r e c i s i o n m a c r o   R e c a l l m a c r o   F1 m a c ro   O r i g i n a l   0. 67   0 . 7 8   0 . 7 0   B a c k   t r a n sl a t i o n   0 . 4 4   0 . 5 5   0 . 4 0   R a n d o d e l e t i o n   0 . 4 3   0 . 5 2   0 . 3 8   W o r d   r e p l a c e m e n t   0 . 4 3   0 . 5 2   0 . 3 8       3 . 3 .     P er f o r m a nce  B ART+ B E RT   w it t ex t   prepro ce s s ing   T ab le  6   s h o wca s es  co m p ar ativ an aly s is   o f   m o d el  p er f o r m an ce   em p l o y in g   d if f er en tex p r ep r o ce s s in g   tech n iq u es.  T h r esu lt  p o in ts   to   th o r ig in al  d ataset  with o u p r ep r o ce s s in g ,   d em o n s tr atin g   ef f ec tiv p e r f o r m an ce .   T h W ilco x o n   s ig n ed - r an k   test   p r o d u ce d   ar e   as  f o llo ws:   ca s f o ld in g   at  0 . 0 7 4 ,     s lan g   wo r d   p r o ce s s in g   at  0 . 0 7 4 ,   d ig it  co n v e r s io n   at  0 . 0 7 4 ,   s to p   wo r d   r em o v al  at  0 . 0 7 4 ,   s p ec ial  ch ar ac ter   r em o v al  at   0 . 0 7 8 ,   lem m atiza tio n   at  0 . 0 7 8 ,   a n d   s tem m in g   at  0 . 0 7 8 .   Sin ce   all  p - v alu es  a r m o r th a n   0 . 0 5 ,   th u s   th er is   n o   s tatis tically   s ig n if ican t d if f er e n ce   in   p e r f o r m an ce   b etwe en   th B AR T +BERT  an d   u n tr ea ted   m o d el.       T ab le  6 .   Per f o r m an ce   o f   B AR T +BERT  with   tex t p r ep r o ce s s in g   M o d e l   P r e c i s i o n m a c r o   R e c a l l m a c r o   F1 m a c ro   O r i g i n a l   0. 67   0 . 7 8   0 . 7 0   C a se   f o l d i n g   ( l o w e r c a s i n g )   0 . 5 6   0 . 3 5   0 . 4 0   S l a n g   w o r d s   c o n v e r si o n   0 . 5 6   0 . 3 3   0 . 3 9   D i g i t   c o n v e r si o n   0 . 5 6   0 . 3 4   0 . 4 0   S p e c i a l   c h a r a c t e r   r e mo v a l   0 . 5 7   0 . 3 1   0 . 3 6   S t o p w o r d   r e m o v a l   0 . 4 7   0 . 2 3   0 . 2 7   Le mm a t i z a t i o n   0 . 5 7   0 . 3 1   0 . 3 6       4.   CO NCLU SI O N   Ou r   s tu d y   r e v ea ls   th s u p er i o r   p er f o r m a n ce   o f   t h B AR T +BERT  en s em b le  m o d el  in   an aly zin g   asp ec t - lev el  s en tim en t.  T h W ilco x o n   s ig n ed - r an k   test   r ev ea ls   th at  B AR T + B E R T   en s em b le  m o d els  d em o n s tr ate  s ig n if ican tly   s u p er io r   p e r f o r m an ce   th a n   n o n - e n s em b le  m o d els,  with   a   p - v alu o f   0 . 0 4 1 ,   u n d e r   th s ig n if ican ce   th r esh o ld   o f   α   ( 0 . 0 5 ) .   Fu r th er m o r e,   ac h i ev in g   an   F1 - s co r o f   7 0 %,  th p r o p o s ed   m o d el   ex h ib ited   r o b u s ca p ab ilit ies  in   r ec o g n izin g   an d   in te r p r eti n g   to u r is m - r elate d   asp ec ts   w ith in   r ev iews,  ev en   am id s lo r ea d a b ilit y   an d   co m p lex   s en ten ce s .   Fu r t h er m o r e,   we  in v esti g ated   th im p ac o f   two   s u p p lem en tar y   tech n iq u es,  n am ely   tex t   au g m en tatio n   an d   tex t   p r e p r o ce s s in g ,   o n   th e   ca p ab ilit y   o f   th e   B AR T + B E R T   m o d el.   Su r p r is in g ly ,   n eith er   tech n iq u b r o u g h im p r o v em e n ts   to   th p r o p o s ed   m o d el   p er f o r m an ce .   I n   co n clu d in g   o u r   s tu d y ,   we  h a v d em o n s tr ated   th ef f ec tiv e n ess   o f   th B AR T +BE R T   en s em b le  m o d el  in   AB SA,  ev en   in   lo r ea d ab ilit y   an d   co m p lex   s en ten ce s .   T h is   u n d er s co r es  its   p o ten tial  a s   an   ef f icien t   s o lu tio n   f o r   s en tim en an aly s is   in   to u r is m   r e v iews.  Ho wev er ,   f o r   f u tu r e   wo r k   e n d ea v o r s ,   we   r ec o m m en d   ex p lo r in g   d o m ain - s p ec if ic  au g m en tatio n   tech n i q u es f o r   to u r is m - r elate d   d ata  th at  ca n   p r eser v th e   q u ad r u p le  ty p e.   Fu r th e r m o r e ,   f u tu r s tu d ies  m ay   also   co n s id er   au to m atin g   th h y p er p a r am eter s   co n f ig u r atio n   f o r   th B AR T +BERT  en s em b le  m o d el  to   m ain tain   its   p er f o r m an ce   ed g e   in   AB SA.       F UNDING   I NF O R M A T I O N   T h au th o r s   wo u ld   lik to   e x p r ess   th eir   g r atitu d to   th R esear ch   an d   C o m m u n ity   Ser v ice  Un it  ( L PP M)   o f   I n s titu T ek n o lo g Del  f o r - f u n d in g   r esear c h   u n d er   co n tr ac n u m b e r   0 2 1 . 3 3 /I T Del/L PP M/Pen elitia n /I V/2 0 2 4 .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 :   4 6 1 4 - 4 6 2 2   4620   Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Sam u el  Sit u m ea n g                               Sar ah   R o s d ian T am b u n a n                               J ev an ia                               Ma s tawila  Feb r y an ti  Sima n ju n tak                               San d r o   Sin ag a                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h d ata  th at  s u p p o r t h f in d in g s   o f   th is   s tu d y   a r av ailab l f r o m   t h co r r esp o n d in g   a u th o r ,   [ SS ] u p o n   r ea s o n ab le  r eq u est.         RE F E R E NC E S   [ 1 ]   N .   D o n t h u ,   S .   K u m a r ,   N .   P a n d e y ,   N .   P a n d e y ,   a n d   A .   M i s h r a ,   M a p p i n g   t h e   e l e c t r o n i c   w o r d - of - m o u t h   ( e W O M )   r e se a r c h :   a   sy st e ma t i c   r e v i e w   a n d   b i b l i o m e t r i c   a n a l y s i s,   J o u rn a l   o f   B u s i n e ss   Re se a r c h ,   v o l .   1 3 5 ,   p p .   7 5 8 7 7 3 ,   O c t .   2 0 2 1 ,     d o i :   1 0 . 1 0 1 6 / j . j b u sr e s . 2 0 2 1 . 0 7 . 0 1 5 .   [ 2 ]   H .   S i m a n j u n t a k ,   D .   T a r i g a n ,   I .   S i b a r a n i ,   C .   J.   H u t a p e a ,   R .   L u m b a n t o r u a n ,   a n d   M .   S i g i r o ,   W e i g h t e d   h y b r i d   r e c o mm e n d a t i o n   sy st e f o r   T o b a   t o u r i sm  b a s e d   o n   G o o g l e   R e v i e w   d a t a ,   i n   2 0 2 2   I E E I n t e rn a t i o n a l   C o n f e re n c e   o f   C o m p u t e S c i e n c e   a n d   I n f o rm a t i o n   T e c h n o l o g y ,   I EEE,   O c t .   2 0 2 2 ,   p p .   1 8 ,   d o i :   1 0 . 1 1 0 9 / I C O S N I K O M 5 6 5 5 1 . 2 0 2 2 . 1 0 0 3 4 9 1 1 .   [ 3 ]   J.  L i ,   L.   X u ,   L.   Ta n g ,   S .   W a n g ,   a n d   L.   L i ,   B i g   d a t a   i n   t o u r i sm  r e sea r c h :   a   l i t e r a t u r e   r e v i e w ,   T o u r i sm   Ma n a g e m e n t ,   v o l .   6 8 ,     p p .   3 0 1 3 2 3 ,   O c t .   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . t o u r ma n . 2 0 1 8 . 0 3 . 0 0 9 .   [ 4 ]   M .   D .   D e v i k a ,   C .   S u n i t h a ,   a n d   A .   G a n e sh ,   S e n t i m e n t   a n a l y si s :   a   c o mp a r a t i v e   s t u d y   o n   d i f f e r e n t   a p p r o a c h e s ,   Pr o c e d i a   C o m p u t e r   S c i e n c e ,   v o l .   8 7 ,   p p .   4 4 4 9 ,   2 0 1 6 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 1 6 . 0 5 . 1 2 4 .   [ 5 ]   E.   M a r t i n i ,   F .   T i sa d i n d a ,   M .   A .   S u l t a n ,   a n d   R .   H u r r i y a t i ,   I mp a c t   o f   e - W O M   a n d   W O M   o n   d e st i n a t i o n   i ma g e   i n   sh o p p i n g   t o u r i sm   b u s i n e ss,   J u r n a l   D i n a m i k a   M a n a j e m e n ,   v o l .   1 3 ,   n o .   1 ,   p p .   6 6 7 7 ,   M a r .   2 0 2 2 ,   d o i :   1 0 . 1 5 2 9 4 / j d m . v 1 3 i 1 . 3 1 8 1 9 .   [ 6 ]   W .   Zh a n g ,   X .   Li ,   Y .   D e n g ,   L.   B i n g ,   a n d   W .   La m ,   A   s u r v e y   o n   a s p e c t - b a se d   se n t i me n t   a n a l y si s:   t a s k s,  me t h o d s,  a n d   c h a l l e n g e s ,   I EEE  T r a n s a c t i o n o n   K n o w l e d g e   a n d   D a t a   E n g i n e e ri n g ,   v o l .   3 5 ,   n o .   1 1 ,   p p .   1 1 0 1 9 1 1 0 3 8 ,   N o v .   2 0 2 3 ,     d o i :   1 0 . 1 1 0 9 / T K D E. 2 0 2 2 . 3 2 3 0 9 7 5 .   [ 7 ]   D .   A r i a n t o   a n d   I .   B u d i ,   A sp e c t - b a s e d   se n t i me n t   a n a l y si s   o n   I n d o n e s i a s   t o u r i sm   D e st i n a t i o n s   b a s e d   o n   G o o g l e   M a p s   U ser  C o d e - mi x e d   r e v i e w ( s t u d y   c a se :   B o r o b u d u r   a n d   P r a m b a n a n   Te m p l e s) ,   i n   Pro c e e d i n g o f   t h e   3 4 t h   P a c i f i c   As i a   C o n f e re n c e   o n   L a n g u a g e ,   I n f o rm a t i o n   a n d   C o m p u t a t i o n ,   H a n o i ,   V i e t n a m:   A ss o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,  2 0 2 0 ,   p p .   3 5 9 3 6 7 .     [ 8 ]   C .   D .   H o a n g ,   Q .   V .   D i n h ,   a n d   N .   H .   T r a n ,   A s p e c t - c a t e g o r y - o p i n i o n - s e n t i m e n t   e x t r a c t i o n   u si n g   g e n e r a t i v e   t r a n sf o r mer mo d e l ,   i n   2 0 2 2   RI VF  I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t i n g   a n d   C o m m u n i c a t i o n   T e c h n o l o g i e s ,   I EEE,   D e c .   2 0 2 2 ,   p p .   1 6 .     d o i :   1 0 . 1 1 0 9 / R I V F 5 5 9 7 5 . 2 0 2 2 . 1 0 0 1 3 8 2 0 .   [ 9 ]   X .   B a o ,   W .   Z h o n g q i n g ,   X .   J i a n g ,   R .   X i a o ,   a n d   S .   Li ,   A s p e c t - b a se d   s e n t i me n t   a n a l y s i w i t h   o p i n i o n   t r e e   g e n e r a t i o n ,   i n   T h e   T h i r t y - F i rst   I n t e rn a t i o n a l   J o i n t   C o n f e re n c e   o n   Ar t i f i c i a l   I n t e l l i g e n c e ,   C a l i f o r n i a :   I n t e r n a t i o n a l   J o i n t   C o n f e r e n c e o n   A r t i f i c i a l   I n t e l l i g e n c e   O r g a n i z a t i o n ,   J u l .   2 0 2 2 ,   p p .   4 0 4 4 4 0 5 0 ,   d o i :   1 0 . 2 4 9 6 3 / i j c a i . 2 0 2 2 / 5 6 1 .   [ 1 0 ]   C .   S h o r t e n   a n d   T.   M .   K h o s h g o f t a a r ,   A   su r v e y   o n   i ma g e   d a t a   a u g m e n t a t i o n   f o r   d e e p   l e a r n i n g ,   J o u r n a l   o f   Bi g   D a t a ,   v o l .   6 ,   n o .   1 ,   p p .   6 0 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 0 1 9 - 0 1 9 7 - 0.   [ 1 1 ]   I .   S o l a i ma n   e t   a l . ,   R e l e a se   st r a t e g i e a n d   t h e   s o c i a l   i m p a c t s   o f   l a n g u a g e   m o d e l s,”   a r Xi v : 1 9 0 8 . 0 9 2 0 3 ,   N o v .   2 0 1 9 .   [ 1 2 ]   S .   Lo n g p r e ,   Y .   W a n g ,   a n d   C .   D u B o i s ,   H o w   e f f e c t i v e   i t a s k - a g n o st i c   d a t a   a u g me n t a t i o n   f o r   p r e t r a i n e d   t r a n sf o r mers ? ,   i n   Fi n d i n g s   o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s:   EM N L P   2 0 2 0 ,   S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   Li n g u i s t i c s,  2 0 2 0 ,   p p .   4 4 0 1 4 4 1 1 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . f i n d i n g s - e m n l p . 3 9 4 .   [ 1 3 ]   M .   L e w i e t   a l . ,   B A R T:   d e n o i s i n g   s e q u e n c e - to - se q u e n c e   p r e - t r a i n i n g   f o r   n a t u r a l   l a n g u a g e   g e n e r a t i o n ,   t r a n sl a t i o n ,   a n d   c o m p r e h e n si o n ,   i n   Pr o c e e d i n g s   o f   t h e   5 8 t h   A n n u a l   Me e t i n g   o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s ,   S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   Li n g u i s t i c s,  2 0 2 0 ,   p p .   7 8 7 1 7 8 8 0 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . a c l - m a i n . 7 0 3 .   [ 1 4 ]   G .   W a n g ,   J .   H a o ,   J.  M a ,   a n d   H .   J i a n g ,   A   c o mp a r a t i v e   a ss e ssm e n t   o f   e n se mb l e   l e a r n i n g   f o r   c r e d i t   s c o r i n g ,   Ex p e r t   S y st e m w i t h   Ap p l i c a t i o n s ,   v o l .   3 8 ,   n o .   1 ,   p p .   2 2 3 2 3 0 ,   Ja n .   2 0 1 1 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 1 0 . 0 6 . 0 4 8 .   [ 1 5 ]   D .   O p i t z   a n d   R .   M a c l i n ,   P o p u l a r   e n semb l e   m e t h o d s :   a n   e mp i r i c a l   st u d y ,   J o u r n a l   o f   Art i f i c i a l   I n t e l l i g e n c e   R e se a rc h ,   v o l .   1 1 ,     n o .   1 ,   p p .   1 6 9 1 9 8 ,   1 9 9 9 .   [ 1 6 ]   J.  M .   M o r e i r a ,   A .   C .   P .   L .   F .   d e   C a r v a l h o ,   a n d   T.   H o r v á t h ,   D a t a   q u a l i t y   a n d   p r e p r o c e ssi n g ,   i n   A   G e n e r a l   I n t r o d u c t i o n   t o   D a t a   An a l y t i c s ,   W i l e y ,   2 0 1 8 ,   p p .   7 1 97 ,   d o i :   1 0 . 1 0 0 2 / 9 7 8 1 1 1 9 2 9 6 2 9 4 . c h 4 .   [ 1 7 ]   N .   I n d u r k h y a   a n d   F .   J.   D a m e r a u ,   H a n d b o o k   o f   n a t u ra l   l a n g u a g e   p ro c e ss i n g ,   2 n d   e d .   N e w   Y o r k :   C h a p m a n   a n d   H a l l / C R C ,   2 0 1 0 d o i :   1 0 . 1 2 0 1 / 9 7 8 1 4 2 0 0 8 5 9 3 8 .   [ 1 8 ]   M .   J.   D e n n y   a n d   A .   S p i r l i n g ,   Te x t   p r e p r o c e ssi n g   f o r   u n su p e r v i s e d   l e a r n i n g :   w h y   i t   m a t t e r s,   w h e n   i t   mi s l e a d s ,   a n d   w h a t   t o   d o   a b o u t   i t ,   Po l i t i c a l   A n a l y s i s ,   v o l .   2 6 ,   n o .   2 ,   p p .   1 6 8 1 8 9 ,   A p r .   2 0 1 8 ,   d o i :   1 0 . 1 0 1 7 / p a n . 2 0 1 7 . 4 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Tr a n s fo r mer a n d   text  a u g men t a tio n   fo r   to u r is a s p ec t - b a s ed   s en timen t a n a lysi s   ( S a mu el  S i tu mea n g )   4621   [ 1 9 ]   J.  D e v l i n ,   M . - W .   C h a n g ,   K .   Le e ,   a n d   K .   To u t a n o v a ,   B E R T :   P r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r m e r f o r   l a n g u a g e   u n d e r s t a n d i n g ,   i n   Pro c e e d i n g s   o f   N o rt h   Am e ri c a n   C h a p t e r   o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s ,   S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   Li n g u i s t i c s,  2 0 1 9 ,   p p .   4 1 7 1 4 1 8 6 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 9 - 1 4 2 3 .   [ 2 0 ]   E.   C .   G . - M e r c h a n ,   R .   G . - B r i z u e l a ,   a n d   S .   G . - C a r v a j a l ,   C o m p a r i n g   B E R a g a i n st   t r a d i t i o n a l   ma c h i n e   l e a r n i n g   mo d e l s   i n   t e x t   c l a ss i f i c a t i o n ,   J o u r n a l   o f   C o m p u t a t i o n a l   a n d   C o g n i t i v e   En g i n e e r i n g ,   v o l .   2 ,   n o .   4 ,   p p .   3 5 2 3 5 6 ,   A p r .   2 0 2 3 ,     d o i :   1 0 . 4 7 8 5 2 / b o n v i e w JC C E 3 2 0 2 8 3 8 .   [ 2 1 ]   M .   A r k h i p o v ,   M .   Tr o f i mo v a ,   Y .   K u r a t o v ,   a n d   A .   S o r o k i n ,   T u n i n g   m u l t i l i n g u a l   t r a n sf o r m e r f o r   l a n g u a g e - s p e c i f i c   n a me d   e n t i t y   r e c o g n i t i o n ,   i n   Pr o c e e d i n g s   o f   t h e   7 t h   Wo r k sh o p   o n   Ba l t o - S l a v i c   N a t u ra l   L a n g u a g e   Pro c e ss i n g ,   S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 1 9 ,   p p .   8 9 93 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / W 1 9 - 3 7 1 2 .   [ 2 2 ]   V .   G o y a l ,   R .   S i n g h ,   M .   D h a w l e y ,   A .   K u m a r ,   a n d   S .   S h a r ma,   A e r i a l   o b j e c t   d e t e c t i o n   u s i n g   d e e p   l e a r n i n g :   a   r e v i e w ,   i n   C o m p u t a t i o n a l   I n t e l l i g e n c e ,   S p r i n g e r ,   S i n g a p o r e ,   2 0 2 3 ,   p p .   8 1 92 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 19 - 7 3 4 6 - 8 _ 8 .   [ 2 3 ]   G. - M .   P a r k ,   S . - E.   H o n g ,   a n d   S . - B .   P a r k ,   P o st - t r a i n i n g   w i t h   i n t e r r o g a t i v e   s e n t e n c e s   f o r   e n h a n c i n g   B A R T - b a s e d   K o r e a n   q u e st i o n   g e n e r a t o r ,   i n   Pr o c e e d i n g s   o f   t h e   2 n d   C o n f e re n c e   o f   t h e   As i a - P a c i f i c   C h a p t e o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s   a n d   t h e   1 2 t h   I n t e r n a t i o n a l   J o i n t   C o n f e re n c e   o n   N a t u r a l   L a n g u a g e   Pr o c e ss i n g ,   A sso c i a t i o n   f o r   C o mp u t a t i o n a l   L i n g u i st i c s ,   2 0 2 2 ,   p p .   2 0 2 2 0 9 .   [ 2 4 ]   Z.   Li n   e t   a l . ,   Te x t   g e n e r a t i o n   w i t h   d i f f u s i o n   l a n g u a g e   m o d e l s :   a   p r e - t r a i n i n g   a p p r o a c h   w i t h   c o n t i n u o u s   p a r a g r a p h   d e n o i se,   i n   Pro c e e d i n g o f   t h e   4 0 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   M a c h i n e   L e a rn i n g ,   A C M   D i g i t a l   Li b r a r y ,   2 0 2 3 ,   p p .   2 1 0 5 1 2 1 0 6 4 .   [ 2 5 ]   B .   L i ,   Y .   H o u ,   a n d   W .   C h e ,   D a t a   a u g men t a t i o n   a p p r o a c h e s i n   n a t u r a l   l a n g u a g e   p r o c e ssi n g :   a   s u r v e y ,   AI   O p e n ,   v o l .   3 ,   p p .   7 1 9 0 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . a i o p e n . 2 0 2 2 . 0 3 . 0 0 1 .   [ 2 6 ]   J.  C h e n ,   D .   Ta m ,   C .   R a f f e l ,   M .   B a n sal ,   a n d   D .   Y a n g ,   A n   e m p i r i c a l   s u r v e y   o f   d a t a   a u g m e n t a t i o n   f o r   l i m i t e d   d a t a   l e a r n i n g   i n   N LP,”   T r a n s a c t i o n o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   v o l .   1 1 ,   p p .   1 9 1 2 1 1 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 6 2 / t a c l _ a _ 0 0 5 4 2 .   [ 2 7 ]   M .   Q u e u d o t ,   L.   M a r c e a u ,   R .   M .   B e l b a h a r ,   E.   C h a r t o n ,   a n d   M . - J.  M e u r s,  D a t a s e t   a u g me n t a t i o n   u si n g   b a c k - t r a n sl a t i o n   t o   i mp r o v e   e a r l y   st a g e   d i a l o g   sy st e ms,”   i n   Pr o c e e d i n g s o f   t h e   C a n a d i a n   C o n f e re n c e   o n   Art i f i c i a l   I n t e l l i g e n c e ,   C a n a d i a n   A r t i f i c i a l   I n t e l l i g e n c e   A sso c i a t i o n ,   M a y   2 0 2 2 ,   d o i :   1 0 . 2 1 4 2 8 / 5 9 4 7 5 7 d b . 3 9 8 6 f a 3 7 .   [ 2 8 ]   S .   X i a o   a n d   J .   W .   O l l e r ,   C a n   r e l a t i v e l y   p e r f e c t   t r a n s l a t i o n   b e t w e e n   E n g l i sh   a n d   C h i n e s e   b e   a c h i e v e d ? ,   L a n g u a g e   T e s t i n g   v o l .   1 1 ,   n o .   3 ,   p p .   2 6 7 2 8 9 ,   N o v .   1 9 9 4 ,   d o i :   1 0 . 1 1 7 7 / 0 2 6 5 5 3 2 2 9 4 0 1 1 0 0 3 0 3 .   [ 2 9 ]   S .   Zh a o   a n d   D .   Z h a n g ,   T h e   t o t a l i t y   o f   C h i n e s e   c h a r a c t e r -   a   d i g i t a l   p e r sp e c t i v e ,   J o u rn a l   o f   C h i n e se  L a n g u a g e   a n d   C o m p u t i n g v o l .   1 7 ,   n o .   2 ,   p p .   1 0 7 1 2 5 ,   2 0 0 7 .   [ 3 0 ]   M .   M u n i k a r ,   S .   S h a k y a ,   a n d   A .   S h r e s t h a ,   F i n e - g r a i n e d   se n t i me n t   c l a ss i f i c a t i o n   u si n g   B E R T,   i n   2 0 1 9   Ar t i f i c i a l   I n t e l l i g e n c e   f o r   T ra n s f o rm i n g   Bu si n e ss   a n d   S o c i e t y ,   I EEE,   N o v .   2 0 1 9 ,   p p .   1 5 ,   d o i :   1 0 . 1 1 0 9 / A I TB 4 8 5 1 5 . 2 0 1 9 . 8 9 4 7 4 3 5 .   [ 3 1 ]   S .   S y me o n i d i s ,   D .   Ef f r o s y n i d i s ,   a n d   A .   A r a mp a t z i s,  A   c o mp a r a t i v e   e v a l u a t i o n   o f   p r e - p r o c e ssi n g   t e c h n i q u e a n d   t h e i r   i n t e r a c t i o n s   f o r   Tw i t t e r   s e n t i m e n t   a n a l y si s ,   Ex p e r t   S y s t e m w i t h   Ap p l i c a t i o n s ,   v o l .   1 1 0 ,   p p .   2 9 8 3 1 0 ,   N o v .   2 0 1 8 ,     d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 1 8 . 0 6 . 0 2 2 .   [ 3 2 ]   H .   F a n g ,   G .   X u ,   Y .   L o n g ,   a n d   W .   Ta n g ,   A n   Ef f e c t i v e   EL EC T R A - b a s e d   p i p e l i n e   f o r   s e n t i me n t   a n a l y s i o f   t o u r i s t   a t t r a c t i o n   r e v i e w s,”   A p p l i e d   S c i e n c e s ,   v o l .   1 2 ,   n o .   2 1 ,   O c t .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 2 2 1 1 0 8 8 1 .   [ 3 3 ]   M .   M .   S a mi a ,   A .   R a j e e ,   M .   R .   H a s a n ,   M .   O .   F a r u q ,   a n d   P .   C .   P a u l ,   A s p e c t - b a se d   s e n t i m e n t   a n a l y si f o r   B e n g a l i   t e x t   u si n g   b i d i r e c t i o n a l   e n c o d e r   r e p r e se n t a t i o n s   f r o t r a n sf o r mers   ( B ER T) ,   I n t e r n a t i o n a l   J o u rn a l   o f   Ad v a n c e d   C o m p u t e S c i e n c e   a n d   Ap p l i c a t i o n s ,   v o l .   1 3 ,   n o .   1 2 ,   2 0 2 2 ,   d o i :   1 0 . 1 4 5 6 9 / I JA C S A . 2 0 2 2 . 0 1 3 1 2 1 1 2 .   [ 3 4 ]   J.  Ta o ,   L.   Zh o u ,   a n d   C .   F e e n e y ,   I   u n d e r st a n d   w h a t   y o u   a r e   s a y i n g :   l e v e r a g i n g   d e e p   l e a r n i n g   t e c h n i q u e s   f o r   a s p e c t   b a s e d   sen t i m e n t   a n a l y s i s,   i n   Pr o c e e d i n g o f   t h e   5 2 n d   H a w a i i   I n t e r n a t i o n a l   C o n f e re n c e   o n   S y st e m   S c i e n c e s ,   G r a n d   W a i l e a ,   H a w a i i :   H I C S S ,   2 0 1 9 ,   p p .   4 7 0 - 479 .   [ 3 5 ]   A .   M u r t a d h a ,   B .   W e n ,   S .   P a n ,   J.   S u ,   L.   A o ,   a n d   Y .   Li u ,   B ER T - A S C :   a u x i l i a r y - se n t e n c e   c o n s t r u c t i o n   f o r   i m p l i c i t   a sp e c t   l e a r n i n g   i n   se n t i me n t   a n a l y s i s,   E x p e rt   S y st e m s w i t h   A p p l i c a t i o n s ,   v o l .   2 5 8 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 4 . 1 2 5 1 9 5 .   [ 3 6 ]   C .   S u n ,   L.   H u a n g ,   a n d   X .   Q i u ,   U t i l i z i n g   B E R T   f o r   a s p e c t - b a se d   s e n t i men t   a n a l y si s   v i a   c o n st r u c t i n g   a u x i l i a r y   s e n t e n c e ,   i n   Pro c e e d i n g o f   t h e   2 0 1 9   C o n f e re n c e   o f   t h e   N o r t h   Am e r i c a n   C h a p t e o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s ,   S t r o u d sb u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,   2 0 1 9 ,   p p .   3 8 0 3 8 5 .     d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 9 - 1 0 3 5 .   [ 3 7 ]   A .   D a a n d   W .   E.   Zh a n g ,   A B S A - B e n c h :   t o w a r d t h e   u n i f i e d   e v a l u a t i o n   o f   a s p e c t - b a s e d   s e n t i m e n t   a n a l y si r e se a r c h ,   i n   Pro c e e d i n g o f   t h e   1 8 t h   A n n u a l   W o rks h o p   o f   t h e   A u st r a l a si a n   L a n g u a g e   T e c h n o l o g y   Ass o c i a t i o n ,   A u s t r a l a si a n   L a n g u a g e   Te c h n o l o g y   A ss o c i a t i o n ,   2 0 2 0 ,   p p .   6 5 7 1 .   [ 3 8 ]   R .   F l e sc h ,   S i m p l i f i c a t i o n   o f   F l e s c h   r e a d i n g   e a s e   f o r mu l a :   r e p l y . ,   J o u r n a l   o f   Ap p l i e d   Psy c h o l o g y ,   v o l .   3 6 ,   n o .   1 ,   p p .   5 4 5 5 ,   1 9 5 2 ,   d o i :   1 0 . 1 0 3 7 / h 0 0 5 1 9 6 5 .   [ 3 9 ]   R .   G u n n i n g ,   T h e   f o g   i n d e x   a f t e r   t w e n t y   y e a r s,”   J o u r n a l   o f   B u si n e s C o m m u n i c a t i o n ,   v o l .   6 ,   n o .   2 ,   p p .   3 1 3 ,   J a n .   1 9 6 9 ,     d o i :   1 0 . 1 1 7 7 / 0 0 2 1 9 4 3 6 6 9 0 0 6 0 0 2 0 2 .   [ 4 0 ]   E.   F i x   a n d   J .   L.   H o d g e s,   D i scri mi n a t o r y   a n a l y s i s.   n o n p a r a m e t r i c   d i scri mi n a t i o n :   c o n si s t e n c y   p r o p e r t i e s,   I n t e rn a t i o n a l   S t a t i st i c a l   Re v i e w / R e v u e   I n t e r n a t i o n a l e   d e   S t a t i s t i q u e ,   v o l .   5 7 ,   n o .   3 ,   p p .   2 3 8 2 4 7 ,   D e c .   1 9 8 9 ,   d o i :   1 0 . 2 3 0 7 / 1 4 0 3 7 9 7 .   [ 4 1 ]   B .   E.   B o s e r ,   I .   M .   G u y o n ,   a n d   V .   N .   V a p n i k ,   A   t r a i n i n g   a l g o r i t h f o r   o p t i ma l   marg i n   c l a ssi f i e r s,”   i n   Pr o c e e d i n g o f   t h e   f i f t h   a n n u a l   w o rks h o p   o n   C o m p u t a t i o n a l   l e a r n i n g   t h e o r y ,   N e w   Y o r k ,   U n i t e d   S t a t e s :   A C M ,   Ju l .   1 9 9 2 ,   p p .   1 4 4 1 5 2 .     d o i :   1 0 . 1 1 4 5 / 1 3 0 3 8 5 . 1 3 0 4 0 1 .   [ 4 2 ]   B. - C .   K u o ,   H . - H .   H o ,   C . - H .   Li ,   C . - C .   H u n g ,   a n d   J. - S .   Ta u r ,   A   k e r n e l - b a s e d   f e a t u r e   se l e c t i o n   m e t h o d   f o r   S V M   w i t h   R B F   k e r n e l   f o r   h y p e r s p e c t r a l   i m a g e   c l a ss i f i c a t i o n ,   I E EE  J o u r n a l   o f   S e l e c t e d   T o p i c s   i n   A p p l i e d   Ea r t h   O b ser v a t i o n a n d   Re m o t e   S e n si n g   v o l .   7 ,   n o .   1 ,   p p .   3 1 7 3 2 6 ,   J a n .   2 0 1 4 ,   d o i :   1 0 . 1 1 0 9 / JS TA R S . 2 0 1 3 . 2 2 6 2 9 2 6 .   [ 4 3 ]   J .   R .   Q u i n l a n ,   I n d u c t i o n   o f   d e c i s i o n   t r e e s ,   M a c h i n e   L e a r n i n g ,   v o l .   1 ,   n o .   1 ,   p p .   8 1 1 0 6 ,   M a r .   1 9 8 6 ,   d o i :   1 0 . 1 0 2 3 / A : 1 0 2 2 6 4 3 2 0 4 8 7 7 .   [ 4 4 ]   L.   B r e i m a n ,   R a n d o m fo r e st s,   Ma c h i n e   L e a r n i n g ,   v o l .   4 5 ,   n o .   1 ,   p p .   5 3 2 ,   O c t .   2 0 0 1 ,   d o i :   1 0 . 1 0 2 3 / A : 1 0 1 0 9 3 3 4 0 4 3 2 4 .   [ 4 5 ]   M. - C .   P o p e s c u ,   V .   E .   B a l a s,  L .   P . - P o p e sc u ,   a n d   N .   M a s t o r a k i s,  M u l t i l a y e r   p e r c e p t r o n   a n d   n e u r a l   n e t w o r k s,   W S EA S   T ra n s a c t i o n o n   C i rc u i t a n d   S y st e m s ,   v o l .   8 ,   n o .   7 ,   p p .   5 7 9 5 8 8 ,   2 0 0 9 .   [ 4 6 ]   Y .   F r e u n d   a n d   R .   E.   S c h a p i r e ,   A   s h o r t   i n t r o d u c t i o n   t o   b o o s t i n g ,   J o u r n a l   o f   J a p a n e s e   S o c i e t y   f o Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 4 ,   n o .   5 ,   p p .   7 7 1 7 8 0 ,   1 9 9 9 .   [ 4 7 ]   G .   I .   W e b b ,   N a ï v e   B a y e s,   i n   En c y c l o p e d i a   o f   M a c h i n e   L e a r n i n g ,   B o st o n ,   M A :   S p r i n g e r   U S ,   2 0 1 1 ,   p p .   7 1 3 7 1 4 .     d o i :   1 0 . 1 0 0 7 / 9 7 8 - 0 - 387 - 3 0 1 6 4 - 8 _ 5 7 6 .   [ 4 8 ]   Y .   W u ,   Y .   Q i n ,   a n d   M .   Z h u ,   Q u a d r a t i c   D i scri m i n a n t   a n a l y si f o r   h i g h - d i me n si o n a l   d a t a,”  S t a t i s t i c a   S i n i c a ,   v o l .   2 9 ,   n o .   2 ,     p p .   9 3 9 9 6 0 ,   2 0 1 9 ,   d o i :   1 0 . 5 7 0 5 / ss. 2 0 2 0 1 6 . 0 0 3 4 .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 :   4 6 1 4 - 4 6 2 2   4622   B I O G RAP H I E S O F   AUTH O RS       S a m u e S itu m e a n g           re c e iv e d   h is  b a c h e lo r' d e g re e   in   t h e   In fo rm a ti o n   Tec h n o l o g y   S tu d y   P ro g ra m ,   F a c u lt y   o C o m p u ter  S c ien c e   a n d   In f o rm a ti o n   Tec h n o l o g y ,   Un i v e rsitas   S u m a tera   Uta ra ,   In d o n e sia ,   in   2 0 1 4 .   He   re c e iv e d   h is  m a ste r' d e g r e e   fro m   th e   De p a rtme n o f   Co m p u ter  S c ien c e   a n d   I n fo rm a t io n   E n g i n e e rin g ,   Co ll e g e   o En g in e e rin g ,   Na ti o n a Ch u n g   Ch e n g   Un i v e rsity ,   Taiwa n ,   i n   2 0 1 7 .   He   c u rre n tl y   lec tu re i n   th e   In f o rm a ti o n   S y ste m   S t u d y   P ro g ra m ,   F a c u lt y   o f   In f o rm a ti c a n d   El e c tri c a En g i n e e rin g ,   I n stit u Tek n o lo g i   De l.   His   m a in   re se a rc h   in tere st  is  AI - d ri v e n   so lu ti o n f o e d u c a ti o n   a n d   c u lt u r a h e r it a g e ,   w h ich   in ters e c t   a re a o d a ta  sc ien c e ,   n a t u ra lan g u a g e   p ro c e ss in g ,   a n d   c o m p u ter  v isio n .   He   c a n   b e   c o n tac te d   a e m a il sa m u e l. situ m e a n g @d e l. a c . id .         S a r a h   Ro sdi a n a   T a m b u n a n           re c e iv e d   h e b a c h e lo r' d e g re e   i n   t h e   I n fo rm a ti o n   S y ste m   S tu d y   P r o g ra m ,   F a c u lt y   o In fo rm a ti c a n d   El e c tri c a En g in e e rin g ,   In stit u Tek n o l o g i   De l,   In d o n e sia ,   in   2 0 1 9 .   S h e   re c e iv e d   h e m a ste r' d e g re e   fro m   th e   Co m p u ter  S c ie n c e M a ste r   P ro g ra m ,   F a c u lt y   o f   M a t h e m a ti c a n d   Na tu ra S c ien c e s,  Un i v e rsitas   G a d jah   M a d a ,   I n d o n e sia ,   in   2 0 2 3 .   S h e   c u rre n tl y   lec tu re in   t h e   In f o rm a ti o n   S y ste m   S t u d y   P r o g ra m ,   F a c u lt y   o f   In fo rm a ti c a n d   El e c tri c a E n g i n e e rin g ,   I n stit u Te k n o lo g i   De l.   He re se a rc h   fo c u se o n   so ftwa re   e n g in e e rin g   a n d   d a ta  se c u rit y .   S h e   c a n   b e   c o n tac ted   a e m a il sa ra h . tam b u n a n @ d e l. a c . id .         J e v a n ia           re c e iv e d   h e b a c h e lo r' d e g re e   i n   th e   In f o rm a ti o n   S y ste m   S tu d y   P r o g ra m ,   F a c u lt y   o I n fo rm a ti c a n d   El e c tr ica En g i n e e rin g ,   In st it u t   Tek n o l o g De l,   In d o n e sia ,   in   2 0 2 4 .   He c u rio sity   o v e tec h n o l o g y   e a rn e d   h e a   sc h o lars h ip   to   th e   A p p le  De v e lo p e Ac a d e m y   in   h e se c o n d   y e a r.   W it h   a   p ro f o u n d   in tere st   in   iOS   d e v e lo p m e n t   a n d   m a c h in e   lea rn in g ,   s h e   wa s   in v o lv e d   i n   se v e ra p ro jec ts  s u c h   a a n   a p p li c a ti o n   t h a lev e ra g e m a c h in e   lea rn i n g   to   g e n e ra te   p u b li c   sp e a k in g   fe e d b a c k .   He p a ss io n   li e s in   e x p l o ri n g   re se a rc h   d o m a in s th a i n c lu d e   m a c h in e   lea rn in g ,   a rti ficia in tell ig e n c e ,   a n d   n a t u ra lan g u a g e   p r o c e ss in g .   S h e   c a n   b e   c o n tac ted   a t   e m a il jev a d d icte d @ g m a il . c o m .         Ma sta wil a   Febry a n ti  S i m a n ju n ta k           re c e iv e d   h e b a c h e lo r' d e g re e   in   th e   In fo rm a ti o n   S y ste m   S t u d y   P ro g ra m ,   F a c u lt y   o I n fo rm a ti c s a n d   El e c tri c a En g in e e rin g ,   I n stit u t   Tek n o lo g De l,   In d o n e sia ,   in   2 0 2 4 .   He re se a rc h   i n tere sts  a re   n a tu r a lan g u a g e   p ro c e ss in g ,   a n d   d a ta m in in g .   S h e   c a n   b e   c o n tac ted   a e m a il m a sta wilas ima n ju n tak 8 2 1 7 1 @ g m a il . c o m .         S a n d r o   S in a g a           re c e iv e d   h is  b a c h e lo r' d e g re e   in   th e   In f o rm a ti o n   S y ste m   S tu d y   P ro g ra m ,   F a c u lt y   o In f o rm a ti c a n d   El e c tri c a En g in e e rin g ,   I n stit u Tek n o l o g De l,   I n d o n e sia ,   in   2 0 2 4 .   His  re se a rc h   in tere sts  a re   n a tu ra la n g u a g e   p ro c e ss in g   a n d   d a ta  m in i n g .   He   c a n   b e   c o n tac ted   a e m a il sa n n d ro si n a g a 8 9 @g m a il . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.