T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  2 3 ,   No .   2 A p r il   2 0 2 5 ,   p p .   416 ~ 425   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 2 3 i 2 . 26223           416     J o ur na l ho m ep a g e h ttp : //telko mn ika . u a d . a c. i d   Co m pa riso n of  w o rd e m bedding   fe a ture s   using   d e ep   l ea rning  in  s enti m en a na ly sis       J a s m ir 1 ,   E rr is s y a   Ra s y w ir 2 H er t i Y a ni 3 ,   Ag us   Nug ro ho 2   1 D e p a r t e me n t   o f   C o mp u t e r   E n g i n e e r i n g ,   F a c u l t y   o f   C o mp u t e r   S c i e n c e ,   U n i v e r si t a s Di n a m i k a   B a n g sa,   Jam b i ,   I n d o n e si a   2 D e p a r t me n t   o f   I n f o r mat i c   En g i n e e r i n g ,   F a c u l t y   o f   C o mp u t e r   S c i e n c e ,   U n i v e r si t a s Di n a mi k a   B a n g sa ,   Jam b i ,   I n d o n e si a   3 D e p a r t me n t   o f   I n f o r mat i o n   S y st e m ,   F a c u l t y   o f   C o mp u t e r   S c i e n c e ,   U n i v e r si t a s   D i n a m i k a   B a n g sa ,   Jam b i ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Ma r   2 4 2 0 2 4   R ev i s ed   Dec   4 2 0 2 4   A cc ep ted   J an   2 2 2 0 2 5       In   t h is  re se a rc h ,   w e   u se   se v e r a d e e p   lea rn in g   m e th o d w it h   th e   w o r d   e m b e d d in g   f e a tu re   t o   se e   t h e ir  e ff e c o n   i n c re a sin g   th e   e v a lu a ti o n   v a lu e   o f   c las si f ica ti o n   p e rf o rm a n c e   f ro m   p ro c e ss in g   se n ti m e n a n a ly sis  d a ta.  T h e   d e e p   lea rn in g   m e th o d u se d   a re   c o n d it i o n a ra n d o m   f ield   (CRF ),   b i d irec ti o n a l o n g   sh o rt  term   m e m o r y   (B L S T M a n d   c o n v o l u ti o n a n e u ra n e tw o rk   ( CNN ).   Ou r   tes u se so c ial  m e d ia  d a ta  f ro m   Ne tf li x   a p p li c a ti o n   u se c o m m e n ts.  T h ro u g h   e x p e ri m e n tatio n   o n   d if f e r e n it e ra ti o n o f   v a rio u d e e p   lea rn in g   t e c h n iq u e a lo n g sid e   m u lt ip le  w o rd   e m b e d d in g   c h a ra c teristics ,   th e   BL S T M   a lg o rit h m   a c h iev e d   th e   m o st  n o tab le  a c c u ra c y   ra te  o f   7 9 . 5 %   p rio r   to   i n teg ra ti n g   w o rd   e m b e d d in g   f e a tu re s.  On   th e   o th e h a n d ,   t h e   h ig h e st  a c c u ra c y   v a l u e   re su lt s   w h e n   u sin g   th e   w o rd   e m b e d d i n g   f e a tu re   c a n   b e   se e n   in   th e   BL S T M   a lg o rit h m   w h ich   u se th e   w o rd   to   v e c to (W o rd 2 V e c f e a tu re   w it h   a   v a lu e   o f   8 7 . 1 % .   M e a n w h il e ,   a   v e r y   sig n if ic a n c h a n g e   in   v a lu e   in c re a se   w a o b tain e d   f ro m   th e   F a stT e x f e a tu re   in   th e   CNN   a l g o rit h m .   Af ter  a ll   th e   e v a lu a ti o n   p ro c e ss e we re   c a rried   o u t,   t h e   b e st  c las sif ica ti o n   e v a lu a ti o n   re su l ts  w e re   o b tain e d ,   n a m e l y   th e   BL S T M   a lg o rit h m   w it h   sta b le v a lu e s o n   a ll   w o rd   e m b e d d in g   f e a tu re s.   K ey w o r d s :   Dee p   lear n in g   Sen ti m e n t a n a l y s is   So cial  m ed ia   T ex t c lass if icatio n   W o r d   em b ed d in g     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   J as m ir     Dep ar t m en t o f   C o m p u ter   E n g i n ee r in g ,   Fac u lt y   o f   C o m p u ter   Scien ce ,   U n iv er s itas   D in a m i k B an g s a   St.  J en d r al  Su d ir m a n ,   T eh o k ,   J am b i Sela tan ,   J a m b i,  I n d o n es ia   E m ail: ij a y _ j as m ir @ y a h o o . co m       1.   I NT RO D UCT I O N     I n   r ec en d ec ad es,  tech n o lo g i ca d ev elo p m en t s   h a v ex p er i en ce d   r ap id   s u r g e,   esp ec iall y   s i n ce   th e   e m er g e n ce   o f   th i n ter n et  an d   p er s o n al  co m p u ter s   in   t h 1 9 8 0 s .   T h ese  tech n o lo g ical  ad v an ce s   h a v ca u s ed   m aj o r   ch an g e s   i n   v ar io u s   s ec t o r s ,   in clu d i n g   in f o r m a tio n   a n d   co m m u n icatio n   [ 1 ] ,   [ 2 ] .   T h s ig n i f ica n i n cr ea s e   in   i n ter n e tec h n o lo g y   h a s   ex p a n d ed   th r ea c h   o f   in f o r m a tio n   d is tr ib u tio n .   On a s p ec t h at  s u p p o r ts   th is   i n cr ea s e   is   s o cial  m ed ia,   w h er u s er s   n o o n l y   f u n ctio n   as  r ec ip ien ts   o f   in f o r m atio n   b u al s o   as  cr ea to r s   o f   in f o r m a tio n .   T h in cr ea s i n   t h n u m b er   o f   in ter n et  u s er s   i n   I n d o n esia  is   d u to   th v ar io u s   co n v e n ien c es  o f f er ed   b y   s o cia l   m ed ia  an d   th i n ter n et.   T h r o u g h   s o cial  m ed ia,   p eo p le  ca n   ac ce s s   i n f o r m a tio n   a n d   co m m u n icate   v er y   q u ick l y .   T h u s o f   d ata  f r o m   s o cial  m ed ia  is   th late s i n n o v ati v s te p   th at  p r o v id es  an   al ter n ati v d ata  s o u r ce   o u ts id o f   tr ad itio n al  d ata  co ll ec tio n   m et h o ds   [ 3 ] ,   [ 4 ] .   Data   co llectio n   v ia  s o cial  m ed ia  is   co n s id er ed   to   p r o v id e   ef f icien c y   in   m an y   w a y s .   T h is   ef f icien c y   in c lu d es  t h co s ts   th at  m u s b in cu r r ed   f o r   d at ac q u is itio n ,   b ein g   ab le  to   o b tain   d ata  in   r ea tim e,   an d   p r o d u cin g   d ata  th a h as  m o r d etailed   in f o r m atio n   to   d escr ib th tr u e   o p in io n   o f   th co m m u n it y   [ 5 ] .   A cti v itie s   s u ch   as  t h o s ab o v th at  ar r elate d   to   an aly zi n g   an d   r esp o n d in g   to   p u b lic  o p in io n   u s i n g   d ata  s o u r ce d   f r o m   s o cial  m ed ia  ar ca ll ed   s en ti m en t a n al y s i s   [ 6 ] ,   [ 7 ]   Sen ti m e n an al y s i s ,   w h ic h   is   s u b s et  o f   n at u r al  lan g u a g p r o ce s s in g   ( NL P ) ,   u s es  m ac h i n lear n in g   m et h o d s   to   r ec o g n ize  an d   ex tr ac f ac tu a in f o r m atio n   f r o m   w r itte n   te x t   [ 8 ] T h is   an al y s i s   in v o l v es  id e n ti f y i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         C o mp a r is o n   o f wo r d   emb ed d i n g   fea tu r es u s in g   d ee p   lea r n in g   in   s en timen t a n a lysi s   ( Ja s m i r )   417   e m o tio n al  n u a n ce s   a n d   d eter m in i n g   t h o v er all  s e n ti m e n t w h et h er   p o s itiv e,   n e u tr al,   o r   n eg ati v e e x p r ess ed   b y   th e   au t h o r .   A p p l y i n g   s e n ti m en an a l y s is   to   lar g er   d ata  s ets   allo w s   f o r   m o r co m p r eh en s i v a n d   in - d ep t h   lev el  o f   a n al y s i s   [ 9 ] .   I n   NL P ,   co m p u ter s   d o   n o h av an   in n ate  u n d er s tan d i n g   o f   tex tu a lan g u a g e,   s o   th e y   n ee d   tech n iq u e s   to   co n v er w o r d s   i n to   v ec to r s   f o r   ea s ier   u n d er s tan d i n g .   T h p r o ce s s   o f   r ep r esen tin g   w o r d   v ec to r s   r e m ai n s   a n   in ter esti n g   ar ea   o f   r esear ch .   T h is   r ep r esen tatio n   h o ld s   g r ea s ig n i f ican ce   a s   it  p r o f o u n d ly   i n f l u en ce s   th e   ac cu r ac y   a n d   ef f icac y   o f   t h c o n s tr u cted   lear n i n g   m o d els.  T h is   w o r d   r ep r esen tatio n   tech n i q u is   i n cl u d ed   in   th f ea t u r en g i n ee r in g   s ec ti o n .   Feat u r en g i n ee r in g   i n   t ex tu a d ata  h a s   it s   o w n   ch a llen g e s   d u to   t h e   ch ar ac ter is tic s   o f   u n s tr u ct u r ed   tex t.  T h f ea t u r e n g i n ee r i n g   s tr ateg y   f o r   tex tu al   d ata  t h at  i s   p o p u lar l y   u s ed   is   k n o w n   as t h w o r d   e m b ed d in g   f ea tu r e   [ 1 0 ] [ 1 2 ] .   T h is   w o r d   e m b ed d in g   f ea t u r is   co llab o r ate d   w it h   s e v er al  class i f icatio n   m et h o d s .   T h er ar m a n y   t y p es o f   clas s if ier s   th at  ar co m m o n l y   u s ed   to   class if y   s en ti m en t a n al y s i s .   T h m et h o d s   th at  ar o f ten   u s ed   ar m ac h in lear n i n g   m et h o d s   [ 1 3 ] ,   [ 1 4 ]   an d   d ee p   lear n in g   [ 1 5 ] .   I n   th i s   r esear ch ,   t h t y p e s   o f   m eth o d s   u s ed   ar e   d ee p   lear n in g   m et h o d s ,   n a m el y   co n d itio n al  r a n d o m   f ield   ( C R F)   [ 1 6 ] b i d ir ec tio n al  lo n g   s h o r ter m   m e m o r y   ( B L ST M)   [ 1 7 ] ,   an d   co n v o lu ti o n al  n e u r al  n et w o r k   ( C NN)   [ 1 8 ] CRF s   ar u s ed   to   b u ild   p r o b ab ilis tic  m o d els  f o r   s eq u en tial d ata  s e g m e n tatio n   a n d   lab elin g .   B ec au s it i s   co n d itio n al,   C R F   is   a ls o   u s ed   to   en s u r t h at  i n f er en ce   is   ea s y   to   d o   an d   also   av o id s   th p r o b lem   o f   lab el  b ias.  B L S T is   u s ed   to   f in d   o u t h p r ev io u s   in f o r m at io n   p r o ce s s   an d   f in d   o u th in f o r m atio n   p r o ce s s   af ter w ar d .   Me an w h ile,   C NN  is   u s ed   to   s ee   p r o ce s s in g   ca p ab ilit ies   an d   ev al u ate  clas s i f icatio n   p er f o r m a n ce   o n   tex t d ata.     W ev alu ate  t h ef f ec ti v e n es s   o f   d if f er e n clas s i f icatio n   m et h o d s   b y   test i n g   th e ir   p er f o r m a n ce   u s in g   s ev er al  t y p es  o f   w o r d   r ep r es en tatio n s ,   n a m el y   w o r d   to   v ec to r   ( W o r d 2 Vec )   [ 1 9 ] g lo b al  v ec to r s   f o r   w o r d   r ep r esen tatio n   ( Glo Ve )   [ 2 0 ] ,   an d   Fas tT ex t   [ 2 1 ] .   T h test s   w er co n d u cted   o n   s en ti m e n an al y s i s   d ataset  co n s is tin g   o f   Net f li x   u s er   co m m en ts .   Net f li x   w as  c h o s en   a s   th o b j ec o f   s tu d y   d u to   its   h ig h   p o p u lar it y   as  a   s tr ea m i n g   p latf o r m ,   its   lar g u s er   b ase,   an d   th v ar iet y   o f   co n ten it  o f f er s .   T h is   m a k es  it  a   r ele v an to p ic  f o r   u n d er s ta n d in g   u s er   p r ef er en ce s   f o r   d ig ital  e n ter tai n m e n s er v ices.  An al y s is   o f   u s er   s e n ti m e n t,  b o th   p o s itiv an d   n eg at iv e,   ca n   p r o v id v al u ab l in s i g h ts   i n to   t h eir   v ie w s   o n   th q u ali t y   o f   th s er v ice,   i n t er f ac e,   an d   co n te n t   p r o v id ed .     Si m i la r   s t u d ies  t h at  h av e   b ee n   d is cu s s ed   in c lu d b y   Al - S m a d i   et  a l [ 2 2 ]   u s in g   s e v er al  d ee p   lear n in g   m et h o d s   s u ch   as  B L ST M - C R co m b i n ed   w it h   W o r d 2 Vec   f ea tu r es  a n d   p r o d u cin g   a n   F1 - s co r o f   6 6 . 3 2 %.  th en   B L ST C R co m b i n ed   w it h   Fas tT ex f ea t u r es  p r o d u ci n g   an   F1 - s co r o f   6 9 . 9 8 %.  T h e n ,   J a n g   e t   a l .   [ 2 3 ]   p r o p o s e d   a   h y b r i d   m o d el   o f   B i - L S T M + C N w ith   W o r d 2 V e c ,   t h e   t es r e s u lt s   s h o w e d   th a t   th e   p r o p o s e d   m o d el   p r o d u c e d   m o r e   a cc u r at e   c l ass i f i c a ti o n   r esu l ts ,   a s   w e ll   a s   h i g h e r   r e c al l   an d   F 1   s c o r e s ,   th an   th e   m u l ti - l ay e r   p e r c e p t r o n   ( ML P)   m o d e l ,   C N N   o r   i n d iv i d u al   L S T M   a n d   h y b r i d   m o d e ls .   Fu r th e r m o r e ,   I f t ik h a r   e t   a l .   [ 2 4 ]   c o n d u c t e d   ex p e r im en t s   w it h   s ev e r a d e e p   l ea r n i n g   m o d el s   c o m b in e d   w i th   s ev e r al   w o r d   em b e d d i n g   f e at u r e s   s u ch   a s   C N N +G l o v e ,   C N N + W o r d 2 V e c ,   L S T M + G l o v e ,   an d   L S T M + W o r d 2 V e c .   T h r esu lts   o f   th eir   r esear ch   s tated   th at  th r es u lts   o f   t h co m b in atio n   o f   d ee p   lear n in g   w it h   th w o r d   e m b ed d in g   f ea t u r p r o d u ce d   b etter   p er f o r m a n ce .   B ased   o n   t h p r o b le m s ,   w co n d u cted   r esear ch   as  w ell  a s   t h co n tr ib u tio n   o f   t h is   r esear ch ,   n a m el y   to   i m p r o v th ev a lu at io n   v a l u o f   t h class i f ica tio n   p er f o r m an ce   o f   d ee p   lear n in g   m et h o d s ,   n a m el y   C R F B L ST M ,   an d   C NN  b y   u s i n g   wo r d   em b ed d in g   f ea t u r es,  n a m e l y   W o r d 2 Vec ,   Glo Ve,   an d   Fas tT ex as  tech n iq u es   to   im p r o v th e v alu a tio n   v al u o f   d ee p   lear n in g   clas s i f icat io n   p er f o r m a n ce   o n   m ac h i n l ea r n in g   d atasets   o n   s o cial  m ed ia  d ata  f r o m   Ne t f l ix   ap p licatio n   u s er   co m m e n ts .       2.   M AT E RIAL   A ND  M E T H O D   I n   o r d er   f o r   th is   r esear ch   to   ac h iev m a x i m u m   r es u lts ,   w h av co m p iled   s er ies  o f   i m p o r tan s tep s   th at  ca n   p r o d u ce   th r i g h m o d el  an d   n o w id e n   th d ir ec tio n   in   ac h ie v in g   t h g o al.   T h s tep s   tak e n   to   o b tain   r esu lt s   th at  ar in   ac co r d an ce   w it h   ex p ec tatio n s   ar co m p ile d   in   th f o r m   o f   r esear ch   f r am e w o r k .   T h r esear ch   f r a m e w o r k   r ef er r ed   is   p r esen t ed   in   Fig u r e   1.     2 . 1 .     Da t a s et   T h d ataset  w as  o b tain ed   th r o u g h   d ata  co llectio n   p r o ce s s   ca r r ied   o u b y   cr a w l in g .   W u tili ze   t h e   Go o g le  P la y   Scr ap er   P y t h o n   li b r ar y .   T o   cr a w d ata,   t h I o f   th ap p licatio n   f r o m   w h ic h   d a ta  is   to   b r etr ie v ed   is   f ir s r eq u ir ed .   I n   th is   ca s e,   Netf li x   h as   th e   I co m . n etf li x . m ed iaclie n t .   F u r t h er m o r e,   t h s elec tio n   o f   t h lan g u a g i n   t h r e v ie w   i s   a n   i m p o r tan s tep ,   w h er th is   s t u d y   o n l y   co n s id er s   r ev ie w s   i n   I n d o n e s ia n .   Af ter   s elec ti n g   th e   lan g u ag e,   th e   s el ec tio n   o f   r ev ie w s   i s   b ased   o n   th s co r e.   I n   t h is   s t u d y ,   t h r e v ie w s   ta k en   h a v a   s co r r an g e   o f   1   to   5 .   Fu r t h er m o r e,   th e   o r d er   o f   r ev ie w s   u s e d   is   m o s t r ele v an t.  T h a m o u n t o f   d ata  to   b tak e n   also   n ee d s   to   b d eter m i n ed .   T h d ata  o b tain ed   h as  s e v er al  attr ib u tes,  in c lu d i n g r ev ie w I d ,   u s er n a m e,   u s er I m a g e,   co n te n t,  s co r e,   th u m b s Up C o u n t,  r ev ie w C r ea t ed Ver s io n ,   at,   r ep ly C o n ten t,   an s w er ed At,   an d   ap p Ver s io n .   Ho w e v er ,   n o all   o f   th ese  attr ib u tes  ar r eq u ir ed   f o r   th is   s t u d y .   T h er ef o r e,   ir r elev an o r   u n u s ed   attr ib u tes  ar r e m o v ed   to   s i m p lify   t h d ata.   T h er ar 4   attr ib u tes  th a w ill  b u s ed ,   n a m e l y   u s er n a m e,   s co r e,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  2 3 ,   No .   2 A p r il   20 2 5 4 1 6 - 425   418   d ate ,   an d   co n te n t .   Fi g u r e   2   is   f lo w   d ia g r a m   o f   d ata  co lle ctio n .   T h d ata  u s ed   is   r a w   d ataset  th a w il g o   th r o u g h   s ev er al  p r e - p r o ce s s i n g   p r o ce s s es b ef o r b ec o m in g   a   d ataset  th at  is   r ea d y   to   u s e.           Fig u r e   1 .   R esear ch   f r a m e w o r k         2 . 2 .     P re pro ce s s ing   Af ter   g e tti n g   t h Net f li x   ap p li ca tio n   u s er   r ev ie w   d ata,   t h n ex s tep   i s   to   ca r r y   o u t h p r ep r o ce s s in g   s tag b e f o r en ter i n g   t h s en t i m en clas s i f icatio n   s ta g e.   T h is   p r o ce s s   is   i m p o r ta n to   en s u r th at  t h d ata  u s ed   b y   s e n ti m en clas s i f icatio n   m o d els  is   c lea n ,   s tr u ct u r ed ,   an d   r ea d y   to   u s e.   T h p r ep r o ce s s in g   s ta g es   ca r r ied   o u t   ar d ata  clea n in g ,   ca s f o ld in g ,   to k en izatio n ,   s to p w o r d   r e m o v al,   s te m m i n g ,   a n d   lab elin g .     2 . 3 .     Wo rd  e m bedd i ng   E v er y   w o r d   is   d ep icted   as a   n u m er ica l lo w - d i m e n s io n a l v ec to r .   W o r d   em b ed d in g   e n ab les  th ca p tu r e   o f   s e m a n tic  d etails  f r o m   ex te n s i v tex co r p o r a.   T h ese  em b ed d in g s   f in d   ap p licatio n   in   d i v er s N L P   task s   f o r   o p tim a w o r d   r ep r esen tatio n .   No tab l y ,   s e v er al  al g o r ith m s   ex is f o r   w o r d   e m b ed d in g ,   in cl u d in g   G lo Ve,   W o r d 2 Vec ,   an d   Fas tT ex t.   Fo r   th is   r esear c h ,   w u ti lize  p r e - tr ain ed   m o d els e n co m p as s in g   al l th r ee   f ea t u r es.     2 . 3 . 1 .   G lo Ve   Glo Ve  is   co - o cc u r r en ce   m atr ix - b ased   w o r d   r ep r esen tatio n   l ea r n in g   tech n iq u th at  ca p tu r e s   s e m a n ti c   r elatio n s h ip s   b et w ee n   w o r d s   in   co r p u s .   Glo Ve  co m b i n es  g lo b al  s ta tis tic s - b ased   a p p r o ac h es  ( s u c h   as     co - o cc u r r en ce   m atr ices)   a n d   lo ca co n tex t - b ased   m e th o d s   ( s u ch   a s   W o r d 2 Vec )   to   g en er ate  w o r d   e m b ed d in g s   in   v ec to r   s p ac e,   allo w in g   f o r   m o r ef f ec tiv m o d elin g   o f   li n ea r   r elatio n s h ip s   b et w ee n   w o r d s   [ 2 0 ] [ 2 5 ] .       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         C o mp a r is o n   o f wo r d   emb ed d i n g   fea tu r es u s in g   d ee p   lea r n in g   in   s en timen t a n a lysi s   ( Ja s m i r )   419       Fig u r e   2 .   Data   co llectio n   f lo w   ch ar t       2 . 3 . 2 .   Wo rd2 Vec   W o r d 2 V e c   u t i li z es   t h e   o c cu r r en c e   o f   w o r d s   i n   t ex t   t o   e s t a b li s h   c o n n e ct i o n s   b e t w e en   t h em .   Fo r   i n s ta n c e ,   i t   m ig h a s s o c i at e   w o r d s   li k f em a l e   an d   m a l e   b e c au s e   th ey   f r e q u en t ly   o c cu r   in   c o m p a r a b l c o n t ex ts .   W o r d 2 V e c   o p e r a t e s   th r o u g h   tw o   a r ch i t ec tu r a l   f o r m s :   c o n t ex t   p r e d i c ti o n ,   w h i ch   f o r e ca s t s   th e   s u r r o u n d in g   w o r d s   b a s e d   o n   a   g iv en   w o r d ,   a n d   co n t ex t - b as e d   p r e d i c t i o n   ( B ag - of - w o r d s ) ,   w h ic h   p r e d i ct s   w o r d s   g iv en   a   c o n t ex t.  E s s en t i a lly ,   W o r d 2 V e c   t ak es   a   t e x t u a l   c o r p u s   as   in p u t   an d   g en e r a t e s   a   w o r d   v ec t o r   a s   o u t p u t   [ 1 9 ] [ 2 6 ] .     2 . 3 . 3 .   F a s t T ex t   E v er y   w o r d   is   d ep icted   as   c o llectio n   o f   n - g r a m   c h ar ac ter s ,   aid in g   in   ca p tu r i n g   th ess e n ce   o f   s h o r ter   w o r d s   an d   f ac i litati n g   t h e m b ed d in g s   u n d er s ta n d in g   o f   w o r d   p r ef ix es a n d   s u f f i x es.  E ac h   n - g r a m   c h ar ac ter   i s   lin k ed   w ith   v ec to r   r ep r esen tatio n ,   w h ile  w o r d s   ar d ep icted   as  th s u m   o f   th e s v ec t o r   r ep r esen tatio n s .   Fas tT ex t   d e m o n s tr ate s   s tr o n g   p er f o r m a n ce ,   e n ab li n g   r ap id   m o d el   tr ain in g   o n   e x ten s i v d atasets   a n d   o f f er i n g   r ep r esen tatio n s   f o r   w o r d s   ab s e n t i n   t h tr ai n in g   d ata.   I n   ca s es   w h er w o r d   is   ab s e n t d u r i n g   m o d el  tr ai n i n g ,   it   ca n   b d ec o m p o s ed   in to   n - g r a m s   to   ac q u ir it s   e m b ed d in g   v ec to r   [ 2 1 ] ,   [ 2 7 ] .     2 . 4 .     Dee lea rning   2 . 4 . 1 .   Co nd it io na ra nd o m   f i elds   C R F s   b elo n g   to   class   o f   d is cr i m i n ati v m o d els  id ea ll y   s u ited   f o r   class if icat io n   tas k s   wh er ein   t h e   cu r r en clas s i f icatio n   i s   i m p ac t ed   b y   co n tex tu al  f ac to r s   o r   ad jace n s tate s   [ 2 8 ] .   C R f in d s   ap p licatio n   in   n a m ed   en tit y   r ec o g n itio n   [ 2 9 ] ,   p ar t - of - s p ee ch   ta g g i n g ,   g en p r ed ic tio n ,   n o is r ed u ctio n ,   a n d   o b ject  d etec tio n   tas k s .   Dis cr i m in at iv m o d els,  also   k n o w n   as  co n d itio n al  m o d els ,   ar s u b s et  o f   m o d els  co m m o n l y   e m p lo y ed   i n   s tatis t ical  cla s s i f icati o n ,   p ar tic u lar l y   i n   s u p er v i s ed   m ac h i n l ea r n in g .   Di s cr i m in a tiv e   clas s i f ier s   a i m   to   m o d el   th o b s er v ed   d ata  ex clu s iv el y ,   lear n in g   class i f icat io n   f r o m   p r o v id ed   s tatis tic s .   A p p r o ac h es  in   s u p er v is ed   lear n in g   ar t y p icall y   clas s i f ie d   in to   d is cr i m i n ati v m o d els  o r   g en er ativ m o d els.  Dis cr i m i n ati v m o d els,  i n   co n tr ast  to   g en er ativ m o d el s ,   m a k f e w er   ass u m p t io n s   ab o u d is tr ib u tio n s   an d   p lace   g r ea ter   r elian ce   o n   d ata   q u alit y   [ 3 0 ] ,   [ 3 1 ]       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  2 3 ,   No .   2 A p r il   20 2 5 4 1 6 - 425   420   2 . 4 . 2 .   B idi re ct io na lo ng   s ho r t - t er m   m e m o ry   Der iv ed   f r o m   t h r ec u r r en n e u r al  n et w o r k   ( R NN) ,   B L ST M   [ 3 2 ]   en h an ce s   t h R N ar ch i tectu r b y   in tr o d u ci n g   g ate w a y   m ec h an i s m   to   r eg u late  th f lo w   o f   d ata.   P r im ar il y ,   th lo n g   s h o r t - ter m   m e m o r y   ( L ST M)   ar ch itect u r co m p r is es  m e m o r y   ce ll s   alo n g   w i th   i n p u g ate s ,   o u tp u g ates,   an d   f o r g et  g ate s .   T h ese   ele m e n ts   ar s tr u ctu r ed   in to   ch ain - l ik ar r an g e m e n co m p o s ed   o f   R NN  m o d u les,  w h ic h   en ab les  th s m o o t h   tr an s f er   o f   m e m o r y   ce ll s   alo n g   th ch ai n .   Mo r eo v er ,   th r ee   s ep ar ate  g ates  ar in teg r ated   to   o v er s ee   an d   r eg u late   th in c lu s io n   o r   in h ib itio n   o f   i n f o r m atio n   i n to   th m e m o r y   c ell  [ 3 3 ] .     2 . 4 . 3 .   Co nv o lutio na neura net rw o rk   T h C NN  is   f o r m   o f   r eg u lated   f ee d - f o r w ar d   n e u r al  n et w o r k   th at   au to n o m o u s l y   lear n s   f ea t u r e   en g i n ee r i n g   v ia  t h o p ti m izati o n   o f   f ilter s ,   al s o   k n o w n   as  k er n els.  U n li k lo w er   la y er   f ea tu r es,  h ig h er   la y er   f ea t u r es  ar e x tr ac ted   f r o m   b r o ad e r   co n tex w i n d o w .   C N Ns  ar s o m eti m es   ca lled   s h i f t   in v ar ian t   o r   s p ac in v ar ia n ar ti f icial  n e u r al  n et wo r k s   ( SIA NN)   b ec au s o f   th eir   ar ch itectu r e,   w h ic h   in v o lv e s   co n v o l u tio n   k er n el s   o r   f ilter s   w it h   s h ar ed   w ei g h ts   m o v i n g   ac r o s s   in p u f ea t u r es .   T h is   m o v e m en p r o d u ce s   f ea t u r m ap   th at  i s   eq u iv ale n to   tr a n s lat io n .   Ho w e v er ,   d esp ite  t h t er m in o lo g y ,   m a n y   C N Ns  ar n o in h er en tl y   tr an s latio n   in v ar ia n t,  m ai n l y   b ec au s o f   t h d o w n s a m p li n g   o p er atio n   a p p lied   to   th in p u t   [ 3 4 ] [ 3 6 ] .       3.   RE SU L T S AN D I SCU SS I ON     T h is   s ec tio n   s u m m ar izes  t h r e s u lt s   o f   t h e x p er i m e n ts   co n d u cted   ac co r d in g   to   th p r ev io u s l y   p lan n ed   r esear ch   f lo w .   T h is   e x p er i m e n f o cu s es  o n   a n al y zi n g   te x d a ta  f r o m   s o cial  m ed ia  u s i n g   s e v er al  d ee p   lear n in g   m et h o d s   co m b in ed   w i th   w o r d   e m b ed d in g   f ea t u r es.  T r ain in g   an d   test i n g   d ata  ar d iv id ed   w i th   a n   8 0 :2 0   d iv is io n   s ch e m e.   T h is   s t u d y   tes ts   d ee p   lear n in g   m eth o d s   w i th   v ar io u s   v ar iatio n s   o f   w o r d   e m b ed d in g   f ea tu r e s .   T h d ee p   lear n in g   m e th o d   is   ap p lied   as  an   ap p r o ac h   to   s en ti m en cla s s if ica tio n   o n   tex d ata.   T h ty p es  o f   d ee p   lear n in g   m et h o d s   u s ed   in cl u d C R F,  B L ST M ,   an d   C NN.   I n   ad d iti o n ,   th w o r d   e m b ed d in g   f ea t u r es  u s ed   i n clu d e   W o r d 2 Vec ,   Glo Ve,   an d   Fas tTe x t.    T ab le   1   ex p lain s   th co n f u s io n   m atr i x   o f   C R w i th   t h r ee   w o r d   em b ed d in g   f ea t u r es  an d   o n w i th o u t   f ea t u r es.  I n   C R w it h o u t f ea tu r es,  th r esu lts   ar T P =4 0 6 ,   F P =1 0 4 ,   FN=9 1 ,   an d   T N= 2 9 9 .   T h is   m ea n s   t h at  th i s   m o d el   h a s   f air l y   lo w   n u m b er   o f   T P   co m p ar ed   to   th u s e   o f   W o r d 2 Vec ,   Glo Ve,   an d   F astT ex f ea t u r es.  I n   ad d itio n ,   th FP   v alu is   q u ite  h ig h ,   in d icatin g   th at  th m o d el  ten d s   to   in co r r ec tly   id en ti f y   n e g ati v d ata  as  p o s itiv e.   T h en   C R w it h   W o r d 2 Vec   p r o d u ce s   T P = 5 1 2 ,   FP =9 8 ,   FN=6 9 ,   an d   T N= 2 2 1 .   T h ad d itio n   o f   th W o r d 2 Vec   f ea tu r s i g n i f ica n t l y   in cr ea s es  T P   ( f r o m   4 0 6   to   5 1 2 ) ,   in d icatin g   t h at  th m o d el  is   b etter   a b le  to   r ec o g n ize  p o s itiv d ata  co r r e ctl y .   Ho w e v er ,   FP   is   s till   q u ite  h ig h   ( 9 8 ) ,   an d   th n u m b e r   o f   T d ec r ea s es  co m p ar ed   to   th m o d el  w it h o u t f ea tu r es.  T h is   s h o w s   th a t W o r d 2 Vec   im p r o v es th r ec o g n iti o n   o f   p o s itiv d ata   b u s lig h tl y   d ec r ea s e s   th ab ili t y   to   r ec o g n ize  n eg at iv d ata.   I n   th C R w i th   Glo Ve  s ec tio n ,   th er ar r esu lts   o f   T P   0 =4 4 8 ,   F P =9 1 ,   FN=8 1 ,   an d   T N= 2 8 0 .   T h is   in d icate s   th at  Glo Ve  p r o v id es  m o r b al an ce d   r esu lts   t h a n   W o r d 2 Vec .   T P   is   lo w er   th a n   W o r d 2 Vec ,   b u FP   is   also   lo w er   ( 9 1 ) ,   in d icatin g   t h at  t h e   m o d el  is   b etter   at   m i n i m izi n g   er r o r s   in   cla s s i f y i n g   n e g ativ d ata.   T h n u m b er   o f   T Ns  in cr ea s es  co m p ar ed   to   W o r d 2 Vec .   T h en   C R w i th   Fa s tT ex w h ic h   p r o d u ce s   T P =4 7 3 ,   F P =7 9 ,   FN=5 9 ,   an d   T N= 2 8 9 .   I ca n   b e   s ee n   th at  Fa s tT ex p r o v id es  th b est  o v er all  p er f o r m an ce .   T P   an d   T in cr ea s c o m p ar ed   to   Glo Ve,   w h ile  FP   an d   FN  ar th lo w e s t   a m o n g   all  m o d els.  T h is   s h o ws  th at  Fa s tT ex is   v er y   e f f ec ti v in   i m p r o v in g   t h r ec o g n iti o n   o f   p o s itiv an d   n eg at iv d ata,   w it h   th lea s t c l ass i f icatio n   er r o r s .       T ab l e   1 .   C o n f u s io n   m atr i x   o f   C R F   Ex p e r i me n t   TP   FP   FN   TN   C R F   w i t h o u t   f e a t u r e   4 0 6   1 0 4   91   2 9 9   C R F   w i t h   W o r d 2 V e c   5 1 2   98   69   2 2 1   C R F   w i t h   G l o V e   4 4 8   91   81   2 8 0   C R F   w i t h   F a st T e x t   4 7 3   79   59   2 8 9       T ab le  2   is   C R te s w i th   3   w o r d   e m b ed d in g   v ar ian t s   a n d   o n w it h o u t   w o r d   e m b ed d i n g .   I ca n   b e   s ee n   t h at  th e   ac cu r ac y   w it h o u u s i n g   f ea tu r e s   is   lo w er   th an   t h m o d el  th at   u s es  f ea t u r es.  T h is   s h o w s   th e   i m p o r tan ce   o f   th e m b ed d in g   f ea t u r e.   I n   t h C R F w i th   W o r d 2 Vec   s ec tio n ,   t h er ar th b es r esu lt s   f o r   R ec all,   w h ic h   m ea n s   t h at  th i s   m o d el  is   ab le  to   ca p t u r m o r e   ac tu al  p o s itiv e   ca s es.   Me an w h i le,   C R w i th   Glo V e   p r o d u ce s   m o r s tab le  p er f o r m an ce   i n   all  m etr ics,  al th o u g h   n o th b est.  T h en   C R w it h   Fa s tT ex g i v es  th b es v alu e   in   ac cu r ac y ,   p r ec is io n ,   an d   F1 - Sco r e.   T h is   m o d el  is   t h m o s o p ti m a i n   p r o d u cin g   co r r ec p r ed ictio n s   an d   m ai n tai n i n g   b ala n ce   b etw ee n   p r ec is io n   a n d   r ec all.   T h ese  r esu lt s   s h o w   th a t th Fas tT ex t f ea tu r p r o v id es   s ig n i f ican t in cr ea s i n   acc u r ac y   ( 8 . 0 9 %)  an d   r ec all  ( 8 . 8 4 %),   m a k i n g   it a n   ex ce l len t c h o ic f o r   i m p r o v in g   t h Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         C o mp a r is o n   o f wo r d   emb ed d i n g   fea tu r es u s in g   d ee p   lea r n in g   in   s en timen t a n a lysi s   ( Ja s m i r )   421   m o d el s   ab ilit y   to   ca p tu r tr u p o s itiv es.  P r ec is io n   an d   F1 - Sc o r also   in cr ea s q u ite  s ig n i f ic an tl y ,   s u p p o r tin g   a   b alan ce   b et w ee n   co r r ec p o s iti v p r ed ictio n s   an d   th ab ilit y   to   ca p tu r p o s itiv ca s es.  Fo cu s   o n   th F1 - Sco r e   m etr ic,   s i n ce   F1 - Sco r is   m e tr ic  th at  co m b i n es   p r ec is io n   a n d   r ec all ,   it  is   v er y   r elev a n t f o r   ca s es  t h at  r eq u ir a   b alan ce   b et w ee n   th t w o   m e t r ics,  esp ec iall y   i n   class i f icat io n   tas k s   in v o l v in g   d ata  w ith   a n   i m b ala n ce d   class   d is tr ib u tio n   o r   ca s es  w h er th e   b alan ce   b et w ee n   p r ec is io n   an d   r ec all  is   p r io r ity .   I n   t h ese  i m b a lan ce d   d ataset s   w h er o n class   i s   v er y   d o m in an t,  ac cu r ac y   m a y   ap p ea r   h i g h   b ec au s th m o d el  ca n   ig n o r th m i n o r it y   cla s s .   F1 - Sco r ad d r ess e s   t h is   p r o b lem   b y   ta k i n g   th m i n o r it y   cla s s   in to   ac co u n t.  C R w i th   Fas tT ex t h a s   t h h ig h es t   F1 - Sco r e,   in d icati n g   t h at  t h i s   f ea tu r is   o p ti m al  f o r   p r o d u cin g   g o o d   b alan ce .         T ab l e   2 .   C o m p ar is o n   o f   C R ev alu a tio n   v alu e s   w it h   w o r d   em b ed d i n g   Ex p e r i me n t   A c c u r acy   P r e c i ssi o n   R e c a l l   F1 - S c o r e   C R F   w i t h o u t   f e a t u r e   7 8 . 3 3 3 3 3 3 3 3   7 9 . 6 0 7 8 4   8 1 . 6 9 0 1 4   8 0 . 6 3 5 5 5   C R F   w i t h   W o r d 2 V e c   8 1 . 4 4 4 4 4 4 4 4   8 3 . 9 3 4 4 3   8 8 . 1 2 3 9 2   8 5 . 9 7 8 1 7   C R F   w i t h   G l o V e   8 0 . 8 8 8 8 8 8 8 9   8 3 . 1 1 6 8 8   8 4 . 6 8 8 0 9   8 3 . 8 9 5 1 3   C R F   w i t h   F a st T e x t   84 . 6 6 6 6 6 6 6 7   8 5 . 6 8 8 4 1   8 8 . 9 0 9 7 7   8 7 . 2 6 9 3 7         T ab le  3   ex p lain s   th co n f u s io n   m atr i x   o f   B L ST w ith   th r ee   wo r d   em b ed d in g   f ea tu r es   an d   o n w i th o u t   f ea t u r es.  I n   B L ST w i th o u f ea tu r es,  th er ar v alu es  o f   T P=4 8 1 ,   FP =1 0 1 ,   FN=8 3 ,   an d   T N= 2 3 5 .   T h is   m ea n s   th at  t h m o d el  w it h o u f ea tu r e s   p r o d u ce s   q u ite  g o o d   p er f o r m an ce ,   w ith   T P   o f   4 8 1 .   Ho w e v er ,   th FP   is   q u ite   h ig h   ( 1 0 1 ) ,   in d icatin g   t h at  t h m o d el  o f te n   m is cla s s i f ie s   n eg ativ d ata  as   p o s iti v e.   I n   ad d iti o n ,   th T v al u i s   lo w er   th a n   t h m o d el  u s in g   f ea tu r es,  in d icat in g   w ea k er   ab ili t y   to   r ec o g n ize  n e g ati v d a ta.   I n   th B L ST w it h   W o r d 2 Vec   s ec tio n ,   th er ar e   v alu es  o f   T P = 5 0 1 ,   F P =9 7 ,   FN=8 1 ,   an d   T N= 2 2 1 .   W ith   t h ad d itio n   o f   th W o r d 2 Vec   f ea tu r e,   t h n u m b er   o f   T P   in cr ea s es  to   5 0 1 ,   in d icatin g   t h at  t h m o d el  i s   b ette r   ab le  to   r ec o g n ize   p o s itiv d ata  co r r ec tl y   th a n   t h e   m o d el  w it h o u t   f ea tu r es.  Ho w e v er ,   th e   FP   v al u i s   s till   q u ite  h ig h   ( 9 7 ) ,   m ea n i n g   th at  t h m i s clas s i f icatio n   o f   n e g ati v d ata  as   p o s iti v r e m ain s   q u ite   s i g n i f ican t.  T h d ec r ea s i n   t h n u m b er   o f   T also   in d icate s   t h at  n e g ati v d ata  r ec o g n itio n   i s   s li g h tl y   i m p a ir ed .   Nex t,  i n   B L ST w it h   Glo Ve,   t h er ar v alu e s   o f   T P =4 8 0 ,   FP = 9 9 ,   FN =7 9 ,   an d   T N= 2 4 2 .   T h Glo Ve  f ea tu r p r o d u ce s   s li g h tl y   lo w er   n u m b er   o f   T th an   W o r d 2 Vec   ( 4 8 0   v s .   5 0 1 ) ,   b u th FN  is   also   lo w er   ( 7 9   v s .   8 1 ) .   I n   ad d itio n ,   th n u m b er   o f   FP   is   s m aller   th an   W o r d 2 Vec   ( 9 9   v s .   9 7 ) ,   an d   T in cr ea s es  to   2 4 2 ,   in d icatin g   t h at  th m o d el  is   b etter   at  r e co g n izi n g   n e g ati v e   d ata  th an   W o r d 2 Vec .   T h en   B L ST w i th   Fa s tT ex p r o d u ce s   v al u es  o f   T P =5 0 5 ,   FP = 6 6 ,   F N= 5 0 ,   an d   T N= 2 7 9 .   T h Fas tT ex m o d el  g iv es  t h e   b est  r esu lts   a m o n g   all  m eth o d s .   W ith   th h ig h est  T ( 5 0 5 )   an d   th lo w e s FN  ( 5 0 ) ,   th is   m o d el  is   v er y   e f f ec ti v in   r ec o g n izi n g   p o s itiv d ata .   I n   ad d itio n ,   FP   is   th lo w e s ( 6 6 ) ,   an d   T is   th h ig h e s ( 2 7 9 ) ,   in d icatin g   t h at  th is   m o d el  is   al s o   v er y   g o o d   at  r ec o g n i zi n g   n e g ati v d ata.   T h is   co n f ir m s   t h a t   Fas tT ex t i m p r o v e s   o v er all  p er f o r m a n ce .       T ab l e   3 .   C o n f u s io n   m atr i x   o f   B L ST M   Ex p e r i me n t   TP   FP   FN   TN   B L S T M   w i t h o u t   f e a t u r e   4 8 1   1 0 1   83   2 3 5   B L S T M   w i t h   W o r d 2 V e c   5 0 1   97   81   2 2 1   B L S T M   w i t h   G l o V e   4 8 0   99   79   2 4 2   B L S T M   w i t h   F a st T e x t   5 0 5   66   50   2 7 9       T ab le   4   is   s u m m ar y   tab le  o f   th ex p er i m e n tal  r esu lt s   o f   th B L ST m eth o d   w ith   t h r ee   v ar ian t s   o f   w o r d   e m b ed d in g   f ea tu r es  a n d   o n w it h o u f ea t u r es.  I n   t h B L ST w ith o u f ea t u r s ec tio n t h i s   m o d el  s er v es   as  b aselin e,   an d   its   p er f o r m an ce   is   r elati v el y   g o o d   w it h o u ad d itio n al  f ea t u r es,  b u it  ca n   s till   b f u r th er   i m p r o v ed   b y   ad d in g   w o r d   e m b ed d in g   f ea t u r es.  I n   th B L S T w it h   W o r d 2 Vec   s ec tio n ,   th m o d el  is   s li g h tl y   b etter   th an   th b aselin e,   w it h   s m all  i m p r o v e m e n ts   i n   ac cu r ac y ,   p r ec is io n ,   r ec all ,   an d   F1 - Sco r e.   T h u s o f   W o r d 2 Vec   as  an   em b ed d in g   f e atu r i m p r o v es  th m o d el s   u n d er s tan d in g   o f   w o r d   r elatio n s h ip s .   I n   th B L ST w it h   Glo Ve  s ec tio n ,   t h r esu lt s   ar v er y   s i m ilar   to   W o r d 2 Vec ,   b u s lig h tl y   lo w er   in   p r ec is io n .   T h is   m o d el  s h o w s   b etter   p er f o r m an ce   i n   ter m s   o f   R ec all,   b u n o as  g o o d   as  th m o d el  w it h   W o r d 2 Vec .   T h en   in   th B L ST w it h   Fas tT ex t sectio n : T h is   is   th b est  m o d el,   w i th   s ig n i f ica n t i m p r o v e m en t s   in   all  m etr ics.  Fa s tT ex t p r o v id es c lear   i m p r o v e m en t s   in   p r ec is io n ,   r ec a ll,  an d   F1 - Sco r e,   m a k i n g   it  v er y   ef f ec t iv m o d el  in   t h is   class i f icatio n .     T h u s o f   e m b ed d in g   f ea tu r e s   s u c h   as  W o r d 2 Vec ,   Glo Ve,   an d   Fas tT ex af f ec ts   t h i m p r o v e m e n o f   m o d el  p er f o r m a n ce   co m p ar ed   to   th b aselin m o d el  w ith o u f ea t u r es.  T h m o d el  w it h   Fas tT ex s h o w s   t h e   g r ea test   i m p r o v e m e n t,  esp ec i all y   i n   r ec all  a n d   F1 - Sco r e.   B L ST w i th   Fas tT ex h as  t h h ig h es F1 - Sco r ( 8 9 . 6 9 %),   in d icatin g   t h at  th is   m o d el  i s   th b est  ch o ice  esp e ciall y   i n   th b alan ce   b et w ee n   ac cu r ate  p r ed ictio n   an d   th m o d el s   ab ilit y   to   ca p tu r p o s itiv ca s es.  T h u s o f   e m b ed d in g   f ea t u r es  s u ch   as  Fas tT ex ca n   s ig n i f ica n tl y   i m p r o v p er f o r m an ce   co m p ar ed   to   n o u s in g   f e atu r es  o r   u s in g   o th er   f ea t u r es  s u c h   as  W o r d 2 Ve c   an d   Glo Ve .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  2 3 ,   No .   2 A p r il   20 2 5 4 1 6 - 425   422   T ab l e   4 .   C o m p ar is o n   o f   B L ST ev alu a tio n   v alu e s   w it h   w o r d   em b ed d in g   Ex p e r i me n t   A c c u r a c y   P r e c i ssi o n   R e c a l l   F1 - S c o r e   B L S T M   w i t h o u t   f e a t u r e   79 . 5 5 5 5 5 5 5 6   82 . 6 4 6 0 5   85 . 2 8 3 6 9   83 . 9 4 4 1 5   B L S T M   w i t h   W o r d 2 V e c   80 . 2 2 2 2 2 2 2 2   83 . 7 7 9 2 6   86 . 0 8 2 4 7   84 . 9 1 5 2 5   B L S T M   w i t h   G l o V e   80 . 2 2 2 2 2 2 2 2   82 . 9 0 1 5 5   85 . 8 6 7 6 2   84 . 3 5 8 5 2   B L S T M   w i t h   F a st T e x t   87 . 1 1 1 1 1 1 1 1   88 . 4 4 1 3 3   90 . 9 9 0 9 9   89 . 6 9 8 0 5       T ab le  5   ex p lain s   t h co n f u s io n   m a tr ix   o f   C NN  w it h   th r ee   wo r d   em b ed d in g   f ea t u r es  a n d   o n w it h o u t   f ea t u r es.  I n   C NN  w it h o u t f ea t u r es,  th er ar v al u e s   o f   T P =4 0 4 ,   FP = 1 2 8 ,   FN=1 1 9 ,   an d   T N =2 4 9 .   W ith o u t w o r d   e m b ed d in g   f ea t u r es,  C NN  p r o d u ce s   th lo w es p er f o r m an ce .   T h n u m b er   o f   T P   is   th lo w est  ( 4 0 4 ) ,   w h i le  FP   an d   FN a r th h ig h es t ( 1 2 8   a n d   1 1 9 ) .   T h is   s h o w s   t h at  th m o d el  h as  m a n y   er r o r s   in   r ec o g n iz in g   b o th   p o s itiv e   an d   n e g ati v d ata.   I n   ad d itio n ,   th T v al u i s   also   q u ite  lo w   co m p ar ed   to   th m o d el  w it h   f ea tu r e s .   Nex t,  th e   C NN  w it h   W o r d 2 Vec   s ec tio n   h a s   T P =5 1 2 ,   F P =9 8 ,   FN= 7 0 ,   an d   T N= 2 2 0 .   T h ad d it io n   o f   W o r d 2 Vec   s ig n i f ica n tl y   i n cr ea s e s   th n u m b er   o f   T P   to   5 1 2 ,   in d icatin g   th at  th m o d el  is   b etter   ab le  to   r ec o g n ize  p o s itiv e   d ata  th an   w it h o u f ea t u r es.  Ho w e v er ,   th FP   ( 9 8 )   an d   FN ( 7 0 )   v alu e s   ar s ti ll q u i te  h i g h ,   wh ich   m ea n s   th er i s   r o o m   f o r   i m p r o v e m e n in   r ec o g n iz in g   n e g ati v d ata.   T h d e cr ea s in   th n u m b er   o f   T Ns  co m p ar ed   to   w it h o u t   f ea t u r es  also   s h o w s   t h at  th m o d el  is   s lig h tl y   les s   ef f ec ti v in   r ec o g n izi n g   n eg at iv d at a.   I n   th C NN  w it h   Glo Ve  s ec tio n ,   t h er ar v al u es  o f   T P =4 4 6 ,   FP =8 8 ,   FN=8 7 ,   an d   T N= 2 7 9 .   T h is   m ea n s   th at  Glo Ve  p r o v id es   m o r e   b alan ce d   r es u lts   t h an   W o r d 2 Vec .   FP   d ec r ea s es  to   8 8 ,   w h ile  T i n cr ea s es si g n if ica n t l y   to   2 7 9 ,   in d icati n g   b etter   ab ilit y   to   r ec o g n ize  n eg ati v d ata.   Ho w e v er ,   T P   is   lo w er   t h a n   W o r d 2 Vec   ( 4 4 6   v s .   5 1 2 ) ,   an d   FN  i s   s lig h tl y   h i g h er   th a n   W o r d 2 Vec .   Fu r th er m o r e,   C NN  w it h   Fas tT ex p r o d u ce s   v alu e s   o f   T P =4 6 3 ,   F P =7 6 ,   FN=7 4 ,   an d   T N= 2 8 7 .   Fas t T ex t p r o d u c es th b est r esu lts   a m o n g   all  m eth o d s .   W ith   h i g h   T P ( 4 6 3 )   an d   lo w   F ( 7 4 ) ,   th m o d el  i s   v er y   e f f ec ti v in   r ec o g n izi n g   p o s iti v d ata.   I n   ad d itio n ,   FP   is   t h lo w est  ( 7 6 ) ,   an d   T is   th h ig h e s t   ( 2 8 7 ) ,   in d icatin g   t h at  t h i s   m o d el  is   also   v er y   g o o d   at  r ec o g n i zin g   n e g ati v d ata.       T ab l e   5 .   C o n f u s io n   m atr i x   o f   C NN   Ex p e r i me n t   TP   FP   FN   TN   C N N   w i t h o u t   f e a t u r e   4 0 4   1 2 8   1 1 9   2 4 9   C N N   w i t h   W o r d 2 V e c   5 1 2   98   70   2 2 0   C N N   w i t h   G l o V e   4 4 6   88   87   2 7 9   C N N   w i t h   F a st T e x t   4 6 3   76   74   2 8 7       T ab le  6   is   s u m m ar y   tab le  o f   th r es u lts   o f   C N ex p er i m en t s   w it h   th r ee   v ar ian t s   o f   w o r d   em b ed d i n g   f ea t u r es  an d   o n e   w it h o u f ea t u r es.  T h is   m o d el  s h o w s   t h b est  i m p r o v e m e n co m p ar ed   to   th b aseli n m o d el .   Fas tT ex p r o v id es  v er y   g o o d   b alan ce   b et w ee n   p r ec is io n ,   r ec all ,   an d   F1 - Sco r e,   w it h   e x ce llen r es u lt s   i n   all   m etr ics.  T h u s o f   e m b ed d in g   f ea t u r es  s u c h   as  W o r d 2 Vec ,   Glo Ve,   an d   Fas tT ex s ig n i f ica n t l y   i m p r o v es  m o d el  p er f o r m a n ce   co m p ar ed   to   th e   b aselin m o d el  th at   d o es  n o t   u s ad d itio n al   f ea t u r es.  T h C NN  w i t h   Fas tT ex t   m o d el  h as  th h ig h es F1 - Sco r ( 8 6 . 0 6 %),   w h ic h   s h o w s   a n   o p tim a b alan ce   b et w ee n   p r ed ictio n   ac cu r ac y   a n d   th ab ilit y   to   ca p tu r p o s itiv ca s es,  in d icati n g   th at  th is   m o d el  is   v er y   ef f ec ti v in   b alan ci n g   b o th   asp ec ts .   T h u s o f   F1 - Sco r in   t h is   ca s is   b ec au s w w a n t to   m ain tain   a   b alan ce   b et w ee n   ac c u r ac y   a n d   p r ec is io n   an d   th e   m o d el s   ab ilit y   to   f i n d   all  p o s itiv c lass e s .   T h C N w it h   Fas tT ex m o d el  is   t h b es c h o ice  f o r   th i s   m o d el,   w it h   s i g n if ican t i m p r o v e m e n t s   in   all  m etr ic s ,   esp ec iall y   in   r ec a ll a n d   p r ec is io n .   T h u s ,   Fas t T ex t p r o v id es b etter   r esu lt s   t h an   o t h er   e m b ed d i n g   f ea tu r e s   s u c h   as  W o r d 2 Vec   an d   Glo Ve  i n   o p ti m izi n g   tex c lass if ica tio n   p er f o r m a n ce .       T ab l e   6 .   C o m p ar is o n   o f   C NN  ev alu a tio n   v alu e s   w it h   w o r d   em b ed d i n g   Ex p e r i me n t   A c c u r a c y   P r e c i ssi o n   R e c a l l   F1 - S c o r e   C N N   w i t h o u t   f e a t u r e   72 . 5 5 5 5 5 5 5 6   75 . 9 3 9 8 5   77 . 2 4 6 6 5   76 . 5 8 7 6 8   C N N   w i t h   W o r d 2 V e c   81 . 3 3 3 3 3 3 3 3   83 . 9 3 4 4 3   87 . 9 7 2 5 1   85 . 9 0 6 0 4   C N N   w i t h   G l o V e   80 . 5 5 5 5 5 5 5 6   83 . 5 2 0 6   83 . 6 7 7 3   83 . 5 9 8 8 8   C N N   w i t h   F a st T e x t   83 . 3 3 3 3 3 3 3 3   85 . 8 9 9 8 1   86 . 2 1 9 7 4   86 . 0 5 9 4 8       T h is   s tu d y   e x a m i n es  t h i m p ac o f   p er f o r m an ce   i m p r o v e m en ts ,   co m p u tatio n a ll y   B L S T is   v er y   ef f icien t,  th is   is   b ec au s t h e   B L ST p r o ce s s   o cc u r s   s eq u en t iall y   a n d   r eg u lar l y ,   m ak in g   it  s u itab le  f o r   p r o ce s s in g   lo n g   te x ts   a n d   lar g d atasets .   W ith   t h w o r d   e m b ed d in g   f ea tu r e,   B L ST M   ca n   ca p tu r m o r in ter ac tio n s   b et w ee n   f ea t u r es  t h at  m a y   b i g n o r ed   b y   C R a n d   C NN.   W h ile  p r ev io u s   s t u d ies  h a v in v est ig ate d   th i m p ac o f   o th er   f ea t u r es   o f   th s a m m et h o d .   th s tu d y   d id   n o ex p licitl y   d is c u s s   th eir   ef f ec t   on  co m p u tatio n al  p er f o r m a n ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         C o mp a r is o n   o f wo r d   emb ed d i n g   fea tu r es u s in g   d ee p   lea r n in g   in   s en timen t a n a lysi s   ( Ja s m i r )   423   B ased   o n   th r es u lt s   o f   t h t h r e ex p er i m e n ts ,   t h B L ST alg o r ith m   ac h ie v ed   th h i g h est  ac cu r ac y   o f   7 9 . 5 %,  w h ile  t h C NN  al g o r it h m   r ec o r d ed   th lo w est  ac c u r ac y   o f   7 2 . 5 b ef o r th w o r d   e m b ed d in g   f ea t u r w a s   ap p lied .   A f ter   co m b i n i n g   w o r d   em b ed d in g ,   B L ST w it h   th W o r d 2 Vec   f ea tu r a ch iev ed   th h ig h es t   ac cu r ac y   o f   8 7 . 1 %,  w h ile  th l o w est  ac c u r ac y   p o s t - e m b ed d in g   w as  also   s ee n   in   B L ST u s in g   th Glo Ve  an d   Fas tT ex f ea tu r e s .   B y   r e v ie win g   all  cla s s if ica tio n   e v al u ati o n   m e tr ics ac c u r ac y ,   p r ec is io n ,   r ec all,   an d   F1   s co r e B L ST e m er g ed   a s   t h b est  p er f o r m in g   al g o r ith m ,   co n s is te n tl y   p r o d u cin g   s tab l r esu lt s   ac r o s s   all   e m b ed d in g s .   Ho w e v er ,   all  test s   s till   a llo w   s o m f alse  p o s iti v es  a n d   f al s e   n eg at iv e s ,   in d icati n g   p o ten tia ar ea s   f o r   f u r t h er   r esear c h ,   s u ch   as  m i n i m izi n g   t h ese  er r o r s .   A d d itio n al   ac cu r ac y   i m p r o v e m e n ts   ca n   b ac h ie v ed   b y   t u n i n g   h y p er p ar a m eter s .   An   i m p o r ta n o b s er v atio n   is   t h at,   b ef o r e m b ed d in g ,   C NN  h as  t h lo west  p er f o r m a n ce ,   b u t   af ter   ap p l y in g   e m b ed d i n g ,   esp ec iall y   W o r d 2 Vec   w it h   B L ST M,   th p er f o r m a n ce   i m p r o v es  s ig n i f ica n tl y .   T h i s   m a y   b d u to   th ch ar ac ter is t ics  o f   C NN  w h ic h   ar n o w el s u ited   f o r   tex d ata,   w h ile  B L ST M,   w h ich   r ea d s   s eq u en ce s   b id ir ec tio n all y ,   s h o w s   h i g h   ab ili t y   to   p r o ce s s   te x t in   d etail,   r es u lti n g   in   s u p er i o r   p er f o r m an ce .       4.   CO NCLU SI O N   Ou r   s t u d y   h as   h i g h li g h ted   t h ef f icac y   o f   p r e - tr ai n ed   w o r d   e m b ed d i n g   m o d els  i n   s en t i m e n an al y s i s .   T h r o u g h   s er ies  o f   e x p er i m e n ts ,   w h a v d e m o n s tr ated   th e   ab ilit y   o f   th e s m o d els  to   ac h iev h i g h   lev el s   o f   ac cu r ac y   ac r o s s   d i v er s tex tu a l d atasets .   I n   o u r   e v alu a tio n ,   v ar io u s   d ee p   lear n in g   m eth o d s   w it h   d i f f er e n w o r d   e m b ed d in g   f ea t u r es  w er test e d   w it h   C R F,  B L ST M,   an d   C N alg o r it h m s .   T h u s o f   w o r d   e m b ed d in g   f ea t u r es   s u c h   as  Fas tT ex t,  W o r d 2 Vec ,   an d   Glo Ve  co n s is te n tl y   i m p r o v ed   th e   p er f o r m a n ce   o f   v ar io u s   tex class i f icat io n   m o d el s   o n   C R F,  B L ST M,   an d   C NN  co m p ar ed   to   m o d els  w i th o u f ea tu r e s .   Fas tT ex w a s   i d en tifie d   as  th b est  f ea t u r b ased   o n   th tab le  r esu lts   as  it  p r o d u ce d   th m o s b al an ce d   class i f icat io n   w it h   m i n i m al  er r o r .   Fas tT e x also   p r o d u ce d   h ig h l y   ac cu r at class i f icatio n   o n   b o t h   p o s i tiv a n d   n e g ati v d ata.   W o r d 2 Vec   ex ce lled   in   r ec o g n izi n g   p o s itiv e   d ata  b u t en d ed   to   b less   ac c u r ate  o n   n eg ati v d ata.   Fo r   li m ited   co m p u tatio n a r eso u r ce s ,   Glo Ve  ca n   b ch o s en   as  it  p r o v id es  b ala n ce d   r esu lt s   w it h   lo w er   er r o r   c o m p ar ed   to   W o r d 2 Vec .   Glo Ve  o f f er s   a   g o o d   b alan ce   w it h   li g h ter   co m p u tatio n al   r eq u ir e m e n t s ,   s u itab le  f o r   r ed u ci n g   er r o r s   o n   n eg at i v d ata.   T h ch o ice   o f   w o r d   e m b ed d i n g   f ea t u r es  u s ed   ca n   b tailo r ed   to   th s p ec if ic  n ee d s   o f   t h m o d el  an d   th cla s s if ica tio n   o b j ec tiv es.        ACK NO WL E D G E M E NT S   W w o u ld   lik to   th an k   Ya y asan   Di n a m ik B an g s a   J a m b i   f o r   th m o r al  an d   f i n an c ial  s u p p o r in   co m p let in g   t h i s   r esear ch ,   a n d   w o u ld   li k to   t h an k   t h r esear ch   a n d   co m m u n it y   s er v ice  in s titu tio n ,   U n iv er s itas   Din a m i k B an g s J a m b i f o r   it s   f ac ili ties   a n d   an n u al  w o r k   p r o g r a m s .         RE F E R E NC E S   [ 1 ]   A .   L .   G u z man   a n d   S .   C .   L e w i s,  A r t i f i c i a l   i n t e l l i g e n c e   a n d   c o mm u n i c a t i o n :   A   H u man M a c h i n e   C o mm u n i c a t i o n   r e se a r c h   a g e n d a ,   N e w   M e d i a   &   S o c i e t y ,   v o l .   2 2 ,   n o .   1 ,   p p .   7 0 8 6 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 1 9 8 5 8 6 9 1 .   [ 2 ]   B .   J i ma d a - O j u o l a p e   a n d   J.  T e h ,   I mp a c t   o f   t h e   I n t e g r a t i o n   o f   I n f o r mat i o n   a n d   C o mm u n i c a t i o n   T e c h n o l o g y   o n   P o w e r   S y st e m   R e l i a b i l i t y :   A   R e v i e w ,   I EEE  A c c e ss ,   v o l .   8 ,   p p .   2 4 6 0 0 2 4 6 1 5 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 2 9 7 0 5 9 8 .   [ 3 ]   R .   L o z a n o - B l a sco ,   M .   M i r a - A l a d r é n ,   a n d   M .   G i l - L a mat a ,   S o c i a l   me d i a   i n f l u e n c e   o n   y o u n g   p e o p l e   a n d   c h i l d r e n :   A n a l y si o n   I n st a g r a m,  T w i t t e r   a n d   Y o u T u b e ,   C o m u n i c a r ,   v o l .   3 0 ,   n o .   7 4 ,   p p .   1 1 7 1 2 8 ,   2 0 2 3 ,   d o i :   1 0 . 3 9 1 6 / C 7 4 - 2 0 2 3 - 1 0 .   [ 4 ]   B .   T .   K . ,   C .   S .   R .   A n n a v a r a p u ,   a n d   A .   B a b l a n i ,   M a c h i n e   l e a r n i n g   a l g o r i t h ms   f o r   so c i a l   me d i a   a n a l y si s:   A   su r v e y ,   C o m p u t e r   S c i e n c e   Re v i e w ,   v o l .   4 0 ,   p .   1 0 0 3 9 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . c o sr e v . 2 0 2 1 . 1 0 0 3 9 5 .   [ 5 ]   S .   M .   F e r n á n d e z - M i g u é l e z ,   M .   D í a z - P u c h e ,   J.  A .   C a m p o s - S o r i a ,   a n d   F .   G a l á n - V a l d i v i e so ,   T h e   i mp a c t   o f   so c i a l   m e d i a   o n   r e st a u r a n t   c o r p o r a t i o n s   f i n a n c i a l   p e r f o r man c e ,   S u s t a i n a b i l i t y ,   v o l .   1 2 ,   n o .   4 ,   p p .   1 1 4 ,   2 0 2 0 ,   d o i :   1 0 . 3 3 9 0 / s u 1 2 0 4 1 6 4 6 .   [ 6 ]   H .   R .   A l h a k i e m   a n d   E .   B .   S e t i a w a n ,   A s p e c t - B a s 1 e d   S e n t i m e n t   A n a l y s i s   o n   T w i t t e r   U s i n g   L o g i s t i c   R e g r e s s i o n   w i t h   F a s t T e x t   F e a t u r e   E x p a n s i o n ,   J u r n a l   R E S T I   ( R e k a y a sa   S i st e m   d a n   T e k n o l o g i   I n f o rm a si ) ,   v o l .   6 ,   n o .   5 ,   p p .   8 4 0 8 4 6 ,   2 0 2 2 ,   d o i :   1 0 . 2 9 2 0 7 / r e s t i . v 6 i 5 . 4 4 2 9 .   [ 7 ]   M .   B i r j a l i ,   M .   K a sr i ,   a n d   A .   B e n i - H s san e ,   A   c o mp r e h e n si v e   su r v e y   o n   se n t i me n t   a n a l y si s:   A p p r o a c h e s,   c h a l l e n g e a n d   t r e n d s,   K n o w l e d g e - B a se d   S y s t e m s ,   v o l .   2 2 6 ,   p .   1 0 7 1 3 4 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . k n o sy s.2 0 2 1 . 1 0 7 1 3 4 .   [ 8 ]   A .   P a l a n i v i n a y a g a m,   C .   Z .   El - B a y e h ,   a n d   R .   D a maše v i č i u s ,   T w e n t y   Y e a r o f   M a c h i n e - L e a r n i n g - B a se d   T e x t   C l a ssi f i c a t i o n :   A   S y st e mat i c   R e v i e w ,   Al g o r i t h m s ,   v o l .   1 6 ,   n o .   5 ,   p p .   1 2 8 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / a 1 6 0 5 0 2 3 6 .   [ 9 ]   G .   X u ,   Y .   M e n g ,   X .   Q i u ,   Z .   Y u ,   a n d   X .   W u ,   S e n t i me n t   a n a l y si o f   c o mm e n t   t e x t b a se d   o n   B i L S T M ,   I E EE  A c c e ss ,   v o l .   7 ,   p p .   5 1 5 2 2 5 1 5 3 2 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 9 0 9 9 1 9 .   [ 1 0 ]   J.  J a smir,   W .   R i y a d i ,   S .   R .   A g u st i n i ,   Y .   A r v i t a ,   D .   M e i sa k ,   a n d   L .   A r y a n i ,   B i d i r e c t i o n a l   L o n g   S h o r t - T e r M e mo r y   a n d   W o r d   Emb e d d i n g   F e a t u r e   f o r ,   J u rn a l   R E S T I   ( R e k a y a sa   S i s t e m   d a n   T e k n o l o g i   I n f o rm a s i ) ,   v o l .   6 ,   n o .   4 ,   p p .   5 0 5 5 1 0 ,   2 0 2 2 ,   d o i :   1 0 . 2 9 2 0 7 / r e st i . v 6 i 4 . 4 0 0 5 .   [1 1]   S .   R u d e r ,   I .   V u l i ć ,   a n d   A .   S ø g a a r d ,   A   S u r v e y   o f   C r o ss - l i n g u a l   W o r d   E mb e d d i n g   M o d e l s,   J o u r n a l   o f   Ar t i f i c i a l   I n t e l l i g e n c e   Re se a rc h v o l .   6 5 ,   p p .   5 6 9 6 3 0 ,   A u g .   2 0 1 9 ,   d o i :   1 0 . 1 6 1 3 / j a i r . 1 . 1 1 6 4 0 .   [ 1 2 ]   Z .   Z h u a n g ,   Z .   L i a n g ,   Y .   R a o ,   H .   X i e ,   a n d   F .   L .   W a n g ,   O u t - of - v o c a b u l a r y   w o r d   e mb e d d i n g   l e a r n i n g   b a se d   o n   r e a d i n g   c o mp r e h e n si o n   me c h a n i sm,   N a t u ra l   L a n g u a g e   Pro c e ss i n g   J o u r n a l ,   v o l .   5 ,   n o .   A u g u s t ,   p .   1 0 0 0 3 8 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . n l p . 2 0 2 3 . 1 0 0 0 3 8 .   [ 1 3 ]   S .   R a p a c z ,   P .   C h o ł d a ,   a n d   M .   N a t k a n i e c ,   A   me t h o d   f o r   f a st   se l e c t i o n   o f   mac h i n e - l e a r n i n g   c l a ss i f i e r f o r   sp a f i l t e r i n g ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  2 3 ,   No .   2 A p r il   20 2 5 4 1 6 - 425   424   El e c t r o n i c s ,   v o l .   1 0 ,   n o .   1 7 ,   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / e l e c t r o n i c s 1 0 1 7 2 0 8 3 .   [ 1 4 ]   F .   N .   N .   H .   R .   P a ssare l l a ,   S .   N u r ma i n i ,   M .   N .   R a c h ma t u l l a h ,   a n d   H .   V e n y ,   D e v e l o p me n t   o f   a   mac h i n e   l e a r n i n g   mo d e l   f o r   p r e d i c t i n g   a b n o r mal i t i e s o f   c o mm e r c i a l   a i r p l a n e s,   D a t a   S c i e n c e   a n d   Ma n a g e m e n t ,   p .   1 0 0 1 3 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . j sa md . 2 0 2 3 . 1 0 0 6 1 3 .   [1 5 ]   A .   T a v a n a e i ,   M .   G h o d r a t i ,   S .   R .   K h e r a d p i s h e h ,   T .   M a s q u e l i e r ,   a n d   A .   M a i d a ,   D e e p   l e a r n i n g   i n   sp i k i n g   n e u r a l   n e t w o r k s,   N e u ra l   N e t w o rks ,   v o l .   1 1 1 ,   p p .   4 7 6 3 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . n e u n e t . 2 0 1 8 . 1 2 . 0 0 2 .   [1 6 ]   J.  Jasm i r ,   S .   N u r ma i n i ,   R .   F .   M a l i k ,   a n d   B .   T u t u k o ,   B i g r a f e a t u r e   e x t r a c t i o n   a n d   c o n d i t i o n a l   r a n d o f i e l d mo d e l   t o   i mp r o v e   t e x t   c l a ssi f i c a t i o n   c l i n i c a l   t r i a l   d o c u m e n t ,   T ELKO M N I K ( T e l e c o m m u n i c a t i o n ,   C o m p u t i n g ,   E l e c t r o n i c a n d   C o n t r o l ),   v o l .   1 9 ,   n o .   3 ,   p p .   8 8 6 8 9 2 ,   2 0 2 1 ,   d o i :   1 0 . 1 2 9 2 8 / T EL K O M N I K A . v 1 9 i 3 . 1 8 3 5 7 .   [1 7 ]   G .   L i u   a n d   J.  G u o ,   B i d i r e c t i o n a l   L S TM   w i t h   a t t e n t i o n   me c h a n i sm  a n d   c o n v o l u t i o n a l   l a y e r   f o r   t e x t   c l a ssi f i c a t i o ,   N e u ro c o m p u t i n g 2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m.2 0 1 9 . 0 1 . 0 7 8 .     [1 8 ]   M .   A k b a r ,   S .   N u r ma i n i ,   a n d   R .   U .   P a r t a n ,   T h e   d e e p   c o n v o l u t i o n a l   n e t w o r k f o r   t h e   c l a ssi f i c a t i o n   o f   mu l t i - c l a ss  a r r h y t h m i a ,   Bu l l e t i n   o f   El e c t ri c a l   E n g i n e e ri n g   a n d   I n f o rm a t i c s ,   v o l .   1 3 ,   n o .   2 ,   p p .   1 3 2 5 1 3 3 3 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 5 9 1 / e e i . v 1 3 i 2 . 6 1 0 2 .   [ 19 ]   R .   R a h m a n d a   a n d   E .   B .   S e t i a w a n ,   W o r d 2 V e c   o n   S e n t i me n t   A n a l y si w i t h   S y n t h e t i c   M i n o r i t y   O v e r samp l i n g   T e c h n i q u e   a n d   B o o st i n g   A l g o r i t h m,   J u r n a l   RE S T I   ( Re k a y a s a   S i st e m   d a n   T e k n o l o g i   I n f o rm a s i ) ,   v o l .   6 ,   n o .   4 ,   p p .   5 9 9 6 0 5 ,   2 0 2 2 ,   d o i :   1 0 . 2 9 2 0 7 / r e st i . v 6 i 4 . 4 1 8 6 .     [2 0 ]   A .   G e o r g e ,   H .   B .   B .   G a n e sh ,   M .   A .   K u mar,  a n d   K .   P .   S o ma n ,   S i g n i f i c a n c e   o f   g l o b a l   v e c t o rs  re p res e n t a t i o n   i n   p ro t e i n   se q u e n c e s   a n a l y si s ,   S p r i n g e r   I n t e r n a t i o n a l   P u b l i s h i n g ,   v o l .   3 1 2 0 1 9 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 0 - 0 4 0 6 1 - 1 _ 2 7 .   [2 1 ]   I .   N .   K h a sa n a h ,   S e n t i me n t   C l a ss i f i c a t i o n   U s i n g   f a s t T e x t   Emb e d d i n g   a n d   D e e p   L e a r n i n g   M o d e l ,   Pr o c e d i a   C I RP ,   v o l .   1 8 9 ,   p p .   3 4 3 3 5 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s.2 0 2 1 . 0 5 . 1 0 3 .   [2 2 ]   M .   A l - S mad i ,   B .   T a l a f h a ,   M .   A l - A y y o u b ,   a n d   Y .   Jar a r w e h ,   U si n g   l o n g   sh o r t - t e r me mo r y   d e e p   n e u r a l   n e t w o r k f o r   a sp e c t - b a se d   se n t i m e n t   a n a l y si s o f   A r a b i c   r e v i e w s,   I n t e r n a t i o n a l   J o u rn a l   o f   Ma c h i n e   L e a rn i n g   a n d   C y b e rn e t i c s ,   v o l .   1 0 ,   n o .   8 ,   p p .   2 1 6 3 2 1 7 5 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 0 7 / s1 3 0 4 2 - 0 1 8 - 0 7 9 9 - 4.   [2 3 ]   B .   J a n g ,   M .   K i m,  G .   H a r e r i man a ,   S .   U .   K a n g ,   a n d   J.   W .   K i m,  Bi - L S T M   mo d e l   t o   i n c r e a se   a c c u r a c y   i n   t e x t   c l a ssi f i c a t i o n :   C o mb i n i n g   w o r d 2 v e c   C N N   a n d   a t t e n t i o n   me c h a n i sm ,   A p p l i e d   S c i e n c e s ,   v o l .   1 0 ,   n o .   1 7 ,   p .   5 8 4 1 ,   2 0 2 0 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 0 1 7 5 8 4 1 .   [2 4 ]   S .   I f t i k h a r ,   B .   A l l u h a y b i ,   M .   S u l i ma n ,   A .   S a e e d ,   a n d   K .   F a t i ma ,   A maz o n   p r o d u c t r e v i e w c l a ssi f i c a t i o n   b a se d   o n   mac h i n e   l e a r n i n g ,   d e e p   l e a r n i n g   me t h o d s   a n d   B ER T , ”  T ELKO M N I K A   ( T e l e c o m m u n i c a t i o n   C o m p u t i n g   E l e c t r o n i c s   a n d   C o n t r o l ) ,   v o l .   2 1 ,   n o .   5 ,   p p .   1 0 8 4 1 1 0 1 ,   2 0 2 3 ,   d o i :   1 0 . 1 2 9 2 8 / T EL K O M N I K A . v 2 1 i 5 . 2 4 0 4 6 .   [2 5 ]   N .   B a d r i ,   F .   K b o u b i ,   a n d   A .   H .   C h a i b i ,   C o mb i n i n g   F a st T e x t   a n d   G l o v e   W o r d   Emb e d d i n g   f o r   O f f e n si v e   a n d   H a t e   sp e e c h   T e x t   D e t e c t i o n ,   Pr o c e d i a   C o m p u t e S c i e n c e ,   v o l .   2 0 7 ,   p p .   7 6 9 7 7 8 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s . 2 0 2 2 . 0 9 . 1 3 2 .   [2 6 ]   D .   Ja t n i k a ,   M .   A .   B i j a k sa n a ,   a n d   A .   A .   S u r y a n i ,   W o r d 2 v e c   mo d e l   a n a l y s i f o r   se man t i c   s i mi l a r i t i e i n   E n g l i sh   w o r d s,   Pr o c e d i a   C o m p u t e r   S c i e n c e ,   v o l .   1 5 7 ,   p p .   1 6 0 1 6 7 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 1 9 . 0 8 . 1 5 3 .   [2 7 ]   M .   A .   R a i h a n   a n d   E .   B .   S e t i a w a n ,   A sp e c t   B a se d   S e n t i me n t   A n a l y si w i t h   F a st T e x t   F e a t u r e   Ex p a n si o n   a n d   S u p p o r t   V e c t o r   M a c h i n e   M e t h o d   o n   T w i t t e r ,   J u r n a l   RE S T I   ( Re k a y a sa   S i s t e m   d a n   T e k n o l o g i   I n f o rm a s i ) ,   v o l .   6 ,   n o .   4 ,   p p .   5 9 1 5 9 8 ,   2 0 2 2 ,   d o i :   1 0 . 2 9 2 0 7 / r e st i . v 6 i 4 . 4 1 8 7 .   [2 8 ]   Q .   Z h a n g ,   Y .   C a o ,   a n d   H .   Y u ,   P a r si n g   c i t a t i o n i n   b i o me d i c a l   a r t i c l e u si n g   c o n d i t i o n a l   r a n d o f i e l d s,   C o m p u t e rs  i n   b i o l o g y   a n d   m e d i c i n e ,   v o l .   4 1 ,   n o .   4 ,   p p .   1 9 0 1 9 4 ,   2 0 1 1 ,   d o i :   1 0 . 1 0 1 6 / j . c o m p b i o me d . 2 0 1 1 . 0 2 . 0 0 5 .   [ 29 ]   W .   L e e ,   K .   K i m,  E.   Y .   L e e ,   a n d   J.  C h o i ,   C o n d i t i o n a l   r a n d o f i e l d f o r   c l i n i c a l   n a me d   e n t i t y   r e c o g n i t i o n :   A   c o mp a r a t i v e   st u d y   u si n g   K o r e a n   c l i n i c a l   t e x t s,   C o m p u t e rs  i n   Bi o l o g y   a n d   Me d i c i n e v o l .   1 0 ,   p p .   7 1 4 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . c o mp b i o me d . 2 0 1 8 . 0 7 . 0 1 9 .   [3 0 ]   P .   C o r c o r a n ,   P .   M o o n e y ,   a n d   M .   B e r t o l o t t o ,   L i n e a r   st r e e t   e x t r a c t i o n   u si n g   a   C o n d i t i o n a l   R a n d o F i e l d   mo d e l ,   S p a t i a l   S t a t i st i c s v o l ,   v o l .   1 4 ,   p p .   5 3 2 5 4 5 ,   2 0 1 5 ,   d o i :   1 0 . 1 0 1 6 / j . s p a s t a . 2 0 1 5 . 1 0 . 0 0 3 .     [3 1 ]   C .   J i a n g ,   M .   M a d d e l a ,   W .   L a n ,   Y .   Z h o n g ,   a n d   W .   X u ,   N e u r a l   C R F   mo d e l   f o r   se n t e n c e   a l i g n me n t   i n   t e x t   si m p l i f i c a t i o n ,   Pro c e e d i n g s   o f   t h e   5 8 t h   A n n u a l   Me e t i n g   o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 0 p p .   7 9 4 3 7 9 6 0 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . a c l - mai n . 7 0 9 .   [3 2 ]   K .   S .   T a i ,   R .   S o c h e r ,   a n d   C .   D .   M a n n i n g ,   I mp r o v e d   S e man t i c   R e p r e se n t a t i o n s   F r o T r e e - S t r u c t u r e d   L o n g   S h o r t - T e r M e mo r y   N e t w o r k s ,”  a rXi v   p re p ri n t ,   2 0 1 5 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 5 0 3 . 0 0 0 7 5 .   [ 33 ]   Z .   D a i ,   X .   W a n g ,   P .   N i ,   Y .   L i ,   G .   L i ,   a n d   X .   B a i ,   N a me d   E n t i t y   R e c o g n i t i o n   U si n g   B ER T   B i L S T M   C R F   f o r   C h i n e se   El e c t r o n i c   H e a l t h   R e c o r d s,   2 0 1 9   1 2 t h   I n t e r n a t i o n a l   C o n g re ss  o n   I m a g e   a n d   S i g n a l   Pro c e ssi n g ,   B i o Me d i c a l   E n g i n e e ri n g   a n d   I n f o rm a t i c s   ( C I S P - B ME I ) ,   S u z h o u ,   C h i n a ,   2 0 1 9 ,   p p .   1 5 ,   d o i :   1 0 . 1 1 0 9 / C I S P - B M E I 4 8 8 4 5 . 2 0 1 9 . 8 9 6 5 8 2 3 .   [3 4 ]   D T .   P u t r a   a n d   E B .   S e t i a w a n ,   S e n t i me n t   A n a l y si o n   S o c i a l   M e d i a   w i t h   G l o v e   U si n g   C o mb i n a t i o n   C N N   a n d   R o B E R T a ,   J u r n a l   RES T I   ( R e k a y a s a   S i s t e m   d a n   T e k n o l o g i   I n f o rm a si ) ,   v o l .   7 ,   n o .   3 ,   p p .   4 5 7 5 6 3 ,   2 0 2 3 ,   d o i :   1 0 . 2 9 2 0 7 / r e st i . v 7 i 3 . 4 8 9 2 .   [3 5 ]   J.  Z h a n g ,   F .   L i u ,   W .   X u ,   a n d   H .   Y u ,   F e a t u r e   f u si o n   t e x t   c l a ss i f i c a t i o n   mo d e l   c o mb i n i n g   C N N   a n d   B i G R U   w i t h   mu l t i - a t t e n t i o n   me c h a n i sm , ”  Fu t u re  I n t e rn e t ,   v o l .   1 1 ,   n o .   1 1 ,   2 0 1 9 ,   d o i :   1 0 . 3 3 9 0 / f i 1 1 1 1 0 2 3 7 .   [3 6 ]   J.  Y a o ,   C .   W a n g ,   C .   H u ,   a n d   X .   H u a n g ,   C h i n e se   S p a D e t e c t i o n   U si n g   a   H y b r i d   B i G R U - C N N   N e t w o r k   w i t h   Jo i n t   T e x t u a l   a n d   P h o n e t i c   Em b e d d i n g ,   El e c t ro n i c s ,   v o l .   1 1 ,   n o .   1 5 ,   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / e l e c t r o n i c s1 1 1 5 2 4 1 8 .       B I O G RAP H I E S O F   AUTH O RS        J a s m ir          is  se n i o lec tu re   a Un i v e rsitas   Din a m ik a   Ba n g s a   Ja m b i,   In d o n e sia .   He   re c e iv e d   h is  Ba c h e lo in   Co m p u t e En g in e e rin g   in   1 9 9 5   a n d   M a ste d e g re e   in   In f o rm a ti o n   T e c h n o lo g y   in   2 0 0 6   f ro m   Un iv e rs it a P u tra  In d o n e sia   YP T P a d a n g ,   In d o n e sia .   He   re c e iv e a   Do c to i n   In f o rm a ti c s E n g in e e rin g   a Un iv e rsitas   S riw ij a y a   P a lem b a n g ,   In d o n e sia   i n   2 0 2 2 .   His  re se a rc h   in tere st  is  d a ta  m in in g ,   m a c h in e   lea rn i n g   a n d   d e e p   lea r n in g   f o n a tu ra l   lan g u a g e   p ro c e ss in g ,   a n d   it s a p p li c a ti o n .   H e   c a n   b e   c o n tac ted   a t   e m a il ij a y _ jas m ir@ y a h o o . c o m .       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         C o mp a r is o n   o f wo r d   emb ed d i n g   fea tu r es u s in g   d ee p   lea r n in g   in   s en timen t a n a lysi s   ( Ja s m i r )   425     Er r issy a   R a sy w ir           re c e i v e d   th e   Ba c h e lo d e g re e   (S . Ko m in   C o m p u ter  S c ien c e   f ro m   th e   S riw ij a y a   Un iv e rsit y .   S h e   re c e iv e d   th e   M a ste d e g re e   (M . T in   In f o rm a ti c M a ste r   S T EI  f ro m   th e   I n stit u t   T e k n o lo g Ba n d u n g   (IT B).   S h e   is a   l e c tu re   o f   c o m p u ter sc ien c e   in   t h e   In f o rm a ti c En g in e e rin g ,   Din a m i k a   Ba n g s a   Un iv e rsit y   (UN A M A ).   S h e   is   c u rre n tl y   stu d y in g   f o a   Do c to ra te  in   Co m p u ter  S c ie n c e   a S riw ij a y a   Un iv e r sit y .   In   a d d it i o n ,   sh e   is  se rv in g   a h e a d   o f   th e   re se a rc h   g ro u p   (L P P M o n   UN A M A .   He re se a rc h   in tere sts  a re   in   d a ta  m in in g ,   a rti f icia in telli g e n (A I),   n a t u ra l a n g u a n g e   p ro c c e ss in g   (NL P ),   m a c h in e   lea rn i n g ,   a n d   d e e p   lea rn in g .   S h e   c a n   b e   c o n tac ted   a e m a il e rriss y a . ra s y w ir@ g m a il . c o m .         H e r ti  Ya n i           is  a   lec tu re   a t   Un i v e rsitas   Din a m ik a   Ba n g s a   Ja m b i,   In d o n e sia .   S h e   re c e iv e d   h is  Ba c h e lo in   In f o rm a t io n   S y ste m   in   Un iv e rsitas   Din a m i k a   Ba n g s a   Ja m b in   2 0 0 9   a n d   M a ste d e g re e   in   M a g ister  S y ste m   In f o r m a ti o n   i n   U n iv e rsitas   Din a m ik a   Ba n g sa   Ja m b i,   In d o n e sia   in   2 0 1 1 .   S h e   is  c u rre n t ly   stu d y in g   f o a   Do c to r a te  i n   Co m p u ter  S c ien c e   a S a ty a   W a c a n a   Ch risti a n   Un iv e rsity .   H e re se a rc h   in tere st  a re   in   d a tab a se ,   a rti f icia in telli g e n c e ,   a n d   m a c h in e   lea rn in g .   S h e   c a n   b e   c o n tac ted   a e m a il a d e h e rti @u n a m a . a c . id .         Ag u s Nu g r o h o           is l e c tu re   a Un iv e rsitas   Din a m ik a   Ba n g s a   Ja m b i,   In d o n e sia .   He   re c e iv e d   h is  Ba c h e lo in   In f o rm a t ics   En g in e e rin g   in   Un iv e rsitas   Din a m ik a   Ba n g s a   Ja m b in   2 0 1 1   a n d   M a ste d e g re e   in   M a g ister  o f   In f o rm a ti c En g in e e rin g   in   S T M IK  A M IKO M   Yo g y a k a rta,  In d o n e sia   in   2 0 1 3 .   H is  re se a rc h   in tere st  a re   in   m u lt ime d ia,  a rti f icia in telli g e n c e ,   a n d   m a c h in e   lea rn in g .   S h e   c a n   b e   c o n tac ted   a e m a il a g u sn u g ro h o 0 8 8 8 @g m a il . c o m .       Evaluation Warning : The document was created with Spire.PDF for Python.