I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 ,   p p .   962 ~ 971   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 1 . p p 9 6 2 - 9 7 1           962     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Enha nced f ra mewo rk f o r d etec tin g   Vietnam ese  ha t e and  o ff ensiv e spa ns       Dinh - H o ng   Vu 1 ,   T uo ng   L e 2   1 N a t u r a l   La n g u a g e   P r o c e ss i n g   a n d   K n o w l e d g e   D i sc o v e r y   R e se a r c h   G r o u p ,   F a c u l t y   o f   I n f o r ma t i o n   T e c h n o l o g y ,     To n   D u c   T h a n g   U n i v e r s i t y ,   H o   C h i   M i n h   C i t y ,   V i e t n a m   2 F a c u l t y   o f   I n f o r m a t i o n   T e c h n o l o g y ,   H U TEC H   U n i v e r si t y ,   H o   C h i   M i n h   C i t y ,   V i e t n a m       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   1 3 ,   2 0 2 5   R ev is ed   J an   1 ,   2 0 2 6   Acc ep ted   J an   2 2 ,   2 0 2 6       Th e   rise   o h a te  a n d   o ffe n si v e   c o n ten o n   so c ial  m e d ia  p latfo rm s,  su c h   a F a c e b o o k   a n d   Twit ter,  h a e m e r g e d   a a n   e sc a latin g   c o n c e rn ,   e sp e c ially   in   Vie tn a m .   Co n se q u e n tl y ,   d e tec ti n g   h a te  a n d   o ffe n si v e   sp a n i n   V ietn a m e se   tex is  a n   e ss e n ti a a re a   o re se a rc h .   Th is  st u d y   in tr o d u c e ViHa teO ff,   a n   a d v a n c e d   fra m e wo rk   th a c o m b in e a   h a ted   sp e e c h   d icti o n a ry   (HSD)   a u to m a ti c a ll y   c o n stru c te d   fro m   th e   Vie tn a m e se   h a te  a n d   o ffe n siv e   sp a n s   ( ViHO S )   d a tas e t   with   t h e   p re - train e d   lan g u a g e   m o d e ls  fo r   Vie tn a m e se   ( P h o BER T ) - l a rg e   lan g u a g e   m o d e to   e n h a n c e   th e   d e tec ti o n   o o ffe n siv e   e x p re ss io n s.  Th e   fra m e wo rk   f u n c ti o n s t h r o u g h   tw o   p r ima ry   m o d u l e s.  F irst,   it   c o n stru c ts  an   HSD   fro m   th e   ViH OS  d a tas e t,   w h ich   se rv e s   a a   re f e re n c e   fo id e n ti f y in g   h a te  a n d   o ffe n si v e   l a n g u a g e   in   Vie t n a m e se   tex t.   S e c o n d ,   th e   fra m e wo rk   in teg ra tes   t h e   P h o BERT - l a rg e   lan g u a g e   m o d e l   with   HSD,   e n h a n c in g   th e   d e tec ti o n   o h a rm fu wo r d in   t h e   in p u tex t.   E x p e rime n tal  re su lt d e m o n stra te  t h a th e   p ro p o se d   fra m e wo rk   sig n ifi c a n t ly   o u tp e rfo rm e x isti n g   s tate - of - th e - a rt   (S OTA) ,   a c h iev in g   a n   F 1 - sc o re   o 0 . 8 6 9 3   o n   t h e   a ll - sp a n su b se a n d   0 . 8 7 0 9   o n   th e   m u lt ip le - sp a n su b se t   re p re se n ti n g   re lativ e   imp ro v e m e n ts  o o v e 1 0 %   c o m p a re d   to   t h e   stro n g e st  b a se li n e .   K ey w o r d s :   Hate   s p ee ch   d etec tio n   Hate d   s p ee ch   d ictio n ar y   Natu r al  lan g u ag e   p r o ce s s in g   Of f en s iv lan g u a g e   So cial  m ed ia   Vietn am ese  tex t   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   T u o n g   L e   Facu lty   o f   I n f o r m atio n   T ec h n o lo g y ,   HUT E C H   Un iv er s ity   4 7 5 Dien   B ien   Ph u ,   W ar d   2 5 ,   B in h   T h a n h   Dis tr ict,   Ho   C h i M in h   C ity ,   Vietn am   E m ail: lc . tu o n g @ h u tech . e d u . v n       1.   I NT RO D UCT I O N   T h r is o f   in ter n et   ac ce s s   an d   s o cial   m ed ia  h as  tr an s f o r m ed   co m m u n icatio n ,   en ab led   r ea l - tim e   in f o r m atio n   ex c h an g e ,   a n d   f o s ter ed   g l o b al  c o n n ec tiv ity .   Ho wev er ,   it h as  also   f ac ilit ated   th s p r ea d   o f   h ar m f u l   co n ten s u c h   as  h ate  s p ee ch   a n d   o f f en s iv e   lan g u ag e.   Hate   s p ee ch ,   as   d ef in e d   b y   th U n ited   Natio n s ,   ta r g ets  in d iv id u als  o r   g r o u p s   b ased   o n   id en tity   f ac to r s   lik r elig io n ,   eth n icity ,   o r   g en d er ,   wh ile   o f f en s iv lan g u ag e   en co m p ass es  v u lg ar ,   ab u s iv e,   o r   d er o g ato r y   e x p r ess io n s   th at,   alth o u g h   n o alwa y s   class i f ied   as  h ate  s p ee ch ,   co n tr ib u te  s ig n if ican tly   to   to x ic  an d   h o s tile  o n lin en v ir o n m en t.  Su ch   co n ten n o o n ly   u n d er m in es  s o cial  co h esio n   a n d   m u tu al   r esp ec t   b u also   n eg ativ ely   af f ec ts   u s er s   m en tal   h ea lth ,   in cr ea s in g   s tr ess ,   an x iety ,   an d   d ep r ess io n .   Ad d itio n ally ,   it  ca n   d am ag t h r ep u tatio n   an d   u s er   b ase  o f   o n lin p la tf o r m s ,   p r o m p tin g   g o v er n m en ts   wo r ld wid to   e n f o r ce   s tr icter   r eg u latio n s   o n   co n ten m o d er atio n .   I n   th Vietn am ese  co n tex t,  d etec tin g   h ate  an d   o f f en s iv lan g u ag p o s es  ad d itio n al  ch allen g es  d u to   lin g u is tic  n u a n ce s   s u ch   as  to n al   v ar iatio n ,   r eg i o n al  d ialec ts ,   lim ited   an n o tated   d ata,   an d   f r e q u en u s o f   ir o n y ,   s lan g ,   o r   s ar ca s m .   Ad d r ess in g   th ese  ch allen g es  r e q u ir es  n o o n ly   a d v an ce d   m ac h in lea r n i n g   tech n iq u es  b u also   d ee p   u n d er s tan d in g   o f   Vietn am ese  cu ltu r al  an d   lin g u is tic  s u b tletie s   to   en s u r ac cu r ate  an d   co n tex t - awa r d etec tio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E n h a n ce d   fr a mewo r fo r   d etec tin g   V ietn a mese  h a te  a n d   o ffen s ive  s p a n s   ( Din h - Ho n g   V u )   963   D e e p   l e a r n i n g   h a s   b r o u g h t   s i g n i f i c a n t   a d v a n c e s   i n   t h e   f i e ld   o f   n a t u r a l   l a n g u a g e   p r o c e s s i n g   ( N L P ) i m p r o v i n g   c o m p u t e r s   a b i l it y   t o   u n d e r s t a n d   a n d   u s e   n at u r a l   l a n g u a g e .   D e e p   l e a r n i n g   m o d e l s ,   p a r t ic u l a r l y   r e c u r r e n t   n e u r a l   n e t w o r k s   ( R N Ns ) ,   c o n v o l u t i o n a l   n e u r al  n e t w o r k s   ( C N Ns ) ,   a n d   r ec e n t l y ,   t r a n s f o r m e r   a r c h i t e c t u r es ,   h a v e   d e m o n s t r ate d   e x c e p t i o n a l   e f f e c ti v e n e s s   in   v a r i o u s   N L P   t as k s ,   s u c h   a s   m a c h i n e   t r a n s la t i o n   [ 1 ] [ 3 ] ,   t e x t   c l a s s i f i ca t i o n   [ 4 ] [ 8 ] ,   s e n t i m e n t   a n al y s is   [ 9 ] [ 1 3 ] ,   a n d   q u e s t i o n   a n s we r i n g   [ 1 4 ] [ 1 7 ] .   N o t a b l y ,   t h e m e r g e n c e   o f   l a r g e   l a n g u a g e   m o d e l s   li k e   b i d i r e ct i o n a l   e n c o d e r   r e p r e s e n t a ti o n s   f r o m   t r a n s f o r m e r s   ( B E R T )   [ 1 8 ] g e n e r a t i v e   p r e - t r a i n e d   t r a n s f o r m e r s   ( GP T )   [ 1 9 ] p r e - t r a i n e d   la n g u a g e   m o d e l s   f o r   Vi e t n a m es e   ( P h o B E R T )   [ 2 0 ]   a n d   a d v a n c e d   v e r s i o n s   s u c h   as   G P T - 4   h a s   s i g n i f i c a n t l y   i m p r o v e d   t h e   a b i l it y   t o   c a p t u r e   c o n t ex t   a n d   r e l a t i o n s h i p s   b e t w e e n   w o r d s   i n   s e n t e n ce s ,   e n a b l i n g   d e e p e r   u n d e r s t a n d in g   o f   s e m a n t ic s   a n d   g r a m m a r .   M o r e o v e r ,   d e e p   l e a r n i n g   e n a b l e s   s y s t e m s   t o   l ea r n   f r o m   m a s s i v e   d a t a s et s ,   a ch i e v i n g   h i g h   a c c u r a c y   i n   r e a l - w o r l d   a p p l i c a t i o n s   s u c h   a s   c h a t b o ts ,   i n f o r m a t i o n   r e t r i e v a l ,   a n d   h at e   s p a n s   d e te c t io n .   T h e   c o n t i n u o u s   a d v a n c e m en t   o f   d e e p   l e a r n i n g   i s   u n l o c k i n g   n ew   o p p o r t u n i t i es,   p o s i t i o n i n g   N L P a s   a   c r it i c al   a r e a   i n   a r ti f i c ia l   i n t e l li g e n c e .   R e c e n t   e f f o r ts   i n   h a te   s p e e c h   a n d   o f f e n s i v e   l a n g u a g e   d e t e c t i o n   h a v e   f o c u s e d   o n   r e d u c i n g   m i s c l a s s i f i ca t i o n   b e t w e e n   t h e   t w o ,   a s   d e m o n s t r a t e d   b y   Y u a n   e t   a l [ 2 1 ]   w i t h   a n   a d v e r s a r ia l   d e b i a s i n g   a p p r o a c h   t h a t   i m p r o v e s   m u l t i li n g u a p e r f o r m a n c e .   T h e   O f f e n s E v a l   s h a r e d   t as k s   ( S e m E v a l - 2 0 1 9   a n d   2 0 2 0 )   f u r t h e r   a d v a n c e d   t h e   f i e l d   w it h   o f f e n s i v l a n g u a g e   i d e n t i f i c at i o n   d a t as e t   ( O L I D ) - b a s e d   b e n c h m a r k   d a t as e ts ,   w h e r e   Z a m p ie r i   e t   a l .   [ 2 2 ]   s h o w e d   t h a t   la r g l a n g u a g e   m o d e l s ,   w h il e   s t r o n g ,   s ti l l a g   b e h i n d   t o p   s y s te m s .   R e g i o n - s p e ci f i w o r k ,   s u c h   as  T a m i h a t s p e e c h   d e t e c t i o n   u s i n g   t e r m   f r e q u e n c y - i n v e r s e   d o c u m e n f r e q u e n c y   ( T F - I DF )   a n d   t r a n s f o r m e r   m o d e l s   [ 2 3 ] ,   a n d   m u l t i c l ass ,   m u l t il a b e l   d e e p   le a r n i n g   f o r   I n d o n e s i a n   t w e e ts   [ 2 4 ] ,   r e f l e c ts   g r o w i n g   s p e ci a l i za t i o n .     H o a n g   e t   a l .   [ 2 5 ]   i n t r o d u c e d   Vi e t n a m es e   h a t e   a n d   o f f e n s i v e   s p a n s   ( V i HO S ) ,   t h e   f i r s t   h u m a n - a n n o t a t e d   d a t a s et   f o r   i d e n t i f y i n g   h a t e   a n d   o f f e n s i v e   s p a n s   i n   Vi e t n a m es c o m m e n t s .   U n li k e   e a r li e r   d a t as e ts   t h a t   f o c u s   o n l y   o n   f l a g g e d   k e y w o r d s ,   V i H OS   c a p t u r e s   t h e   u n d e r l y i n g   i d e a s   a n d   o p i n i o n s   e x p r e s s e d   w i t h i n   c o m m e n ts .   I i n c l u d e s   2 6 , 4 7 6   s p a n s   f r o m   1 1 , 0 5 6   c o m m e n t s ,   w i t h   c l e a r   s p l i t s   f o r   t r a i n i n g ,   d e v e l o p m e n t ,   a n d   t e s t i n g .   T h e   d a t a s et   a ls o   p r o v i d e s   d e t a il e d   a n n o t a t i o n   g u i d e l i n es   a n d   s t r a te g i e s   f o r   h a n d l i n g   c o m p l e x   l an g u a g e   p h e n o m e n a   s u c h   a s   t e e n c o d e ,   m et a p h o r s ,   a n d   p u n s .   V iH O s e r v es   as  a   v a l u a b l e   r es o u r c e   f o r   i m p r o v i n g   h a t e   s p e e c h   d e t e c t i o n ,   e s p e ci a l l y   a t h e   s p a n   l e v e i n   V i e t n a m e s e .   H o we v e r ,   s p a n - l e v el   d e te c t i o n   a c cu r a c y   i n   [ 2 5 ]   is   s t il l i m i t e d ,   i n d i c a ti n g   a   n e e d   f o r   f u r t h e r   i m p r o v e m e n t .   T h e r e f o r e ,   t h i s   s t u d y   i n t r o d u c es   Vi H a teO f f   t o   e n h a n c e   h a t a n d   o f f e n s i v e   s p a n s   d et e c ti o n   i n   V ie t n a m es e ,   c o m p a r e d   t o   e x i s ti n g   s ta t e - of - t h e - a r ( S O T A )   m e t h o d s   i n   [ 2 5 ] T h e   m a i n   c o n t r i b u t i o n s   o f   t h is   s t u d y   a r e   as   f o ll o w s :   i )   d a t p r e p r o c e s s i n g   i n   t h e   Vi H OS   d ata s e t o   c r ea t h ated   s p ee ch   d ictio n ar y   ( H S D ) ,   w h i c h   c a n   b u s e d   a s   r e f e r e n c e   d i c ti o n a r y   f o r   o t h e r   h at e   an d   o f f e n s i v e   s p a n s   d e t e c t i o n   t as k s ,   i i )   c o m b i n i n g   P h o B E R T - L a r g e ,   l a r g e   l a n g u ag e   m o d e l   ( LLM )   w i t h   t h e   H SD   h e l p s   t h e   m o d e l   b e t t e r   d e t e c t   h a r m f u l   w o r d s   i n   i n p u t   t e x t ,   a n d   i i i )   e x p e r i m e n t a l   r e s u lt s   s h o w   t h at   V i H at e O f f   c a n   b e   a p p l i e d   t o   d e t e c t   n e g a ti v e   c o m m e n t s   o n   s o c i a l   m e d i a   o r   s i m il a r   p l a t f o r m s .   T h r em ai n d er   o f   th is   p ap e r   is   o r g an ized   as  f o llo ws:   s ec tio n   2   p r esen ts   th p r o p o s ed   ViHate Of f   f r am ewo r k ,   in clu d i n g   th c o n s tr u ctio n   o f   HSD,   f ea tu r e n g i n ee r in g ,   a n d   m o d el  in teg r atio n .   Sectio n   3   r e p o r ts   ex p er im en tal  r esu lts   an d   co m p ar es  o u r   ap p r o ac h   with   b ase lin m eth o d s .   Sectio n   4   co n cl u d es  th s tu d y   an d   o u tlin es f u tu r r esear ch   d ir ec ti o n s .       2.   M E T H O D   2 . 1 .     H a t ed  s peec h dict io na ry     Utilizin g   th ViHOS  d ataset,   we  d ev elo p ed   th HSD,   wh ich   co n tain s   co m p ilatio n   o f   s y llab les  an d   wo r d s   d esig n ated   as  "h ated with in   th is   d ataset.   W a s s u m th at  s y llab les/ wo r d s   lab eled   “h ated ”  in   th in p u s en ten ce   ar h ig h ly   lik ely   t o   in d icate   h ate f u c o n ten i n   t h m o d el’ s   o u t p u t.  T h er ef o r e ,   th is   d ictio n ar y   is   u tili ze d   to   m ar k   “h ated ”  s y llab les/ wo r d s   in   th in p u s en ten ce ,   th er eb y   in cr e asin g   th eir   weig h d u r in g   th m o d el’ s   p r o ce s s in g .   T h d ict io n ar y   co n s tr u ctio n   p r o ce s s   is   as  f o llo ws:   f ir s t,  we  tr an s f o r m   th s p an - le v el  lab els  in   th ViHOS  d ataset  in to   s y llab le - o r   w o r d - le v el  la b els.  I f   s y llab le  o r   wo r d   f a lls   with in   h atef u s p an ,   its   lab el  is   s et  to   1 ;   o th e r wis e,   it  is   ass ig n ed   la b el  o f   0 .   Seco n d ly ,   we  c o llect  all  s y llab les  an d   wo r d s   lab eled   as 1   to   co n s tr u ct  HSD.     Ou r   r esu ltin g   d ictio n ar y   co n ta in s   2 , 8 9 9   item s   in   s y llab le  f o r m   an d   3 , 8 9 2   item s   in   wo r d   f o r m .   T h is   d ictio n ar y   is   d er iv ed   ex clu s iv ely   f r o m   th t r ain in g   d ataset  to   en s u r e   its   u s ag d o es  n o in f lu en ce   th e   m o d el’ s   test   r esu lt s ,   th er eb y   m ain tain in g   o b jectiv ity   an d   ac cu r ac y   in   ev alu atin g   m o d el  p er f o r m a n c e.   T ab le  1   co n tain s   en tr ies  illu s tr atin g   an   ex am p le  o f   s y llab les  an d   wo r d s   in clu d ed   in   HSD,   f o cu s in g   o n   v u lg ar   lan g u ag e,   n eg ativ em o tio n s ,   an d   o f f e n s iv wo r d s .     2 . 2 .     T he  o v er a ll a rc hite ct ure    Ou r   p r o p o s ed   f r am ewo r k   co n t ain s   th r ee   m o d u les ,   r elatio n   e x tr ac to r ,   h ated   m ask er   an d   cla s s if icatio n   mod u les.  T h r elatio n s   b etwe en   th r ee   m o d u les  ar s h o wn   in   Fig u r 1 .   T h ViHate Of f   f r am ewo r k   p r o ce s s es   in p u tex u s in g   two   d is tin ct  t o k en izatio n   m eth o d s wo r d   to k en izatio n   an d   s y llab le  to k en i za tio n .   ViHate Of f   u s es  s y llab le  to k en izatio n ,   wh ich   s p lits   th tex t   at  wh ites p ac an d   is   d en o ted   b y   ViHate Of f s y llab le.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   962 - 9 7 1   964   Me an wh ile,   ViHate Of f   to k e n izes  tex in to   Vietn am ese  wo r d s   is   d en o ted   b y   ViHate Of f wo r d .   Fo r   in s tan ce ,   th e   s en ten ce   p h ch ă n g   đ â   l ý  d o   ô n g   n à kh ô n g   mu n   c h   ly ”  ( tr an s lated   as  “M ay b th is   is   th r ea s o n   h d o esn wan to   b e   q u ar a n tin e d ”)   wo u ld   b to k e n ized   in to   w o r d s   as  p h i_ c h ă n g   đ â   _ d o   ô n g   n à kh ô n g   mu n   c h _ ly ”  an d   th en   f u r t h er   s p lit  in to   to k e n s   b ased   o n   wh ites p ac e.   I n   s u m m a r y ,   th e   ViHate Of f s y llab le  an d   ViHate Of f wo r d   f r a m ewo r k s   d if f er   o n ly   i n   th eir   in p u to k en s   ( s y llab les  v er s u s   wo r d s ) ,   wh ile  t h eir   u n d er ly i n g   m o d el  s tr u ctu r es r e m ain   id en tical.       T ab le  1 .   E x am p le  o f   s y llab les an d   wo r d s   in   HSD   S TT   W o r d   ( i n   V i e t n a m e se)   W o r d   ( i n   E n g l i s h )   N o t e   Ty p e   1   vl   S l a n g   a b b r e v i a t i o n   f o r   v ã i   l * n   V u l g a r   l a n g u a g e   S y l l a b l e   2   vét   Li c k   u p / scr a p e   ( d e r o g a t o r y )   V u l g a r   l a n g u a g e   S y l l a b l e   3   c h á n   B o r e d   N e g a t i v e   e m o t i o n   S y l l a b l e   4   s a   B a r k   ( i n su l t i n g ,   l i k e   a   d o g )   O f f e n si v e   w o r d   S y l l a b l e   5   n á t   R u i n e d   ( t o r n ,   c o m p l e t e l y   b a d )   O f f e n si v e   w o r d   S y l l a b l e   6   đ c m   f * * k   V u l g a r   l a n g u a g e   S y l l a b l e   7   h ú t   I n j e c t / u s e   d r u g s ( e . g . ,   h e r o i n )   O f f e n si v e   w o r d   S y l l a b l e   8   í c h _ k   S e l f i s h   N e g a t i v e   e m o t i o n   W o r d   9   đ c _ m m   S p i t e f u l ,   sarc a st i c   O f f e n si v e   w o r d   W o r d   10   th n _ k i n h   N e r v o u s,   a n x i e t y - r e l a t e d   O f f e n si v e   w o r d   W o r d   11   t _ c h a   O f f e n si v e   f a mi l y - r e l a t e d   i n s u l t   O f f e n si v e   w o r d   W o r d   12   đ ô _ h   C o l o n i z e ,   o p p r e ss   N e g a t i v e   e m o t i o n   W o r d   13   k h i n h _ b   D i sd a i n ,   c o n t e m p t   O f f e n si v e   w o r d   W o r d   14   d ơ _ b n   D i r t y ,   f i l t h y   O f f e n si v e   w o r d   W o r d           Fig u r 1 .   ViHate Of f   ar c h itectu r e:  d etec tin g   Vietn am ese   h at an d   o f f en s iv s p an s       2 . 2 . 1 .   Rela t io n e x t r a ct o r   m o du le   T h is   m o d u l u ti liz es  th P h o B E R T - l a r g s y l la b l co n f i g u r ed   t o   ac h i ev th o p ti m a r es u lts   r e p o r te d   in   [ 2 0 ] .   T h e   o u tp u t   o f   t h is   m o d u l is   a   v e ct o r   r e p r es en t ati o n   f o r   ea ch   to k en   in   t h e   i n p u te x t ,   c ap tu r i n g   r el ati o n al   in f o r m ati o n   a m o n g   t o k e n s .   T o   e n h a n c e   t h e   m o d el’ s   lea r n i n g   ca p ab ilit y ,   we   a ls o   i n c o r p o r a te   t h e   [ C L S ]   t o k en   o u t p u t   t o   class if y   th e   i n p u t   te x t   as “ h at ed   o r   n o t .   T h e   l ab el   f o r   [ C L S]   is   g e n e r a ted   d u r in g   t r a in in g   as  f o ll o ws:   i f   a n y   to k en   i n   th tex is   l ab el ed   as   h a te d ,   th en   t h la b e f o r   [ C L S]   is   s et   t o   1 ;   o th er wis e ,   it  is   s e t   to   0 .   T h e   o u t p u t   o f   th is   m o d u le   is   th e   m at r i x   1   wit h   d im e n s i o n s   ( N + 2 ) × 1 0 2 4 ,   w h e r e   N   is   t h e   m a x i m u m   n u m b e r   o f   t o k en s   i n   t h e   i n p u t   t ex t .   C o n s is t e n wit h   [ 2 0 ] ,   we   u s N = 6 4 ,   a lo n g   wit h   t h e   [ C L S]   a n d   [ SEP ]   t o k e n s .     1 = ( )   ( 1 )     W h er X   is   th to k en   I v ec to r   g en e r ated   with   th Ph o B E R T - L ar g to k e n izer ,   y 1   is   o u tp u o f   Ph o B E R T - L ar g m o d el.     2 . 2 . 2 .   H a t ed  m a s k ed  m o du le   T h is   m o d u le  u s es  HSD  to   id en tify   p o s itio n s   o f   to k e n s   th at  m ay   b h ated   to k en s ”  in   th in p u tex t.   T h g o al  is   to   d o u b le  t h weig h t o f   th ese  to k e n s   in   m o d el  ca lcu latio n s .   T h m o d u le’ s   o u tp u t is a  b in ar y   v ec to r   2   with   ( N +2 )   d im en s io n s ,   wh e r ea ch   elem en t h as a   v alu o f   1   if   its   in p u t to k en   in   t h h ated   d ict  else 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E n h a n ce d   fr a mewo r fo r   d etec tin g   V ietn a mese  h a te  a n d   o ffen s ive  s p a n s   ( Din h - Ho n g   V u )   965   2 =   ( , )   ( 2 )     I n   th is   co n tex t,   X   is   th to k en   I v ec to r   g en er ated   with   th Ph o B E R T - l ar g to k en izer ,   D   r ep r esen ts   th HSD,   y 2   is   o u tp u v ec to r   o f   m ask e d   m o d u le.   T h in teg r atio n   o f   H SD  en h an ce s   th m o d el’ s   atten tio n   m ec h an is m   b y   ass ig n in g   g r ea ter   weig h ts   to   to k en s   k n o wn   to   b in d icativ o f   h ate  o r   o f f e n s iv in ten t.  I n s tead   o f   tr ea tin g   all  to k en s   eq u ally ,   th m o d el   lev er ag es  p r i o r   k n o wled g f r o m   an n o tated   tr ain in g   d ata   to   em p h asize  p o te n tially   h ar m f u l   s p an s .   T h is   m ec h an is m   im p r o v es  d etec tio n   ac cu r ac y   in   c o m p lex   o r   len g th y   s en ten ce s ,   an d   h elp s   th e   m o d el  g en er alize   b etter   to   r ar o r   d is to r ted   f o r m s   o f   o f f en s iv lan g u ag ( e. g . ,   s lan g   o r   ab b r ev iated   ex p r ess io n s ) ,   m an y   o f   w h ich   a r ca p tu r e d   in   th d ictio n ar y .     2 . 2 . 3 .   Cla s s if ica t io n m o du le   T h is   m o d u le  co m b i n es  th o u tp u ts   o f   th two   p r ev io u s   m o d u les  u s in g   two   s ep ar ate  d e n s lay er s   ( DL 1   an d   DL 2 ) .   DL 1   h an d les  class if icatio n   b ased   o n   th e   o u tp u o f   th e   r elatio n   ex tr ac t o r   m o d u le,   wh ile  DL 2   f o cu s es  o n   class if icatio n   u s in g   to k e n s   in   HSD.   T h is   is   ac h iev ed   b y   m u ltip ly in g   th e   o u tp u m atr ix   f r o m   t h r elatio n   ex t r ac to r   with   th e   b i n ar y   v ec to r   f r o m   th h ated   m ask ed   m o d u le ,   r etain in g   o n ly   v ec to r s   f o r   to k en s   f o u n d   in   HSD.   T h o u tp u ts   f r o m   th ese  two   d en s lay er s   p r o v id two   d is tin ct  class if icati o n   p er s p ec tiv es  o n   th s am d ata.   W th e n   m er g th ese  p e r s p ec tiv es  b y   a d d in g   th e   two   m atr ices,  r esu ltin g   in   an   ( N+ 2 ) × 1 0 2 4   m atr ix   to   cr ea te  th e   f o llo win g   3 .     3 =  1 ( 1 ) +  2 ( 1 2 )   ( 3 )     W h er e   y 1 ,   y 2   a r r esu lt  o f   ( 1 )   an d   ( 2 ) ,   DL   s tan d s   f o r   d en s e   lay er ,     is   elem en t - wis m u ltip licatio n   with   b r o ad ca s tin g : e ac h   r o i   in   y 1   is   s ca led   b y   y 2 [ i ] .   T h en   th r es u lt ser v es a s   in p u t to   th two   DL   an d   o u tp u t la y er   with   s ig m o id   ac tiv atio n   f u n c tio n   ( )   to   class if y   wh eth er   to k en   is   h ated   o r   n o t.     ̂ = (  4 (  3 ( 3 ) ) )   ( 4 )     W h er e   y 3   is   r esu lt  o f   ( 3 ) ,   DL   s tan d s   f o r   d en s l ay er .   T h in p u to k e n   is   class if ied   a s   h ated   to k en   if   ̂ > 0 . 5 ,   an d   as  a   n o n - h ated   to k e n   if   ̂ 0 . 5 .   Alth o u g h   we  h a v n o co n d u cted   an   a b latio n   s tu d y   to   is o la te   th d ictio n ar y s   im p ac t,   th s u p er io r   p er f o r m an ce   o f   ViHate Of f   co m p a r ed   to   b aseli n es  u s in g   th e   s am e   b ac k b o n ( Ph o B E R T )   im p lies   th at  th d ictio n ar y   p lay s   s ig n if ican r o le.   Fu t u r wo r k   will  in clu d d etailed   s tatis t ical  v alid atio n   ( e. g . ,   p - v alu es   an d   co n f id en ce   i n ter v als)  an d   ab latio n   ex p er im en t s   to   q u an tify   th is   co n tr ib u tio n   m o r p r ec is ely .       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .     E x perim ent a s et t ing s   T h is   s tu d y   tr ain e d   th ViHate Of f   m o d el  u s in g   t h Ad am   o p tim izer   with   lear n i n g   r ate   o f   6 ×1 0 ⁻⁵,   a   b atch   s ize  o f   1 2 8 ,   an d   4 0   tr ai n in g   e p o ch s .   T h o p tim al  ep o ch   th r esh o l d s   wer s elec ted   f o r   th t h r ee   s u b s ets:   s in g le  s p an ,   m u ltip le  s p an s ,   an d   all  s p a n s   ( d etails  in   s ec tio n   3 . 2 ) .   ViHate Of f   u tili ze s   th p r e - tr ai n ed   Ph o B E R T - L ar g m o d el  [ 2 0 ]   v ia  th h u g g in g   f ac lib r a r y ,   with   in p u d ata  f r o m   th ViHOS  d ata s et     p r e - to k e n ized   ac co r d in g l y .   T r ain in g   was p er f o r m ed   o n   h ig h - p er f o r m a n ce   s y s tem   ( 1 2 6   GB   R AM ,   8 0   C PU s ) .   Fo r   co m p ar is o n ,   we  ad o p ted   t h b aselin m o d els  an d   r esu lts   f r o m   [ 2 5 ] .   B o th   s y llab le - b ased   an d   wo r d - b ased   to k en izatio n   ap p r o ac h es  wer test ed   ( ViHate Of f syllable   an d   ViHate Of f word ) ,   an d   ev alu ated   u s in g   m ac r o     F1 - s co r e,   p r ec is io n ,   an d   r ec all,   co n s is ten t w ith   [ 2 5 ] .     3 . 2 .     E x perim ent s   a nd   re s ults   3 . 2 . 1 .   E x perim ent   1 - det er m ini ng   t he  o ptim a l num ber  o f   t ra ini ng   epo chs   f o r   ViH a t eO f f syllable   T h is   ex p er im en t,  co n d u cte d   s p ec if ically   o n   ViHate Of f syllable   as  s h o wn   in   Fig u r 2 ,   aim s   t o   id en tify   th id ea n u m b er   o f   ep o c h s   f o r   tr ain in g   th m o d el  b y   o b s er v in g   tr en d s   o v er   4 0 - ep o ch   r u n .     Fig u r 2 ( a )   an d   2 ( b )   s h o ws  th tr ain in g   an d   v alid atio n   lo s s   o v er   4 0   ep o ch s .   W h ile  tr ain in g   lo s s   s tead ily   d ec lin es,  it  p latea u s   af ter   ep o ch   2 5 .   Valid atio n   lo s s ,   h o w ev er ,   in cr ea s es  af ter   ep o ch   1 8   an d   s h ar p ly   r is es    p o s t - ep o ch   3 0 ,   in d icatin g   o v e r f itti n g .   T h u s ,   tr ain in g   b e y o n d   3 0   ep o ch s   o f f er s   litt le  b en ef it  an d   m ay   h ar m   g en er aliza tio n .   I n   Fig u r e s   2 ( c )   an d   2 ( d ) ,   v alid atio n   p r e cisi o n   p latea u s   ar o u n d   e p o ch   2 6 ,   s tab ilizin g   n ea r   0 . 8 4 .   T h all - s p an   s u b s et  ex h ib its   t h m o s s tab le  an d   h ig h est  p e r f o r m a n ce   ac r o s s   all  m etr ics.  Fig u r es  2 ( e)   to   2 ( h )   ( r ec all  an d   F1 - s co r e )   f o llo s im ilar   tr en d s ,   co n f ir m in g   th m o d el’ s   s tr en g th   o n   m o r co m p lex   m u lti - s p an   d ata.   C o n v er s ely ,   f o r   th s in g l s p an   s u b s et,   p er f o r m an ce   r e m ain s   lo in   th f ir s 1 5   ep o c h s ,   with   F1   ar o u n d   0 . 3 3 ,   an d   o n ly   im p r o v es  s lig h tly   b y   ep o c h   2 6 .   Valid atio n   lo s s   in cr ea s es  af ter   ep o c h   1 8 ,   i n d icatin g   o v er f itti n g   r is k .   T h er ef o r e,   t h o p tim al  tr ain in g   r a n g f o r   t h is   s u b s et  is   b etwe en   ep o c h s   1 8 - 2 5 .   E p o c h   2 2   was  s elec ted   f o r   f in al  ev alu atio n ,   as  it  p r o v i d es  th b est  p er f o r m an ce   ac r o s s   th “sin g le  s p an , ”  “m u ltip le  s p an s , ”  an d   “a ll   s p an s ”  s u b s ets.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   962 - 9 7 1   966       ( a)   ( b )           ( c)   ( d )           ( e)   (f)           ( g )   ( h )     Fig u r 2 .   T r ain in g /v alid ati o n   m etr ics f o r   ViHate Of f s y llab le  o f   ( a)   t r ain in g   l o s s ,   ( b )   v alid ati o n   lo s s   ( c)   tr ain in g   p r ec is io n ,   ( d )   v alid atio n   p r ec is io n ,   ( e)   tr ai n in g   r ec all,   ( f )   v alid atio n   r ec all,   ( g )   tr ain in g   F1 - s co r e ,   an d   ( h )   v alid atio n   F1 - s co r       3 . 2 . 2 .   E x perim ent   2 - det er m ini ng   t he  o ptim a l num ber  o f   t ra ini ng   epo chs   f o ViH a t eO f f word   T h i s   s t u d y   f o c u s es   o n   V i Ha t eO f f word ,   a s   s h o w n   i n   Fi g u r e   3 ,   to   d e t e r m i n e   t h e   b e s t   n u m b e r   o f   e p o c h s   f o r   t r a i n i n g .   B y   a n al y z i n g   t r e n d s   o v e r   t h e   c o u r s e   o f   4 0   e p o c h s ,   w e   ass e s s   t h e   m o d el s   le a r n i n g   e f f i c i e n c y   a n d   i d e n t i f y   p o t e n t i a l   s i g n s   o f   o v e r f i t t i n g .   I n   t h i s   e x p e r i m e n t ,   s i m il a r   t r e n d s   t o   e x p e r i m e n t   1   w e r e   o b s e r v e d ,   w i t h   t h e   v a l i d a t i o n   l o s s   s t a r t i n g   t o   r is a f t e r   e p o c h   1 8   ( F i g u r e s   3 ( a )   a n d   3 ( b) )   w h i l e   o t h e r   m e t r i c s ,   s u c h   a s   p r e ci s i o n   ( F i g u r e s   3 ( c )   a n d   3 ( d) ) ,   r e c a l ( F i g u r e s   3 ( e )   a n d   3 ( f) ) ,   a n d   F 1 - s c o r e   ( Fi g u r e s   3 ( g )   a n d   3 ( h) )   s t a b i li z e d   a r o u n d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E n h a n ce d   fr a mewo r fo r   d etec tin g   V ietn a mese  h a te  a n d   o ffen s ive  s p a n s   ( Din h - Ho n g   V u )   967   e p o c h   2 6 .   T h i s   i n d i c a t es   t h a t   th e   m o d e l   c o u l d   s t a r t o   o v e r f i i f   t r ai n i n g   p r o c e e d s   b e y o n d   t h i s   p o i n t .   T h e r e f o r e ,   t h e   o p t i m a l   t r a i n i n g   r a n g e   f o r   t h i s   s u b s et   a p p e a r s   t o   b e   b etw e e n   1 8   a n d   2 5   e p o c h s ,   as   i s t r i k es   a   b al a n c b e t w e e n   e f f ec t i v l e a r n i n g   a n d   p r e v e n t i n g   o v e r f i tt i n g .   F o r   c o n s i s t e n c y   wi t h   t h e   p r e v i o u s   e x p e r i m e n t ,   e p o c h   2 2   w a s   s e l e ct e d ,   p r o v i d i n g   t h e   b e s t   p e r f o r m a n c e   a c r o s s   t h e   “s i n g le   s p a n ,   m u l ti p l e   s p a n s ,   a n d   a l l   s p a n s   s u b s e ts .           ( a)   ( b )           ( c)   ( d )           ( e)   (f)           ( g )   ( h )     Fig u r 3 .   T r ain in g /v alid ati o n   m etr ics f o r   ViHate Of f wo r d   o f   ( a)   tr ain in g   lo s s ,   ( b )   v alid atio n   lo s s ,   ( c)   tr ain in g   p r ec is io n ,   ( d )   v alid atio n   p r ec is io n ,   ( e)   tr ain in g   r ec all,   ( f )   v ali d atio n   r ec all,   ( g )   tr ain i n g   F1 - s co r e,   an d     ( h )   v alid atio n   F1 - s co r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   962 - 9 7 1   968   3 . 2 . 3 .   E x perim ent   3 - co m pa ri s o n wit h sta t e - of - t he - a r t   mo dels   I n   th is   ex p er im e n t,  we  ev alu ate  o u r   f r am ewo r k ,   tr ain ed   u s in g   th o p tim ized   p ar am eter s   o u tlin ed   ea r lier ,   ag ain s th SOTA   m o d els  f o r   d etec tin g   h ate   an d   o f f en s iv s p an s .   T ab le   2   s h o ws   th at  th B iLST M - C R F+Ph o 2 W   m o d el  p er f o r m ed   p o o r l y ,   with   th lo west  F 1 - s co r es:  0 . 3 5 9 4   ( wo r d )   an d   0 . 4 3 2 9   ( s y llab le) ,   h ig h lig h tin g   its   lim itatio n s   o n   th s in g le  s p a n ”  s u b s et.   I n   co n tr ast,  m o d er n   m o d els  lik Ph o B E R T   an d     cr o s s - lin g u al  lan g u a g m o d e l - R o B E R T ( XL M - R )   s h o wed   b etter   p er f o r m an ce ,   esp ec ially   th p r o p o s ed   ViHate Of f word ,   wh ich   ac h iev e d   th e   h ig h est  F1 - s co r ( 0 . 8 1 7 4 )   an d   r ec all  ( 0 . 8 4 2 7 ) ,   with   a n   av er a g r an k   o f   1 . 3 3 .   ViHate Of f syllable   also   led   in   p r ec is io n   ( 0 . 8 5 1 9 )   with in   th s y llab le - b ased   g r o u p   an d   r a n k ed   s ec o n d   o v er all.   T h ese  r esu lts   co n f ir m   th s u p er io r ity   o f   th ViHate Of f   f r am ewo r k   in   b o th   s y llab le  an d   wo r d - lev e l   s p an   d etec tio n .   T ab le  3   h i g h lig h ts   th s u p er io r   p er f o r m a n ce   o f   ViHate Of f word   o n   t h m u ltip le  s p a n s ”  s u b s et,   ac h iev in g   th b est  s co r es  in   p r ec is io n   ( 0 . 8 5 9 7 ) ,   r ec all  ( 0 . 8 8 3 0 ) ,   an d   F1 - s co r ( 0 . 8 7 0 9 ) ,   w ith   an   av er ag r a n k   o f   1 . 0 0 .   ViHate Of f syllable   also   p er f o r m ed   well,   r an k in g   s ec o n d   ac r o s s   all  m etr ics  with   an   a v er ag r an k   o f   2 . 0 0 .   I n   c o n tr ast,  B iLST M - C R F+P h o 2 W   s h o wed   th e   wea k est  p er f o r m a n ce   in   b o th   i n p u t   ty p es,  co n f ir m in g   its   lim itatio n s   in   d etec tin g   m u ltip le  s p an s .   W h ile  Ph o B E R T   an d   XL M - R   m o d els  p er f o r m e d   co m p etitiv ely ,   t h ey   r em ain ed   b eh in d   ViHate Of f .   No tab ly ,   Ph o B E R T large   o u tp er f o r m e d   Ph o B E R T base ,   an d   XL M - R large   s lig h tly   s u r p ass ed   XL M - R base   in   all  k ey   m etr ics.   T ab le  4   s u m m ar izes  m o d el   p e r f o r m a n ce   o n   th e   all  s p an s ”  s u b s et.   ViHate Of f word   ac h iev ed   th b est  r esu lts   ac r o s s   all  m etr ics p r ec is io n   ( 0 . 8 8 2 3 ) ,   r ec all  ( 0 . 8 5 7 3 ) ,   F1 - s co r ( 0 . 8 6 9 3 ) with   th to p   av er a g r an k   o f   1 . 3 3 .   ViHate Of f syllable   also   p er f o r m ed   s tr o n g ly ,   r a n k in g   s ec o n d   o v e r all  with   th e   h i g h est  r ec all  ( 0 . 8 6 1 1 )   an d   an   F1 - s co r o f   0 . 8 6 7 8 .   I n   co n tr ast,  B iLST M - C R F+Ph o 2 W   m o d els  s h o wed   th we ak est  p er f o r m a n ce ,   esp ec ially   th wo r d - b ased   v e r s io n   with   th lo west  F1 - s co r ( 0 . 7 0 3 6 )   an d   av er ag r a n k   o f   8 . 0 0 .   Mo d er n   m o d els  lik Ph o B E R T large   a n d   XL M - R large   o u tp er f o r m ed   th eir   b ase  co u n ter p ar ts   b u t   r em ain ed   b e h in d   ViHate Of f ,   co n f ir m in g   th a d v an tag o f   task - s p ec if ic  an d   Vietn am ese - o p tim ized   ar c h itectu r es.       T ab le  2 .   Per f o r m an ce   co m p a r is o n   o f   ex p er im en tal  m et h o d s   o n   s in g le  s p an ”  s u b s ets   M o d e l   P   ( r a n k )   R   ( r a n k )   F 1   ( r a n k )   A v e r a g e   r a n k   S y l l a b l e   B i LST M - C R F + P h o 2 W s y l l a bl e   0 . 4 2 2 2   ( 7 )   0 . 5 0 0 9   ( 7 )   0 . 4 3 2 9   ( 7 )   7 . 0 0   X LM - R b a s e   0 . 7 6 0 4   ( 3 )   0 . 7 6 5 3   ( 3 )   0 . 7 2 0 3   ( 4 )   3 . 3 3   X LM - R l a rg e   0 . 7 5 7 7   ( 4 )   0 . 7 6 7 9   ( 2 )   0 . 7 2 1 4   ( 3 )   3 . 0 0   V i H a t e O f f s yl l a b l e   0 . 8 5 1 9   ( 1 )   0 . 7 4 9 2   ( 5 )   0 . 7 9 0 7   ( 2 )   2 . 6 7   W o r d   B i LST M - C R F   +   P h o 2 W w ord   0 . 3 1 9 6   ( 8 )   0 . 4 4 6 8   ( 8 )   0 . 3 5 9 4   ( 8 )   8 . 0 0   P h o B E R T b a s e   0 . 7 3 9 2   ( 6 )   0 . 7 4 8 5   ( 6 )   0 . 7 0 1 6   ( 6 )   6 . 0 0   P h o B E R T l a rg e   0 . 7 4 3 5   ( 5 )   0 . 7 5 6 7   ( 4 )   0 . 7 0 6 7   ( 5 )   4 . 6 7   V i H a t e O f f w ord   0 . 7 9 5 7   ( 2 )   0 . 8 4 2 7   ( 1 )   0 . 8 1 7 4 ( 1 )   1 . 3 3       T ab le  3 .   Per f o r m an ce   co m p a r is o n   o f   ex p er im en tal  m et h o d s   o n   “m u ltip le  s p an s ”  s u b s ets   M o d e l   P   ( r a n k )   R   ( r a n k )   F 1   ( r a n k )   A v e r a g e   ra nk   S y l l a b l e   B i LST M - C R F + P h o 2 W s y l l a bl e   0 . 5 1 3 4   ( 7 )   0 . 5 7 1 2   ( 7 )   0 . 5 0 6 8   ( 7 )   7 . 0 0   X LM - R b a s e   0 . 7 2 0 3   ( 6 )   0 . 7 9 2 7   ( 3 )   0 . 7 3 2 7   ( 4 )   4 . 3 3   X LM - R l a rg e   0 . 7 8 2 9   ( 4 )   0 . 7 5 6 9   ( 4 )   0 . 7 3 5 7   ( 3 )   3 . 6 7   V i H a t e O f f s yl l a b l e   0 . 8 4 3 3   ( 2 )   0 . 8 4 7 3   ( 2 )   0 . 8 4 5 3   ( 2 )   2 . 0 0   W o r d   B i LST M - C R F + P h o 2 W w o rd   0 . 3 5 3 3   ( 8 )   0 . 5 0 0 1   ( 8 )   0 . 4 0 1 3   ( 8 )   8 . 0 0   P h o B E R T b a s e   0 . 7 7 6 1   ( 5 )   0 . 7 3 2 9   ( 6 )   0 . 7 0 9 2   ( 6 )   5 . 6 7   P h o B E R T l a rg e   0 . 7 8 7 8   ( 3 )   0 . 7 5 5 7   ( 5 )   0 . 7 3 2 1   ( 5 )   4 . 3 3   V i H a t e O f f w ord   0 . 8 5 9 7   ( 1 )   0 . 8 8 3 0   ( 1 )   0 . 8 7 0 9   ( 1 )   1 . 0 0       T ab le  4 .   Per f o r m an ce   co m p a r is o n   o f   ex p er im en tal  m et h o d s   o n   “a ll sp an s ”  s u b s ets   M o d e l   P   ( r a n k )   R   ( r a n k )   F 1   ( r a n k )   A v e r a g e   r a n k   S y l l a b l e   B i LST M - C R F   + P h o 2 W s yl l a b l e   0 . 7 4 5 2   ( 7 )   0 . 7 7 6 9   ( 5 )   0 . 7 4 5 3   ( 7 )   6 . 3 3   X LM - R b a s e   0 . 7 7 6 6   ( 6 )   0 . 7 5 7 4   ( 7 )   0 . 7 4 6 7   ( 6 )   6 . 3 3   X LM - R l a rg e   0 . 8 0 7 1   ( 3 )   0 . 7 8 8 7   ( 3 )   0 . 7 7 7 0   ( 3 )   3 . 0 0   V i H a t e O f f s yl l a b l e   0 . 8 7 4 8   ( 2 )   0 . 8 6 1 1   ( 1 )   0 . 8 6 7 8   ( 2 )   1 . 6 7   W o r d   B i LST M - C R F   +   P h o 2 W w ord   0 . 6 8 2 3   ( 8 )   0 . 7 4 8 9   ( 8 )   0 . 7 0 3 6   ( 8 )   8 . 0 0   P h o B E R T b a s e   0 . 7 8 7 0   ( 5 )   0 . 7 6 8 0   ( 6 )   0 . 7 5 6 9   ( 5 )   5 . 3 3   P h o B E R T l a rg e   0 . 8 0 2 8   ( 4 )   0 . 7 8 3 5   ( 4 )   0 . 7 7 1 6   ( 4 )   4 . 0 0   V i H a t e O f f w ord   0 . 8 8 2 3   ( 1 )   0 . 8 5 7 3   ( 2 )   0 . 8 6 9 3   ( 1 )   1 . 3 3       T h r esu lts   ac r o s s   all  th r ee   tab les  co n s is ten tly   co n f i r m   th s u p er io r ity   o f   th e   ViHate Of f   f r a m ewo r k s ,   esp ec ially   ViHate Of f word ,   wh ich   ac h iev ed   t h h ig h est  m etr ics  an d   lo west  av er ag r a n k s   a cr o s s   all  s p an   ty p es.  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E n h a n ce d   fr a mewo r fo r   d etec tin g   V ietn a mese  h a te  a n d   o ffen s ive  s p a n s   ( Din h - Ho n g   V u )   969   ViHate Of f syllable   also   p er f o r m ed   s tr o n g ly ,   co n s is ten tly   r an k in g   s ec o n d   a n d   h ig h lig h tin g   th e   v al u o f     s y llab le - lev el  p r o ce s s in g .   T h ese  f in d in g s   d em o n s tr ate  th at   lev er ag in g   a d v an ce d ,   Vietn am ese - s p ec if ic  d ee p   lear n in g   tech n iq u es   as  d o n in   ViHate Of f   is   cr u cial  f o r   ac h iev in g   SOTA   p er f o r m an ce   i n   d etec tin g   h ate  an d   o f f en s iv s p an s .   B ey o n d   ev alu atio n   m etr ics,  we  also   ass e s s ed   th in f er en ce   ef f icien cy   o f   th ViHate Of f   f r am ewo r k   u n d er   d if f er e n d ep lo y m en s ce n ar io s .   On   C PU - o n ly   m ac h in ( 8 0   v C PUs ,   1 2 6   GB   R AM ) ,   th m o d el   ac h iev es  ap p r o x im ately   1 0 - 1 5   co m m en ts   p e r   s ec o n d ,   s u itab le  f o r   b atch   p r o ce s s in g   o r   o f f lin m o d e r atio n .     On   h ig h - p e r f o r m an ce   s er v er   with   an   NVI DI A1 0 0   GPU ,   th r o u g h p u r ea c h es  u p   to   9 0 0 - 1 , 2 0 0   co m m en ts   p er   s ec o n d   i n   b atch   m o d e,   o r   1 0 0 - 2 0 0   c o m m en ts   p er   s ec o n d   f o r   r ea l - tim s ettin g s .   T h ese  r esu lts   in d icate   th at  ViHate Of f   is   f ea s ib le  f o r   lar g e - s ca le  d ep lo y m e n t,  p ar ticu lar l y   wh en   GPU  r eso u r ce s   ar e   av ailab le.     3 . 3 .     E rr o a na ly s is   Du r in g   o u r   e v alu atio n ,   we  id en tifie d   co m m o n   s o u r ce s   o f   m is class if icatio n   in   th ViHate Of f   f r am ewo r k ,   p r im ar ily   d u e   to   lin g u is tic  co m p le x ities   in h er en in   Vietn am ese  s o cial   m ed ia   lan g u ag e.   T h e   k e y   er r o r   ca teg o r ies  in clu d e:  em er g in g   o r   u n lis ted   s lan g   ex p r ess io n s   n o ca p tu r ed   in   th cu r r en HSD    ( e. g . ,   ă n   h à n h ”,   g ã o ”,   nổ ”  d ep e n d in g   o n   co n tex t) s ar ca s tic  o r   ir o n ic  ex p r ess io n s ,   wh ich   r eq u ir d ee p   co n tex tu al  u n d er s tan d in g   an d   o f ten   r ev er s th ap p ar en s en tim en t .   An o th er   ca te g o r y   i s   m etap h o r ica l   o r   in d ir ec in s u lts ,   wh er o f f en s iv m ea n in g   is   im p lied   r ath e r   th an   d ir ec tly   s tated   ( e. g . ,   s ee m in g ly   p o s itiv p h r ases   u s ed   in   m o c k in g   t o n lik đ ỉn h   th t ”) .   Fo r   in s tan ce ,   in   t h s en ten ce   ô b   c á   t h a n h   n iên   h ã m   lo l.  đ ẹp   mặ q u á ”/“o h   f ath er   o f   th o s e   d is g u s tin g   y o u t h s   [ v u lg ar   s la n g ]   h o g lo r io u s …”,   th g o l d   lab els  in clu d b ,   i,  ,   h ã m,   lo l,  đ p ,   mặ t,   quá   b u t   th e   m o d el   o n ly   i d e n tifie d   ,   h ã m,   l o l ”  as  h atef u to k en s .   T o k en s   b ,   i   ca r r y   a   co n te x tu al   in s u ltin g   to n e ,   b u a r n o i n h er en tly   o f f en s iv e   o n   th eir   o w n .   T o k en s   đ ẹp ,   mặ t,   q u á ”  is   s ar ca s tic,   r ev er s in g   th liter al  s en tim en ( liter all y   s o   g lo r io u s ”)   in to   r id icu l ch allen g in g   f o r   th m o d el   to   d etec with o u t   p r ag m atic  u n d er s tan d in g .   T h ese  er r o r s   h ig h lig h th li m itatio n s   o f   b o th   t h s tatic  d ictio n ar y   a p p r o ac h   an d   cu r r en m o d el   ar ch itectu r in   h an d lin g   n u an c ed   o r   co n tex t - d ep e n d en lan g u ag e.   I n   f u t u r wo r k ,   we  p r o p o s to co n tin u o u s ly   u p d ate  t h HSD  with   n ew   s lan g   a n d   s o cial  m ed ia   ter m s .   I n co r p o r ate  s ar ca s m - awa r e   p r etr ain in g   o r   f in e - tu n e   o n   d atasets   s p ec if ically   a n n o tated   f o r   ir o n y .   I n te g r ate  co n tex t - s en s itiv s en tim en m o d els  to   im p r o v e   r o b u s tn ess   ag ain s t in d ir ec t e x p r ess io n s .       4.   CO NCLU SI O N   T h is   s tu d y   p r o p o s ed   an   e n h an ce d   f r am ewo r k   f o r   d etec tin g   h ate  an d   o f f e n s iv s p an s   in   Vietn am ese  b y   ad d r ess in g   k e y   lin g u is tic  ch allen g es  th r o u g h   co m b in atio n   o f   d ata  p r ep r o ce s s in g ,   t h co n s tr u ctio n   o f   a   HSD,   an d   th e   ap p licatio n   o f   t h Ph o B E R T - L ar g e   lan g u a g e   m o d el.   T h e   ex p er im en tal  r esu lts   o n   th e   ViHOS  d ataset  d em o n s tr ate  th at  o u r   a p p r o ac h   co n s is ten tly   o u t p er f o r m s   SOTA   m eth o d s   ac r o s s   all  ev alu atio n   s u b s ets:   s in g le  s p an ,   m u ltip le  s p an s ,   a n d   all  s p an s .   T h ese  f in d in g s   co n f ir m   th r o b u s tn ess   an d   ef f ec tiv en ess   o f   th e   f r am ewo r k   i n   id en tify in g   h ar m f u co n ten t,  p ar ticu lar ly   o n   s o cial  m ed ia  p latf o r m s .   Desp ite  th d em o n s tr ated   ef f ec tiv en ess   o f   th HSD,   its   co v er a g r em ain s   in h er en tly   lim ited   d u to   its   s tatic  n atu r an d   r elian ce   o n   m an u ally   an n o tated   d ata.   As  s lan g   an d   o f f en s iv e x p r ess io n s   ev o lv r a p id ly   o n   s o cial  m ed ia,   m an y   n ewly   em er g in g   ter m s   ar n o ca p tu r ed   in   th cu r r en d ictio n ar y .   Fu r th er m o r e ,   th m o d el  s tr u g g les  with   s ar ca s m ,   ir o n y ,   a n d   m etap h o r ical  lan g u ag e,   wh er e   th liter al  m ea n in g   o f ten   d if f e r s   f r o m   th in ten d ed   s en tim en t.     T o   ad d r ess   th ese  ch allen g es,   we  p lan   to   d e v elo p   an   a u to m a ted   d ictio n ar y   u p d ate   p ip elin e ,   in teg r ate   s ar ca s m - awa r p r etr ain in g   an d   co n te x t - s en s itiv s en tim en m o d els,  an d   co llect  ad d itio n al  an n o tated   d atasets   to   en h an ce   th a d ap tab ilit y   a n d   r o b u s tn ess   o f   th s y s tem   in   r ea l - wo r ld   s ce n ar io s .   I n   f u tu r e   wo r k ,   we  p la n   to   en r ich   th e   d ataset  b y   c o llectin g   m o r lab eled   d ata   f r o m   d iv er s s o u r ce s   t o   im p r o v t h m o d el' s   g en er aliza b ilit y .   Ad d itio n ally ,   in co r p o r atin g   ad v a n ce d   tec h n iq u es  s u ch   as  h y p er p ar am et er   tu n in g ,   en s em b le  s tr ateg ies,  an d   ex ter n al  k n o wled g b ases   m ay   f u r th e r   en h a n ce   th ad ap tab ilit y   an d   p er f o r m an ce   o f   th s y s tem   in   r ea l - wo r ld   a p p licatio n s .       F UNDING   I NF O R M A T I O   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   962 - 9 7 1   970   Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Din h - Ho n g   Vu                               T u o n g   L e                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       I NF O RM E CO NS E N T   T h is   s tu d y   d id   n o t   in v o l v h u m an   s u b jects,  p er s o n al  i n f o r m atio n ,   o r   i d en tifia b le  d ata  r eq u ir i n g   in f o r m e d   co n s en t.       E T H I CAL AP P RO V AL   T h is   s tu d y   d id   n o i n v o l v h u m an   s u b jects,  an im als,  o r   an y   e x p er im e n ts   r eq u i r in g   in s titu tio n al   r ev iew  b o ar d   a p p r o v al,   as  it  is   b ased   s o lely   o n   co m p u tatio n al  an aly s is   u s in g   p u b licly   av ailab le  d atasets   an d   p r e - tr ain ed   lan g u a g m o d els.       DATA AV AI L AB I L I T Y   T h d ataset  u s ed   in   th is   s tu d y   is   p u b licly   av ailab le  i n   Git Hu b   at   h ttp s ://g ith u b . co m /p h u s r o y al/ ViHOS.       RE F E R E NC E S   [ 1 ]   S .   R a n a t h u n g a ,   E .   S .   A .   Le e ,   M .   P .   S k e n d u l i ,   R .   S h e k h a r ,   M .   A l a m,  a n d   R .   K a u r ,   N e u r a l   m a c h i n e   t r a n s l a t i o n   f o r   l o w - r e s o u r c e   l a n g u a g e s :   A   s u r v e y ,   A C C o m p u t i n g   S u rv e y s ,   v o l .   5 5 ,   n o .   1 1 ,   p p .   1 3 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 4 5 / 3 5 6 7 5 9 2 .   [ 2 ]   S .   Z h u ,   C .   M i ,   T .   L i ,   Y .   Y a n g ,   a n d   C .   X u ,   U n s u p e r v i s e d   p a r a l l e l   s e n t e n c e o f   m a c h i n e   t r a n s l a t i o n   f o r   A s i a n   l a n g u a g e   p a i r s,   AC M   T ra n s a c t i o n o n   As i a n   a n d   L o w - R e so u r c e   L a n g u a g e   I n f o rm a t i o n   Pro c e ss i n g ,   v o l .   2 2 ,   n o .   3 ,   p p .   6 4 : 1 - 6 4 : 1 4 ,   2 0 2 3 ,     d o i :   1 0 . 1 1 4 5 / 3 4 8 6 6 7 7 .   [ 3 ]   P .   N .   N g u y e n   a n d   P .   Tr a n ,   C o n s t r u c t i n g   a   C h i n e se - V i e t n a mes e   b i l i n g u a l   c o r p u f r o s u b t i t l e   w e b s i t e s,   I n t e rn a t i o n a l   J o u rn a l   o f   I n t e l l i g e n t   I n f o rm a t i o n   a n d   D a t a b a s e   S y s t e m s ,   v o l .   1 6 ,   n o .   4 ,   p p .   3 8 5 4 0 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 5 0 4 / I J I I D S . 2 0 2 4 . 1 4 1 7 4 8 .   [ 4 ]   D .   H .   V u ,   K .   N g u y e n ,   K .   T.   Tr a n ,   B .   V o ,   a n d   T .   Le ,   I mp r o v i n g   f a k e   j o b   d e s c r i p t i o n   d e t e c t i o n   u s i n g   d e e p   l e a r n i n g - b a s e d   N LP  t e c h n i q u e s,   J o u r n a l   o f   I n f o r m a t i o n   a n d   T e l e c o m m u n i c a t i o n ,   v o l .   9 ,   n o .   1 ,   p p .   1 1 3 1 2 5 ,   2 0 2 5 ,     d o i :   1 0 . 1 0 8 0 / 2 4 7 5 1 8 3 9 . 2 0 2 4 . 2 3 8 7 3 8 0 .   [ 5 ]   Y .   W u   a n d   J .   W a n ,   A   s u r v e y   o f   t e x t   c l a ssi f i c a t i o n   b a se d   o n   p r e - t r a i n e d   l a n g u a g e   m o d e l ,   N e u ro c o m p u t i n g ,   v o l .   6 1 6 ,   2 0 2 5 ,     d o i :   1 0 . 1 0 1 6 / j . n e u c o m. 2 0 2 4 . 1 2 8 9 2 1 .   [ 6 ]   H .   A l l a m,  L .   M a k u b v u r e ,   B .   G y a mf i ,   K .   N .   G r a h a m ,   a n d   K .   A k i n w o l e r e ,   Te x t   c l a ssi f i c a t i o n :   h o w   m a c h i n e   l e a r n i n g   i s   r e v o l u t i o n i z i n g   t e x t   c a t e g o r i z a t i o n ,   I n f o rm a t i o n ,   v o l .   1 6 ,   n o .   2 ,   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / i n f o 1 6 0 2 0 1 3 0 .   [ 7 ]   N .   A .   S a p u t r a ,   K .   A e n i ,   a n d   N .   M .   S a r a sw a t i ,   I n d o n e si a n   h a t e   s p e e c h   t e x t   c l a ss i f i c a t i o n   u si n g   i m p r o v e d   k - n e a r e st   n e i g h b o r   w i t h   TF - I D F - I C S ρ F ,   S c i e n t i f i c   J o u r n a l   o f   I n f o rm a t i c s ,   v o l .   1 1 ,   n o .   1 ,   p p .   2 1 3 0 ,   2 0 2 4 ,   d o i :   1 0 . 1 5 2 9 4 / s j i . v 1 1 i 1 . 4 8 0 8 5 .   [ 8 ]   G .   Z.   N a b i i l a h ,   I .   N .   A l a m,   E .   S .   P u r w a n t o ,   a n d   M .   F .   H i d a y a t ,   I n d o n e s i a n   m u l t i l a b e l   c l a ssi f i c a t i o n   u si n g   I n d o B ER e mb e d d i n g   a n d   M B E R c l a ssi f i c a t i o n ,   I n t e r n a t i o n a l   J o u rn a l   o f   E l e c t r i c a l   &   C o m p u t e r   E n g i n e e r i n g ,   v o l .   1 4 ,   n o .   1 ,   2 0 2 4 ,     d o i :   1 0 . 1 1 5 9 1 / i j e c e . v 1 4 i 1 . p p 1 0 7 1 - 1 0 7 8 .   [ 9 ]   T.   K .   Tr a n ,   H .   M .   D i n h ,   a n d   T .   T.   P h a n ,   B u i l d i n g   a n   e n h a n c e d   s e n t i m e n t   c l a ss i f i c a t i o n   f r a mew o r k   b a s e d   o n   n a t u r a l   l a n g u a g e   p r o c e ss i n g ,   J o u rn a l   o f   I n t e l l i g e n t   Fu zzy   S y st e m s ,   v o l .   4 3 ,   n o .   2 ,   p p .   1 7 7 1 1 7 7 7 ,   2 0 2 2 ,   d o i :   1 0 . 3 2 3 3 / JI F S - 2 1 9 2 7 8 .   [ 1 0 ]   M .   W a n k h a d e ,   A .   C .   S .   R a o ,   a n d   C .   K u l k a r n i ,   A   su r v e y   o n   s e n t i me n t   a n a l y si s   me t h o d s,   a p p l i c a t i o n s ,   a n d   c h a l l e n g e s,”   Ar t i f i c i a l   I n t e l l i g e n c e   Re v i e w ,   v o l .   5 5 ,   n o .   7 ,   p p .   5 7 3 1 5 7 8 0 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 6 2 - 0 2 2 - 1 0 1 4 4 - 1.   [ 1 1 ]   H .   M u r f i ,   T.   G o w a n d i ,   G .   A r d a n e s w a r i ,   a n d   S .   N u r r o h m a h ,   B E R T - b a sed   c o mb i n a t i o n   o f   c o n v o l u t i o n a l   a n d   r e c u r r e n t   n e u r a l   n e t w o r k   f o r   I n d o n e s i a n   s e n t i m e n t   a n a l y s i s,”   A p p l i e d   S o f t   C o m p u t i n g ,   v o l .   1 5 1 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . a s o c . 2 0 2 3 . 1 1 1 1 1 2 .   [ 1 2 ]   L.   Z h u ,   H .   Z h a o ,   Z.   Zh u ,   C .   Zh a n g ,   a n d   X .   K o n g ,   M u l t i m o d a l   s e n t i m e n t   a n a l y si w i t h   u n i m o d a l   l a b e l   g e n e r a t i o n   a n d   m o d a l i t y   d e c o m p o si t i o n ,   I n f o rm a t i o n   Fu s i o n ,   v o l .   1 1 6 ,   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . i n f f u s. 2 0 2 4 . 1 0 2 7 8 7 .   [ 1 3 ]   N .   D a r r a z ,   I .   K a r a b i l a ,   A .   El - A n sari ,   N .   A l a mi ,   a n d   M .   E l   M a l l a h i ,   I n t e g r a t e d   se n t i me n t   a n a l y s i w i t h   B E R T   f o r   e n h a n c e d   h y b r i d   r e c o m me n d a t i o n   s y s t e ms,   Ex p e r t   S y s t e m w i t h   A p p l i c a t i o n s ,   v o l .   2 6 1 ,   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 4 . 1 2 5 5 3 3 .   [ 1 4 ]   Y .   Zh u a n g ,   Y .   Y u ,   K .   W a n g ,   H .   S u n ,   a n d   C .   Z h a n g ,   To o l Q A :   a   d a t a s e t   f o r   LL M   q u e st i o n   a n sw e r i n g   w i t h   e x t e r n a l   t o o l s ,   i n   Pro c e e d i n g o f   t h e   3 7 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   N e u r a l   I n f o rm a t i o n   Pr o c e ssi n g   S y st e m s 2 0 2 3 ,   p p .   5 0 1 1 7 5 0 1 4 3 .   [ 1 5 ]   P .   L u   e t   a l . ,   Le a r n   t o   e x p l a i n :   mu l t i mo d a l   r e a s o n i n g   v i a   t h o u g h t   c h a i n f o r   sc i e n c e   q u e st i o n   a n sw e r i n g ,   in   P ro c e e d i n g s   o f   t h e   3 6 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   N e u ra l   I n f o rm a t i o n   Pro c e ss i n g   S y s t e m 2 0 2 2 ,   p p .   2 5 0 7 2 5 2 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E n h a n ce d   fr a mewo r fo r   d etec tin g   V ietn a mese  h a te  a n d   o ffen s ive  s p a n s   ( Din h - Ho n g   V u )   971   [ 1 6 ]   K .   V   T r a n ,   H .   P .   P h a n ,   K .   V   N g u y e n ,   a n d   N .   L .   T .   N g u y e n ,   V i C L E V R :   a   v i s u a l   r e a s o n i n g   d a t a s e t   a n d   h y b r i d   m u l t i m o d a l   f u s i o n   m o d e l   f o r   v i s u a l   q u e s t i o n   a n s w e r i n g   i n   V i e t n a m e s e ,   M u l t i m e d i a   S y s t e m s ,   v o l .   3 0 ,   n o .   4 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 2 4 - 0 1 3 9 4 - w.   [ 1 7 ]   S .   C h o w d h u r y   a n d   B .   S o n i ,   R - V Q A :   a   r o b u s t   v i s u a l   q u e st i o n   a n sw e r i n g   m o d e l ,   K n o w l e d g e - B a s e d   S y st e m s ,   v o l .   3 0 9 ,   2 0 2 5 ,     d o i :   1 0 . 1 0 1 6 / j . k n o s y s. 2 0 2 4 . 1 1 2 8 2 7 .   [ 1 8 ]   J.  D e v l i n ,   M .   W .   C h a n g ,   K .   L e e ,   a n d   K .   T o u t a n o v a ,   B E R T :   p r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r me r f o r   l a n g u a g e   u n d e r s t a n d i n g ,   i n   Pr o c e e d i n g o f   t h e   2 0 1 9   C o n f e r e n c e   o f   t h e   N o rt h   Am e ri c a n   C h a p t e r   o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s ,   2 0 1 9 ,   v o l .   1 ,   p p .   4 1 7 1 4 1 8 6 .   [ 1 9 ]   A .   R a d f o r d ,   K .   N a r a s i mh a n ,   T .   S a l i man s ,   a n d   I .   S u t s k e v e r ,   " I mp r o v i n g   l a n g u a g e   u n d e r st a n d i n g   b y   g e n e r a t i v e   p r e - t r a i n i n g ,"   O p e n A I ,   2 0 1 8 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / o p e n a i . c o m / r e s e a r c h / l a n g u a g e - u n su p e r v i s e d     [ 2 0 ]   D .   Q .   N g u y e n   a n d   A .   T.   N g u y e n ,   P h o B E R T :   p r e - t r a i n e d   l a n g u a g e   mo d e l s fo r   V i e t n a mes e ,   i n   Pr o c e e d i n g s o f   E MN L Fi n d i n g s 2 0 2 0 ,   p p .   1 0 3 7 1 0 4 2 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . f i n d i n g s - e m n l p . 9 2 .   [ 2 1 ]   S .   Y u a n ,   A .   M a r o n i k o l a k i s ,   a n d   H .   S c h ü t z e ,   S e p a r a t i n g   h a t e   s p e e c h   a n d   o f f e n si v e   l a n g u a g e   c l a ss e v i a   a d v e r s a r i a l   d e b i a si n g ,   i n   Pro c e e d i n g o f   S i x t h   W o rks h o p   o n   O n l i n e   Ab u se   a n d   H a rm s (WO AH ) ,   2 0 2 2 ,   p p .   1 10 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 2 . w o a h - 1 . 1 .   [ 2 2 ]   M .   Z a m p i e r i ,   S .   R o se n t h a l ,   P .   N a k o v ,   A .   D mo n t e ,   a n d   T.   R a n a s i n g h e ,   O f f e n sE v a l   2 0 2 3 :   o f f e n si v e   l a n g u a g e   i d e n t i f i c a t i o n   i n   t h e   a g e   o f   l a r g e   l a n g u a g e   m o d e l s ,   N a t u r a l   L a n g u a g e   E n g i n e e r i n g ,   v o l .   2 9 ,   n o .   6 ,   p p .   1 4 1 6 1 4 3 5 ,   2 0 2 3 ,     d o i :   1 0 . 1 0 1 7 / S 1 3 5 1 3 2 4 9 2 3 0 0 0 5 1 7 .   [ 2 3 ]   R .   R a j a l a k s h m i ,   S .   S e l v a r a j ,   a n d   P .   V a su d e v a n ,   H o t t e st :   h a t e   a n d   o f f e n s i v e   c o n t e n t   i d e n t i f i c a t i o n   i n   Ta mi l   u s i n g   t r a n sf o r mers   a n d   e n h a n c e d   st e mm i n g ,   C o m p u t e S p e e c h   & La n g u a g e ,   v o l .   7 8 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . c sl . 2 0 2 2 . 1 0 1 4 6 4 .   [ 2 4 ]   A .   G a n d h i   e t   a l . ,   H a t e   s p e e c h   d e t e c t i o n :   a   c o mp r e h e n s i v e   r e v i e w   o f   r e c e n t   w o r k s,   Ex p e r t   S y st e m s v o l .   4 1 ,   n o .   8 ,   2 0 2 4 ,     d o i :   1 0 . 1 1 1 1 / e x sy . 1 3 5 6 2 .   [ 2 5 ]   P .   G .   H o a n g ,   C .   L u u ,   K .   Q .   Tr a n ,   K .   V   N g u y e n ,   a n d   N .   L. - T .   N g u y e n ,   V i H O S :   h a t e   s p e e c h   s p a n d e t e c t i o n   f o r   V i e t n a mes e ,     i n   Pro c e e d i n g s   o f   E AC L ,   2 0 2 3 ,   p p .   6 5 2 6 6 9 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 3 . e a c l - mai n . 4 7 .       B I O G RAP H I E S O F   AUTH O RS        Din h - H o n g   Vu          re c e iv e d   th e   B. S .   d e g re e   in   I n fo rm a ti o n   Tec h n o lo g y   fr o m   th e   VN Ho   Ch M i n h   Cit y   Un i v e rsity   o f   S c ien c e ,   Ho   C h M i n h   Cit y ,   Vie tn a m ,   in   2 0 0 5 ,   a n d   th e   M . S c .   d e g re e   in   C o m p u ter S c ien c e   fro m   th e   VN Ho   Ch M i n h   Ci ty   Un i v e rsity   o S c ien c e ,   i n   2 0 1 1 .   He   is   c u rre n tl y   a   re se a rc h e with   NLP - KD   Re se a rc h   G ro u p ,   To n   Du c   Th a n g   Un i v e rsity ,   Vie tn a m .   His  re se a rc h   in tere sts  in c lu d e   n a t u ra lan g u a g e   p r o c e ss in g ,   m a c h in e   tran sla ti o n ,   a n d   tex c lu ste ri n g .   He   c a n   b e   c o n tac ted   a e m a il v u d i n h h o n g @t d tu . e d u . v n .         Tu o n g   Le           re c e iv e d   h is  P h . D.  d e g re e   in   C o m p u ter  S c ie n c e   fro m   S e jo n g   Un iv e rsity ,   Ko re a ,   i n   2 0 2 0 .   He   is   c u rre n tl y   a   re se a rc h e a n d   fa c u l t y   m e m b e a th e   F a c u lt y   o f   In fo rm a ti o n   Tec h n o l o g y ,   HU T ECH   Un iv e rsity ,   Vie tn a m .   H e   h a a u th o re d   o v e 4 0   p u b li c a ti o n in   h i g h - imp a c j o u r n a ls,  in c l u d i n g   I n fo rm a ti o n   S c ien c e s,  Ex p e rt  S y ste m wit h   Ap p li c a ti o n s,   IEE E   Ac c e ss ,   a n d   E n g i n e e rin g   A p p li c a ti o n s   o f   Artifi c ial  In tell ig e n c e .   His   re se a rc h   in tere sts  sp a n   m a c h in e   lea rn in g ,   im b a lan c e d   lea rn in g ,   d e e p   lea rn i n g ,   b u sin e ss   in telli g e n c e ,   d a ta  a n a ly sis,   d a ta  m in in g ,   a n d   p a tt e r n   m in i n g .   He   c a n   b e   c o n ta c ted   a t   e m a il lc.t u o n g @ h u tec h . e d u . v n .     Evaluation Warning : The document was created with Spire.PDF for Python.