I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   40 ,   No .   2 N o v em b e r   2 0 2 5 ,   p p .   7 1 9 ~ 7 3 4   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 40 .i 2 . p p 719 - 7 3 4           719     J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   End - to - en d sy ste m for t ra nsla ting  b a ha sa  isya r a t Ind o nesia   sig la ng ua g e ges tures int o   I ndo nesia t ex t       Sa t ria   P utr a ,   E rdef i R a k un   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e ,   F a c u l t y   o f   C o m p u t e r   S c i e n c e ,   U n i v e r si t y   o f   I n d o n e si a ,   D e p o k ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   10 2 0 2 4   R ev is ed   J u l   7 2 0 2 5   Acc ep ted   Oct   14 2 0 2 5       Th is  stu d y   a d d re ss e c rit ica c h a l len g e in   d e v e l o p i n g   a n   e n d - to - e n d   b a h a s a   isy a ra In d o n e sia   ( BIS IND O )   S LT   b y   in te g ra ti n g   a d v a n c e d   d e e p   lea rn in g   tec h n iq u e to   o v e rc o m e   c o m p l e x   b a c k g ro u n d   i n terfe re n c e ,   tr a n siti o n a l   g e stu re   re c o g n it i o n ,   a n d   li m it a ti o n in   d a tas e a v a il a b il it y .   Wh il e   e x isti n g   S LT   sy ste m stru g g le  with   i so late d   wo rd   re c o g n it io n   a n d   m a n u a p re p ro c e ss in g ,   o u r   wo r k   i n tro d u c e th re e   k e y   i n n o v a ti o n s:  ( 1 )   imp lem e n tatio n   o YO LOv 8   fo r   o p ti m ize d   o b jec d e tec ti o n ,   a c h iev in g   8 8 %   m AP  a n d   re d u c i n g   WE R   to   1 1 . 4 0 % ,   o u tp e rfo rm i n g   YO LOv 5 /v 7   i n   h a n d li n g   c o m p lex   b a c k g ro u n d s;  (2 a u t o m a ted   re m o v a o tran siti o n a g e stu re u sin g   Th re sh o l d   c o n d it io n a ra n d o m   field s   ( TCRF ) ,   wh ic h   a tt a in e d   9 5 . 6 8 %   a c c u ra c y ,   sig n ifi c a n tl y   imp r o v i n g   u p o n   M o b i leN e tV2 ’s  p e rfo rm a n c e   (W ER:   6 . 8 9 %   v s.   9 3 . 5 3 % );  a n d   (3 )   e n d - to - e n d   BIS IND S LT   b y   e x p a n s io n   o f   th e   BIS IND d a tas e t o   4 3 5   wo rd   lab e ls,  e n a b li n g   c o m p re h e n si v e   se n ten c e - lev e tran sla ti o n .   Ex p e rime n tal  re su lt d e m o n stra te  th e   s y ste m ’s  ro b u stn e ss ,   with   8 . 3 1 %   o WE R,   8 4 . 1 3 %   o S Ac c ,   a n d   8 7 . 0 8 %   o S a c re BLE a fter  d a tas e e x p a n si o n   a n d   re d u n d a n c y   e li m in a ti o n   th r o u g h   g r o u p in g   m e th o d s.  Th e   p ro p o se d   fra m e wo rk   o p e ra t e with o u m a n u a in ter v e n ti o n ,   m a rk i n g   a   su b sta n ti a a d v a n c e m e n t o wa rd   r e a l - wo rld   a p p li c a b il it y .     K ey w o r d s :   B a h a s a   is ya r a I n d o n esia   Ob ject  d etec tio n   Sig n   lan g u a g tr an s latio n   T h r esh o ld   c o n d itio n al  r an d o m   f ield s   YOL Ov 7   YOL Ov 8   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E r d ef i Rak u n   Dep ar tm en t o f   C o m p u ter   Scie n ce ,   Facu lty   o f   C o m p u ter   Scie n ce ,   Un iv er s ity   o f   I n d o n esia   1 6 4 2 4   Dep o k ,   I n d o n esia   E m ail: e f i@ cs.u i.a c. id       1.   I NT RO D UCT I O N     Dev elo p in g   in clu s iv c o m m u n icatio n   to o ls   f o r   th d ea f   c o m m u n ity   r ep r esen ts   an   u r g en t   n ec ess ity ,   as  th ey   f ac c o m p lex   ch allen g es  in   d aily   in ter ac tio n s .   Hea r in g   im p ai r m en t,  w h eth er   c o n g en ital  o r   ac q u ir e d   [ 1 ] ,   o f ten   f o r ce s   d ea f   in d iv i d u als  to   r ely   p r im ar ily   o n   v is u al  co m m u n icatio n   m eth o d s ,   s u ch   as  s ig n   lan g u ag e,   f o r   ef f ec tiv co m m u n icatio n   [ 2 ] .   Ho wev e r ,   th ese  m eth o d s   en co u n ter   s ig n if ica n o b s tacle s ,   in clu d in g   lim ited   p u b lic  u n d er s tan d in g   an d   a   la ck   o f   p r ac tical  co m m u n icatio n   aid s .    C u r r en s ig n   lan g u ag tr an s latio n   ( SLT )   s o lu tio n s   b ased   o n   C NNs   [ 3 ] [ 8 ] r e m ain   lim ited   to   r e co g n iz in g   in d iv i d u al  letter s /wo r d s   with o u t f u ll sen ten ce   tr an s latio n   ca p ab ilit ies.  T h ese  lim itatio n s   u n d er s co r th cr u cial  n ee d   f o r   an   e n d - to - e n d   s y s tem   th at  ca n   tr an s late  co m p lete   s en ten ce s   in   r ea l - tim e   ac r o s s   v a r io u s   c o n d itio n s   with o u r eq u ir i n g   h u m an   i n ter v en tio n .   I m p lem en tin g   s u c h   s o lu tio n   wo u ld   b tr an s f o r m ativ f o r   t h d ea f   co m m u n ity ,   e n ab lin g   im p r o v e d   ac ce s s   to   ed u ca ti o n   an d   em p lo y m en t,  f ac ilit atin g   s o cial  in ter ac tio n s ,   an d   p r o m o tin g   g r ea te r   s o cieta in clu s io n .   T h is   ad v an ce d   s y s tem   wo u l d   n o o n ly   o v er co m e   ex is tin g   s o lu tio n   s h o r tc o m in g s   b u also   estab lis h   m o r e   n atu r al   co m m u n icatio n   b r id g b etwe e n   th d ea f   co m m u n ity   an d   th h ea r in g   s o ciety .   T wo   m ain   s ig n   lan g u ag es  ar u s ed   in   I n d o n esia:  S is tem  is ya r a B a h a s a   I n d o n esia   ( SIBI )   an d   b a h a s a   isy a ra In d o n e sia   ( B I SIN DO ) .   SIBI,   th o f f icial  s ig n   lan g u a g r ec o g n ized   b y   law,   f o llo ws  th g r am m atica l   s tr u ctu r o f   s p o k en   I n d o n esi an .   I n   co n tr ast,  B I SIN DO  h a s   ev o lv ed   o r g a n ically   with in   d ea f   co m m u n ities ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   2 ,   No v em b er   20 25 :   7 1 9 - 7 3 4   720   f ea tu r in g   m o r e   in tu itiv g r am m ar   a n d   r eg io n al  v ar iatio n s   [ 9 ] .   Desp ite  its   wid esp r ea d   u s e,   B I SIN DO  r em ain s   u n d er - r esear ch ed   c o m p ar ed   to   SIBI,   h ig h lig h tin g   cr itical  g ap   in   th liter atu r e.   Hen ce ,   th is   r esear ch   aim s   to   d ev elo p   an   en d - to - e n d   ap p licatio n   to   tr a n s late  B I SI NDO  s ig n   lan g u ag in to   s en ten ce   in   r ea l - wo r ld   co n d itio n s .   SLT   p r esen ts   th r ee   s ig n if ican t   ch allen g es.  First,  tr an s itio n al  g estu r es,  wh ich   ar wo r d s   in   s en ten ce   th at  ca r r y   n o   s p ec if ic  m ea n i n g ,   ca n   b ch allen g i n g   to   r e co g n ize  d u to   th eir   v a r iab il ity ,   wh ich   r ed u ce s   tr an s latio n   ac cu r ac y .   Fo r   e x a m p le,   in   th B I SIN DO  s en ten ce   " Dia   La r K a r en a   Ta ku t ( "He   r u n s   b ec au s h is   s ca r ed ") ,   th ese  m ea n in g less   tr an s itio n s   o cc u r   at  th s tar t,  b etwe en   wo r d s ,   an d   at  th en d   ( Fig u r 1 ) .   Sin ce   th ey   ac as  ir r elev an in p u ts   in   co n tin u o u s   s ig n in g ,   au to m ated   r em o v al  o f   s u ch   g estu r e s   ca n   en h an ce   th s y s tem s   wo r d   r ec o g n itio n   p e r f o r m an ce .             Fig u r 1 .   T r an s itio n al  g estu r es       Ad d r ess in g   th is s u o f   tr a n s itio n al  g estu r es,  r esear ch   b y   [ 1 0 ]   u s ed   th Au t o m ated   E p en th esis   R em o v al  m eth o d   with   T C R F   in   SIBI,   s ig n if ican tly   r ed u ci n g   th e   wo r d   e r r o r   r ate   ( W E R )   to   3 . 3 6 7 an d   im p r o v in g   s en ten ce   ac c u r ac y   ( SAcc)   to   8 0 . 1 8 %.  H o wev er ,   th is   m eth o d   h as  n o y et  b ee n   ap p lied   to   B I SIN DO.   T h s ec o n d   ch allen g f o r   SLT   is   th p r esen ce   o f   co m p lex   b ac k g r o u n d s .   I n   r ea l - wo r ld   s ce n ar io s ,   s ig n   lan g u ag is   o f ten   p er f o r m ed   i n   en v ir o n m en ts   with   v ar y i n g   b ac k g r o u n d s ,   s u ch   as  s h o p p in g   m alls ,   s ch o o ls ,   o r   p u b lic  s p ac es.  T h ese  co m p l ex   b ac k g r o u n d s   ca n   s ig n if ic an tly   in ter f er with   ac c u r ate ly   s eg m en tin g   k e y   f ea tu r es,  s u ch   as  f ac ial  e x p r es s io n s   an d   h an d   m o v em en ts ,   w h ich   ar c r itical  f o r   in te r p r etin g   s ig n   lan g u ag e.   I n   co n tr ast,  p lain   g r ee n   b ac k g r o u n d   p r o v id es  clea r   an d   d is tin ct  f ea tu r es  f o r   s eg m en tatio n ,   an d   co m p lex   en v ir o n m en ts   in tr o d u ce   n o is an d   v is u al  d is tr ac tio n s   th at  r ed u ce   th s y s tem ' s   ac cu r ac y   ( Fig u r 2 ) .     T h is   n o is ca n   lead   to   m is in ter p r etatio n s   o r   f ailu r es in   r ec o g n izin g   s ig n s ,   u ltima tely   h in d er in g   th s y s tem ' s   p er f o r m an ce .             Fig u r 2 .   C o m p le x   b ac k g r o u n d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       E n d - to - e n d   s ystem  fo r   tr a n s la tin g   b a h a s a   is ya r a t I n d o n esia   s ig n   la n g u a g g estu r es  …  ( S a tr ia   P u tr a )   721   R esear ch   by  [ 1 1 ]   ad d r ess ed   th ch allen g e   o f   co m p le x   b ac k g r o u n d s   in   B I SIN DO  u s in g   t h e   Fas ter   R - C NN  [ 1 2 ]   an d   YOL Ov 5   [ 1 3 ]   o b ject  d etec tio n   m eth o d s .   E ac h   m eth o d   ac h iev e d   m ea n   av er ag p r ec is io n   ( m AP)   s co r o f   7 1 . 3 an d   7 4 . 1 %,  t h o u g h   YOL Ov 5   o u t p er f o r m ed   Fas ter   R - C NN  in   W E R   at  1 6 . 4 2 % Sacr eBLE at  6 7 . 7 7 % ,   an d   S Acc   at  4 9 . 2 9 %.  I n   th is   s tu d y ,   th tr an s itio n   g estu r es  wer m a n u ally   r em o v e d .   A   s tu d y   o n   SIBI  b y   [ 1 4 ]   also   e m p lo y ed   R etin aNe [ 1 5 ]   f o r   o b ject  d etec tio n ,   ac h iev in g   W E R   o f   4 . 1 an d   a n   SAcc  o f   7 8 . 9 9 %.  W h ile  th ese   r esu lts   d em o n s tr ate  p r o g r ess   in   h a n d lin g   co m p le x   b ac k g r o u n d s ,   t h er is   s till   r o o m   f o r   im p r o v e m en t.  T h e   p er f o r m an ce   m etr ics,  s u ch   as  m AP,  W E R ,   an d   SAcc,   c an   p o ten tially   b en h an ce d   b y   lev er a g in g   m o r e   ad v an ce d   o b ject  d etec tio n   m eth o d s   lik YOL Ov 7   an d   YO L Ov 8 .   T h ese  latest  m o d els  o f f e r   im p r o v ed   ac cu r ac y ,   s p ee d ,   a n d   r o b u s tn ess   in   d etec tin g   a n d   s eg m e n tin g   o b jects  in   co m p le x   en v ir o n m en ts .   T h th ir d   c h allen g e   SLT   f ac es ,   esp ec ially   in   B I SIN DO,   is   th lack   o f   d atasets .   T h e   latest  r esear ch   b y   [ 1 1 ]   o n l y   u s ed   4 0   s en ten ce s   with   1 5 2   wo r d s ,   wh ile  o th er   s tu d ies,  s u ch   as   [ 1 6 ] [ 1 8 ] ,   s ti ll  u tili ze d   as  letter   d atasets ,   n o as  s en ten ce s .   T h is   d ataset  lim itatio n   f u n d am en tally   co n s tr ain s   s y s tem   d ev elo p m en a n d   p er f o r m an ce   v alid ati o n ,   n ec ess itatin g   th ex p an s io n   o f   th d ataset  to   cr ea te  an   en d - to - en d   B I SIN DO  SLT .     Ad d r ess in g   th id en tifie d   ch al len g es  in   SLT   s y s tem s ,   p ar ticu lar ly   f o r   B I SIN DO,   th is   s tu d y   d ev elo p s   an   en d - to - e n d   tr a n s latio n   ap p l icatio n   th at  tack les  t h r ee   c r itical  ch allen g es:  ( 1 )   Data s et  lim i tatio n s   -   ex p an d i n g   b ey o n d   p r ev io u s   co n s tr ain ed   d atasets   to   cr ea te  a   m o r c o m p r eh en s iv e   B I SIN DO  r ep r e s en tatio n ( 2 )   Ob ject   d etec tio n   o p tim izatio n   -   i m p lem en tin g   c u ttin g - ed g YOL Ov 7   [ 1 9 ]   an d   YOL Ov 8   [ 2 0 ]   ar ch itectu r es  to   en h an ce   m AP  an d   o v er c o m e   co m p lex   b ac k g r o u n d   in ter f e r en ce an d   ( 3 )   Au to m ated   ep en th esis   r em o v al  -   ad ap tin g   th e   T C R m eth o d   [ 2 1 ]   to   B I SIN DO  f o r   elim in atin g   tr an s itio n al  g estu r es,  th e r eb y   im p r o v in g   m o d el   tr ain in g   an d   s y s tem   ac cu r ac y .   T h ese  in teg r ated   s o lu tio n s   en ab le  f u lly   au to m ate d   o p e r a tio n   wh ile  m ak in g   th r ee   k e y   c o n tr ib u tio n s f ir s t,  estab lis h in g   r o b u s B I SIN DO  d ataset;  s ec o n d ,   a d v an cin g   d etec tio n   ca p ab ilit ies  th r o u g h   s tate - of - th e - ar YOL m o d els;   an d   th i r d ,   p io n ee r in g   tr a n s itio n al  g e s tu r p r o ce s s in g   in   B I SIN DO  th r o u g h   au t o m ated   ep en th esis   r em o v al.       2.   RE L AT E WO RK S   T ab le   1   p r esen ts   s ev er al  s tu d i es  r elate d   to   SLT   s y s tem s .   in   th c o n tex o f   I n d o n esian   s ig n   lan g u ag e   an d   f o r eig n   s ig n   lan g u ag es,  wh ich   h av e   p r o v id ed   v alu ab l th eo r etica f o u n d ati o n s   to   s u p p o r th u p co m i n g   r esear ch .         T ab le  1 .   R elate d   wo r k s   in   th f ield   o f   SLT   s y s tem s   A u t h o r   S u mm a r y   M e t h o d   D a t a s e t   R e s u l t s   ( %)   [ 2 2 ]   D e e p C N N   f o r   f e a t u r e   e x t r a c t i o n   o n   S I B I   R e s n e t 5 0   a n d   M o b i l e N e t v 2   S I B I   S e n t e n c e s   A c c :   9 9 . 8 9   [ 2 3 ]   B I S I N D O   l e t t e r   l e v e l   u si n g   Y O LO v 3   Y O LO v 3   B I S I N D O   S e n t e n c e s   I mag e :   1 0 0   f 1 - sc o r e ;   V i d e o :   8 4 . 3 8   f1 - sc o r e   [ 2 4 ]   M o d i f i e d   s k e l e t o n ,   d e t e c t i o n   h e a d ,   a n d   l o ss f u n c t i o n   o f   Y O LO v 5   Y O LO v 5   c o mb i n e d   w i t h   t h e   LST M   n e t w o r k   a n d   O p e n P o s e   M a n d a r i n   W o r d s   A c c :   9 8 . 8 7   [ 2 5 ]   U si n g   G o o g l e   M e d i a P i p e   t o   e x t r a c t   k e y   p o i n t s fr o t h e   p a l m   LSTM   B a n g l a   S e n t e n c e s   A c c :   9 2 . 0 7   [ 2 6 ]   S i g n   L a n g u a g e   D e t e c t i o n   U si n g   C N N - Y O LO v 8   C N N - Y O LO v 8   I n d i a n   W o r d   A c c :   9 8 . 9   [ 2 7 ]   M a l a y si a n   S i g n   La n g u a g e   M o b i l e   A p p l i c a t i o n   U s i n g   D e e p   Le a r n i n g   Y O LO v 5   M a l a y si a n   S i g n   La n g u a g e   mA P :   8 7 . 2 3       T C R [ 2 8 ]   f r am ewo r k   th at   co n s id er s   th r esh o ld s   b y   a d d in g   lab els  f o r   n o n - s ig n   p atter n s   in   th o r ig in al  C R an d   u tili zin g   t h weig h ts   f r o m   th tr an s itio n   f u n ctio n s   an d   ex is tin g   f ea tu r es  in   th C R F.   T h er ef o r e,   T C R in clu d es  lab els    { 1 ,   …,    },   wh er ( 1 ,   . . ,   l)   r e f er s   to   th n u m b er   o f   C R lab els.  T h e   weig h t o f   th f ea tu r f u n cti o n   f o r   th n o n - s ig n   lab el  G,    ,   i s   ca lcu lated   u s in g   E q u atio n   1 .   T h u s ,   d eter m in in g   th is   th r esh o ld   v alu is   cr u cial  in   o p tim izin g   s y s tem   p er f o r m a n ce .       ( ) = ̅ +   ( 1 )     th e   v alu ̅ 1 = 1 ( ) ,     wh er k   is   th n u m b er   o f   C R lab els,  an d     is   t h v ar ian ce   o f   weig h t   m .     Sev er al  s tu d ies  th at   im p le m en T C R F,  s u ch   as  [ 2 9 ]   to   c ateg o r ize  h u m an   ac tio n s ,   [ 3 0 ]   to   r ec o g n ize  f ac ial   ex p r ess io n s ,   an d   [ 3 1 ]   to   in ter p r et  h u m an   b o d y   m o v em en ts   f o r   r o b o t c o m m a n d s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   2 ,   No v em b er   20 25 :   7 1 9 - 7 3 4   722   3.   M E T H O D   Dev elo p in g   an   en d - to - en d   a p p licatio n   f o r   t r an s latin g   B I SI NDO  s ig n   lan g u ag e   in to   tex t   r eq u ir es  co m p r eh e n s iv e   ap p r o ac h   en c o m p ass in g   s ev er al  cr u cia s t ag es.  T h ese  s tag es   in clu d d ataset  p r ep ar atio n ,   ex p er im en tal  d esig n ,   an d   r esu l t e v alu atio n ,   as illu s tr ated   in   F ig u r 3 .             Fig u r 3 .   Me th o d o lo g y       I n   th d ataset  p r ep ar atio n   s tag e,   we  will  ex p lain   h o t h d at aset  f o r   th is   r esear ch   was  co ll ec ted ,   h o w   th d ataset  was  p r ep r o ce s s ed ,   an d   wh at  an n o tatio n s   wer in v o lv ed .   I n   th ex p e r im en s tag e,   we  will  ex p lain   th s tep - by - s tep   p r o ce s s   o f   ad d r ess in g   th p r o b lem s   tar g ete d   in   th is   r esear ch .   Fin ally ,   t h e   ev alu atio n   m etr ics   u s ed   to   m ea s u r t h p e r f o r m a n ce   o f   th e   en d - to - en d   a p p licatio n   f o r   tr an s latin g   B I SIN DO  S L T   in to   tex will  b e   ex p lain ed .   d etailed   d is cu s s io n   o f   ea ch   s tag will b p r esen ted   in   th f o llo win g   s ec tio n s .     3 . 1 .     Da t a s et   prepa ra t io n   3 . 1 . 1 .   Da t a s et   c o llect io n   We   ex ten d ed   th d ataset  in itially   em p lo y ed   b y   [ 1 1 ] ,   wh ich   co m p r is ed   4 0   B I SIN DO  s en ten ce s   s p an n in g   1 5 2   wo r d   class es,  in co r p o r atin g   an   ad d itio n al  1 5 0   s en ten ce s   to   im p r o v t h s y s tem 's  lex ical   co v er ag an d   en h a n ce   its   g en er aliza tio n   ca p ab ilit y ,   in cr ea s in g   th t o tal  n u m b er   o f   wo r d   class es   to   3 5 2 .   T h e   in teg r atio n   o f   th o r i g in al  an d   s u p p lem en tar y   d atasets   y ield ed   co m p r eh en s iv c o r p u s   o f   1 9 0   B I SIN DO  s en ten ce s   ac r o s s   4 3 5   class es,  with   r ep r esen tativ ex a m p les  p r esen ted   in   T ab le  2 .   Fo r   th ad d itio n al  d ataset,   we  co l lecte d   p r im a r y   d ata  in   c o llab o r atio n   with   th e   L an g u ag R esear ch   L ab o r at o r y   team   a th Fak u ltas   I lm u   B u d ay a,   Un iv er s itas   I n d o n esi ( L R B I   FIB  UI ) .   T wo   d ea f   s ig n er s   d em o n s tr ated   th e   1 5 0   B I SIN DO  s en ten ce s   th r ee   tim es,  r esu ltin g   i n   9 0 0   v id eo s ,   wh ile  two   i n ter p r eter s   tr an s lated   th eir   g estu r es   ( Fig u r 4 ) .   Fig u r es  4 ( a )   an d   4 ( b )   illu s tr ate  th d ataset  co llectio n   p r o ce s s ,   wh ile  Fig u r es 4 ( c )   an d   4 ( d )   d e p ict  th d e af   s ig n er s   in v o lv ed .       T ab le  2 .   E x am p le  o f   1 5 0   B I SI NDO  s en ten ce s   N o .   S e n t e n c e s   B IS IN D O Gl o ss   1   D i a   S u k a   Me n g e n a k a n   B a j u   Me r a h   M u d a   H e / S h e   l i k e t o   w e a r   p i n k   c l o t h e s.   D i a   -   b a j u   -   m e ra h   m u d a   -   d i a   -   s u k a   -   p a k a i .   H e / S h e   -   S h i r t   -   P i n k   -   H e / S h e   -   Li k e s   -   W e a r .   2   H a ri   I n i   A d a l a h   H a ri   M i n g g u   To d a y   i s Su n d a y .   H a ri     i n i   -   m i n g g u .   D a y     Th i   S u n d a y .   3   S a y a   B u t u h   Pe n g g a r i s U n t u k   Me n g u k u r P a n j a n g n y a .   I   n e e d   a   r u l e r   t o   m e a s u r e   i t s l e n g t h .   Pe n g g a r i   i n i     s a y a   -   b u t u h     u n t u k   -   a p a   -   p a n j a n g   -   u k u r.   R u l e r   -   Th i -   -   N e e d   -   F o r   -   W h a t   -   Le n g t h   -   M e a s u r e .   4   S a y a   M e m i l i k i   S a u d a r a   K a n d u n g   Y a n g   B a i k .   I   h a v e   a   k i n d   s i b l i n g .   S a y a   -   p u n y a   -   s a u d a r a   k a n d u n g   -   d i a   -   b a i k .   -   H a v e   -   S i b l i n g   -   H e / S h e   -   K i n d .   5   J a n g a n   L u p a   Ma k a n   J a m b u   S a a t   S a r a p a n .   D o n ' t   f o r g e t   t o   e a t   g u a v a   a t   b r e a k f a st .   Pa g i   -   j a m b u   -   m a k a n   -   l u p a   -   j a n g a n .   M o r n i n g   -   G u a v a   -   Ea t   -   F o r g e t   -   D o n ' t .               ( a)   (b )   ( c)   ( d )     Fig u r 4 .   Data s et  co llectio n   p r o ce s s ,   ( a)   d ataset  co llectio n   d o cu m en tatio n   f o r   s ig n e r   o n e ,   ( b )   d ataset  co llectio n   d o c u m en tatio n   f o r   s ig n er   two ,   ( c)   s ig n er   o n e,   a n d   ( d )   s ig n er   two       T h e   s elec tio n   o f   wo r d s   f o r   th 1 5 0 - s en ten ce   B I SIN DO  d ataset  was  b ased   o n   th B I SIN DO  d ictio n ar y ,   with   th p r im ar y   o b jectiv o f   th is   s tu d y   b ein g   to   in co r p o r ate  all  v o ca b u la r y   en tr ies  f r o m   th d ictio n ar y   to   en s u r co m p r e h en s iv lin g u is tic  r ep r esen tatio n .   co m p ar ativ an aly s is   o f   th d atasets   u s ed   in   S t ar t D at as e t   P r epar at i on E xp er i m ent s R es ul t   E val ua t i on F i ni sh 3 . 1 3 . 2 3 . 3 Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       E n d - to - e n d   s ystem  fo r   tr a n s la tin g   b a h a s a   is ya r a t I n d o n esia   s ig n   la n g u a g g estu r es  …  ( S a tr ia   P u tr a )   723   th is   s tu d y   is   p r esen ted   in   T a b le  3 .   W v is u alize d   th r ela tio n s h ip   b etwe en   th two   d at asets   u s in g   Ven n   d iag r am   ( Fig u r 5 ) ,   r e v ea lin g   6 9   o v e r lap p in g   wo r d   class es.        T ab le  3 .   Deta il d ataset   A sp e c t   40 - B I S I N D O   sen t e n c e s   1 5 0 - B I S I N D O   sen t e n c e s   S i g n e r   4   2   S e n t e n c e s   40   1 5 0   N u mb e r   o f   v i d e o s   4 2 0   9 0 0   W o r l d   c l a ss e s   1 5 2   3 5 2   D i c t i o n a r y   w o r d   c o v e r   ( %)   1 3 . 0 2   3 0 . 1 6   To t a l   f r a mes   9 2 , 2 4 6   1 2 4 , 0 2 1           Fig u r 5 .   Ven n   d iag r am   o f   th e   d ataset       3 . 1 . 2 .     Da t a s et   pre - pro ce s s in g   T h e   B I SIN DO  g estu r es  wer r ec o r d ed   u s in g   s m ar tp h o n at   r eso lu tio n   o f   1 9 2 0 × 1 0 8 0   an d   f r am e   r ate  o f   3 0   FP S,  r esu ltin g   in   1 2 4 , 0 2 1   f r am es.  E ac h   f r am w as  r esized   to   2 2 4 × 2 2 4   f o r   ef f icien tr ain in g   an d   p r o ce s s in g .   T o   s im u late  r ea l - wo r ld   co n d itio n s ,   b ac k g r o u n d s   wer m o d if ied   to   r e p r esen n in en v ir o n m e n ts b an k ,   o f f ice,   class r o o m ,   s h o p p in g   m all,   m ar k et,   r estau r an t,   h o s p ital,  s ch o o l,   an d   s tr ee t.  Fig u r 6   o u tlin es  th d ataset  p r ep ar atio n   p r o ce s s .     3 . 1 . 3 .     Da t a s et   a nn o t a t io n   T h d ata  a n n o tatio n   in v o lv ed   ap p ly in g   two   ty p es  o f   an n o tatio n s .   First,  ea ch   f r am was  la b eled   with   th co r r esp o n d in g   wo r d   b ase d   o n   th g estu r e,   in clu d i n g   t r an s itio n al  lab els.  Fig u r 7   illu s tr a tes  th wo r d   an n o tatio n   p r o ce s s ,   wh er th an n o tated   s en ten ce   is   " Dia   La r K a r en a   Ta ku t ( "He / Sh R u n s   B ec au s e   Scar ed ") .   Ho wev er ,   th o r ig in al  s en ten ce   o r d er   is   " K a r en a   Ta ku t,  Dia   La r i ( "He   r u n s   b ec au s h is   s ca r ed ") .   T h lab els  f o r   th s en te n ce   ar 0 - 63 - 0 - 77 - 0 - 65 - 0 - 1 3 3 ,   with   lab el  0   in d icatin g   tr an s itio n   g estu r es  at  th e   b eg in n in g ,   b etwe en   wo r d s ,   an d   at  th en d   o f   g estu r es.  Fiv an n o tato r s   p ar ticip ated   in   th is   an n o tatio n   p r o ce s s   to   m in im ize  b ias.           Fig u r 6 .   Data s et  p r ep a r atio n   s tep s   T h e   v i d e o   o BIS IN D O   s e n t a n c e   T h e   s e ri e s   o BIS I N D O   s e n t e n c e   fra m e s   w i t h   a   g re e n   b a c k g r o u n d   T h e   s e ri e s   o BIS I N D O   s e n t e n c e   fra m e s   w i t h   c o m p l e x   b a c k g ro u n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   2 ,   No v em b er   20 25 :   7 1 9 - 7 3 4   724       Fig u r 7 .   W o r d   lab elin g   a n n o t atio n       T h s u b s eq u en p r o ce s s   in v o lv ed   ass ig n in g   b o u n d in g   b o x   lab els  f o r   o b ject  d etec tio n   t ask s   an d   estab lis h in g   g r o u n d   tr u t h   f o r   th r ee   ca teg o r ies:   f ac e,   r ig h h a n d ,   an d   lef h an d .   Nin an n o t ato r s   p er f o r m ed   th e   b o u n d in g   b o x   lab elin g .   Giv e n   th en o r m o u s   v o lu m o f   f r a m es  r eq u ir in g   b o u n d in g   b o x e s ,   th m ea n   s q u ar e d   er r o r   ( MSE )   [ 3 2 ]   an d   s tr u ctu r al  s im ilar ity   in d ex   ( SS I M)   [ 3 3 ]   m eth o d s   wer em p lo y e d   with   9 4 th r esh o ld .   T h is   s y s t em atic  ap p r o ac h   b o u n d   b o x   lab els  f o r   3 8 , 7 3 6   o u o f   1 2 4 , 0 2 1   f r am es.  W u s th o p en - s o u r ce   ap p licatio n   lab elI m g   f o r   th is   task .     3 . 2 .     E x perim ent s   T h is   r esear ch   co n s is ts   o f   th r ee   ex p er im en ts ,   as  illu s tr ated   in   Fig u r 8 .   E x p er im en 1   aim s   t o   im p r o v e   th o b jec d etec tio n   m et h o d   u s ed   in   th e   p r e v io u s   s tu d y   b y   [ 1 1 ]   with   t h latest  o b ject   d etec tio n   m et h o d E x p er im en t   2   aim s   to   d eter m in th e   m o s e f f ec tiv e   m eth o d   f o r   r ec o g n izin g   tr an s itio n   g estu r es.  E x p er im en t   3   aim s   to   d ev elo p   t h o p tim al  m o d el  f o r   en d - to - en d   B I SIN DO  SLT .             Fig u r 8 .   E x p er im e n tal  f lo w       3 . 2 . 1 .   B a s eline   s tu d y   co n d u cted   b y   [ 1 1 ]   ai m   to   d ev elo p   an   a u to m ated   B is in d o   r ec o g n itio n   s y s tem   in   co m p lex   b ac k g r o u n d ,   u tili zin g   4 0   B I SIN DO  with   s tag es  o f   o b ject  d etec tio n ,   s k in   co lo r   s eg m en tatio n ,   f ea tu r e   ex tr ac tio n ,   an d   class if icatio n   ( Fig u r 9 ) ,   wh ich   will  s er v as  b aselin e.   T h r esu lts   o f   Fas ter   R - C NN  an d   YOL Ov 5   s h o wed   m AP  s co r es  o f   7 1 . 3 an d   7 4 . 1 %,  r esp e ctiv ely ,   an d   W E R ,   SAc c,   an d   Sacr eBLE wer e   2 6 . 8 1 %,   3 5 . 0 0 %,  4 5 . 8 6 %,  a n d   1 6 . 4 2 %,  4 9 . 2 9 %,   6 7 . 7 7 %,  r esp ec tiv ely ,   wh ic h   in d icate s   th at  YOL Ov 5   o u tp er f o r m s   Fas ter   R - C N N,   it   s h o u ld   b n o ted   th at  in   th i s   s tu d y ,   r em o v in g   tr a n s itio n a g estu r es  is   d o n m an u ally   in   th d ata  p r ep r o ce s s in g   p r o ce s s   ( Fig u r e   9 ,   p r o ce s s   1 ) .     B ased   o n   th ese  r esu lts ,   th er a r s till   g ap s   th at  ca n   b im p r o v ed ,   s u ch   as in   o b ject  d etec tio n ,   wh ich   will im p ac t th p er f o r m an ce   o f   th tr an s latio n   r esu lt s   an d   th im p lem e n tatio n   o f   a u to m atic  tr an s itio n   g estu r r em o v al,   s o   t h at  th s y s tem   b u ilt  r ef lects  r ea l - wo r ld   co n d itio n s .     3 . 2 . 2 .   E x perim ent   1   ( I m pro v ed  o bje ct   det ec t io n)   T h is   ex p er im en t   aim s   to   en h a n ce   s y s tem   p er f o r m an ce   in   o b ject  d etec tio n   ( Fig u r 9 ,   Pro ce s s   2 )   b y   u tili zin g   th YOL Ov 7 x   an d   YOL Ov 8 x   m o d els,  as  s h o wn   in   Fig u r 1 0 .   B o th   m o d els  o f f er   d is tin ct   ad v an tag es:  YOL Ov 7   f o cu s e s   o n   o p tim izin g   th E - E L A ar ch itectu r an d   s ca lin g   f o r   ef f icien cy ,   wh ile   I m pr oved  O bj e c t   D et ec t i on S t ar t D a t a s e t  40  S e nt e nc e s   Im rpove T ra ns i t i on  G e s t ure s   Re c ogn i t i on D a t a s e t  150   S e nt e nc e s E va l ua t i on ( m A P , A cc WE R , S A cc S ac r e B L E U ) Fi ni s h E val ua t i on ( m A P, A cc WE R , S A cc Sac r e B L E U ) T he  B e s t   O be j c t   D e t e c t i on    M e t hod T he B es t   Model E x p er eim ent   1 E x p er eim ent   2 T he  Be s t   T ra ns i t i on  G e s t ur e s   Re c ogni t i on   M e t hod E nd - To - E nd  BIS IN D O  S L T E val ua t i on ( m A P , A cc WE R , S A cc S ac r e B L E U ) E x p er eim en t 3 Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       E n d - to - e n d   s ystem  fo r   tr a n s la tin g   b a h a s a   is ya r a t I n d o n esia   s ig n   la n g u a g g estu r es  …  ( S a tr ia   P u tr a )   725   YOL Ov 8   em p h asizes  m u lti - lev el  f ea tu r ex t r ac tio n   th r o u g h   co m b in atio n   o f   C SP Dar k n e t,  SP PF ,   an d   PAN.   Alth o u g h   YOL Ov 8   is   n ewe r   v er s io n   o f   YOL Ov 7 ,   th o r ig in al  YOL Ov 8   p ap er   d o es  n o ex p licitly   co m p ar e   th p er f o r m a n ce   o f   th e   two   Y OL v er s io n s .   T h ex p er im en u tili ze s   4 0   B I SIN DO  s en ten ce s ,   with   th o b ject   d etec tio n   m eth o d   as  th e   in d ep en d en v ar iab le.   I ts   s u cc ess   is   m ea s u r ed   b y   th m AP,   W E R ,   SAcc,   an d   Sacr eBLE s co r es.             Fig u r 9 .   B aselin [ 1 1 ]           Fig u r 1 0 .   I m p r o v e d   d etec tio n   o b jects       3 . 2 . 3 .   E x perim ent   2   ( I m pro v ed  t ra ns it io n g esture s   re co g nitio n )   T h is   ex p er im en ad d r ess es  th p r o b lem   o f   r em o v in g   tr a n s itio n al  g estu r es.  I n   th s tu d y   [ 1 1 ] ,   th e   r em o v al   o f   tr an s itio n al  g estu r es  was  ca r r ied   o u t   at  th e   d ata   p r e p r o ce s s in g   s t ag e   ( Fig u r e   9 ,   p r o ce s s   1 ) ,   s o   in   th is   s tu d y ,   s tag will  b ad d ed   b etwe en   s tag es  4   an d   5   ( Fig u r 9 ,   p r o ce s s es  4   an d   5 ) ,   tr an s itio n al  g estu r es  r ec o g n itio n   s o   th at  th s y s tem   ca n   r em o v th e m   au to m ati ca lly .   T h u ltima te  g o al  is   to   b u ild   an   en d - to - en d   B I SIN DO   SLT .   I n   ad d itio n ,   we  also   ad d ed   th s an d wich   m ajo r ity   v o tin g   an d   s h o r wo r d - f r a m s eq u en c e   r elab elin g   s tag es  af ter   th tr an s itio n al  g estu r es  s tag an d   b ef o r t h au to m atic  r em o v al  o f   tr an s itio n al   g estu r es,  s o   th at  th r esu ltin g   d ata  ar clea n ,   as seen   in   Fig u r 1 1 .   I n s tead   o f   u s in g   o r i g in a l la b els to   r ec o g n ize  tr an s itio n   g estu r es,  we  em p l o y   two   ap p r o ac h es:  f ir s t,  M o b ileNet - p r ed icted   la b els,  an d   s ec o n d ,   T C R F - p r ed icted   la b els.  T h e   d ataset  u s ed   co n s is ts   o f   4 0   B I SIN DO   s en ten ce s ,   with   th e   tr an s itio n   g estu r r ec o g n itio n   m eth o d   as th in d ep en d en t v a r iab le.           Fig u r 1 1 .   I m p r o v e d   tr an s itio n al  g estu r r em o v al       3 . 2 . 4 .   E x perim ent   3   ( P r o po s ed  end - to - end  B I SI NDO   S L T )     T h is   s tu d y   p r o p o s es  an   en d - to - en d   B I SIN DO  SLT   ap p licatio n ,   d ev elo p e d   th r o u g h   E x p e r im en ts   1   an d   2 .   T h s y s tem   p r o ce s s es  B I SIN DO  v id eo   f r am es  as  in p u an d   g e n er ates  co r r es p o n d in g   B I SIN DO  s en ten ce s   as  o u tp u t,  o p er ati n g   f u lly   au to m atica lly   with o u h u m a n   in ter v e n tio n   i n   r e al - wo r ld   co n d itio n s   ( Fig u r 1 2 ) .   T h s tag es  in v o l v ed   ar ( 1 )   o b ject  d etec tio n ,   ( 2 )   s k in   co lo r   s eg m e n tatio n ,   ( 3 )   f ea tu r ex tr ac tio n ,   ( 4 )   tr a n s itio n   g estu r es   r ec o g n i tio n ,   ( 5 )   s an d wich   m aj o r ity   v o tin g   a n d   s h o r wo r d - f r am e   s eq u en ce   r elab elin g ,   ( 6 )   tr an s itio n   r em o v in g ,   ( 7 )   f r am eq u aliza tio n ,   an d   ( 8 )   class if icatio n .   E v alu atio n   em p lo y s   th r ee   d at aset  co n f ig u r atio n s 4 0   s en ten ce s   ( 1 5 2   lab els),   1 5 0   s en ten ce s   ( 3 5 2   lab els),   an d   th eir   c o m b in ed   1 9 0 - s en ten ce   d ataset  ( 4 3 5   lab els),   with   s en t en ce   an d   lab el   q u a n tity   as  th e   in d ep en d en v ar iab les  f o r   ass ess in g   th im p ac t   o f   s y s tem   p er f o r m a n ce .     D at a P re parat i on T r ans i t i on R e m ovi ng F r am e E qual i za t i on O bj ec t  D et ec t i on S ki n C ol or   S egm e nt at i on F ea t ur e E xt r ac t i on C l as s i f i ca t i on E val ua t i on 1 2 3 4 5 6 B I S IN D F r am es F as t er  R - C N N Y O L O v5 Y O L O v7 Y O L O v8 B I S IN D F r am e wit h   B B X D e tec ti o n  O b j ec t ( m A P) L S T M  C l as s i f i ca t i on Mobi l eN et V 2 F eat ur E xt r ac t i on Mobi l eN et  pr edi ct ed  l a bel s S a nd w i c M a j or i t V ot i ng , S hort  w ord - fra m e  s e que nc e   re l a be l i ng , A ut om a t i c  T r ans i t i on  r em ovi ng T C R F  pr edi ct e d l abel s 4 5 Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   2 ,   No v em b er   20 25 :   7 1 9 - 7 3 4   726       Fig u r 1 2 .   E n d - to - en d   o f   B I SIN DO  SLT       Ob ject   d etec tio n   is   th in itial  s tag o f   id en tify in g   th s ig n er ' s   f ac e,   r ig h h an d ,   an d   lef h an d   in   in p u t   im ag es  with   co m p lex   b ac k g r o u n d s ,   p r o d u cin g   is o lated   r eg io n s .   T h aim   is   to   e x tr ac k e y   f ea tu r es  f o r   f u r th e r   pr o ce s s in g .   T h m o d els  wer tr ain ed   with   a   b atch   s ize  o f   1 6   f o r   1 5 0   e p o ch s .   Per f o r m an c is   m ea s u r ed   u s in g   m AP  o n   th test   s et,   with   th b aselin s et  as  th r esu lts   f r o m   [ 1 1 ] ' s   s tu d y ,   wh ich   s er v es  a s   th g r o u n d   tr u t h   to   en s u r r eliab le  d etec tio n   q u ali ty .   T h s ec o n d   s tag is   s k in   co lo r   s eg m en tatio n .   I m ag es  f r o m   t h p r ev io u s   s tag s till   co n tain   b o u n d in g   b o x es,  r eq u ir i n g   an   ad d itio n a s tep   to   is o late  an d   ex t r ac o n ly   t h f ac a n d   h an d s .   T h i s   s tag ap p lies   th e   m eth o d   p r o p o s ed   b y   [ 3 4 ] ,   b y   c o m b in in g   n o r m ali ze d   R GB ,   HSV,   an d   YC b C r   co lo r   s p ac es.   T h th ir d   s tag p er f o r m s   f ea t u r ex tr ac tio n   u s in g   Mo b ileN etV2   [ 3 5 ]   to   tr a n s f o r m   s eg m e n ted   h an d   an d   f ac r eg io n s   in t o   m ea n in g f u g estu r r ep r esen tatio n s .   T h is   s tag p r o ce s s es  s eg m en ted   f r am es  an d   th ei r   B I SIN DO  lab el s   th r o u g h   m o d el  tr ain ed   with   b atch   s ize  o f   1 6   f o r   1 0 0   ep o c h s ,   g en er atin g   1 2 8 0 - d im en s io n al  f ea tu r v ec to r s   ( s to r ed   as  Nu m Py   a r r ay s )   f o r   ea ch   f r am e.   T h p u r p o s is   to   cr ea te  d is cr im in ativ e   f ea tu r es  th at  ca p tu r ess en tial  g estu r ch ar ac ter is tics   wh ile   r ed u cin g   co m p u tatio n al  co m p lex ity .   Pre d ictin g   ac cu r ac y   m ea s u r es  p er f o r m a n ce ,   wh ich   v alid ates  h o w   well  th ex tr ac ted   f ea tu r es  r ep r esen B I SIN DO  g estu r es.   T h f o u r t h   s tag f o cu s es  o n   tr an s itio n   g estu r r ec o g n itio n   u s in g   Mo b ileNetV2   an d   T C R F   p r ed ictio n   lab els.  T h ese  two   m eth o d s   a im   to   d eter m in e   th e   b est  r o b u s m eth o d   f o r   r ec o g n izin g   tr an s itio n   g estu r es.   Mo b ilen et  p lay s   d u al  r o le;   in   ad d itio n   to   b ein g   an   e x t r ac tio n   f ea tu r e ,   it  is   also   task ed   with   m ak i n g   p r ed ictio n s   b ased   o n   th e   r esu lt in g   lab els.  T h o u tp u t   o f   th is   s tag is   s eq u e n ce   o f   f ea t u r es f o r   ea c h   B I SIN DO  g estu r e,   as sh o wn   in   Fig u r 1 3 .             Fig u r 1 3 .     I llu s tr atio n   o f   tr an s itio n   g estu r r ec o g n itio n       T C R F   is   tr ain ed   with   b atch   s ize  o f   1 6   an d   1 0 0   ep o c h s ,   an d   th ac cu r ac y   is   m ea s u r ed   f o r   ea c h   th r esh o ld   v alu e.   As  an   illu s tr atio n ,   Fig u r 1 4   p r esen ts   th p r o b ab ilit y   g r ap h   f o r   ea c h   class   ( tr an s itio n   o r   wo r d   g estu r es)  b ased   o n   th B I SIN DO  s en ten ce   " Ma u   P erg B a n d u n g   B eso k ( "Wan t - Go - B a n d u n g - T o m o r r o w") .   T h b est - p e r f o r m in g   M o b ileN etV2   an d   T C R m o d els  g en er ated   th is   g r a p h .   W o r d   g estu r e s   ap p ea r   i n   f r am es  88 9 2 ,   1 0 6 1 1 4 ,   1 2 6 1 3 7 ,   a n d   1 5 1 1 5 6 ,   wh ile  all  o t h er   f r a m es r ep r esen t tr an s itio n al  g est u r es.           Fig u r 1 4 .   Pr o b ab ilit y   g r ap h   f o r   Ma u - P erg i - B a n d u n g - B eso k ”  ( "Wan t - Go - B an d u n g - T o m o r r o w")   F r am e E qual i za t i on O bj ec t  D et ec t i on ( m A P) Ski n C ol or  Segm ent at i on Mul t i  C ol or  S pace F ea t ur e E xt r ac t i on M obi l ene t V 2 ( A cc ur ac y) Fra me  wi th  bounding box Segment ed fr ame T r ans i t i on G e s t ur es   R ec ogni t i on T r ans i t i on r em ovi ng Fea ture , 12 80 C l as s i f i ca t i on L S T M ( A cc ur ac y) Fea ture , 12 80 1 B I S IN D F r a m e s 4 0 1 5 0   d a n   1 9 0 - sen t en c es 2 3 6 7 Fea ture , 12 80 Featur e, 128 0 S a ndw i c h M a j ori t y V ot i ng, S hort  w ord - fra m e   s e que nc e  re l a be l i ng, Fea ture , 12 80 5 8 B IS I N D O   Sen ten c es 4 Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       E n d - to - e n d   s ystem  fo r   tr a n s la tin g   b a h a s a   is ya r a t I n d o n esia   s ig n   la n g u a g g estu r es  …  ( S a tr ia   P u tr a )   727   T h e   f if th   s tag c o m p r is es  t wo   s eq u en tial  s tep s San d wi ch   m in o r ity   v o tin g .   T h is   s te p   r ep lace s   tr an s itio n   lab els  s an d wich ed   b etwe en   wo r d   lab els  with   th co r r esp o n d in g   wo r d   lab els.   Sh o r wo r d - f r a m s eq u en ce   r elab elin g W o r d   lab els  f lan k ed   b y   tr an s itio n   lab els  ar r ec lass if ied   as  tr an s itio n   lab els.  I n   alig n m en with   [ 1 0 ] ,   th is   s tu d y   ap p lies   co n s tr ain wh er eb y   m ax im u m   o f   two   co n s ec u tiv lab els  m ay   b m o d if ied   in   ea ch   s tep ,   as illu s tr a ted   in   Fig u r e   1 5 .           Fig u r 1 5 .   Po s t - tr an s itio n   g estu r r ec o g n itio n       T h s ix th   s tag in v o lv es  r em o v in g   tr an s itio n al  g estu r es,  wh er tr an s itio n al  g estu r es  ar id en tifie d   an d   elim in ated   u s in g   Mo b ile NetV2   an d   T C R F - p r ed icted   lab els.  Fra m es  ass o ciate d   with   lab el  v alu o f   ze r o   an d   th eir   co r r esp o n d i n g   lab e ls   ar d is ca r d ed ,   as  d ep icted   in   Fig u r 1 6 .   T h is   p r o ce s s   en s u r es  th at  o n ly   m ea n in g f u l g estu r s eg m e n ts   ar p r eser v e d   f o r   s u b s eq u en wo r d   p r e d ictio n .             Fig u r 1 6 .   T r an s itio n   r e m o v in g       Th s ev en th   s tag in v o lv es  f r am eq u aliza tio n ,   as  s h o w n   in   Fig u r e   1 7 ,   e n s u r in g   u n if o r m   in p u t   s eq u en ce   len g th s   r eq u ir e d   b y   th L STM - b ased   s eq 2 s eq   ar ch itectu r e.   T h is   s tan d ar d izatio n   p r o ce s s   b eg in s   b y   ca lcu latin g   th av e r ag f r am len g th   af ter   r em o v in g   t h t r an s itio n .   Fo r   s eq u e n ce s   ex ce ed in g   th is   av er a g len g th ,   th e   s y s tem   ca lcu lates  th MSE   b etwe en   a d jace n f r am p air s ,   r a n k s   th em   ac co r d in g ly ,   a n d   r e m o v e s   th last   n   f r am es  ( wh er n   eq u als  th d if f er en ce   b etwe en   cu r r en a n d   av er a g len g th s )   as  s h o wn   in     Fig u r 1 7 ( a ) .   C o n v er s ely ,   s h o r ter   s eq u en ce s   a r p a d d ed   b y   d u p licatin g   t h eir   f i n al  f r am e   u n til  th ey   r ea c h   th e   tar g et  len g th   ( Fig u r 1 7 b ) .   T h tar g et  len g th   o f   1 5   f r am es   p er   wo r d   was  d eter m in e d   b y   d iv id in g   t h to tal  f r am c o u n t   ac r o s s   all   wo r d s   b y   th n u m b er   o f   wo r d   c lass es.  T h is   eq u aliza tio n   p r o ce d u r e   is   ap p lied   u n if o r m ly   to   b o th   f ea t u r f r am es a n d   th eir   co r r esp o n d in g   la b els.         ( a)       ( b )     Fig u r 1 7 .   Fra m eq u aliza tio n   ( a)   Fra m m o r th a n   1 5 ,   ( b )   Fra m less   th an   1 5   0 0 0 0 0 0 0 0 160 160 0 160 160 0 0 0 20 20 0 0 0 0 412 412 412 412 412 0 0 0 0 0 0 0 0 227 227 0 0 227 227 227 0 0 0 0 3 0 0 0 0 0 0 0 0 0 160 160 160 160 160 0 0 0 20 20 0 0 0 0 412 412 412 412 412 0 0 0 0 0 0 0 0 227 227 227 227 227 227 227 0 0 0 0 3 0 0 0 0 0 0 0 0 0 160 160 160 160 160 0 0 0 0 0 0 0 0 0 412 412 412 412 412 0 0 0 0 0 0 0 0 227 227 227 227 227 227 227 0 0 0 0 0 0 W o r d  L ab els S an d w i c h  M aj o r i t y Vo t i n g   S h o r t  W o r d - F r am e S equ enc e Re l ab eli n g L a b el s 0 0 0 0 0 0 0 0 160 160 160 160 160 0 0 0 0 0 0 0 0 0 412 412 412 412 412 0 0 0 0 0 0 0 0 227 227 227 227 227 227 227 0 0 0 0 0 0 F r a m es L a b el s 160 160 160 160 160 412 412 412 412 412 227 227 227 227 227 227 227 F r a m es T r a n s i t i o n  Rem o vi n g . . . . . . 1 2 3 12 13 . . . . . . 1 2 3 12 13 14 15 . . . . . . 1 2 3 12 13 14 15 16 17 . . . . . . 1 2 3 12 13 14 15 F r a m e s  l e s s  t ha n 15 E qua li z e d f r a m e s  t o  15 F r a m e s  m o r e  t ha n 15 E qua li z e d f r a m e s  t o  15 C o p i e d   F r a m e MS C a l c u l a t i o n . . . . . . 1 2 3 12 13 . . . . . . 1 2 3 12 13 14 15 . . . . . . F r a m e s  l e s s  t ha n 1 5 E quali z e d f r a m e s  t o  15 F r a m e s  m o r e  t ha n 1 5 C o p i e d   F r a m e Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   2 ,   No v em b er   20 25 :   7 1 9 - 7 3 4   728   T h f in al  s tag o f   th p r o p o s e d   m eth o d o l o g y   is   class if icatio n ,   u tili zin g   1 - lay er   B id ir ec tio n al  lo n g   s h o r t - ter m   m em o r y   ( L STM )   n etwo r k   [ 3 6 ] .   T h is   m o d el  was  ch o s en   b ased   o n   p r io r   r esear c h   [ 1 1 ] .   C o n f ig u r ed   with   2 5 6   h id d e n   u n its ,   b atch   s ize  o f   1 6 ,   an d   tr ain ed   f o r   3 0 0   ep o c h s ,   th m o d el  en s u r e s   ef f ec tiv lear n in g   an d   p r ec is class if icatio n   o f   in p u t d ata,   o p tim izin g   p er f o r m a n ce   f o r   B I SIN DO  g estu r r ec o g n itio n .     All  p r o ce s s es  wer co n d u cte d   u s in g   th s am e   m ac h in e   as  i n   th s tu d y   b y   [ 1 1 ] ,   a n   NVI D I DGX - s er v er   with   L in u x   OS ( # 4 8 - U b u n tu   SMP) ,   an   8 0 - c o r x 8 6 _ 6 4   C PU,  5 1 2   GB   D DR 4   m em o r y ,   an d   a n   NVI DI T esla V 1 0 0 - SXM2 - 3 2 GB   GPU.   T h is   allo ws th r esu lts   to   b co m p ar e d   with   p r e v io u s   r ese ar ch .     3. 3 .     E v a lua t i o n   Fiv e   m etr ics  wer u s ed m AP,  Acc u r ac y ,   W E R ,   Sacr eB L E U,   an d   SAcc.   m AP  ass es s es  o b ject   d etec tio n   b y   c o m p ar i n g   p r ed ictio n s   to   g r o u n d   tr u th   u s in g   th in ter s ec tio n   o v e r   u n io n   ( I o U)   m etr ic.   I is   ca lcu lated   u s in g   E q u atio n   2 .      = 1  = 1   ( 2 )     W h er is   th n u m b er   o f   clas s es,  an d   APi is   th AP   f o r   th i - th   class .   Acc u r ac y   m ea s u r es  th p er ce n tag o f   co r r ec tly   p r ed icte d   d ata,   as  d e f in ed   in   ( 3 ) .   I is   cr u cial  f o r   ev alu atin g   p e r f o r m an ce   in   f ea t u r ex tr ac tio n ,   tr an s itio n   g estu r r ec o g n itio n ,   a n d   clas s if icatio n   s tag es.       =  +   +  +  +      ( 3 )     W h er e   tr u p o s itiv ( TP )   is   th n u m b er   o f   p o s itiv ca s es  co r r ec tly   p r ed icted .   T r u e   n eg ati v ( TN )   is   th n u m b er   o f   n eg ativ e   ca s es  co r r ec tly   p r ed icted .   Fals p o s itiv ( FP )   is   th n u m b e r   o f   n eg ativ e   ca s es  in co r r ec tly   p r ed icted   as  p o s itiv e.   F alse  n eg ativ ( FN )   is   th n u m b er   o f   p o s itiv ca s es  in co r r ec tly   p r e d icted   as   n eg ativ b y   th m o d el.   W E R   m ea s u r es  t h r atio   o f   th n u m b e r   o f   in c o r r ec wo r d s   g en er ated   b y   th s y s tem   to   th to tal  n u m b er   o f   wo r d s   in   th g iv en   d o cu m e n t o r   d ataset.   In   ( 4 )   ca l cu lates WER .      = + + = + +   ( 4 )     W h er is   th n u m b er   o f   s u b s titu tio n   er r o r s ,   is   th n u m b er   o f   d eleti o n   er r o r s ,   I   is   th n u m b er   o f   in s er tio n   er r o r s ,   an d   is   th t o tal  n u m b e r   o f   wo r d s   in   th an aly ze d   s en ten ce   o r   d o c u m en t.   Sacr eBLE ass e s s e s   th q u al ity   o f   m ac h in tr a n s latio n s   b e twee n   lan g u ag es.   I ts   g o al  is   t o   ev alu ate  h o ef f ec tiv ely   m ac h in e   tr an s latio n s   co m p ar e   to   h u m a n   t r an s latio n s .   Sacr eBLE u s es  f o r m u la   m o d if ie d   b ased   o n   n - g r a m   p r ec is io n   t o   ev alu ate  th is .   T h eq u atio n   ca n   b ex p lain ed   as sh o wn   i n   ( 5 ) .       =  ×    ( 5 )     W h er B L E is   th s co r e   ca lcu lated   u s in g   n - g r am   p r ec is i o n - m o d if ied ,   B is   th b r ev it y   p e n alty   f ac to r ,   wh ich   ad d r ess es  th is s u wh en   m ac h in tr a n s latio n   o u t p u ts   ar s h o r ter   th an   h u m an   r ef er e n ce   tr an s latio n s .   SAcc   m ea s u r es  th co r r ec tn ess   o f   an   en tire   s en ten ce   o r   s eq u en ce   o f   p r ed ictio n s   b y   c o m p ar in g   it  t o   a   r ef er en ce   s en ten ce .   SAcc   en s u r es  th at  th g e n er ated   s en te n ce   m atch es  th r e f er en ce   w ith o u er r o r s .   I is   ca lcu lated   u s in g   ( 6 ) .              (   ) =                        ( 6 )       4.   RE SU L T S AN D I SCU SS I O N   4 . 1 .     Resul t s   o f   ex perim ent   1   ( I m pro v ed  o bje ct   det ec t i o n )   E x p er im en t   1   aim s   to   im p r o v e   o b ject  d etec tio n   p e r f o r m an ce   u s in g   YOL Ov 7   an d   YOL Ov 8 ,   th latest   o b ject  d etec tio n   m eth o d s .   T h s u cc ess   o f   th is   ex p er im en is   m ea s u r ed   b y   th in cr ea s in   m AP  o n   o b ject  d etec tio n ,   th im p r o v em en in   ac cu r ac y   o n   M o b ileNet  ex tr ac tio n   f ea tu r e s ,   th en h an ce m en in   L STM   class if icatio n ,   an d   th r ed u ctio n   in   co m p u tatio n   tim at  ea c h   s tag ( T ab le  4 ) .   As  s h o wn   in   T ab le  4 ,   YOL Ov 8   s ig n if ican tly   im p r o v es  o b jec d etec tio n   p er f o r m a n ce ,   as  in d icate d   b y   its   in cr ea s in g   m AP  s co r es.  T h is   ad v an ce m en is   c o m p le m en ted   b y   en h a n ce d   ac c u r ac y   in   Mo b ileNet's  f ea tu r e   ex tr ac tio n   ca p ab ilit y ,   with   f r am lab el   class if icatio n   s h o win g   s u b s tan tial  im p r o v em en t   wh en   co m p ar e d   to   Evaluation Warning : The document was created with Spire.PDF for Python.