I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   3 9 ,   N o .   2 A ugus t   20 25 ,   pp .   1 198 ~ 1 210   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 3 9 .i 2 . pp 1 19 8 - 1 210             1198     Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   R e a l - t i m e   r e c o g n i t i o n   o f   In d o n e si a n   si g n   l a n g u a g e   S IB I   u si n g   CNN - S V M   m o d e l   c o m b i n a t i o n       S atr i ad i   P u tr S an ti k a 1 ,   S te f an u s   B e n h a r d 1 ,   Y u l yan i   A r i f i n 2 ,   A n d r y   C h o w an d a 3   1 D e p a rt m e n t   o f   C o m p u t e r   S c i e n c e ,   B i n u s   G ra d u a t e   P r o g ra m - M a s t e o Co m p u t e r   S c i e n c e ,   B i n a   N u s a n t a ra   U n i v e r s i t y ,   J a k a rt a ,   I n d o n e s i a   2 D e p a rt m e n t   o f   C o m p u t e r   S c i e n c e ,   B i n u s   G ra d u a t e   P r o g ra m - D o c t o o Co m p u t e r   S c i e n c e ,   B i n a   N u s a n t a ra   U n i v e r s i t y ,   J a k a rt a ,   I n d o n e s i a   3 D e p a rt m e n t   o f   C o m p u t e r   S c i e n c e ,   S c h o o l   o f   C o m p u t e r   S c i e n c e Bi n a   N u s a n t a ra   U n i v e r s i t y ,   J a k a rt a ,   I n d o n e s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e D e c   3 2024   R e v i s e M a r   24 20 25   A c c e pt e J ul   2 2025       R e a l - t i m e   S i s t e m   I s y a r a t   B aha s a   I ndone s i a   ( S I B I )   s i g l a ng ua g e   r e c og ni t i o n   pl a y s   a   c r uc i a l   r o l e   i n   i m p r o v i ng   a c c e s s i b i l i t y   f o r   i nd i v i dua l s   w i t h e a r i ng   a nd  s pe e c i m p a i r m e n t s .   D e s p i t e   a dv a nc e m e nt s   i S I B I   r e c og ni t i o n   r e s e a r c h,   c ha l l e ng e s   r e m a i i n   e n s u r i ng   m o de l   s t a bi l i t y   a nd   a c c ur a c y   i r e a l - t i m e   s e t t i n g s ,   pa r t i c ul a r l y   i ha nd l i ng   g e s t u r e   v a r i a t i o ns   a nd   c l a s s i f i c a t i o n   i nc o ns i s t e nc i e s .   T h i s   s t udy   a ddr e s s e s   t he s e   c ha l l e ng e s   by   de v e l o pi ng   a   c o n vo l ut i o na l   ne u r a l   ne t w o r k - s uppo r t   v e c t o r   m a c h i ne   ( C N N - S V M )   c om bi na t i o m o de l ,   i n t e g r a t i ng   M e di a P i pe   f o r   ha nd   c o o r di na t e   e xt r a c t i o n,   C N N   f o r   f e a t ur e   e xt r a c t i o n,   a nd   S V M   f o r   c l a s s i f i c a t i o n.   T o   i m p r o v e   g e ne r a l i z a t i o a nd  pr e v e nt   o v e r f i t t i ng ,   d a t a   a ug m e nt a t i o i s   a ppl i e d   t o   e xpa n t he   d a t a s e t .   T h e   m o de l ' s   pe r f o r m a nc e   i s   f ur t he r   e n ha nc e t h r o ug hy pe r pa r a m e t e r   o pt i m i z a t i o ( H P O )   a nd   po s t - pr o c e s s i ng   t e c hni que s   s uc h   a s   m ul t i - w i ndo w   m a j o r i t y   v o t i ng   ( M W M V )   a nd   S y m S pe l l .   E xp e r i m e nt a l   r e s ul t s   s ho w   t h a t   t h e   C N N - S V M   m o de l   t r a i n e o a ug m e nt e d   da t a   w i t h   H P O   a c h i e v e s   91 %   t e s t i ng   a c c ur a c y ,   o ut pe r f o r m i ng   bo t h   s t a nd a l o ne   C N N   a nd  S V M   m o de l s .   F ur t h e r m o r e ,   M W M V   i m pr o v e s   r e c o g ni t i o n   s t a bi l i t y ,   w hi l e   S y m S pe l l   e nha nc e s   s p e l l i ng   e r r o r s ,   e ns ur i ng   m o r e   m e a n i ng f ul   o ut pu t s .   T he   s y s t e m   i s   i n t e g r a t e d   w i t O p e nC V   f o r   r e a l - t i m e   r e c o g ni t i o n,   b ut   c ur r e n t   de pl o y m e nt   r e m a i n s   l i m i t e t o   l o c a l   e xe c u t i o n.   F u t u r e   w o r w i l l   f oc us   o de v e l o pi ng   l i g ht w e i g ht   m o de l s   f o r   w e b - ba s e a nd  m o bi l e   a pp l i c a t i o ns ,   m a ki ng   t he   s y s t e m   m o r e   a c c e s s i b l e   a n s c a l a bl e .   Ke y w or d s :   CN N - SVM   P o s t - pr o c e s s i n g   R e a l - t i m e   r e c o gn i t i o n   S IB I   S i g n   l a n g ua ge   r e c o gn i t i o n   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   S a t r i a di   P ut ra   S a nt i k a     D e pa rt m e n t   o f   Co m put e S c i e n c e ,   B i n us   G r a d ua t e   P r o gra m - M a s t e o f   Co m put e S c i e n c e   B i n a   N us a nt a ra   U n i v e r s i t y   11530  J a ka rt a ,   I n do n e s i a     E m a i l :   s a t ri a d i . s a n t i ka @ b i n us . a c . i d         1.   I N TR O D U C TI O N   Co m m u n i c a t i o i s   a   f u n da m e n t a l   a s pe c t   o f   hum a l i f e   t h a t   e n a b l e s   s o c i a l   i nt e r a c t i o n ,   i n f o r m a t i o n   e xc h a n ge ,   a n d   s e l f - e xpr e s s i o [1] .   H ow e ve r ,   l i m i t a t i o n s   i c o m m u n i c a t i o a r e   a   b i g   c h a l l e n ge   f o i n d i v i dua l s   w i t h e a r i ng  a n d   s pe e c h   i m p a i rm e n t s .   T h e s e   b a rri e r s   c r e a t e   a   g a p   t ha t   f urt h e c o m pl i c a t e s   t h e i p a r t i c i pa t i o n   i n   s o c i e t y .   B a s e o n   t h e   W o rl R e po r t   o n   H e a r i ng  (W R H pub l i s h e by   t h e   W o r l d   H e a l t h   O r g a n i z a t i o n   (W H O ),   pe o pl e   w i t h   h e a ri n g   a n d   s pe e c h   i m pa i rm e nt s   s t i l l   e xpe r i e n c e   l i m i t a t i o n s   i c o m m u ni c a t i o n ,   w h i c h   i m p a c t s   t h e i r   a c c e s s i b i l i t y   i n   v a r i o us   a s pe c t s   o f   l i f e   [2] .   S i g n   l a ngua ge   i s   a   ke y   s o l ut i o i h e l p i n g   de a f   a nd  s pe e c h   i m p a i r e d   pe o pl e   t o   c o m m u n i c a t e .   H ow e ve r ,   t h e   d i f fe r e nt   s i g l a n gu a ge   s y s t e m s   i di f f e r e n t   c o un t r i e s   a n d   t h e   l a c o f   pub l i c   u n de r s t a ndi n g   o s i g n   l a n gu a ge   a r e   s t i l l   i s s ue s   i n   r e a l i z i ng  i n c l us i v e   c o m m u n i c a t i o n.   I I n do n e s i a ,   t h e r e   a r e   t w o   s i gn   l a ngua ge   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         R e al - t i m e   r e c og ni t i on   of   Ind one s i an  s i gn   l ang uage   SI B I   us i n   ( Sat r i adi   P ut r Sant i k a )   1199   s y s t e m s   us e d,   w h i c h   a r e   B ah as Is y ar at   Ind one s i a   (B IS IN D O a nd  S i s t e m   Is y ar at   B ahas a   Indo ne s i a   (S IB I)  [3] .   B IS IN D O   t ra n s l a t e s   a   s i n gl e   w o r f r o m   s po ke I n do n e s i a a c c o r di n g   t o   i t s   c o n t e x t ,   t h e f o l l ow e by   a   ge s t ur e   t ha t   de s c r i b e s   t h e   s i t u a t i o a t   t ha t   t i m e   [4] .   I n   c o n t r a s t   t o   B IS IN D O ,   S IB i s   m o r e   na t u r a l   a n d   v e r s a t i l e   i t r a n s l a t i n g   s po ke l a n gu a ge   t o   s i g l a ngua ge   [5 ] .   S IB m a i nt a i n e t h e   g r a m m a t i c a l   s t ruc t u r e   o In do n e s i a n,   i n c l ud i n p r e f i xe s   a n d   s uf f i xe s   o n   e a c w o r d.   S IB ha s   b e e n   e s t a b l i s h e a s   a n   o f f i c i a l   s i g l a n gu a ge   s y s t e m   i n   t h e   e duc a t i o n   c u rri c ul u m   f o r   de a f   a n s pe e c h   i m p a i r e s t ude n t s   i n   s pe c i a l   s c h o o l s   b a s e d   o n   t h e   M i ni s t e o f   E duc a t i o a n d   Cu l t u r e   D e c r e e   N um b e r   01 61/ U / 1997  [ 6] .   Cu rr e nt l y ,   s o c i e t y   s t i l l   f a c e s   a   c h a l l e n ge   i u n de r s t a ndi ng  s i gn  l a ngua ge .   T hi s   c h a l l e n ge   e m p ha s i z e s   t h e   n e e f o r   a   s o l ut i o n   t h a t   c a b ri dge   c o m m u ni c a t i o b e t w e e n   de a f   a n d   s pe e c h   i m p a i r e d   pe o pl e   a n d   s o c i e t y .   O n e   s uc h   a pp r o a c h   i s   s i g l a n gu a ge   r e c o gn i t i o (S L R ),   a   t e c h n o l o g y   t h a t   c o n v e r t s   s i g l a ngua ge   ge s t u r e s   i n t o   t e xt   o r   v o i c e   t o   e n a b l e   m o r e   i n c l us i v e   c o m m u n i c a t i o n.   T hr o ug h   t h e   S L R   s y s t e m ,   i n di v i du a l s   w i t h o ut   s i g n   l a n gu a ge   s ki l l s   c a n   m o r e   e a s i l y   un de r s t a n t h e   m e s s a g e s   c o n v e y e by   s i gn   l a ngua ge   us e r s .   I a d di t i o n,   t h i s   t e c hn o l o g y   a l s o   h a s   t h e   po t e n t i a l   t o   b e   a e ff e c t i v e   l e a rni n g   t o o l   f o r   s o c i e t y   i n   l e a rni n g   s i g l a n gu a ge .   R e s e a r c o S L R ,   e s pe c i a l l y   S IB I,   ha s   b e e n   c o n duc t e w i t h   v a r i o us   a pp r o a c h e s .   W e   f o un t h a t   pr e v i o us   r e s e a r c o I n do n e s i a n   s i g n   l a n g ua ge   r e c o gn i t i o n   e xpl o r e v a r i o us   f e a t ur e   e xt ra c t i o n   m e t h o ds   a n d   c l a s s i f i c a t i o m o de l s .   F e a t u r e   e x t ra c t i o n   a n d   c l a s s i f i c a t i o i n   s i g l a n gu a ge   r e c o gn i t i o pl a y   a i m po r t a n t   r o l e   i n   i m p r o v i ng  a c c u r a c y   a n e f f i c i e n c y   fo r   i n t e r p r e t i ng   s i g n s   [7] .   T ra d i t i o n a l   m a c h i n e   l e a rni n g - b a s e d   m o de l s ,   s uc a s   s up po r t   v e c t o r   m a c h i n (S V M )   a n d   de c i s i o t r e e   (D T )   h a v e   b e e n   a pp l i e d   i S IB I   a l p h a b e t   c l a s s i f i c a t i o n.   N ug ra ha   e t   al [ 8]   i m p l e m e nt e D T   a nd  C 4. 5,   s h o w i n t ha t   D T   a c hi e v e 77. 82%   a c c u r a c y ,   w h i l e   C4 . 5   o b t a i n e 71 . 09%   w i t h   t h e   b e s t   pe r f o r m a n c e   a t   250   n o de s .   I n s a ni   e t   al [9]   us e l e a p   m o t i o n   c o n t r o l   a s   a   t o o l   t o   pe r f o r m   f e a t u r e   e xt ra c t i o n ,   r e s ul t i ng  i n   6 po i nt   c o o r di n a t e s   (x,   y ,   z w h i c h   w e r e   t h e n   f e i n t o   t h e   S V M   c l a s s i f i c a t i o m o de l   a n d   r e s ul t e d   i 96 . 2 a c c u r a c y .   F urt h e r m o r e ,   V e e ra i a e t   a l [10 ]   de m o n s t r a t e t h e   e f fe c t i ve n e s s   of   S V M   i n   S L R ,   us i n M e d i a P i pe   f o r   h a nd  l a n d m a rk  f e a t u r e   e xt ra c t i o n   a nd  SVM  a s   t h e   m a i c l a s s i f i e r.   T h e   m o de l   w a s   a b l e   t o   r e c o gn i z e   l e t t e r s   a nd   w o r ds   i S IB I   w i t 99. 8%   a c c u r a c y ,   m a k i n g   i t   o n e   o f   t h e   m o s t   s t a b l e   m e t h o ds   i s i g l a n gu a ge   c l a s s i f i c a t i o n.   O t h e t ha t r a d i t i o na l   m a c h i n e   l e a rni n g   m e t h o ds ,   de e l e a rni n g   i s   a l s o   w i de l y   e xpl o r e d   f o r   S L R .   H a n da y a ni   e t   al [11]   i m pl e m e n t e d   M e di a P i pe   t o   pe r f o r m   f e a t u r e   e xt ra c t i o n,   r e s ul t i n g   i 42   c o o r di n a t e   po i nt s   (x,   y w h i c h   w e r e   t h e n   i nput   i n t o   a   b a c kpr o pa g a t i o n   b a s e a r t i f i c i a l   n e u r a l   n e t w o r (A N N m o de l .   T h i s   m o de l   a c h i e v e 86. 26%   a c c u r a c y   w i t t h e   o pt i m a l   c o n f i gu ra t i o n   o f   l e a rn i ng  ra t e   0 . 1 ,   m o m e nt u m   0 . 1 ,   a n e poc h   700 .   B a g a s ko r o   e t   a l [1 2]   p r o po s e fe e d - f o r w a r n e ura l   n e t w o r k   (F F N N a n d   m ul t i   l a y e r   pe r c e pt r o (M L P t o   c l a s s i f y   S IB a l p ha b e t .   T h e   d a t a s e t   us e c o n s i s t e o f   32, 85 0   di g i t a l   i m a ge s   o f   t h e   S IB a l p ha b e t ,   w h i c w e r e   c o n v e r t e i nt o   n u m e ri c a l   pa ra m e t e r s .   T h e   r e s ul t s   s h o w e t ha t   M L P   g a v e   a n   a c c ura c y   of   85. 46% ,   w h i l e   F F N N   o n l y   r e a c h e 81% .   M o v i n g   a w a y   f r o m   t h e   A N N   m o de l ,   S i ha na n t o   e t   a l [ 13]   us e c o n v o l ut i o n a l   n e u r a l   n e t w o r k   ( CN N )   t o   pe r f o r m   f e a t u r e   e xt ra c t i o w h i c w a s   t h e c o n t i nue i n t o   a   f ul l y   c o nn e c t e l a y e r   w i t S o f t M a a c t i v a t i o f u n c t i o a s   a   c l a s s i f i c a t i o m o de l   t ha t   a c hi e v e a a c c ura c y   of   up  t o   93 . 29% .   T hi s   r e s e a r c s h o w s   t h a t   CN N   c a r e c o gni z e   h a nd   ge s t u r e s   w e l l   b ut   s t i l l   f a c e s   c ha l l e n ge s   i d i s t i ngui s hi n g   l e t t e r s   t h a t   h a v e   s i m i l a h a nd  s h a pe s .   L i m a n t a r a   a n d   T ri s t i a n t o   [1 4]   a l s o   a do pt e a   s i m i l a r   a pp r o a c h,   b ut   b e fo r e   f e e di n g   i nt o   t h e   CN N   m o de l   f o r   f e a t u r e   e xt ra c t i o n ,   t h e   i m a g e s   w e r e   pr o c e s s e us i n g   g ra y s c a l e   a n d   G a us s i a n   b l ur  t o   i m p r o v e   t h e   qua l i t y   of   t h e   f e a t u r e s   r e s ul t i n g   i 99 a c c ur a c y ,   s ugge s t i n g   t ha t   t h e   c o m b i n a t i o n   o pr e p r o c e s s i n a n d   CN N   c a i n c r e a s e   t h e   e f fe c t i ve n e s s   i re c o gn i z i n g   s i g l a ngua ge .   F u rt h e r m o r e ,   A f ka a r   [15]   t ri e t o   c o m b i n e   M e di a P i pe   a n d   CN N   t o   pe r f o r m   f e a t ur e   e xt ra c t i o n ,   w h i c h   w a s   t h e n   c o n t i n ue i nt o   a   f ul l y   c o nn e c t e l a y e r   w i t h   S o f t M a a c t i v a t i o n   f u n c t i o a s   a   c l a s s i f i c a t i o m o de l .   T h e   r e s ul t s   s h o w e t ha t   t h e   a c c ur a c y   r e a c h e d   96 . 1%   o t h e   t e s t i n g   da t a .     Se e i n t h e   po t e n t i a l   f o r   f urt h e r   de v e l o pm e n t   i n   S L R ,   m o r e   c o m pl e m o de l s   b e ga n   t o   b e   a do pt e t o   ov e r c o m e   t h e   c h a l l e n ge s   t ha t   s t i l l   e xi s t   i n   S L R   s y s t e m s .   F o r   e xa m pl e ,   S u h a r j i t o   e t   a l [ 6]   de v e l o pe a   t ra n s f e r   l e a rn i ng - b a s e m o de l   w i t h   i n f l a t e d   t hr e e - di m e n s i o na l   ( 3D )   CN N ,   w hi c a l l o w s   t h e   s y s t e m   t o   r e c o gn i z e   s i g n   l a n gu a ge   ge s t u r e s   w i t 97 . 5%  a c c ura c y .   In   a dd i t i o n ,   H a n d a y a n i   e t   al [16]   c o m pa r e R e s N e t - 50  a n d   E f f i c i e n t N e t - B i n   S IB a l p ha b e t   c l a s s i f i c a t i o n,   f i n di ng   t h a t   E f f i c i e n t N e t - B w i t h   da t a   a ug m e n t a t i o n   a c hi e v e t h e   h i g h e s t   a c c ur a c y   of   98. 3% .   F u r t h e rm o r e ,   S uy i t n o   e t   a l [1 7]   i m pl e m e n t e d   Y O L O v t o   de t e c t   s i g n   l a ngua ge   ge s t u r e s   i r e a l - t i m e ,   us i ng   a   d a t a s e t   t ha t   i nc l ude s   107   v o c a b ul a r y   a nd   7   a f f i c l a s s e s .   T h e   s y s t e m   c a r e c o gn i z e   up   t o   100   w o r ds   u n de o pt i m a l   l i g h t i ng  c o n d i t i o n s ,   b ut   t h e   de t e c t i o a c c ura c y   dr o ps   t 58. 02 u nde l o w   l i g ht i n g   c o n di t i o n s .   A l t h o ug v a ri o us   a pp r o a c h e s   h a v e   b e e t a ke i S L R   r e s e a rc h ,   e s pe c i a l l y   S IB I,   t h e r e   a r e   s t i l l   s o m e   l i m i t a t i o n s   t ha t   n e e t o   b e   a dd r e s s e t o   i m p r o v e   a c c ura c y ,   s t a b i l i t y ,   a n d   e f f i c i e n c y   i r e a l - t i m e   s c e na r i o s .   P r e v i o us   r e s e a r c i S L R   s h o w s   t ha t   m o s t   m o de l s   s t i l l   us e   a   s i ngl e   m o de l ,   s uc a s   S V M ,   A N N ,   o CN N .   S e v e ra l   p re v i o u s   s t ud i e s   ha v e   p ro v e n   t he   e f f e c t i v e n e s s   o f   e a c m o de l .   H a nd a y a ni   e t   a l [ 1 1]   a nd   S i ha na nt o   e t   a l .   [13]   s h o w   t h a t   CN N   c a r e c o gn i z e   s pa t i a l   pa t t e rn s   f r o m   ha n d   ge s t u r e s   w e l l .   H ow e v e r ,   t hi s   m o de l   s t i l l   ha s   di f f i c ul t y   i d i s t i ngui s hi n g   l e t t e r s   t ha t   ha v e   s i m i l a h a nd  g e s t ur e s .   O t h e   o t h e h a nd,   I n s a n i   e t   al [9]   a n V e e r a i a h   e t   a l [ 10]   s h o w e t h a t   S V M   ha s   h i g s t a b i l i t y   i t h e   c l a s s i f i c a t i o o f   S IB l e t t e r s   a n d   w o r ds .   B y   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   3 9 ,   N o .   2 ,   A ugus t   20 25 :   1 198 - 1 210   1200   l o o ki n a t   t h e   c a p a b i l i t i e s   o f   e a c h   m o de l ,   a   c o m b i n a t i o n   a pp r o a c o f   CN N   a s   a   f e a t u r e   e xt ra c t o a n d   S V M   a s   t h e   m a i c l a s s i f i e r   c a p r o v i de   a   m o r e   o pt i m a l   s o l ut i o n.     F urt h e rm o r e ,   i t   i s   k n o w n   t ha t   S L R   s y s t e m s   s uff e r   f r o m   f l uc t ua t i n g   p r e di c t i o n   r e s ul t s ,   m a i n l y   due   t o   c h a nge s   i n   l i g ht i ng,   c a m e r a   a ngl e ,   o r   v a ri a t i o n s   i h a nd  po s i t i o n,   w h i c h   c a de s t a b i l i z e   t h e   s y s t e m   i n   r e a l - t i m e   s c e n a ri o s   [18] .   H ow e ve r ,   t h e r e   h a s   n o t   b e e n   m uc p r e v i o us   r e s e a r c a ppl y i n g   po s t - p r o c e s s i n g   s t ra t e gi e s   t o   a dd r e s s   t hi s   i s s ue .   W a hi d   e t   al [19 ]   s h o w e t h a t   m ul t i - w i n do w   m a j o r i t y   v o t i n g   (M W M V )   c a i m p r o v e   s t a b i l i t y   i e l e c t r o m y o gr a p h y   (E M G s i g na l - b a s e c l a s s i f i c a t i o n.   M W M V   w o r ks   by   us i n g   i n f o r m a t i o f r o m   v a r i o us   w i ndo w   s i z e s   s i m ul t a n e o us l y   s o   t ha t   t h e   p r e di c t i o n   b e c o m e s   m o r e   s t a b l e   a n do e s   n o t   de pe n o n l y   o n   o n e   f r a m e .   A ddi t i o n a l l y ,   e rr o r s   i n   t h e   t r a n s c r i pt i o n   o f   s i gn   l a n g ua ge   c l a s s i f i c a t i o n   r e s ul t s   a r e   s t i l l   a   c ha l l e nge   t h a t   h a s   n o t   b e e n   s t u di e m uc i n   p r e v i o us   r e s e a r c h.   A ud a h   e t   al [20 ]   c o m pa r e S y m S pe l l   a n D a m e r a u - L e v e n s h t e i T r i e   (D L T ri e i I n do n e s i a n   s pe l l i ng  c o rr e c t i o n.   T h e   r e s ul t s   s h o w e t ha t   S y m S pe l l   i s   f a s t e r   a n d   m o r e   a c c ura t e   w i t a   ru n t i m e   o f   o n l y   0. 39  m s   pe w o r c o m pa r e d   t o   4 4. 1 5   m s   pe w o r f o D L T r i e .   T h e   r e s e a r c s h o w s   S y m s pe l l   ha s   t h e   po t e n t i a l   t o   i m p r o v e   t h e   t r a n s c r i p t i o qu a l i t y   of   s i g n   l a ngua ge   c l a s s i f i c a t i o r e s ul t s ,   w i t t h e   a i m   o f   r e duc i n s pe l l i ng  e rr o r s   t ha t   a ri s e   due   t o   i na c c ura t e   m o de l   p r e di c t i o n s .   B e s i de s   c l a s s i f i c a t i o n   a n po s t - p r o c e s s i n a s pe c t s ,   da t a s e t   s e l e c t i o n   i s   a l s o   a i m po rt a nt   f a c t o r   i i m p r o v i n g   S L R   s y s t e m s .   A f ka a [15]   de v e l o pe M e di a P i p e   a n d   CN N   m o de l s   f o r   S L R   a n d   a c hi e v e h i g h   a c c ur a c y ,   b ut   t h e r e   i s   a   t e n de n c y   t o   e xpe r i e n c e   o v e r f i t t i n d ue   t o   t h e   s m a l l   n u m b e r   o f   da t a s e t s .   I n   f a c t ,   t hi s   da t a s e t   h a s   a   c o m pl e t e   a l p h a b e t   c l a s s   a nd  e n o ug h   v a ri e t y   t o   po t e n t i a l l y   b e   a   s t r o n g   b a s e l i n e   f o r   t h i s   r e s e a r c h.   T h e   o ve r f i t t i ng  p r o b l e m   w i l l   b e   a dd r e s s e by   a ppl y i n g   da t a   a ug m e nt a t i o n   t o   i m p r o v e   m o de l   ge n e ra l i z a t i o n .   T h e   a pp l i c a t i o n   o f   a ugm e n t a t i o n   a l l o w s   t h e   m o de l   t o   l e a rn   f r o m   a   w i de r   v a ri e t y   s o   t h a t   i t   c a h a ndl e   di f fe r e n c e s   i l i g h t i n g ,   ha n d   o ri e nt a t i o n ,   a s   w e l l   a s   us e v a r i a t i o n s   w hi c h   w e r e   p r e v i o us l y   l i m i t a t i o n s   i A f ka a r' s   r e s e a r c h.   B a s e o n   t h e   l i m i t a t i o n s   f o un i n   p r e v i o us   s t udi e s ,   t hi s   r e s e a r c h   p r o po s e s   M e di a P i pe   a n t h e   c o m b i na t i o n   o f   CN N   w i t S V M   a s   a   s o l ut i o t o   i m p r o v e   t h e   a c c ur a c y   a n d   s t a b i l i t y   of   r e a l - t i m e   S L R   s y s t e m s .   M e di a P i pe   i s   us e t o   e xt ra c t   ha n po i nt   c o o r di n a t e s ,   w h i c h   a r e   t h e n   p r o c e s s e by   CN N   fo r   f e a t ur e   e xt r a c t i o n,   a n t h e n   c l a s s i f i e us i ng  S V M   t o   i m p r o ve   r o b us t n e s s   t o   da t a s e t   v a r i a t i o n s .   F u r t h e rm o r e ,   t o   e n s u r e   p r e d i c t i o s t a b i l i t y   i n   r e a l - t i m e   s c e n a ri o s ,   M W M V   i s   a pp l i e a s   a   po s t - p r o c e s s i n s t r a t e g y   t o   r e duc e   f l uc t ua t i o n s   i n   c l a s s i f i c a t i o r e s ul t s   b e t w e e n   f r a m e s   a n d   i m p r o v e   ov e r a l l   s y s t e m   s t a b i l i t y .   I a d di t i o n,   S y m S pe l l   i s   a l s o   us e d   t o   r e duc e   e rr o r s   i t h e   t ra n s c r i p t i o o f   t h e   c l a s s i f i e t e xt   s o   t h a t   t h e   s y s t e m   i s   n o t   o n l y   b e t t e a t   r e c o gn i z i n ge s t ur e s ,   b ut   a l s o   m o r e   s t a b l e   a n d   e ff i c i e n t   f o r   r e a l - t i m e   a ppl i c a t i o n s .   T h e   s y s t e m   w i l l   b e   i n t e g ra t e w i t O pe n CV   t o   h a ndl e   i m a ge   p r o c e s s i n g   s t r a i g ht   f r o m   t h e   c a m e ra .   T hr o ug t hi s   a pp r o a c h,   t hi s   r e s e a r c a i m s   t o   i m p r o v e   c l a s s i f i c a t i o a c c u r a c y ,   p r e di c t i o s t a b i l i t y ,   a n d   t ra n s c r i p t i o e rr o s o   t ha t   t hi s   S L R   s y s t e m   c a b e   b e t t e r   a nd  m o r e   e f f i c i e n t l y   a ppl i e d   i t h e   r e a l   w o r l d.       2.   M ET H O D   T h i s   r e s e a r c c o n duc t e d   s e v e r a l   e xpe r i m e nt s   w i t CN N ,   S V M ,   a n d   CN N - S V M   c o m b i na t i o m o de l s   us i n g   A f ka a r ' s   d a t a s e t   [2 1]   a s   t h e   b a s e l i n e   da t a s e t   w h i c c a b e   a c c e s s e t hr o ug t hi s   l i n k   ht t ps : / / w w w . ka ggl e . c o m / d a t a s e t s / m l a na n ga f ka a r / d a t a s e t s - l e m l i t b a n g - s i b i - a l p ha b e t s .   T h e   r e s e a r c h   s t a ge s   a r e   s h o w n   i F i gu r e   1 ,   w h i c i n c l ude s   da t a   p r e p r o c e s s i n by   pe r f o r m i ng  d a t a   a ug m e n t a t i o n ,   e xt ra c t i o n   ha n d   po i n t   c oo r di na t e s   w i t h   M e di a P i pe ,   f e a t u r e   e xt r a c t i o n   us i n CN N ,   a nd  c l a s s i f i c a t i o n   w i t h   S V M .   T h e   m o de l   i s   e v a l ua t e us i n g   a c c ur a c y   m e t r i c s   a n d   t r a i n i ng   a nd   l o s s   pl o t s ,   t h e M W M V   a nd   S y m S pe l l   po s t - p r o c e s s i n g   a r e   a ppl i e d.   T h e   f i na l   s t a ge   i s   t h e   i n t e g r a t i o n   o f   t h e   r e a l - t i m e   S L R   w i t h   O pe n CV .   W e   c o n s t ruc t e e i g h t   e xpe r i m e nt a l   v a r i a n t s   t o   e v a l ua t e   t h e   i m pa c t   o f   da t a   a ug m e n t a t i o n ,   H P O ,   a nd  c l a s s i f i e r   s e l e c t i o o S IB s i g n   l a ngua ge   r e c o gn i t i o n .   T he   pu r po s e   of   t h e s e   e xpe r i m e n t s   i s   t o   de t e rm i n e   w h e t h e r   S V M   o ut pe r f o r m s   S o f t M a a s   a   c l a s s i f i e a n d   w h e t h e r   d a t a   a ugm e nt a t i o i m p r o v e s   ge n e ra l i z a t i o n   t f i n d   t h e   m o s t   e f fe c t i ve   a pp r o a c t o w a r ds   s i g l a ngua ge   re c o gn i t i o n.   T h e   e xpe ri m e nt a l   s e t up   a n d   m o de l   v a r i a t i o n s   a r e   de t a i l e d   i T a b l e   1.       T a b l e   1 .   S u m m a r i z e   o f   e xpe r i m e n t a l   s e t ups   E x p e ri m e n t   D a t a s e t   F e a t u r e   e x t ra c t o r   Cl a s s i fi e r   H y p e r p a ra m e t e o p t i m i z a t i o n   (H P O )   1   Ba s e l i n e   CN N   (Ba s e   m o d e l )   S o ft m a x   No   2   Ba s e l i n e   CN N   (H P O )   S o ft m a x   Y e s   3   Ba s e l i n e   -   S V M   Y e s   4   Ba s e l i n e   CN N   (H P O )   S V M   Y e s   5   A u g m e n t e d   CN N   (Ba s e   M o d e l )   S o ft m a x   No   6   A u g m e n t e d   CN N   (H P O )   S o ft m a x   Y e s   7   A u g m e n t e d   -   S V M   Y e s   8   A u g m e n t e d   CN N   (H P O )   S V M   Y e s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         R e al - t i m e   r e c og ni t i on   of   Ind one s i an  s i gn   l ang uage   SI B I   us i n   ( Sat r i adi   P ut r Sant i k a )   1201       F i gu r e   1 .   G e n e ra l   p r o c e s s   e xpe r i m e n t       2. 1 .     D ata   p r e p r o c e s s i n g   D a t a   p r e p r o c e s s i n i s   c o n d uc t e by   pe r f o r m i n da t a   a ugm e n t a t i o n .   D a t a   a ug m e n t a t i o n   w a s   pe r f o r m e t o   i n c r e a s e   t h e   a m o u n t   a n d   t h e   m o de l ' s   a b i l i t y   t o   ge n e ra l i z e   i n   r e c o gn i z i ng  t h e   d a t a   [ 22] .   V a ri o us   a ugm e nt a t i o n   t e c hni que s   w e r e   a ppl i e d,   s uc h   a s   r o t a t i o n= 4 ,   w i dt h   s hi f t = 0 . 2,   h e i g h t   s hi f t = 0 . 2,   s h e a r = 0 . 2 ,   z o o m = 0. 2,   a nd  h o r i z o n t a l   f l i p.   T hi s   a ug m e nt a t i o p r o c e s s   h e l ps   t h e   m o de l   a d a p t   t o   po s i t i o n   v a r i a t i o n s ,   m a k i n i t   m o r e   r o b us t   i n   ha n d l i n g   di v e r s e   r e a l - w o r l c o ndi t i o n s .   A f t e r w a r d ,   t h e   da t a s e t   w a s   di s p l a c e t o   e n s u r e   a n   o pt i m a l   b a l a n c e   fo r   m o de l   t ra i ni n a n e v a l u a t i o n .   T h e   a ug m e n t e t ra i ni n da t a   i s   di v i de i nt o   t r a i ni n g   a n d   v a l i d a t i o s e t s   a t   a   r a t i o   o f   8: 2,   t o   e n s u r e   t ha t   t h e   m o de l   l e a rn s   e f fe c t i ve l y   a nd  i s   v a l i da t e r e gul a r l y   t o   p r e v e n t   o v e r f i t t i n g .   T h e n ,   t h e   o r i g i n a l   v a l i d a t i o d a t a   i s   c o m b i n e w i t t h e   o ri gi na l   t e s t i n g   d a t a   t o   f o r m   a   n e w   t e s t i n g   s e t .   I t hi s   s t udy ,   t h e   a ugm e nt e d a t a   r e s ul t s   w i l l   n o t   b e   i n c l ude i t h e   t e s t i n g   s e t   t m a i n t a i t h e   i nt e g r i t y   of   t h e   e v a l ua t i o p r o c e s s   a n d   e n s u r e   t ha t   t h e   m o de l   i s   e v a l ua t e d   us i ng  o n l y   t h e   o ri gi na l   da t a .     2. 2 .     Ex tr ac h an d   p o i n c o o r d i n ate s   W e   a r e   us i n M e di a P i pe   a s   i t   i s   a   w e l l - p r o v e n   e xt ra c t i o m e t h o e s pe c i a l l y   fo r   ha n ge s t u r e   r e c o gn i t i o i a   r e a l - t i m e   c o n t e xt .   M e di a P i pe   c a de t e c t   21  po i nt s   o o n e   ha n d   b y   pr o j e c t i n g   t h e   ke y   po s i t i o n s   o f   e a c h   f i n ge r ,   p a l m ,   a n w r i s t ,   a s   s h o w n   i n   F i gu r e   2 .   T h e   c h o i c e   o f   us i n g   21   h a nd  l a ndm a r ks   i s   b a s e o n   i t s   e f fe c t i ve n e s s   i ge s t u r e - b a s e hum a n - c o m put e i nt e r a c t i o n   (H CI).   I t h i s   s t udy ,   w e   us e   M e di a P i pe   t o   e xt ra c t   42   c o o r di na t e   po i nt s   (x ,   y f r o m   o n e   h a n d .   E xt ra c t i ng  4 c o o r di n a t e   po i nt s   c a i n c r e a s e   pr e c i s i o i ge s t u r e   r e c o gn i t i o n.   T h e   42   c o o r di na t e   po i n t s   w i l l   b e   r e s h a pe d   i n t o   t h e   f o r m   (21 ,   2) ,   w h e r e   e a c h   ha n d   po i n t   c o n s i s t s   o f   a n d   y   c oo r di n a t e s .   T h e   e xt ra c t e ( 2 1, 2)   c o o r di n a t e   m a t r i x   s e r v e s   a s   t h e   i nput   f o t h e   f e a t ur e   e xt ra c t i o s t a ge ,   w h e r e   a   CN N   1D   m o de l   p r o c e s s e s   t h e   ha n d   t ra j e c t o r y   da t a   f o r   c l a s s i f i c a t i o [23] .           F i gu r e   2 T h e   21   ha n d   l a ndm a r ks   l o c a l i z e by   M e di a P i pe   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   3 9 ,   N o .   2 ,   A ugus t   20 25 :   1 198 - 1 210   1202   2. 3 .     F e atu r e   e x tr ac ti o n   A t   t hi s   s t a ge ,   t h e   r e s ul t s   o f   e xt ra c t i n g   ha n po i nt   c o o r di na t e s   w i t h   M e di a P i pe   w i l l   b e   e n t e r e i n t o   t h e   CN N 1D   m o de l   f o r   f e a t ur e   e x t r a c t i o n .   CN N 1D   i s   us e b e c a us e   of   i t s   a b i l i t y   t o   h a ndl e   s e que n t i a l   d a t a ,   s uc h   a s   ha n ge s t u r e s   [24 ] .   F e a t u r e   e xt r a c t i o n   i n   t hi s   p r o c e s s   a i m s   t o   i de nt i fy   pa t t e rn s   a nd  f e a t u r e s   t h a t   a r e   i m po rt a nt   i r e c o gni z i n g   e a c h a nd   m o v e m e n t   i s i g l a n g ua ge   s o   t ha t   t h e   m o de l   c a m o r e   a c c u r a t e l y   di s t i ngui s t h e   m o v e m e n t s   o f   e a c h   c l a s s   [25] .   T h e r e   a r e   t w o   CN N 1D   a r c hi t e c t u r e s   us e i t hi s   r e s e a r c h.   T h e   f i r s t   a r c hi t e c t u r e   r e f e r s   t o   t h e   b a s e   m o de l   a d a pt e d   f r o m   r e s e a r c c o n duc t e b y   A f ka a [15] .   I t h e   s e c o n a r c hi t e c t u r e ,   w e   pe r f o r m e H P O   t hr o ugh  R a ndo m S e a r c h CV   m e t h o w i t pa ra m e t e r s   f i l t e r s = [32,   64 ,   128] ,   ke r n e l   s i z e = [3 ,   5] ,   l e a rni n g   ra t e = [0 . 001 ,   0 . 00 05,   0. 0 001] ,   b a t c h   s i z e = [64 ,   128 ],   a n e po c h s = [100 ,   150] .   W e   l i m i t e t h e   num b e r   o CN N 1D   l a y e r s   t o   l a y e r s   a n d   f o un d   t ha t   t h e   b e s t   CN N 1 D   m o de l   i s   w i t p a r a m e t e r s   f i l t e r s = 12 8,   ke rn e l   s i z e = 5,   l e a rn i ng  ra t e = 0 . 00 1,   b a t c s i z e = 128 ,   a n d   e po c h s = 150 .     2. 4 .     C l as s i f i c a ti o n   A f t e r   t h e   p r o c e s s   o f   fe a t u r e   e xt r a c t i o n,   t h e   c l a s s i f i c a t i o n   o f   ha n ge s t u r e s   i s   do n e   by   t h e   SVM   m o de l   [10] [26 ] .   I t hi s   s t a ge ,   w e   a l s o   us e   R a n do m S e a r c h CV   t o   p e r f o r m   H P O   w i t h   ke rn e l   p a r a m e t e r s = [l i n e a r,   r b f ,   po l y ,   s i gm o i d],   g a m m a = [s c a l e ,   a u t o ],   de g r e e = [2,   3 ,   4 ,   5] ,   c o e f = [0. -   1],   a n C= [ 0. 00 1,   0 . 01 ,   0 . 1 ,   1,   10,   100] .   W e   pe r fo r m e H P O   t w i c e ,   n a m e l y   fo r   t h e   b a s e l i n e   da t a s e t   a n t h e   a ug m e nt e da t a s e t .   O n   t h e   b a s e l i n e   da t a s e t ,   t h e   b e s t   S V M   m o de l   i s   o b t a i n e w i t ke rn e l   p a r a m e t e r s = l i n e a r,   ga m m a = s c a l e ,   de g r e e = 4,   c o e f = 0. 2,   a n d   C = 10.   M e a n w h i l e ,   f o r   t h e   a ugm e n t e d   d a t a s e t ,   t h e   b e s t   S V M   m o de l   i s   o b t a i n e w i t ke rn e l   p a r a m e t e r s   =   l i n e a r,   ga m m a = a ut o ,   de g r e e = 2,   c o e f = 0. 8,   a n d   C = 100 .     2. 5 .     M o d e l   e v al u ati o n   In  t h e   e v a l u a t i o n   s t a ge ,   t h e   pe r f o r m a n c e   o f   t h e   m o de l   w i l l   b e   e xa m i n e i n   t w o   w a y s :   f i r s t ,   w i t t h e   a c c ur a c y   m e t r i c   a n s e c o n d,   by   a n a l y z i n g   a c c ura c y   a n l o s s   f un c t i o pl o t   du ri n g   t h e   t ra i n i n g   p r o c e s s .   T h e   a c c ur a c y   m e t r i c   w i l l   s h o w   h o w   w e l l   t h e   m o de l   c l a s s i f i e s   t h e   s i g l a ngua ge   i nt o   t h e   r i g ht   c l a s s   [27] M e a n w hi l e ,   t h e   pl o t   c a p r o v i de   i n s i g h t   i nt o   h o w   w e l l   t he   m o de l   l e a rn s   a nd  i de n t i fy   pr o b l e m s   s uc h   a s   ov e r f i t t i n g   a nd  u nde r f i t t i n g   [2 8] .     2. 6 .     P o s t - p r o c e s s i n g   In  t hi s   e xpe ri m e n t ,   po s t - p r o c e s s i n t e c hn i que s   a r e   us e t o   i m p r o v e   t h e   r e a l - t i m e   S IB S L R   s y s t e m   t o   m a ke   t h e   s y s t e m   m o r e   c o n s i s t e nt   a nd   r o b us t .   T h e r e   a r e   t w o   m e t h o ds ,   w h i c a r e   M W M V   a n d   S y m S pe l l .   M W M V   i s   a   s t r a t e gy   t h a t   c o m b i n e s   c l a s s i f i c a t i o n   r e s ul t s   f r o m   m ul t i p l e   o ve r l a ppi ng  d a t a   w i n do w s   t o   i m pr o v e   ge s t ur e   r e c o gn i t i o a c c u r a c y   [19] .   R e a l - t i m e   s y s t e m s   of t e n   pe r f o r m   p r e di c t i o n s   i n   a   s h o r t   a n d   c o n t i n uo us   t i m e   w hi c h   c a us e s   i n c o n s i s t e nt   p r e di c t i o n   r e s ul t s .   T h e r e f or e ,   i t hi s   s t udy ,   e a c w i n do w   i s   s e t   w i t hi n   s e c o n ds   t o   c o l l e c t   m ul t i p l e   p r e di c t i o n   r e s ul t s .   T h e   f i n a l   p r e d i c t i o n   r e s ul t   di s p l a y e w i l l   b e   de t e r m i n e b a s e o n   t h e   p r e di c t i o n   t h a t   a ppe a r s   m o s t   o f t e n   o w i t h   t h e   hi g h e s t   f r e que n c y .   A i l l us t ra t i o o f   t h e   M W M V   me t h o c a n   b e   s e e n   i n   F i gu r e   3 .   A l t h o ug h   t h e   c o n s i s t e n c y   of   pr e di c t i o n   h a s   i m p r o v e by   u s i n M W M V ,   s o m e   m i s c l a s s i f i c a t i o n   i s   s t i l l   po s s i b l e   w h i c h   w i l l   l e a d   t o   e rr o r s   i s pe l l i n g .   T o   a dd r e s s   t hi s ,   w e   a dde t h e   S y m S pe l l   m e t h o d.   S y m S pe l l   i s   a   m e t h o us e f o r   s p e l l i n g   c o rr e c t i o t ha t   i s   w e l l - k n o w n   f o r   i t s   hi g h   pe r f o r m a n c e   a n d   s pe e [20] ,   m a k i n g   i t   s ui t a b l e   t o   b e   a ppl i e t o   r e a l - t i m e   s y s t e m s .   If   t h e   r e s ul t i ng  s pe l l i n g   i s   n o t   c o rr e c t ,   S y m S pe l l   w i l l   s ugge s t   t h e   c l o s e s t   v a l i d   w o r a c c o r di n g   t o   t h e   Kam us   B e s ar   B ahas a   I n done s i a   (K B B I).   A i l l us t ra t i o o f   t h e   S y m S pe l l   m e t h o c a n   b e   s e e n   i n   F i gu r e   4 .           F i gu r e   3 .   I l l us t r a t i o o f   M W M V   m e t h o d           F i gu r e   4 .   I l l us t r a t i o o f   S y m S pe l l   m e t h o d   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         R e al - t i m e   r e c og ni t i on   of   Ind one s i an  s i gn   l ang uage   SI B I   us i n   ( Sat r i adi   P ut r Sant i k a )   1203   2. 7 .     S ys te m   i n t e g r at i o n   w i th   O p e n C V   In  t h i s   f i n a l   s t a ge ,   w e   i nt e gra t e d   t h e   S IB I   S L R   s y s t e m   w i t O pe n CV   f o r e a l - t i m e   ge s t u r e   r e c o gn i t i o n.   O pe n CV   i s   us e t o   c a pt u r e   a n d   p r o c e s s   i m a ge s   s o   a s   t o   r e c o gn i z e   ha n d   ge s t u r e s   t h e r e fo r e   a l l o w i n g   n o n - v e r b a l   i nt e ra c t i o w i t c o m put e r s   [29] [30] .   T h i s   w i l l   e n s u r e   t h a t   t h e   us e c a i n t e r f a c e   w i t h   t h e   s y s t e m   t hr o ug a   c a m e ra   t h a t   w i l l   c a p t u r e   t h e   ha n d   ge s t u r e s   o f   t h e   us e a nd  p r o v i de   r e s ul t s   i t h e   f o r m   o l i v e   l e t t e r   r e c o gn i t i o n .   T h e   i nt e g r a t i o s t e ps   a r e   s h o w n   i F i gu r e   5 .   T h e   s y s t e m   s t a rt e by   c a pt u r i ng  i m a ge   pe r   f ra m e   f r o m   v i de o s ,   t h e i t   w i l l   b e   pr o c e s s e s e que nt i a l l y   i n t o   CN N - S V M   c l a s s i f i c a t i o n   m o de l   t o   i de nt i f i e ha n d   ge s t u r e s .   T o   e nha n c e   p r e d i c t i o s t a b i l i t y ,   a M W M V   a n d   S y m S pe l l   t e c hn i q ue   ha s   b e e us e a s   a   po s t - pr o c e s s i n g   m e t h o d,   a n d   t h e   f i na l   p r o c e s s e t e xt   i s   di s pl a y e o n   t h e   us e i nt e r f a c e   a n d   p r o v i de   r e a l - t i m e   f e e d b a c k.           F i gu r e   5 .   R e a l - t i m e   i nt e gra t i o f e e d b a c f l ow       3.   R ES U LT  A N D   D I S C U S S I O N   3. 1 .     D ata   p r e p r o c e s s i n g   A f t e r   a u gm e n t a t i o n ,   t h e   a m o unt   o f   da t a   i n   t h e   d a t a s e t   ha s   i n c r e a s e s i g ni f i c a n t l y .   T h e   da t a s e t   t ha t   o r i gi na l l y   c o n s i s t e o f   1 , 092  i m a ge s   f o r   t ra i ni n d a t a ,   220   i m a ge s   f o r   v a l i d a t i o da t a ,   a n 26  i m a ge s   f o r   t e s t i n da t a ,   i s   n o w   e xpa n de t o   5 , 497   i m a ge s   i n   t r a i ni n da t a ,   1 , 387  i m a ge s   i v a l i da t i o da t a ,   a n d   246   i m a ge s   f o r   t e s t i n g   da t a .   T h i s   a dj us t m e nt   e n s u r e s   t ha t   e a c c l a s s   ha s   a   m o r e   b a l a n c e n u m b e r   o f   s a m pl e s   s o   t h a t   t h e   m o de l   c a n   l e a rn   f r o m   a   w i de r   v a r i e t y   a n i m p r o v e   i t s   ge n e ra l i z a t i o n   a b i l i t y .   In  a dd i t i o n,   i n c r e a s i n t h e   a m o unt   o f   t e s t i n g   d a t a   a l l o w s   fo r   a   m o r e   r e p r e s e n t a t i v e   e v a l ua t i o n   o f   t h e   m o de l ,   r e duc i ng  t h e   ri s o ov e r f i t t i n g   t ha t   a ri s e s   f r o m   a   t o o   l i m i t e d   a m o unt   o f   da t a   [31] .   F i gu r e   6   s h o w s   a n   e xa m pl e   o f   da t a   a ugm e nt a t i o r e s ul t s .           F i gu r e   6 .   E xa m p l e   o f   da t a   a u gm e n t a t i o r e s ul t       3. 2 .     M o d e l   p e r fo r m an c e   an al ys i s   E v a l ua t i o n   o f   m o de l   pe r fo r m a n c e   i S L R   i s   a n   i m po r t a n t   s t e t o   de t e r m i n e   t h e   e ff e c t i v e n e s s   of   t h e   a pp r o a c us e i n   t h i s   s t udy .   Co m pa r i s o n s   w e r e   m a de   o n   v a ri o us   m o de l   c o n f i gur a t i o n s ,   i n c l udi ng  CN N   b a s e   m o de l   [15] ,   CN N   w i t h   H P O ,   S V M   a s   t h e   c l a s s i f i e r ,   a n a   c o m b i na t i o n   o f   CN N   (H P O )+ S V M .   M o r e o ve r ,   t hi s   e xpe r i m e nt   a l s o   e v a l ua t e s   t h e   i m p a c t   o f   da t a   a ug m e nt a t i o o m o de l   pe r f o r m a n c e   i n   t r a i n i ng,   v a l i da t i o n,   a n d   t e s t i n g   da t a .   T a b l e   s h o w s   t h e   c o m pa r i s o o f   t ra i ni n g ,   v a l i da t i o n,   a n d   t e s t i n g   a c c ura c y   f o r   e a c m o de l   c o n f i gur a t i o n ,   b o t h   o n   t h e   b a s e l i n e   d a t a s e t   (w i t h o ut   a ug m e nt a t i o n a n d   t h e   a ug m e n t e da t a s e t .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   3 9 ,   N o .   2 ,   A ugus t   20 25 :   1 198 - 1 210   1204   T a b l e   1 .   Co m p a r i s o o f   m o de l   a c c ura c y   fo r   e a c h   e xp e r i m e nt   No   E x p e ri m e n t   T ra i n i n g   a c c u ra c y   V a l i d a t i o n   a c c u ra c y   T e s t i n g   a c c u ra c y   1   Ba s e l i n e   d a t a s e t   +   CN N   (Ba s e   m o d e l )   9 4 . 1 %   8 8 . 8 %   9 6 . 1 %   2   Ba s e l i n e   d a t a s e t   +   CN N   (H P O )   9 9 . 7 %   9 6 . 1 %   1 0 0 %   3   Ba s e l i n e   d a t a s e t   +   S V M     1 0 0 %   97%   1 0 0 %   4   Ba s e l i n e   d a t a s e t   +   CN N   (H P O )+ S V M   1 0 0 %   98%   1 0 0 %   5   A u g m e n t e d   d a t a   +   CN N   (Ba s e   m o d e l )   9 6 . 8 %   9 0 . 4 %   7 7 . 5 %   6   A u g m e n t e d   d a t a   +   CN N   (H P O )   9 5 . 1 %   9 5 . 8 %   9 0 . 1 %   7   A u g m e n t e d   d a t a   +   S V M   95%   87%   84%   8   A u g m e n t e d   d a t a   +   CN N   (H P O )+ S V M   1 0 0 %   96%   91%       B a s e o n   T a b l e   2,   a c c u r a c y   t e n ds   t o   de c r e a s e   a f t e r   da t a   a ug m e nt a t i o n.   T h i s   i s   due   t o   t h e   i n c r e a s e   i n   da t a s e t   s i z e ,   w h i c m a ke s   i t   m o r e   di f f i c ul t   f o t h e   m o de l   t o   e ffe c t i ve l y   e xt r a c t   f e a t u r e s   f r o m   e a c i m a ge .   H ow e ve r ,   de s pi t e   t h e   s l i g ht   de c r e a s e   i n   a c c ura c y ,   t h e   a ug m e nt e d a t a s e t   i s   s t i l l   b e t t e t ha t h e   b a s e l i n e   da t a s e t   b e c a us e   da t a   a ug m e n t a t i o n   h e l ps   i m p r o v e   t h e   ge n e ra l i z a t i o n   o f   t h e   m o de l .   W i t a ug m e n t a t i o n ,   t h e   m o de l   i s   f o r c e t o   l e a rn   f r o m   a   w i de r   ra n ge   o f   v a r i a t i o n s ,   s uc a s   f l i p pi n g ,   r o t a t i o n ,   a nd  s c a l e ,   t hus   i m p r o v i n g   i t s   a b i l i t y   t o   r e c o gn i z e   s i g l a n gu a ge   ge s t u r e s   u n de r   r e a l - w o r l d   c o n di t i o n s   [32 ] .   A l t hni a e t   al [33]   m e nt i o n e d   t h a t   s m a l l   da t a s e t s   c a c a us e   o ve r f i t t i ng   a nd   h i nde t h e   m o de l ' s   a b i l i t y   t o   ge n e ra l i z e   t o   n e w   da t a .   T h e r e f o r e ,   t h e   us e   o f   da t a   a ugm e nt a t i o n   pl a y s   a n   i m po rt a nt   ro l e   i n   i n c r e a s i n t h e   m o de l ' s   r o b us t n e s s   t o   i n put   v a r i a t i o n s .   A dd i t i o na l l y ,   a l t h o ug d a t a   a ug m e n t a t i o h e l p s   i m p r o v e   ge n e ra l i z a t i o n ,   i t s   i m pa c t   m a y   v a r y   de pe n di n g   o t h e   c o m pl e xi t y   o f   t h e   m o de l ,   t h e   qu a l i t y   of   t he   da t a s e t ,   a n d   t h e   p r e p r o c e s s i n g   t e c hn i que s   us e d.   In  s o m e   c a s e s ,   n o n - o pt i m i z e m o de l s   m a y   s t r ugg l e   t o   a d a pt   t o   t h e   i n c r e a s e di v e r s i t y   i n   t h e   a u gm e n t e da t a ,   l e a di n g   t o   s l i g h t   f l uc t ua t i o n s   i n   a c c u r a c y .   T h i s   hi g hl i g ht s   t h e   i m po r t a n c e   o f   b a l a n c i n g   d a t a s e t   e xpa n s i o n   w i t pr o pe h y pe r pa ra m e t e r   t u ni n g ,   a s   e xc e s s i v e   a ugm e n t a t i o w i t h o ut   o pt i m i z a t i o c a i n c r e a s e   c o m put a t i o n a l   c o m pl e xi t y   w i t h o ut   s i g n i f i c a nt   pe r f o r m a n c e   ga i n s .   In   a dd i t i o n ,   t h e   e xpe ri m e n t a l   r e s ul t s   a l s o   s h o w   t h a t   a pp l y i n H P O   us i n R a ndo m S e a r c h CV   c a s i g n i f i c a n t l y   i m p r o v e   t h e   a c c ura c y   of   t h e   m o de l   o b o t t he   b a s e l i n e   a n d   a ug m e nt e d a t a s e t s .   T hi s   s h o w s   t h a t   H P O   i s   e f fe c t i ve   i de t e rm i ni n g   t h e   b e s t   p a r a m e t e r s   f o r   t h e   m o de l ,   a s   a l s o   di s c o ve r e i t h e   s t udy   of  E r de n   e t   a l [3 4] .   M o de l s   o pt i m i z e w i t H P O   s h o w e c o n s i s t e nt   pe r f o r m a n c e   i m p r o v e m e n t ,   e s pe c i a l l y   o n   m o r e   v a ri e da t a s e t s   a f t e r   a u gm e n t a t i o n.   T h e   e f fe c t i ve n e s s   of   H P O   i s   e s p e c i a l l y   n o t i c e a b l e   a f t e r   da t a   a ugm e nt a t i o n,   w h e r e   t h e   c o m pl e xi t y   of   t h e   da t a s e t   i n c r e a s e s .   W i t h o ut   o pt i m i z a t i o n ,   m o de l s   m a y   s t r ugg l e   t o   e ff i c i e n t l y   e xt r a c t   r e l e v a nt   pa t t e rn s   f r o m   m o r e   di v e r s e   d a t a s e t s ,   l e a d i n g   t o   pe r f o r m a n c e   i n c o n s i s t e n c i e s .   H ow e ve r ,   H P O   h e l ps   s t a b i l i z e   l e a rni n g   by   s e l e c t i n g   o pt i m a l   h y pe r pa ra m e t e r s ,   e n s u r i ng  t h a t   t h e   m o de l   r e m a i n s   r o b us t   e ve n   w h e n   t r a i n e o n   l a rge a nd  m o r e   c o m pl e da t a s e t s .   F urt h e rm o r e ,   w h e c o m pa r e d   b e t w e e n   t h e   CN N ,   S V M ,   a nd  CN N - S V M   c o m b i na t i o m o de l s ,   t h e   r e s ul t s   s h o w   t ha t   t h e   CN N - S V M   c o m b i na t i o ha s   b e t t e pe rfo r m a n c e   t ha n   t h e   s i ngl e   m o de l .   O n   t h e   b a s e l i n e   da t a s e t ,   t h e   d i f f e r e n c e   i n   pe r f o r m a n c e   b e t w e e n   m o de l s   m a y   n o t   b e   v e r y   n o t i c e a b l e   be c a us e   t h e   d a t a s e t   s i z e   i s   t o o   s m a l l   s o   t h a t   a l l   m o de l s   t e n d   t o   o ve r f i t t i ng  w i t h   v e r y   hi g h   a c c ur a c y   r e a c hi n 10 0% .   H ow e v e r ,   o n   t h e   a ugm e nt e d a t a s e t ,   t h e r e   i s   a i n c r e a s e   i a c c ur a c y   f r o m   C N N   (90. 1%)   a nd  S V M   (84%)   t o   91 w i t t h e   CN N - S V M   c o m b i n a t i o n .   T hi s   r e s ul t   f urt h e s t r e n gt h e n s   t he   t h e o r y   put   f o r w a r by   K h a i r a ndi s h   e t   al [3 5]   w h i c s t a t e s   t ha t   t h e   CN N - S V M   c o m b i na t i o c a i m p r o ve   a c c u ra c y   c o m pa r e t o   us i n g   CN N   a n d   S V M   s e pa ra t e l y .   T h e   i m p r o v e pe r f o r m a n c e   o f   CN N - S V M   o a u gm e nt e d   da t a   s h o w s   t ha t   t h i s   c o m b i na t i o m o de l   i s   m o r e   r o b us t   i n   ha n d l i ng  ha n d   ge s t u r e   v a r i a t i o n s ,   a s   CN N   e ff i c i e n t l y   e xt ra c t s   s pa t i a l   f e a t u r e s ,   w hi l e   S V M   pe r f o r m s   w e l l   i hi g h - di m e n s i o na l   c l a s s i f i c a t i o t a s ks .   M o re ove r ,   t h e   c o m b i na t i o r e duc e s   m i s c l a s s i f i c a t i o n   e rr o r s ,   e s pe c i a l l y   i c a s e s   w h e r e   s e v e r a l   s i g n   ge s t u r e s   s ha r e   s i m i l a v i s ua l   c h a ra c t e r i s t i c s ,   p r o v i n i t s   e ffe c t i ve n e s s   i n   r e a l - w o r l a pp l i c a t i o n s .   M o r e ov e r ,   i f   w e   l o o a t   t h e   a c c ura c y   a n l o s s   pl o t s   du ri n t he   t r a i n i n g   p r o c e s s ,   w e   c a n   ge t   a i n s i g h t   i n t o   t h e   s t a b i l i t y   of   t h e   t ra i ni n g   a nd   t h e   a b i l i t y   o f   t h e   m o de l   t o   ge n e ra l i z e .   T h e   a c c ura c y   a n d   l o s s   pl o t   c o m pa ri s o a r e   s h o w n   i F i gu r e   7 .   S pe c i f i c a l l y ,   F i gu r e   7( a )   p r e s e nt s   t h e   a c c ura c y   a n d   l o s s   pl o t   f o r   e xpe r i m e nt   1 ,   F i gu r e   7(b p r e s e n t s   t h e   a c c u r a c y   a n d   l o s s   pl o t   fo r   e xpe ri m e n t s   a n 4 ,   F i gu r e   7(c p r e s e n t s   t h e   a c c u r a c y   a n d   l o s s   pl o t   f o r   e xpe ri m e n t   5 ,   a n d   F i g u r e   7(d)   p r e s e nt s   t h e   a c c u r a c y   a n d   l o s s   pl o t   f o r   e xpe r i m e nt s   6   a nd  8 .     B a s e o n   F i g u r e s   7( a )   t o   7(c ),   i t   c a b e   s e e n   t ha t   t h e   t ra i ni ng  p r o c e s s   i s   n o t   s t a b l e ,   c h a ra c t e r i z e by   s i g n i f i c a n t   f l uc t ua t i o n s .   T hi s   p a t t e rn  i n d i c a t e s   t h a t   t h e   m o de l   ha s   n o t   b e e n   a b l e   t o   a c hi e v e   c o n v e r ge n c e   w e l l ,   a n d   t h e r e   a r e   i ndi c a t i o n s   o f   o ve r f i t t i ng   i t h e   e xpe r i m e n t .   T h i s   c a b e   a t t r i b ut e d   t o   t h e   b a s e l i n e   d a t a s e t   b e i n t o o   s m a l l   s o   t ha t   t h e   m o de l   t e n ds   t o   m e m o r i z e   t h e   t ra i ni n g   d a t a   w i t h o ut   b e i n g   a b l e   t o   r e c o gn i z e   n e w   pa t t e rn s .   In  a d di t i o n,   t h e   t ra i ni n g   a c c u r a c y   a n l o s s   c o n t i n ue s   t o   de c re a s e   b ut   t h e   v a l i d a t i o n   a c c ura c y   a n l o s s   r e m a i f l uc t ua t i ng  i l l us t r a t e s   t ha t   t h e   m o de l   ha s   d i f f i c ul t y   i ge n e ra l i z i n g   t h e   v a l i d a t i o da t a .   In  c o n t ra s t   t o   t h e   p r e v i o us   r e s ul t s ,   F i gu r e   7 (d)  s h o w s   t ha t   t he   t ra i ni n g   p r o c e s s   i s   m o r e   s t a b l e   w i t h   a   s m o o t h e a c c ura c y   a n d   l o s s   pl o t   t ha t   t e n ds   t o   c o n v e r ge .   T h i s   i n d i c a t e s   t h a t   t h e   m o de l   i s   b e t t e a b l e   t Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         R e al - t i m e   r e c og ni t i on   of   Ind one s i an  s i gn   l ang uage   SI B I   us i n   ( Sat r i adi   P ut r Sant i k a )   1205   ge n e ra l i z e   t h e   d a t a   a n d   do e s   n o t   e xpe ri e n c e   e xc e s s i ve   f l uc t ua t i o n s   du r i ng  t h e   t ra i ni n g   p r o c e s s ,   w h i c h a s   b e e n   s h o w n   t o   i m p r o v e   m o d e l   s t a b i l i t y   a nd  m a xi m i z e   t h e   t r a i n i ng  p r o c e s s .   T hi s   f i n d i n i s   i n   l i n e   w i t h   r e s e a r c c o n duc t e b y   R a o   [36] ,   w h i c h   s h o w s   t ha t   H P O   pl a y s   a i m po rt a nt   r o l e   i de t e rm i ni n g   t h e   o pt i m a l   pa r a m e t e r s   t o   i m p r o v e   m o de l   ge n e r a l i z a t i o i n   de e l e a rni n g - b a s e c l a s s i f i c a t i o n .   T h e   s m o o t h e r   c o n v e r ge n c e   s e e n   i n   F i gu r e   7(d)   s ugge s t s   t ha t   H P O   n o t   o nl y   f i n e - t u n e s   t h e   h y pe r pa r a m e t e r s   b ut   a l s o   h e l ps   i n   a c h i e v i n g   a   b e t t e r   b a l a n c e   b e t w e e n   u n de r f i t t i n a n d   o v e r f i t t i n g.   T h e   a b i l i t y   of   t h e   m o de l   t o   ge n e ra l i z e   w e l l   w i t h o ut   s ha r f l uc t ua t i o n s   i s   c r uc i a l   f o r   r e a l - t i m e   a p pl i c a t i o n s ,   w h e r e   c o n s i s t e n c y   a n r e l i a b i l i t y   i n   p r e d i c t i o n s   a r e   e s s e n t i a l   fo r   us e r   i n t e r a c t i o a n d   p ra c t i c a l   de p l oy m e n t .   F r o m   t h e   a na l y s i s   t ha t   ha s   b e e n   p r e s e n t e d,   i t   c a b e   c o n c l ude d   t ha t   t h e   b e s t   m o de l   i s   f o un d   i n   e xpe r i m e nt   8 ,   w hi c h   i s   a   m o de l   t h a t   c o m b i n e s   CN N   (H P O w i t h   S V M   us i n g   a ugm e n t e d   da t a .   T h i s   m o de l   w a s   c h o s e n   a s   t h e   b e s t   m o de l   b e c a us e   i t   h a s   t h e   m o s t   s t a b l e   t ra i ni n p r o c e s s   a n p r o duc e s   91%  t e s t i n a c c ur a c y   o n   a ugm e nt e d a t a .   A f t e t hi s ,   t h e   b e s t   m o de l   w i l l   b e   us e i t h e   de v e l o pm e n t   o f   t h e   r e a l - t i m e   S IB S L R   s y s t e m   t o   e n s u r e   t h e   s y s t e m   c a n   ru n   s t a b l y   a n d   a c c u r a t e l y   i n   r e a l - w o r l s c e na r i o s .           (a )     (b )         (c )   (d)     F i gu r e   7 .   P l o t   a c c ura c y   a n d   l o s s   t r a i n i ng  a n d   v a l i da t i o (a e xpe r i m e n t   1,   (b e xpe r i m e nt   2   a nd   4,     (c e xpe r i m e n t   5,   a nd  ( d)  e xpe r i m e n t   a n d   8       3. 3 .     P o s t - p r o c e s s i n r e s u l t   T h e   s t a b i l i t y   of   s i gn  l a n g ua ge   r e c o gn i t i o r e s ul t s   i s   a i m p o r t a nt   f a c t o r   i r e a l - t i m e   s y s t e m s .   T h e   a pp l i c a t i o o f   M W M V   i s   do n e   t o   o v e r c o m e   c l a s s i f i c a t i o i ns t a b i l i t y   due   t o   ra p i d   f ra m e   c ha ng e s   [ 1 9] .   F i gu re   8   s h o w s   t h e   ha n d   ge s t u r e   r e c o gn i t i o r e s ul t s .   S pe c i f i c a l l y ,   F i gu r e   8 (a )   s h o w s   t h e   ha n d   ge s t u r e   r e c o gn i t i o r e s ul t s   w i t h o ut   M W M V   a n d   F i gu r e   8(b s h o w s   t h e   h a nd  ge s t ur e   r e c o gn i t i o n   r e s ul t s   w i t M W M V .   B a s e o n   F i gu r e   8(a ),   w i t h o ut   t h e   us e   o f   M W M V ,   t h e   r e c o gn i t i o r e s ul t s   a r e   v e r y   un s t a b l e ,   w i t l e t t e r s   c o n s t a nt l y   c h a ngi n g   i e a c h   f r a m e .   A s   a   r e s ul t ,   t h e   r e c o gn i z e l e t t e r s   c a nn o t   b e   p r o pe r l y   a rr a nge i nt o   m e a n i ngf ul   w o r ds   o r   s e n t e n c e s .   T h i s   i s   d ue   t o   t h e   s i m i l a r i t y   i t h e   s ha pe   o f   s o m e   h a nd   ge s t u r e s   i t h e   S IB a l p ha b e t   w h i c h   c a us e s   t h e   m o de l   t o   o f t e n   m i s r e c o gn i z e   l e t t e rs   i t o o   f a s t   f r a m e   c ha n ge s .   In  c o nt r a s t   t o   F i gu r e   8(b ),   a f t e a pp l y i n g   M W M V ,   t h e   r e c ogni t i o r e s ul t s   b e c o m e   m o r e   s t a b l e   a n d   c o n s i s t e n t .   T hr o ug h   t h e   M W M V   m e t h o d,   t h e   s y s t e m   c a n   f i l t e r   o ut   t h e   m o s t   f r e qu e n t   c l a s s i f i c a t i o n   r e s ul t s   w i t h i a   2s   pe r i o s o   t ha t   t h e   r e c o gn i z e l e t t e r s   a r e   m o r e   a p pr o p r i a t e   a n d   c a n   b e   a rra n ge d   i nt o   c o r r e c t   w o r ds ,   s uc h   a s   H A L O   i n   F i g u r e   8(b ).   T h us ,   t h e   us e   o f   M W M V   n o t   o n l y   i m pr o v e s   t h e   s t a b i l i t y   of   t h e   S L R   s y s t e m   b ut   a l s o   p r o v i d e s   b e t t e r   us e e xpe ri e n c e .   T h i s   r e s ul t   i s   i l i ne   w i t t h e   r e s e a r c c o n duc t e d   by   P a df i e l e t   a l Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i V o l .   3 9 ,   N o .   2 ,   A ugus t   20 25 :   1 198 - 1 210   1206   [37]   a nd  W a h i e t   al .   [1 9] ,   w h i c h   s h o w e t ha t   M W M V   i s   e f f e c t i v e   i n   c o r r e c t i ng  c l a s s i f i c a t i o n   e rr o r s   i n   r e a l - w o r l d   s c e n a ri o s .   T h e   i n c r e a s e d   s t a b i l i t y   p r o v i de by   M W M V   i s   pa rt i c ul a r l y   i m po r t a n t   i r e a l - t i m e   a ppl i c a t i o n s ,   w h e r e   c o n t i nuo us   m o t i o a nd   e n v i r o nm e n t a l   f a c t o r s   c a c a us e   c l a s s i f i c a t i o i n c o n s i s t e n c i e s .   By   r e duc i n r e c o gn i t i o n   f l uc t ua t i o n s ,   M W M V   h e l ps   t o   m i ni m i z e   c l a s s i f i c a t i o n   e rr o r s   c a us e by   t e m po r a r y   h a n d   po s i t i o n   c ha n ge s   o m o t i o n   b l u r,   t h us   e n s u ri n t ha t   t h e   s y s t e m   r e m a i n s   r e l i a b l e   u n de r   v a ri o us   c o n di t i o n s .           (a )   (b )     F i gu r e   8 .   R e c o gn i t i o n   r e s ul t   ( a w i t h o ut   M W M V   a nd  (b w i t M W M V       A l t h o ug h   M W M V   h a s   i m p r o v e r e c o gn i t i o n   s t a b i l i t y ,   t h e r e   a r e   s t i l l   s pe l l i n g   e rr o r s   t ha t   r e qui r e   a ddi t i o na l   c o rr e c t i o n.   T h e r e f o r e ,   t h e   S y m S pe l l   m e t h o i s   a ppl i e a s   a n   a dd i t i o n a l   po s t - p r o c e s s i n s t a ge   t c o r r e c t   s pe l l i n g   e rr o r s   t h a t   o c c ur   du ri n g   c l a s s i f i c a t i o n.   F i gu r e   9   s h o w s   t h e   ha n d   ge s t u r e   r e c o gn i t i o r e s ul t s .   S pe c i f i c a l l y ,   F i gu r e   9( a )   s h o w s   t h e   ha n d   ge s t u r e   r e c o gn i t i o r e s ul t s   w i t h o ut   S y m S pe l l   a nd  F i gu r e   9 (b s h o w s   t h e   h a nd  ge s t u r e   r e c o gn i t i o n   r e s ul t s   w i t S y m S pe l l .     B a s e o n   F i gu r e   9(a ),   b e fo r e   t h e   a p pl i c a t i o o f   S y m S pe l l ,   t h e   s y s t e m   r e c o gn i z e t h e   w o r d   a s   K A E B A R   w h i c do e s   n o t   m a t c h   t h e   de s i r e w o r d.   T hi s   e rr o r   o c c ur s   due   t o   un s t a b l e   l e t t e r   r e c o gn i t i o n   i s o m e   f r a m e s   s o   t h a t   t h e   s y s t e m   p r o duc e s   a i n c o rr e c t   a rra nge m e n t   o f   l e t t e r s .   A f t e r   t h e   S y m S pe l l   m e t h o i s   a ppl i e d,   t h e   s y s t e m   c a n   c o rr e c t   t h e   r e c o gn i t i o r e s ul t   i n t o   a   m o r e   a pp r o p r i a t e   w o r d,   na m e l y   K A B A R   a s   s h o w n   i F i g u r e   9(b ).   T h e   s uc c e s s   of   t h i s   c o rr e c t i o s h o w s   t h a t   t h e   i nt e g r a t i o o f   S y m S pe l l   i n   t h e   s y s t e m   c a n   i n c r e a s e   t h e   m o de l ' s   r e s i s t a n c e   t o   s pe l l i ng   e rr o r s   s o   t ha t   t h e   r e c o gn i t i o n   r e s ul t s   b e c o m e   m o r e   a c c ura t e   a nd   e a s i e t o   unde r s t a n d .   T hi s   i s   i l i n e   w i t t h e   r e s e a r c o f   R i v e r a - A c o s t a   e t   a l [38 ]   w hi c s h o w s   t ha t   t h e   a ppl i c a t i o o s pe l l i n c o rr e c t i o n   i s i g l a n gu a ge   t ra n s l a t i o n   s y s t e m s   c a i n c r e a s e   t h e   m o de l ' s   r o b us t n e s s   t o   v a ri a t i o n s   i n   i n put   l e t t e r s .   By   a ut o m a t i c a l l y   c o r r e c t i ng   m i s c l a s s i f i e w o r ds ,   S y m S pe l l   e n s u r e s   t h a t   r e c o gn i t i o e rr o r s   do   n o t   s i g ni f i c a nt l y   i m pa c t   t h e   m e a n i ng   o f   t h e   o ut pu t ,   m a k i n g   t h e   s y s t e m   m o r e   p ra c t i c a l   f o r   r e a l - w o r l d   us e .   T hi s   i m p r o v e m e n t   i s   pa rt i c ul a r l y   i m po r t a n t   i r e a l - t i m e   s c e n a ri o s ,   w h e r e   s m a l l   v a r i a t i o n s   i n   ha n d   ge s t u r e s   o r   m o m e n t a r y   r e c o gn i t i o n   e rr o r s   c a n   l e a t o   i n c o m p r e h e n s i b l e   r e s ul t s ,   h i g hl i g h t i n t h e   i m po r t a n t   r o l e   po s t - pr o c e s s i n pl a y s   i n   m a i n t a i ni n g   s y s t e m   r e l i a b i l i t y .           (a )   (b )     F i gu r e   9 .   R e c o gn i t i o n   r e s ul t   ( a w i t h o ut   S y m S pe l l   a n d   (b w i t h   S y m S pe l l     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         R e al - t i m e   r e c og ni t i on   of   Ind one s i an  s i gn   l ang uage   SI B I   us i n   ( Sat r i adi   P ut r Sant i k a )   1207   By   a ppl y i n M W M V   a n d   S y m S pe l l   a s   po s t - p r o c e s s i n g   m e t ho ds ,   t h e   s y s t e m   b e c o m e s   m o r e   s t a b l e   i c o m pos i n g   m e a ni n gf ul   w o r ds .   T h i s   i s   e s pe c i a l l y   i m po rt a nt   i r e a l - t i m e   a pp l i c a t i o n s   a s   e rr o r s   i n   r e c o gni t i o n   c a b e   c o r r e c t e i m m e di a t e l y ,   r e s ul t i n g   i a   m o r e   n a t u ra l   a nd  us e r - f r i e n dl y   o ut put .   T h e s e   t w o   m e t h o ds   e n s u r e   t h a t   e v e i f   t h e r e   a r e   v a r i a t i o n s   i ha n d   ge s t u r e s   o r   m i s c l a s s i f i c a t i o n s ,   t h e   r e c o gn i t i o n   r e s ul t s   r e m a i n   a pp r o pri a t e   a nd  f o r m   a   m e a n i ngf ul   w o r d.     3. 4 .     S ys te m   i n t e g r ati o n     A f t e r   a l l   t h e   s y s t e m s   ha v e   b e e s uc c e s s f ul l y   c r e a t e d,   t h e   l a s t   s t e p   i s   t o   i n t e g r a t e   a l l   t h e   m a i n   c o m po n e n t s   w i t O pe n CV   s o   t ha t   t h e y   c a b e   r e c o gn i z e i r e a l - t i m e .   T h i s   i nt e g r a t i o a l l o w s   t h e   r e a l - t i m e   S IB s i g n   l a n g ua ge   r e c o gni t i o n   a pp l i c a t i o t o   c a p t u r e   a n d   r e c o gn i z e   t h e   us e r ' s   h a nd  m o v e m e n t s   d i r e c t l y .   F i gu r e   10   s h o w s   t h e   a ppe a ra n c e   o f   t h e   a ppl i c a t i o n   t h a t   ha s   b e e n   i n t e g r a t e d.   T hr o ug t hi s   i nt e g r a t i o n,   t h e   ap pl i c a t i o n   c a n   r e c o gni z e   r e a l - t i m e   h a nd  ge s t u r e s   f r o m   c a m e ra   (w e bc a m i n pu t ,   t ra n s l a t e   t h e m   i nt o   l e t t e r s ,   a n a s s e m b l e   t h e m   i nt o   a   w o r d,   s uc h   a s   A P A   K A B A R .   M W M V   a n d   S y m S pe l l   m e t h o ds   a l s o   m a ke s   s u r e   t h e   a s s e m b l e l e t t e r s   t o   w o r ds   a r e   m e a ni n gf ul .   T hi s   a l l o w s   t h e   a p pl i c a t i o t o   n o t   o n l y   r e c o gn i z e   ge s t u r e s   a c c ur a t e l y   b ut   a l s o   p r o v i de   o ut put   t ha t   i s   m o r e   n a t u ra l   a n d   e a s i l y   un de r s t o o by   t h e   us e r.   T h e s e   f i n d i n gs   ha v e   s i g n i f i c a nt   i m p l i c a t i o n s   f o r   t h e   de v e l o pm e n t   o f   r e a l - t i m e   a s s i s t i v e   c o m m uni c a t i o n   t e c hn o l o gi e s ,   pa r t i c ul a rl y   f o r   i ndi v i dua l s   w i t h   h e a ri n a n s pe e c h   i m p a i rm e n t s .   T h e   s uc c e s s f ul   i n t e g ra t i o n   o f   CN N - S V M   w i t O pe n CV ,   M W M V ,   a nd  S y m S pe l l   de m o n s t r a t e s   t ha t   a   h y b r i a pp r o a c h   c a i m p r o v e   a c c ur a c y ,   s t a b i l i t y ,   a n us a b i l i t y   i n   r e a l - w o r l a ppl i c a t i o n s .   M o r e ov e r ,   w i t h   t h e   s y s t e m   n o w   f ul l y   i n t e g r a t e a n d   c a pa b l e   o f   r e c o gn i z i ng  s i g l a n gu a ge   i r e a l - t i m e ,   i t   c a s e r v e   a s   a   p ra c t i c a l   t o o l   f o r   f a c i l i t a t i ng  m o r e   i n c l us i v e   c o m m u n i c a t i o n ,   b r i d gi n g   t h e   ga p   b e t w e e n   s i g l a n gu a ge   us e r s   a n d   t h e   pub l i c ,   a n s uppo r t i ng  e duc a t i o na l   e n v i r o n m e n t s   w h e r e   l e a rni n g   s i g l a ngua ge   i s   e s s e n t i a l .           F i gu r e   10 .   R e s ul t   o f   s y s t e m   i n t e g ra t i o n       4.   C O N C LU S I O N   S L R   i s   e s s e n t i a l   i b ri dg i n c o m m u ni c a t i o ga ps   f o r   i n di v i du a l s   w i t h e a ri n a n d   s pe e c h   i m p a i rm e n t s ,   e na b l i n g   g r e a t e a c c e s s i b i l i t y   a n d   i n c l us i o i da i l y   i nt e ra c t i o n s .   H ow e ve r ,   a c hi e v i n g   s t a b l e   a n a c c ur a t e   r e a l - t i m e   r e c o gn i t i o n   r e m a i n s   a   c h a l l e n ge ,   p a rt i c ul a r l y   i n   ha n d l i ng  ge s t u r e   v a r i a t i o n s   a nd  c l a s s i f i c a t i o i n c o n s i s t e n c i e s .   T hi s   r e s e a r c h   s uc c e s s f ul l y   de v e l o p e a   r e a l - t i m e   S IB S L R   s y s t e m   b y   i n t e g r a t i ng  M e d i a P i pe   f o r   ha n d   po i nt   c o o r di na t e   e xt ra c t i o n ,   CN N   f o r   f e a t u r e   e xt r a c t i o n,   a n d   S V M   f o r   c l a s s i f i c a t i o n.   T h e   s t udy   de m o n s t ra t e s   t ha t   t h e   CN N - S V M   c o m b i n a t i o n   o ut pe r f o r m s   i n d i v i dua l   m o de l s ,   a c hi e v i n g   91%   a c c u r a c y   o n   t h e   a ug m e nt e d a t a s e t ,   w h i c h   i s   hi g h e r   t h a CN N   (90 . 1%)   a n S V M   (84 %).   T h e   a ppl i c a t i o n   o f   H P O   us i n g   R a n do m S e a r c h CV   h a s   a l s o   b e e n   s h o w n   t o   e nh a n c e   m o de l   s t a b i l i t y   a n ge n e ra l i z a t i o n,   e n s u r i ng  r o b us t   pe r f o r m a n c e   u n de di f f e r e n t   c o n di t i o n s .     In  a dd i t i o n ,   M W M V   e f fe c t i ve l y   r e duc e s   c l a s s i f i c a t i o i n c o n s i s t e n c i e s ,   m a k i n g   r e c o gn i t i o r e s ul t s   m o r e   s t a b l e ,   w h i l e   S y m S pe l l   e nha n c e s   s pe l l i n g   e rr o r,   l e a d i n t o   m o r e   c o h e r e n t   a n d   m e a n i ngf ul   o ut put s .   T h e s e   f i n di ngs   h i g hl i g h t   t h e   i m po r t a n c e   o f   c o m b i n i n g   de e l e a rni n a n d   m a c hi n e   l e a rni n g   t e c hni que s   t o   e nh a n c e   r e a l - t i m e   s i g l a n gu a ge   r e c o gn i t i o n.   H ow e ve r ,   t h e   c u rr e n t   i m pl e m e n t a t i o n   i s   l i m i t e t o   l o c a l   e xe c ut i o n   us i ng   O pe nCV ,   r e s t r i c t i n g   a c c e s s i b i l i t y   o n   w e b - b a s e a n d   m o b i l e   pl a t f o r m s .   F ut u r e   r e s e a r c s h o ul d   f o c u s   o n   de v e l o pi n g   l i g ht w e i gh t   m o de l s   f o r   b r o a d e r   a c c e s s i b i l i t y ,   w h i l e   m a i n t a i ni n g   a o pt i m a l   b a l a n c e   b e t w e e n   c o m put a t i o n a l   e f f i c i e n c y   a n d   c l a s s i f i c a t i o a c c ur a c y .   A l t h o ug h   i n de pe n de nt   m o de l s   a r e   o f t e n   c o n s i de r e d   s uf f i c i e n t ,   t hi s   s t u dy   s h o w s   t h a t   c o m b i n a t i o a pp r o a c h e s ,   s uc h   a s   CN N - S V M ,   c a i m p r o v e   a c c ur a c y   a n d   rob us t n e s s ,   e s pe c i a l l y   w h e i nt e g r a t e w i t h   po s t - pr o c e s s i n t e c hn i que s   s uc h   a s   M W M V   a nd  S y m S pe l l .   T h e s e   r e s ul t s   r e i n f o r c e   t h e   po t e n t i a l   o f   i n t e g ra t i n r e a l - t i m e   s i g l a n gu a ge   r e c o gn i t i o i n t o   a s s i s t i v e   c o m m uni c a t i o t e c hn o l o gi e s ,   c o n t r i b ut i n g   t o   a   m o r e   Evaluation Warning : The document was created with Spire.PDF for Python.