I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in a n d   Com p u t e r   S c ience   Vo l .   3 8 ,   N o .   2 M a y   20 2 5 ,   pp.   1 051 ~ 1 060   I S S N:  2 502 - 4 7 52 ,   DO I 10 . 11591/i j e e cs .v 3 8 . i 2 . pp 1 051 - 1 060             1051     Jou r n al  h o m e page ht tp: // ij e e cs . iaes c or e . c om   E n h a n c in g ac c e ssi b il ity :  d e e p  l e ar n in g - b ase d  i m age  d e sc r ip t io n   f or  i n d iv id u al s w ith  v is u al  i m p ai r m e n t s       Nid h B .   S h ah 1 ,   Am it   P .   Gan at r a 2   1 C o mput e r   E ngi n e e r in g D e pa r tm e nt , C ha r us a t   U ni ve r s it y G uj a r a t,   I ndi a   2 P a r ul   U ni ve r s it y ,   V a do da r a ,   I ndi a       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve J u l   24 ,   202 4   R e vi s e No v   4 ,   202 4   A c c e pt e N o v   11 ,   202 4       T e ch n o l o g i c al   d ev e l o p men t s   i n   art i fi ci al   i n t el l i g en ce ,   n ame l y   i n   t h e   ar e a   o f   d ee p   l e arn i n g ,   h a v e   c r e at ed   n ew   a v e n u e s   fo e n h an ci n g   a cce s s i b i l i t y   f o r   t h o s e   w i t h   v i s u al   i m p ai r men t s .   In   o rd e r   t o   i m p ro v e   t h e   c ap a c i t y   o f   p eo p l w h o   ar b l i n d   o r   v i s u a l l y   i m p ai r e d   t o   u n d e rs t an d   an d   i n t e ra c t   w i t h   v i s u al   m at e r i al ,   t h i s   r e s e ar c h   i n v e s t i g at e s   t h e   c r e at i o n   a n d   u s e   o f   d ee p   l e arn i n g - b as e d   i m a g e   d e s c r i p t i o n   s y s t em s .   W e   p ro v i d e   co m p reh en s i v me t h o d   t h at   u s e s   recu rr e n t   n eu ral   n e t w o r k s   (RN N s t o   g e n e rat e   n at u ra l   l a n g u ag d e s c ri p t i o n s   an d   co n v o l u t i o n a l   n eu ral   n e t w o rk s   (CN N s an d   A u t o en c o d e rs   fo e x t rac t i n g   p i c t u r e   f e at u r e s .   O u t ech n o l o g y   a u t o m at i c a l l y   c r e at e s   c o m p r e h en s i v e,   co n t e x t - aw ar e   d e s c r i p t i o n s   o p h o t o g ra p h s   b y   i n co rp o rat i n g   t h e s e   mo d el s ,   g i v i n g   u s e rs   b e t t e k n o w l ed g e   o t h ei s u rro u n d i n g s .   W s h o w   t h a cc u ra cy   an d   r el i ab i l i t y   o f   t h s y s t em   o n   a   w i d ran g e   o p h o t o s   t h ro u g h   co m p reh e n s i v e   t e s t i n g .   A cco rd i n g   t o   o u r e s earc h ,   d ee p   l e ar n i n g - b as e d   p i c t u r e   d e s c ri p t i o n   s y s t em s   an d   c o n v e rt i n g   t h d e s c ri p t i o n   i n   a u d i o   an d   m a k i n g   p ro mi s t o   em p o w er  p eo p l e   w h o   ar v i s u al l y   i m p ai r ed   a n d   fo s t e d i v e rs i t y   i n   t h e   d i g i t al   s p h e r e .   K e y w o r d s :   C NN   De e l e a r ni ng   I m a ge   p r o c e s s i n g   L S T M   R NN   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   N i d hi   B .   S h a h     C o m put e r   E n g i n e e r i ng  De pa r t m e n t , C h a r us a t   Uni v e r s i t y   I n d i a   E m a i l nb s h a h 999 @y a h o o . c o m       1.   I NT RODU C T I ON   T y p i c a ll y ,   e n c o de r - de c o de r   a r c hi t e c t ur e s   a r e   us e f o r   i m a g e   c a pt i o n   m o de l s ,   w h e r e   c a pt i o ns   a r e   ge n e r a t e by   f e e d i ng  a bs t r a c t   pi c t ur e   f e a t ur e   v e c to r s   i n t o   a n   e n c o de r .   An   im po r t a n t   pr o bl e m   i c o m put e r   vi s i o n ,   n a t ur a l   l a n gua ge   pr o c e s s i ng,   a r t i f i c i a l   in t e l li ge n c e ,   a n im a ge   pr o c e s s i ng  i s   pr o duc i n g   n a t ur a l   l a n gua ge   de s c r i pt i o ns   f r o m   im a ge s .   S c e n e   un d e r s t a n d i n g,   whi c h   i n t e gr a t e s   c o m put e r   vi s i o n   a n d   n a t ur a l   l a n gua ge   pr o c e s s i ng  e x pe r t i s e ,   i n c l ude s   i m a ge   c a pt i o ni ng,   whi c h   a uto m a t i c a ll y   pr o duc e s   n a t ur a l   l a n gua g e   de s c r i pt i o ns   b a s e o n   wh a t   i s   o b s e r v e i n   t h e   i m a g e .   E xi s t i n a l go r i t hm s ,   w hi c h   a r e   a   c o m bi na t i o n   o f   c o nv o l ut i o na l   a n r e c ur r e n t   n e t wor ks   us e to  ge n e r a t e   c a pt i o ns ,   h a v e   m a ny   pr o bl e m s ,   s uc h   a s   m i s s i ng  gr a d i e n t s ,   n o a c c ur a t e l y   i de n t i f yi ng  o bjec t s   a n r e l a t i o n s hi p s ,   or   ge n e r a t i n c a pt i o n s   o nly   f o r   vi s ibl e   i m a ge s .   M o de l   f o r   a uto m a t i c   ge ne r a t i o n   o f   c a pt i o n e d   im a ge s   by   c o m bi n i ng  a dva n c e c o n v o l ut i o n a l   me m o r y   de e n e ur a l   n e t wo r ks   ( C NN)   a n l o n g - s ho r t - t e r m   ( L S T M )   m e m o r y   a n a l go r i t hm s .   T hi s   i s   a   v a r i a n t   o n   t h e   c o n v e n t i o n a l   a ppr o a c h   m e a n t   to   a dd r e s s   i s s ue s   t h a t   c r o p   up   wh e n   e m p l o yi ng  c o n ve n t i o na l   s u b t i t l i ng  tec hni que s .   T h e r e   a r e   t w s t e ps   to  t h e   m o de l .   C o n vo l ut i o n a l   a l go r i t hm s   a r e   us e i t h e   f i r s t   s t a ge ,   whi l e   l o n g - ter m   m e m o r y   i s   us e i t h e   s e c o n d.   I m a ge   i s   t h e   i n put   f o r   t h e   f i r s t   ph a s e .   A dd i t i o n a ll y ,   t h e   us e f u l   c a pt i o ns   th a t   e f f e c t i ve l y   de p i c t   t h e   vi s ua l   s c e ne   a r e   a   ke y   c o m po n e n t   o f   t h e   s ugge s t e s y s t e m   m o de l .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   2 M a y   20 2 5 :   1 051 - 1 060   1052   T de v e l o a   s y s t e m   t h a t   ge n e r a t e s   a c c ur a t e   s i g na t ur e s   f r o m   i nput   i m a g e s   us i ng  C NN   a n L S T M   a l go r i t hm s .   C NN s   a r e   us e t o   e x tr a c f e a t ur e s   f r o m   i m a ge .   A   C NN   i s   a   s pe c i a li z e de e n e ur a l   n e t wo r k   t h a c a n   pr o c e s s   d a t a   w i t h   a n   i nput   s h a pe   s uc h   a s   a   t wo - di m e n s i o n a l   m a t r i x .   I m a ge s   a r e   e a s y   t o   r e pr e s e n t   a s   a   2D  m a t r i x ,   a n C NN s   a r e   v e r y   us e f u l   f o r   wo r ki n wi t h   i m a ge s .   C NN s   a r e   m a i n ly   us e to   c l a s s i f y   im a ge s   a n d   de t e r m i ne   whe t h e r   t h e   i m a ge   i s   a   bi r d,   a n   a i r p l a ne ,   a n s upe r m a n .   I e x t r a c t s   s i g nif i c a n t   i nf o r m a t i o n   f r o m   t h e   im a ge   by   s c a nni ng  i t   f r o m   t o p   to  b ott o m   a n l e f to   r i g h t ,   t h e n   c o m bi ne s   t h e s e   f e a t ur e s   to  c a t e g or i z e   t h e   im a ge .   I t   c a n   m a na ge   pe r s pe c t i v e - a d j u s t e d,   r ot a t e d,   s c a l e d,   a n tr a n s l a t e i m a g e s .   A   b a s i c   c a pt i o ni n s y s t e m   f l o d i a gr a m   i s   F i gur e   1.           F i g ur e   1.   S i m p l e   f l o d i a gr a m   o f   s y s t e m       L S T M   us e s   C NN   i n f o r m a t i o n   t ge n e r a t e   a   de s c r i pt i o n   o f   a n   i m a ge .   L S T M   i s   a   t y pe   o f   r e c ur r e n t   n e ur a l   ne t wor ( R NN )   t h a i s   v e r y   s u i t a bl e   f o r   s e que n c e   pr e d i c t i o n   t a s ks .   B a s e o n   pa s t e x t ,   i t   c a n   a n t i c i pa t e   t h e   w o r d   t h a t   wi l l   a p pe a r   n e x t .   B y   ge tt i n b e y o n t h e   dr a wb a c ks   o f   e xi s t i ng  R NN s   w i t h   s h o r t - t e r m   m e m o r y ,   i t   wa s   de m o n s t r a t e d   to  b e   m o r e   e f f e c t i v e   t h a n   t h o s e   R NN s .   W i t h   t h e   a i o f   a   f o r ge ga t e ,   a n   L S T M   m a r e t a i n   pe r t i n e n t   i nf o r m a t i o n .       2.   RE L AT E WORK   V i s u a l   a c c e s s i b il i t y   i s   a   c r i t i c a l   i s s ue   t h a t   a f f e c t s   mi ll i o ns   o f   i nd i v i dua l s   wo r l dw i de .   T o   a ddr e s s   t h i s   c h a ll e n g e ,   r e s e a r c h e r s   ha v e   e x p l o r e t h e   p ot e n t i a l   o f   de e l e a r ni ng - b a s e i m a g e   de s c r i pt i o n   s y s t e m s   t pr o vi de   de t a i l e d,   c o n t e x t ua l   i nf o r m a t i o n   a b o ut  v i s ua l   c o n t e n t   to  t h o s e   w i t h   vi s ua l   im pa i r men t s   [ 1] .   I m p l e m e n t a t i o n   a n e v a l ua t i o n   o f   a ut o e n c o de r s   a r e   d o n e .   T r a i ni ng  be g i ns   w i t h   a   r a p i c t ur e .   I m a ge   pr e d i c t i o n   us i ng  t r a i ni ng  da t a   i s   b e i ng  t e s t e d.   P r e c i s i o n   a n t i m e   a r e   m e a s ur e i t hi s   i nve s t i ga t i o n .     Th e   m o de l   m a y   a l s o   b e   us e t i n put   a n   e nc o de pi c t ur e   a n a   de c o de i m a ge ,   t h e   a uto e n c o de r i n t e r m e d i a t e   a n f i na l   o ut pu t s .   Di f f e r e n t   a u to e n c o de r s   we r e   us e to   c o m pa r e   m o de l   o ut c o m e s   [ 2] ,   [ 3 ] .   R e c e n t   a dv a nc e m e n t s   i n   c o m put e r   vi s i o n   a n d   n a t ur a l   l a n gu a ge   pr o c e s s i n h a ve   l e to  t h e   de v e l o p m e n t   o f   A I - dr i v e n   i m a ge   c a pt i o ni n too l s   t h a c a n   a uto m a t i c a ll y   ge n e r a t e   t e x t ua l   de s c r i p t i o n s   o f   vi s u a l   c o n t e n t .   T h e s e   s y s t e m s   h a v e   t h e   po t e n t i a l   t e m po we r   i n d i vi du a l s   w i t h   vi s ua l   i m p a i r m e n t s   by   a l l o w i ng   t h e m   t a c c e s s   a n c o m pr e h e n t h e   vi s ua l   i n f o r m a t i o n   t h a t   i s   i n c r e a s i ng ly   pr e v a l e n t   i n   d i g i t a l   med i a   a n d   s o c i a l   p l a t f o r m s   [ 4] .   H o we v e r ,   t h e   e f f e c t i v e n e s s   o f   t h e s e   t oo l s   i s   c o n t i n ge n t   o n   t h e i r   a bil i t y   t o   ge n e r a t e   de s c r i pt i o ns   t h a t   a r e   n ot  o nl y   a c c ur a t e   b ut   a l s o   ta i l o r e to   t h e   s pe c i f i c   n e e d s   a n pr e f e r e n c e s   o f   vi s u a l ly  im pa i r e us e r s .   E xi s t i n i m a g e   c a pt i o ni n s y s t e m s   h a ve   be e n   pr i m a r i ly   e v a l ua t e b a s e o n   t h e i r   s im il a r i t y   t h u m a n - a ut h o r e de s c r i pt i o n s ,   whi c h   m a y   n o n e c e s s a r il y   a li g n   w i t h   t h e   i nf o r m a t i o na l   n e e ds   o f   t h o s e   wi t h   vi s u a l   im pa i r m e n t s   [ 4] ,   [ 5 ] .   T o   a dd r e s s   t hi s ,   r e s e a r c h e r s   h a v e   e x p l o r e a ppr o a c h e s   t h a t   f o c us   o n   ge n e r a t i n g   im a ge   de s c r i pt i o ns   t h a t   e m p ha s i z e   t h e   c o gni t i ve   a n vi s u a l   d e t a i l s   m o s t   r e l e v a n t   to   i n d i v i dua l s   w it h   vi s ua im pa i r m e n t s ,   r a t h e r   t h a n   a i mi ng  to  c r e a t e   c o m pr e h e n s i ve ,   s t or y - li ke   na r r a t i v e s   [ 6 ] .   T h e s e   e f f o r t s   h a v e   hi g hli g h t e t h e   i m po r t a n c e   o f   ba l a n c i ng  t h e   l e v e o f   de t a i l ,   t h e   pr i o r i t i z a t i o n   o f   ke y   vi s ua l   f e a t ur e s ,   a n t h e   c l e a r   c o m m u ni c a t i o n   o f   s a li e n t   i nf o r m a t i o n   to  e n s ur e   t h a t h e   ge n e r a t e c a p t i o ns   a r e   m a xim a ll y   us e f u l   f o r   t h e   t a r ge a udi e n c e   [ 7 ] .   I m a ge   c a pt i o n   ge n e r a t o r   n o us e s   a n   o p t i m i z e C NN - b a s e e n c o de r ,   R NN - b a s e de c o de r   m o de l   t h a r e pl a c e s   R NN   a n L S T M   a r c hi t e c t ur e s   w i th   I n dR N N,   whi c h   l e a r n s   l o n ge r - t e r m   de pe n de n c i e s   m o r e   e f f i c i e n t l y   t h a n   L S T Ms   [ 8 ] .   Us i n C NN - L S T M   a u to m a t i c   p i c t ur e   c a p t i o ni ng  m o de l   a   qua li t a t i ve   a n a c c ur a t e   c a pt i o ns   t h a e x p l a i n   t h e   p i c t ur e   i n   n a t ur a l   l a n g ua ge   [ 9 ] .   T h e   f u n c t i o n a l   A P I   f r o m   ke r a s   a l l o w e us   to  i n t e gr a t e   o ur   L S T M   a n i m a ge   v e c t or   m o de l s   to   pr e d i c t   t h e   n e x t   w o r d   i n   t h e   s e que n c e   a s   o ur   i n pu wa s   a n   im a ge   v e c t o r   a n a   pa r t i a l   c a pt i o n   [ 10 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       E nhanc ing  ac c e s s ibi li ty:   de e lear ning - bas e image   de s c r ipt ion  f or   indi v idual s   …  ( N idhi   B .   Shah )   1053   Va nil l a - R NN   pr e d i c t s   be tt e r   by   f o c us i ng  o n   t h e   r e l e v a n t   i n put   wo r p or t i o n ,   a c c o r di n t o   r e s e a r c h .   B e a m   s e a r c h   o ut pe r f o r m s   gr e e d y   s e a r c h   f o r   c o r r e l a t i o n   e va l u a t i o n   [1 1 ] .   T h e   b a s i c s   o f   c e r t a i p h o to   c a pt i o ni ng  s y s t e m s   a r e   c o v e r e d.   P r o vi de s   f i e l d - s pe c i f i c   da t a   a n a s s e s s m e n t   i n de x e s .   P r e vi o us   ph o to  c a pt i o ni ng  a l go r i t hm s   im pr o v e pr e d i c t i o n   b ut   c o u l n o t   p r o duc e   c us to m i s e de s c r i pt i o n   s t a t e m e n t s   [1 2 ] .   W e   i d e n t i f i e s e v e r a l   p i c t ur e   c a p t i o ni ng  m o de l s   a n m e t h o ds .   C NN   e x c e l s   i n   p i c t ur e   c o n t e n e x t r a c t i o n ,   wh e r e a s   R NN   a n L S T M   a r e   p o pul a r   l a n gua ge   c r e a t i o n   m o de l s .   L S T M   o u t pe r f o r m s   R NN .   S e v e r a l   r e s e a r c h   h a v e   e m p l o y e e n c o de r - de c o de r   a n a tt e n t i o n   m e t h o ds   f o r   s c e n e   i n t e r pr e t a t i o n .   M S C OC i s   b e s t   f o r   pi c t ur e   c a p t i o ni ng  s i nc e   i t   c o m pr i s e s   n o n - i c o ni c   im a ge s   [1 3 ] ,   [1 4 ] .   R e s e a r c h   pr o vi de   vi s ua ll y   im pa i r e i n d i v i dua l s   w i t h   gr e a t e r   o p t i o ns   to   c o m m u ni c a t e   a n c o m pr e h e n t h e i r   s ur r o un d i n g s .   All o w   vi s u a l ly   c h a ll e n g e i n d i v i dua l s   t o   e n ga ge   m o r e   i n t i m a t e l y   w i t h   o t h e r s   w i t h o ut  w o r r y   o f   bl u r r i n o r   un c e r t a i n t y   [ 15 ] - [ 17] .   I m a ge   c a pt i o ni ng  f o r   b ot h   t h e   o r i g i na l   a n a f f i n e   a l t e r e i m a ge s .   I m a ge   h a s hi n h a s   b e e n   m a in  m e t h o f o r   t hi s .   C o m m o n   p i c t ur e   c a pt i o ni ng  da t a s e t s   a n a s s e s s m e n t   m e a s ur e s   a r e   e x p l a i ne i n   t hi s   a r t i c l e .   T h e   s ugge s t e t e c h ni que   ge n e r a t e s   a c c ur a t e   a n m e a ni ng f u l   c a pt i o ns   f o r   v a r i o us   a f f i ne   a l t e r e p i c t ur e s .   M o de l   h a n d l e a l l   t r a n s f o r m a t i o n s   e x c e pt   r ot a t i o n.   T o   l a b e l   a ll   c ha n ge ph o to s   c o n s i s t e n t l y ,   wo r k   a c c ur a c y   m us t   b e   i m pr o v e [ 18] .   S t udy   i n t r o duc e s   a   s e m a n t i c   p i c t ur e   r e t r i e v a l   a ppr o a c h   t h a us e s   pr o duc e t e x t ua l   de s c r i pt i o ns   to   e x a mi ne   t h e   hi g h - l e ve l   s e m a n t i c   c o n t e n t   i n s i d e   t h e m .   A   c o m pa r i s o n   o f   a c t ua l   a n d   c r e a t e de s c r i pt i o ns   f o r   R S   pi c t ur e   r e tr i e va l   r e v e a l s   a   0. m e a n   bil i ngu a l   e v a l ua t i o n   u n de r s t ud y   ( B L E U)   s c o r e   d i f f e r e n c e .   W e   w a n t   to   e n h a nc e   c a pt i o n   c r e a t i o n   i f ut ur e   wo r to  c l o s e   t h e   ga a n e nh a nc e   r e tr i e va l   pe r f o r m a n c e   [ 19] .   A   n e t wo r k   t h a t   ge n e r a t e s   n u m e r o us   c a pt i o n s   by   m a t c hi ng  t h e   gu i de   m a to   t h e   i m a ge s   a r e a .     T h e   V A E   e n c o de r   c r e a t e s   a   l a t e n t   s pa c e   o f   C AM   v e c to r s .   T h e   l a t e n t   s pa c e   ve c t or   r e f l e c t i n t h e   i m a ge - a tt e n t i o n   r e g i o n   s t y l e   i s   t h e n   r e t r i e v e d.   T h e   V A E   de c o de r   us e s   t hi s   v e c t o r   a s   C NN   i n put   a nd  c a pt i o c o n d i t i o n .   W hil e   r e t a i ni ng  a c c ur a c y ,   t h e   s ugge s t e m o de l   o ut pe r f o r m s   t h e   ba s i c   m o de l   i d i ve r s i t y   [ 2 0] .   T h e   s t ud y   pr e s e n t s   a n   u ns upe r vi s e a ppr o a c h   f o r   tr a i ni ng  a n   i m a ge   c a pt i o ni ng  m o de l   w i t h o u t   l i nke d   p i c t ur e - s e n t e n c e   da t a ,   a i mi ng  to   a c hi e ve   t h r e e   t r a i ni ng  o bj e c t i ve s c a pt i o n s   s h o u l b e   i nd i s t i n gu i s h a bl e   f r o m   c o r pus   s e n t e n c e s ,   t h e   m o de l   s h o u l c o nve y   o bj e c t   i nf o r m a t i o n ,   a n f e a t ur e s   s h o u l a li g n   i n   c o m mo n   l a t e n t   s pa c e   f o r   bi - d i r e c t i o n a l   r e c o ns t r uc t i o ns   [ 21] .   T h e   n e ur a l   n e t wo r k   a u to m a t i c a ll y   a n a ly z e s   t h e   i m a g e   a n pr o vi de s   a   de t a i l e de s c r i pt i o n .     T h e   s y s t e m   u s e s   c o nv o l ut i o n a l   n e ur a l   n e t wo r ks   to   e x pa n im a ge s   a n R NN   t o   ge n e r a t e   s e n t e n c e s .   T he   m o de l   i s   t r a i ne to   o b t a i n   t h e   r e s u l t   o f   t h e   pr o p o s e i m a ge .   T e s t s   o f   m a ny   m a t e r i a l s   de m o n s t r a t e   t h e   c o n s is t e n c y   o f   qua l i t y   a n qua n t i t y   m e a s ur e m e n t s   us i ng  B L E U   ( e l e c t r o ni c   qua li t y   m e a s ur e m e n t   or   m a c hi ne   t r a n s l a t i o n ) .   E x pe r i m e n t s   s h o t h a t   t h e   pr o p o s e m o de l   pe r f o r m s   b e t t e r   o n   l a r ge   da t a s e t s   f o r   de s c r i pt i v e   i m a g e s .   I w o ul d   b e   i n t e r e s t i n to  i nv e s t i ga t e   wh e t h e r   un s upe r vi s e i nf o r m a t i o n ,   i n c l ud i ng  i m a ge s   a n t e x t s ,   c a i m pr o v e   im a ge   i de n t i f i c a t i o n   s t r a t e gi e s   [ 22] ,   [ 23] .   T hi s   a r t i c l e   e x p l o r e s   de e p - l e a r ni ng - b a s e p i c t ur e   c a pt i o ni ng  a l go r i t hm s ,   pr e s e n t i n a   t a x o n o m y   o f   a ppr o a c h e s ,   t h e i r   be n e f i t s   a n dr a wb a c k s ,   e v a l ua t i o n   m e t r i c s ,   a n e x pe r i m e n t a l   o u t c o m e s .   I di s c us s e s   f ut ur e   s t udy   d i r e c t i o n s ,   hi g hli g h t i n t h e   n e e f o r   r e l i a bl e ,   hi g h - qua l i t y   c a pt i o ns   [ 24] .   T h e   t r a n s f o r m e r   o bj e c r e l a t i o t r a n s f o r m e r   i s   a   n e i m a ge   c a pt i o ni ng  m o de l   th a t   i nv e s t i ga t e s   2D  l o c a t i o n   a n s i z e   c o r r e l a t i o ns   a m o n g   r e c o gni z e i t e m s .   I t   us e s   ge o gr a p hi c a l   c o nn e c t i o n   i nf o r m a t i o n ,   i m pr o vi ng  s pa t i a l   a wa r e n e s s .   F ut ur e   w o r k   w i ll   f o c u s   o n   o bj e c t - wo r d   r e l a t i o n s hi p s ,   e nh a n c i n m o de l   pe r f o r m a nc e   a n un de r s t a n d i ng  a bil i t y   [ 25] .   T h e   s t udy   e m p l o y s   a   n e ur a l   n e t wo r k   to   e v a l u a t e   ph oto s   a n c r e a t e   E n g l i s h   c a pt i o n s .   T h e   m o de l   c a t e g o r i z e s   de s c r i pt i o ns   b a s e o n   wo r d   pr o xi mi t y ,   w i t h   l a r ge r   da t a s e t s   i m pr o vi n m o de l   pe r f o r m a n c e   a n r e duc i n g   l o s s e s .   T h e   s t ud y   a l s o   e x p l o r e s   t h e   pot e n t i a l   o f   u n s upe r vi s e da t a   f o r   i m pr o v e c a pt i o n   c r e a t i o n   [ 26] .   I m a ge   c a pt i o ni ng  ha s   im pr o v e w i t h   de e l e a r nin g,   e nha n c i ng  a c c ur a c y   a n e f f i c i e nc y   i v a r i o us   s e c t or s   l i ke   h e a l t h ,   s e c ur i t y ,   a n m il i t a r y .   T hi s   r e s e a r c h   a l s o   a dv a n c e s   i m a ge   a nn o t a t i o n ,   VQ A ,   c r o s s   m e d i a   r e tr i e va l ,   a n vi de o   c a pt i o ni n g   [ 27] .   T h e   r e s e a r c h   e x p l o r e s   us i ng  V A E   to   c r e a t e   i m a ge   c a pt i o n s   us i n a   v a r i a t i o n   o f   M NI S T .   T h e   a r c hi t e c t ur e ,   c o n s i s t i n g   o f   a n   R NN   e n c o de r   a n a   f u ll y   l i nk e n e t wo r de c o de r ,   e f f e c t i v e ly   ge n e r a li z e s   to   un s e e n   c a pt i o ns .   S i mi l a r   t a s ks   we r e   f o un i l i t e r a t ur e ,   i n c l ud i n a r i t hm e t i c   i m a ge   pr o duc t i o n .   F ut ur e   r e s e a r c h   a im s   t t e s t   de c o n vo l ut i o n   l a y e r s   a n us e   a t t e n t i o n   m e c h a ni s m s   f o r   i t e r a t i ve   p i c t ur e   ge n e r a t i o n   [ 28] .       3.   P ROP OS E M E T HO D   T h e   pr o p o s e m e t h o w i t h   b a s i c   s y s t e m   f l o i s   s ho wn   i n   F i gur e   2.   A n   im a ge   i s   us e a s   i nput   to   o u r   s y s t e m ,   b ut   i t   i s   n o t   a   r a i m a ge ;   i ns t e a d,   i t   un de r go e s   a   pr e pr o c e s s i n s t e a s   s h o wn   i n   F i gur e   3.     T h e   pr o c e s s i n m e t h o i s   a s   f o l l o w s w e   a pp l y   a n   a ut o e n c o de r   to  t h e   i m a ge .   T h e   a uto e n c o de r   e n c o de s   a n c o m pr e s s e s   t h e   im a g e ,   a n t h e   r e s u l t i ng  c o m pr e s s e l a y e r ,   a l s o   kn o wn   a s   t h e   b ott l e ne c l a y e r   o r   l a t e n t   s pa c e   r e pr e s e n t a t i o n ,   i s   pr o vi de a s   i n put   to  t h e   pr o p o s e m o de l .   De t a i l   de s c r i pt i o n   w i t h   r e s u l t   o f   t hi s   m e t h o i s   de s c r i be i n   i n   o ur   pr i o r   publ i c a t i o n   [ 2] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   2 M a y   20 2 5 :   1 051 - 1 060   1054   S y s t e m   f l o w           F i gur e   2.   T h e   pr o p o s e s y s t e m s   f l o w   F i gur e   3.   A pp l yi ng  a ut o e n c o de r   o n   i m a ge   a n us s e s   a   c o m pr e s s e l a y e r   f o r   t r a i ni ng       T h e   pr o p o s e w o r k   de s c r i b e s   t h e   s y s t e m   t h a t   c o n t a i ns   m o du l e s   w i t h   de t a i l s   o f   e a c h   a s   f o l l o ws .     T h e   i m a ge   to   b e   pr o c e s s e i s   f i r s t   pr o vi d e to   t h e   im a ge   b a s e m o du l e ,   whi c h   c r e a t e s   a   v e c t o r   kn o w n   a s   t h e   i n put   i m a g e s   f e a t ur e   v e c to r   us i n t h e   C N a l go r i t hm s   c o nv o l ut i o n a l   a n po o l i ng  l a y e r .   E a c c o n v o l ut i o n a l   l a y e r   f o l l o w s   by   a   R e L l a y e r .   T h e   f e a t ur e   v e c t or   i s   t h e n   s h r u n i n   s i z e   us i ng  t h e   po o l i ng   l a y e r   b e f o r e   be i ng  s e n t   to   t h e   f o l l o w i ng  m o de l.   S i n c e   we   j us t   r e qu i r e   t h e   f e a t ur e   v e c t o r ,   t h e   f u l l c o n n e c t e n e t wor k ,   t h e   f i na l   l a y e r   o f   C NN ,   i s   n o t   i n c l ude i n   o ur   m o de l .   A s   f e a t ur e   e x t r a c to r s ,   c o n v o l ut i o n a l   a n poo l i ng  l a y e r s   a r e   e m p l o y e d,   wh e r e a s   f u ll y   c o nne c t e n e t w o r ks   a r e   us e a s   c l a s s if i e r s .     T h e   ne x t   m o du l e ,   l a n gua ge   b a s e m o du l e ,   r e c e i ve s   t h e   o u t pu t   o f   t h e   pr e vi o us   m o de l ,   w hi c h   i s   a   v e c t o r   o f   f e a t ur e s   ge n e r a t e d.   Us i n g   t h e   L S T M   a l go r i t hm - a n   a d v a n c e v e r s i o n   o f   t h e   R NN   w i t h   t h e   b e n e f i t   o f   s to r i n l o n s e que nc e s   o f   da t a - t h e   e n c o de f e a t ur e s   v e c to r   i s   de c o de i n to   a   n a t ur a l   l a n gua g e   c a p t i o n .     A   m e m o r y   c e ll   i a n   L S T M   a l l o ws   da t a   to   b e   s to r e f o r   a n   e x t e n de a m o un t   o f   t i m e .   T o   h e l p   t h e   a l go r i t hm   de c i de   w h e n   to   s t a r a n s to t h e   s e n t e n c e   s e que n c e ,   t h e   s e n t e nc e /ca pt i o n   s e que n c e   c o n t a i n s   t w o   un i qu e   to ke n s   c a l l e s t a r t s e a n e n d s e q.     F i na ll y ,   t h e   c a pt i o n   i s   pr o duc e d.   T h e   c a pt i o n   m o de l   e m p h a s i z e s   r e l a t i o ns hi ps   b e t we e n   i t e m s   a s   w e l l   a s   o bj e c t s ,   c o l o r s ,   a n a c t i vi t i e s .     T r a n s f o r m i ng  t h e   p i c t ur e   c a pt i o n   i n t a udi o .     Al go r i t hm   S t e p   1:  a ppl y   pr e   pr o c e s s i ng  o n   i n put   i m a ge .   S t e p   2:   t h e   i n put   i m a g e s   pr e pr o c e s s e p i x e l   m a t r i x   i s   s e n t   i n t a n   i m a ge - b a s e m o de l   s y s t e m ,   whi c h   c r e a t e s   f e a t ur e s   us i n C NN   v e c t o r .   S t e p   3:  f e a t ur e s   o f   o u t pu L S T M   i s   us e t de c o de   v e c t o r   i n t o   a   n a t ur a l   l a n gua ge   c a pt i o n .   S t e p   4:  c o n v e r t   t hi s   c a pt i o n   i n t o   s pe e c h .     M o dul e s   o f   s y s t e m     S t e p   1:  a ppl y   pr e   pr o c e s s i ng  o n   i n put   i m a ge .   T h e   i m a ge s   a r e   n ot  un de r s too by   t h e   m a c hi ne   o r   s y s t e m .   F i r s t ,   t h e   r e c e i v e i m a ge   i s   c o n v e r t e i n t a   f i xe d - s i z e p i x e l   m a t r i x   ( 224 × 224 × 3) ,   wh e r e   th e   c o l o r   c o de   o f   e a c h   p i xe l   i s   a s s i g n e to   i t s   pr ope r   s pot.     T h e   n o i s e   i n   e a c h   a n e v e r y   p i c t ur e   i s   t h e n   e l im i na t e dur i n pr e - pr o c e s s i n g.   Af t e r   t h e   i m a g e   h a s   b e e c o n v e r t e to  gr a y s c a l e ,   a   t h r e s h o l v a l ue   i s   de t e r m i ne to   di vi de   i t   i n t f o r e gr o un a n b a c k gr o un d.     E v e r y   o bj e c t   i n   a   p i c t ur e   un de r go e s   e dge   de t e c t i o n .   T h e   o u t pu o f   t h e   i m a ge   pr e - pr o c e s s i n m o de l   a n t h e   i nput   f o r   t h e   f o l l o w i ng  m od u l e   i s   t h e   f i na l   p i xe l   mat r i x .     S t e 2 t h e   i n put   i m a ge s   pr e pr o c e s s e p i xe l   m a t r i x   i s   s e n t   i n t o   a n   i m a ge - ba s e m o de l   s y s t e m ,   w hi c c r e a t e s   f e a t ur e s   us i n C NN   v e c t o r .   A   r e de s i g n e C NN   m o du l e   t h a us e s   t h e   c o n v o l u t i o n a l   a n po o l i ng  l a y e r s   t e x t r a c t   f e a t ur e s .   T h e   m a t r i x   o f   p i xe l s   t h a t   i s   t h e   o u t pu t   o f   t h e   pr e vi o us   pr e - pr o c e s s i n m o du l e   s e r v e s   a s   t h e   i n put   f o r   t h e   i m a ge - b a s e m o du l e .   T hi s   m o du l e   e x t r a c t s   f e a t ur e s   f r om   t h e   i m a ge   p i x e l   m a t r i x .   T h e   f i r s t   C NN   l a y e r   us e i n   t hi s   m o du l e   t e x t r a c t   f e a t ur e s   i s   t h e   c o nv o l ut i o n a l   l a ye r .   E v e r y   c o nv o l ut i o n a l   l a y e r   i s   f o l l o we by   a   R e L l a y e r .   T h e   f e a t ur e   v e c t o r   i s   t h e n   s h r un i s i z e   w i t h o ut  s a c r i f i c i ng  a ny   o f   t h e   i m a ge s   f e a t ur e s   by   a pp lyi ng  a   poo l i ng   l a y e r .   F e a t ur e s   a r e   r e tr i e v e f r o m   t hi s   m o du l e   a n d   s tor e i n   a   f e a t ur e   v e c to r .   T h e s e   f e a t ur e s   i n c l ud e   o bj e c t s ,   v e r b s   t h a t   de s c r i be   t h e   o bj e c t s   b e h a vi o r ,   t h e   o bj e c t s   c o l o r ,   a n t h e   m o s t   s i g ni f i c a n t   r e l a t i o n s hi be t we e n   t h e   o bj e c t .   T h e   f e a t ur e   v e c t o r ,   whi c h   i s   t h e   o ut pu o f   t hi s   m o du l e ,   i s   t h e   i n put   o f   t h e   ne x t   m o du l e .   T h e   v e c t o r s i z e   i s   l i ne a r ly   c o nve r t e to  t h e   L S T M   n e t wo r k s   i n put   s i z e ,   whi c h   i s   ut i li z e i n   t h e   n e x t   m o dul e .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       E nhanc ing  ac c e s s ibi li ty:   de e lear ning - bas e image   de s c r ipt ion  f or   indi v idual s   …  ( N idhi   B .   Shah )   105 5     S t e p   3:  f e a t ur e s   o f   o u t pu L S T M   i s   us e t de c o de   v e c t o r   i n t o   a   n a t ur a l   l a n gua ge   c a pt i o n .   T h e   l i ne a r   f e a t ur e   v e c to r   f o r   a   pa r t i c u l a r   i n put   i m a ge   s e r v e s   a s   t h e   i n put   f o r   t h e   l a n gua ge - b a s e d   m o du l e .   T hi s   m o dul e s   pr i m a r y   go a l   i s   to  t r a n s l a t e   t h e   e n c o de f e a t ur e s   i n t a   pl a i n   l a n gua ge   t h a t   us e r s   wi t L S T M   c a n   c o m pr e h e n d.   T h e   L S T M   a l go r i t hm   i s   us e by   t h e   m o du l e   b e c a us e   i t   r e s o l v e s   t h e   v a r i a t i o n   gr a d i e n t   pr o bl e m   w i t h   t h e   R NN   a l go r i t hm   a n ha s   t h e   a bil i t y   to   h o l a   l e n gt hy   da t a   s e que nc e   w i t h o ut  l o s i ng   i t .   T h e   L S T M   us e s   i t s   m e m o r y   c e ll s   t s to r e   t h e   da t a .   W e   m us t   f i r s t   pr e - de f i ne   o ur   l a b e l   a n t a r ge t e x to  t r a i n   T h e   L B ,   o r   l a n gu a ge   ba s e m o de l .   S t a r t i n wi t h   a   s t a r t   to ke n ,   t h e   l a be l   s a v e s   t h e   da t a   i n   a   s e r i e s ,   a n t h e   T a r ge t   s to r e s   t h e   s e que n c e   w i t h   a n   e n to ke n .   Ge n e r a t i o n   o f   c a pt i o n s   t h e   l a n gua ge   b a s e m o du l e   c o m e s   f i r s t   i n   t h e   s e que n c e   o f   m o du l e s   t h a m a ke   up  t h e   f i na l   m o du l e ,   c a pt i o n   ge n e r a t i o n .   T hi s   m o du l e s   o bj e c t i v e   i s   t us e   t h e   gui d e l i ne s   f r o m   t h e   pr e vi o u s   m o du l e   t wr i t e   a   c a pt i o n   f o r   a n   i nput   i m a g e   i n   a   l i ne a r   f a s hi o n .   T hi s   m o du l e   e n d s   w i t h   t h e   ge ne r a t i o n   o f   a   c a pt i o n   i n   a   f o r m a t   t h a t   i s   e a s i ly   u n de r s t oo by   h u m a ns .     S t e p   4:  c o n v e r t   t hi s   c a pt i o n   i n t o   s pe e c h   L a s t l y ,   c a pt i o ns   b a s e o n   t e x t   a r e   c o n v e r t e i n t s pe e c h   s o   vi s ua ll y   i m pa i r e pe o p l e   c a n   h e a r   a nd   un de r s t a n e a s il y .   T h e   F i gur e   i ll u s t r a t e s   a   d e t a i l e pr o c e s s   f l o f o r   a n   i m a ge   c a pt i o ni ng  s y s t e m   o f   pr o p o s e d   s y s t e m   t h a i nv o l v e s   t r a i ni ng,   pr o c e s s i n g,   a n ge n e r a t i ng  de s c r i pt i o n s   f o r   i m a ge s   a n f i na ll y   c o nv e r t i ng  to   t h e   s pe e c h .   He r e   i s   a   s t e p - by - s t e e x p l a na t i o n :   T r a i ni ng  p h a s e     T r a i n   i m a ge s :   c o l l e c t   t r a i ni ng  i m a ge s   f o r   t h e   m o de l .     R e s i z e   i m a ge :   r e s i z e   t h e   t r a i ni ng  i m a ge s   to   a   s t a n da r s i z e   o f   299 × 299  p i xe l s .     F e a t ur e   e x t r a c t i o n   m o de l   ( Xc e pt i o n   m o de l ) :   us e   t h e   Xc e pt i o n   m o de l   ( a   c o n v o l ut i o n a l   ne ur a l   ne two r k )     to  e x t r a c t   f e a t ur e s   f r o m   t h e   i m a ge s .   T hi s   m o de l   o utput s   de n s e   f e a t ur e   r e pr e s e n t a t i o n s .     T r a i n   d e s c r i pt i o n :   c o l l e c t   de s c r i pt i o ns   ( c a pt i o n s )   c o r r e s po n d i n to   t h e   t r a i ni ng  i m a g e s .     C l e a ni ng  o pe r a t i o n s :   p e r f o r m   c l e a ni ng  o pe r a ti o n s   o n   t h e   t r a i ni ng  de s c r i pt i o ns   ( e . g. ,   r e m o vi n g   pun c t ua t i o n ,   c o n v e r t i n to   l o we r c a s e ) .     Ge n e r a t e   v o c a b u l a r y :   g e n e r a t e   a   v o c a b u l a r y   f r o m   th e   c l e a n e de s c r i pt i o n s .     C r e a t e   to ke ni z e r   f o r   e a c h   wo r d :   c r e a t e   a   to ke ni z e r   t h a t   c o n v e r t s   e a c h   wo r i n   t h e   de s c r i pt i o n s   to   a   n u m e r i c a l   f o r m a t .           F i gur e   4.   S pe c i f i c a t i o n s   f o r   t h e   pr o p o s e s y s t e m s   f l o w       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   2 M a y   20 2 5 :   1 051 - 1 060   1056   M o de l   b u il d i ng  ph a s e C NN   +   L S T M   m o de l   ( r e pr e ns t e i n   F i gur e   5)     C NN :   u s e s   e x t r a c t e d   i m a ge   f e a t ur e s   f r o m   t h e   Xc e pt i o n   m o de l .     L S T M :   p r o c e s s e s   t h e   to ke ni z e de s c r i pt i o ns .     Dr o p o u t :   a ppl i e s   dr o p o u r e gul a r i z a t i o n   to   p r e v e n t   o v e r f i t t i n g.     E m be dd i ng:   c o n v e r t s   to ke ni z e wo r ds   i n t o   de n s e   ve c to r   r e pr e s e n t a t i o n s .     De ns e   l a y e r s :   f u ll y   c o nne c t e l a y e r s   to   c o m bi ne   f e a t ur e s   f r o m   C NN   a n L S T M .     M e r ge :   c o m bi ne s   o u t pu t s   f r o m   C NN   a n L S T M .     M o r e   de n s e   l a y e r s :   a dd i t i o n a l   f u ll y   c o nne c t e l a y e r s   to  f ur t h e r   pr o c e s s   t h e   c o m bi ne f e a t ur e s .           F i gur e   5.   De t a i l   u n de r s t a n d i ng  o f   C NN   a n L S T M   m o de l   i n   pr o po s e s y s t e m       T hi s   F i gur e   o ut l i ne s   a   de t a i l e a r c hi t e c t ur e   f o r   a n   im a ge   c a pt i o ni ng  s y s t e m ,   hi g hli g h t i n b ot h   t h e   tr a i ni n g   a n pr e d i c t i o n   p h a s e s .   He r e s   a   s t e p - by - s t e e x p l a n a t i o n :   C a pt i o n   p r o c e s s i ng     C a pt i o n s t a r wi t h   t e x t   de s c r i pt i o ns   o f   t h e   i m a ge s .     T e x t   p r e pr o c e s s i n g:  c l e a n   a n pr e pr o c e s s   t h e   t e x d a t a .     Ge n e r a t e   v o c a b u l a r y c r e a t e   a   v o c a b u l a r y   f r o m   t h e   c l e a n e t e x t   da t a .     C r e a t e   t o ke ni z e r   f o r   e a c h   wo r d t oke ni z e   t h e   t e x t,   c o n v e r t i n wo r ds   i n t n u m e r i c a l   to ke n s .     I n put   l a y e r   ( No n e ,   32) :   d e f i ne   t h e   i n put   l a y e r   f o r   t h e   t e x da t a ,   wi t h   a   s e que nc e   l e n gt h   o f   32.     E m be dd i ng  l a y e r   ( No n e ,   32,   256) :   e m b e t h e   to ke n s   i n t o   de n s e   v e c t o r s   wi t h   256  d i m e ns i o n s .     Dr o p o u l a y e r   ( No n e ,   32,   256 ) a ppl y   dr o po u to   t h e   e m b e dd i ng  l a y e r   t pr e v e n t   o v e r f i t t i n g.     De ns e   l a y e r   ( No n e ,   256 ) u s e   a   de n s e   l a y e r   to   f ur t h e r   pr o c e s s   t h e   e m be dde ve c t or s .   I m a ge   p r o c e s s i n g     I m a ge s s t a r wi t h   t h e   i m a g e   da t a s e t.     P r e pr o c e s s i n g:  p r e pr o c e s s   t h e   i m a ge s   t s t a n da r d i z e   t h e m .     F e a t ur e   e x t r a c t i o n   m o de l   ( Xc e pt i o n   m o de l ) u s e   t he   Xc e pt i o n   m o de l   t e x t r a c t   f e a t ur e s   f r o m   t h e   i m a g e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       E nhanc ing  ac c e s s ibi li ty:   de e lear ning - bas e image   de s c r ipt ion  f or   indi v idual s   …  ( N idhi   B .   Shah )   1057     F e a t ur e   v e c t or   ( 2048 ) e x tr a c t e d   f e a t ur e s   a r e   r e pr e s e n t e a s   v e c t o r s   o f   s i z e   2048.     I n put   l a y e r   ( No n e ,   2048) :   d e f i ne   t h e   i n put   l a y e r   f o r   t h e   i m a ge   f e a t ur e s .     Dr o p o u l a y e r   ( No n e ,   2048) a ppl y   dr o po u to   t h e   i n put   l a y e r   t pr e v e n t   o v e r f i t t i n g.     De ns e   l a y e r   ( No n e ,   256 ) u se   a   de n s e   l a y e r   to   pr o c e s s   t h e   f e a t ur e   v e c t or s .   M o de l   b u il d i ng   B u i l m o de l c o m bi ne   a ll   t h e   c o m po n e n t s ,   t h e   pr oc e s s e t e x t   da t a   a n i m a ge   f e a t ur e s   to  b u i l t h e   f i n a l   i m a g e   c a pt i o ni ng  m o de l .   T e s t i n p ha s e     T e s t   i m a ge :   p r o vi de   a   t e s i m a ge   f o r   c a pt i o n   ge ne r a t i o n .     R e s i z e   i m a ge r e s i z e   t h e   t e s t   i m a ge   to   299 × 299  pi xe l s .     F e a t ur e   e x t r a c t i o n   m o de l   ( Xc e pt i o n   m o de l ) :   e x t r a c t   f e a t ur e s   f r o m   t h e   t e s t   i m a ge   u s i ng  t h e   Xc e pt i o m o de l .     P r e d i c t i o n :   u s e   t h e   b u i l t   m o de l   i pr e vi o us   s t e to   ge n e r a t e   a   de s c r i pt i o n   f o r   t h e   t e s i m a g e .     Ge n e r a t e   de s c r i pt i o n   t e x t :   c o n v e r t   t h e   m o de l s   o u tput   i n t o   a   de s c r i pt i v e   t e x t .     T e x t   to   s pe e c h :   o p t i o n a ll y ,   c o nv e r t   t h e   ge n e r a t e de s c r i pt i o n   t e x t   to   s pe e c h .   T hi s   i m a ge   c a pt i o ni ng  s y s t e m   i nv o l v e s   pr e pr o c e s s i n b o t h   t e x t   de s c r i pt i o n s   a n i m a ge s ,   e x t r a c t i n g   f e a t ur e s   f r o m   i m a ge s   us i ng  t h e   Xc e pt i o n   m o de l ,   a n pr o c e s s i n t e x t   us i n e m be dd i ng  a n de ns e   l a y e r s .     T h e   c o m bi ne m o de l   ge n e r a t e s   t e x t   de s c r i pt i o ns   f o r   n e i m a ge s ,   whi c h   c a n   be   c o nv e r t e to  s pe e c h .     T h e   f l o i nc l ud e s   h a n d li ng  b o t h   t r a i ni ng  da t a   ( c a p t i o n s   a n i m a ge s )   a n t e s da t a   ( n e i m a ge s   f o r   ge n e r a t i n g   de s c r i pt i o ns ) .       4.   E XP E R I M E NT AL   RE S U L T S   T h e   s ugge s t e a ppr o a c h   c a n   b e   v a li da t e us i n th e   B L E U   m e t r i c   a s   s h o wn   i n   T a bl e   1,   whi c h   i s   w i de ly   u s e to   e v a l ua t e   t h e   qua l i t y   o f   m a c hi ne - ge n e r a t e t r a n s l a t i o n s   o r   t e x t   a ga i ns t   r e f e r e nc e   de s c r i pt i o ns .   T h e   c o r e   i de a   b e hi nd  t h e   B L E m e t r i c   i s   t h e   c a l c u l a t i o n   o f   pr e c i s i o n ,   whi c h   m e a s ur e s   h o we l l   t h e   wo r ds   o r   p h r a s e s   ( n - gr a m s )   i n   t h e   c a n d i d a t e   s e n t e n c e   m a t c h   w i t h   t h o s e   i n   t h e   r e f e r e n c e   s e n t e n c e .   T h e   pr e c i s i o n   i s   c a l c u l a t e by   d i vi d i ng  t h e   n u m b e r   o f   m a t c hi ng  n - gr a m s   ( c o n t i n uo us   s e que n c e s   o f   wo r ds )   b e t we e n   t h e   ge n e r a t e d   s e n t e n c e   ( G)   a n t h e   r e f e r e n c e   s e n t e n c e   ( R )   by   t h e   tot a l   n u m be r   o f   n - gr a m s   i t h e   c a n d i da t e   s e n t e nc e .   I n   ot h e r   w o r ds ,   i t   c h e c ks   h o m a ny   n - gr a m s   i n   t h e   ge n e r a t e o u tpu t   a l s o   a ppe a r   in  t h e   r e f e r e nc e   t e x t .   T h e   B L E s c o r e   i s   c o m put e b y   t a k i n t h e   ge o m e t r i c   m e a n   o f   t h e   n - gr a m   pr e c i s io n   v a l ue s   a c r o s s   di f f e r e n t   n - gr a m   l e n gt h s   ( e . g. ,   uni gr a m s ,   bigr a m s ,   t r i gr a m s ) .   T h e   ge o m e t r i c   m e a n ,   de n ot e a s :       ( , , )   = ( = 1 ) 1       h e r e ,   P n   r e pr e s e n t s   t h e   pr e c i s i o n   f o r   n - gr a m s   o f   l e n gt h   n ,   a n i s   t h e   m a xim u m   n - gr a m   l e n gt h     ( e . g. ,   N= t y p i c a ll y   r e pr e s e n t s   1 - g r a m   to   4 - gr a m   pr e c i s i o n ) .               :   =     /         W h e r e m n   i s   t h e   n u m be r   o f   m a t c hi n n - gr a m s   be t we e n   a n R ,   ln  i s   t h e   tot a l   n u m be r   o f   n - gr a m s   i n   G.   Ho we v e r ,   to  a v o i f a v o r i n g   o v e r l y   s h o r ge n e r a t e d   s e n t e n c e s ,   a   b r e vi t y   pe n a l t y   ( B P )   i s   i n t r o duc e d.     T h e   b r e vi t y   pe n a l t y   e n s ur e s   t h a t   i f   t h e   ge n e r a t e s e n t e n c e   i s   t oo  s h o r t   c o m pa r e t t h e   r e f e r e n c e   s e n t e n c e ,     t h e   B L E s c o r e   i s   pe n a li z e d.   T h e   B P   i s   de f i ne a s :     BP   ( , ) = m in ( 1 . 0 , ( 1 (  ( )  ( ) ) )         w h e r e  ( )   i s   t h e   l e n gt h   o f   t h e   r e f e r e nc e   s e n t e n c e ,    ( )   i s   t h e   l e n gt h   o f   t h e   ge n e r a t e s e n t e n c e .   I f   t h e   ge n e r a t e s e n t e n c e   i s   l o n ge r   t h a n   or   e qua l   to  th e   r e f e r e n c e   s e n t e n c e ,   B P   i s   s e t   to  1   ( i . e . ,   n pe n a l t y ) .   Ot h e r w i s e ,   i t   a pp l i e s   a   pe n a l t y   t h a t   de c r e a s e s   t he   B L E s c o r e   wh e n   t h e   c a n d i da t e   s e n t e n c e   i s   too   s h o r t.   T h e r e f o r e ,   t h e   f i na l   B L E s c o r e   i s   c a l c u l a t e a s   b e l o w.       = ( , , ) ×  ( , )       A n   i m po r t a n n ot e   i s   t h a wh e n   hi g h e r - o r de r   n - gr a m   pr e c i s i o n   ( e . g. ,   4 - g r a m   pr e c i s i o n   f o r   n = 4n   =   4n = 4)   i s   z e r o ,   t h e   e n t i r e   B L E s c o r e   w i ll   b e   z e r o ,   e v e n   if   lo we r - or de r   n - gr a m s   ( e . g. ,   uni gr a m s ,   bi gr a m s )   m a t c h .   T hi s   i s   b e c a u s e   B L E e m p h a s i z e s   n o o nl y   i nd i v i dua l   wo r d   m a t c h e s   b ut   a l s o   t h e   c o h e r e n c e   o f   l o n g e r   s e que n c e s .   As   a   r e s u l t ,   B L E c a p t ur e s   b ot h   e x a c t   m a t c he s   a n f l ue n c y   i n   t h e   ge n e r a t e t e x t.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   2 M a y   20 2 5 :   1 051 - 1 060   1058   T a bl e   1.   E x pe r i m e n t a l   r e s u l t s   f o r   C NN + L S T M   o n   f l i c ke r   da t a s e t   I ma ge   P r e di c ti o n   B L E U   B L E U 1   B L E U 2   B L E U 3   B L E U 4     2319175397_3 e 586 c f a f 8.j pg   D o g i s  r unni ng t hr o ugh  th e  s n o w   56.2341   50   20   100   100     3477712686_8 428614c 75.j pg   T wo   c hi ld r e n a r e  pl a y in g w it s pa r kl e r s  i n t he  g r a s s   40.4289   29.82   11.18   89.48   89.48     3477712686_8 428614c 75.j pg   M a n i n bl a c k s hi r a nd bla c k pa nt s   a nd be a r d i s  s ta ndi ng i n f r o nt   of   c r o w d   34.378   29.17   6.25   87.16   87.16     3139393607_f 0a 54c a 46d.jpg   M a n i n r e s hi r is  w a lk in g o n t o of  s n o w   38.6097   80   22.22   12.5   100     3621652774_f d9634bd5b.jpg   B oy  i n bl u e  ba th in g s ui ju mps   in to  p oo l   51.6973   50   14.28   100   100     2505056124_1 276e 8db c b.j pg   M a n i n r e d s hi r is  j umpi ng  o n t h e   e dg e   of  t h e   o c e a n   75.9836   33.33   100   100   100     2229179070_d c 8 e a 8582e .j pg   T w o  s ma ll  d o gs  a r e  pl a y in g w it ba ll   61.4788   14.29   100   100   100     123889082_d3 751e 0350.jpg   D o g i s  r unni ng t hr o ugh  th e  g r a s s   60.4275   66.67   20   100   100     2752329719_8 68545b7d2.jpg   M a n i n r e d s hi r is  w a lk in g o n t o of  l a r ge   r o c k   82.1097   45.45   100   100   100       5.   CONC L USI ON   I n   c o n c l us i o n ,   t h e   pr o p o s e i m a ge   c a pt i o ni ng  s y s t e m   e f f e c t i v e ly   a m a l ga m a t e s   d i ve r s e   s o phi s t i c a t e m a c hi ne   l e a r ni ng  m o de l s   t o   pr o duc e   i nf o r m a t i v e   c a pt i o n s   f o r   p i c t ur e s .   T h e   s y s t e m   ut i li z e s   a   C N N - b a s e d   im a ge   m o de l   t p r o c e s s   i n put   pi c t ur e s ,   e x t r a c f e a t ur e s ,   a n s ubs e que n t l y   u s e   a n   L S T M - ba s e l a n gua g e   m o de l   t o   c o n v e r t   t h o s e   c h a r a c t e r i s t i c s   i n t o   n a t u r a l   l a n gu a ge   c a pt i o ns .   T h e   m e t h o pr o f i c i e n t l y   t a c kl e s   b o t h   f e a t ur e   e x t r a c t i o n   a n s e que n c e   c r e a t i o n   i s s u e s ,   gua r a n t e e i n pr e c i s i o n   a n f l u e n c y .   T he   s y s t e m   a ls o   h a s   a   t e x t - to - s pe e c h   f e a t ur e   to  r e n de r   t h e   ge n e r a t e c a pt i o n s   a c c e s s i b l e   f o r   vi s ua ll y   c h a ll e n ge us e r s .   T he   B L E m e a s ur e   i s   ut i li z e to  a s s e s s   t h e   s y s t e m s   pe r f o r m a n c e ,   c o nf i r mi ng  t h a t h e   ge n e r a t e c a p t i o n s   c l o s e ly   a li g w i t h   h u m a n - wr i t t e n   de s c r i pt i o n s .   T hi s   m e t h o e m p l o y s   m u l t i - l a y e r e m o du l e s   t o   de l i ve r   a n   e f f ic i e n t   a n d   s c a l a bl e   s o l ut i o n   f o r   pr a c t i c a l   a pp li c a t i o n s   i n   p i c t ur e   c a pt i o ni n g.   Our   m o de l ,   whi c h   i s   b a s e o n   m u l t i - l a be l   c l a s s if i c a t i o n   us i n C NN   a n qu i c t e x to  s pe e c h ,     i s   h e l p f u l   f o r   e x t r a c t i n o bj e c t s   f r o m   im a ge s   a n c r e a t i n c a pt i o ns   de pe n d i ng  o n   t h e   da t a s e t s   t h a a r e   s upp l i e d.   He r e   f o r   c r e a t i n im a ge   c a pt i o n s ,   m e t h o us e i n c l uds   c o n c e pt   o f   R NN L S T M ,   a n C NN .   A s   i nput   i s   n o t   a   r a i m a ge   b ut   a   pr o c e s s e i m a g e   w hi c h   a c t ul l a y   h e l p s   f o r   b e t t e r   a n f a s t   r e s u l t s .   F ur t h e r   a s   a   f ut ur e   wo r k   s um m a r i z a t i o n   o f   l i ve   vi de o   o f   s ur r o un d i n g   o f   vi s ua ll y   im pa i r e pe o pl e   c a n   be   do n e   t h r o ugh   whi c h   a   c o n t i n o us   de s c r i pt i o n   o f   t h e   s pa t i a l   a wa r e n e s s ,   di s t a nc e s .   He n c e   e n a bli ng   vi s ua ll y   im pa i r e i nd i v idua l s   to  n a vi ga t e   t h e i r   s ur r o un d i n gs   i n d e pe n de n t l y   a n c o n f i de n t l y .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       E nhanc ing  ac c e s s ibi li ty:   de e lear ning - bas e image   de s c r ipt ion  f or   indi v idual s   …  ( N idhi   B .   Shah )   1059   RE F E R E NC E S   [ 1 ]   M K o ut h e a ir   K hr ib i,   T o w a r a c c e s s ib le   o nl in e   l e a r ni ng  f o r   v is ua ll y   im pa ir e a nd  bl in s tu de nt s ,”   N a f at h v o l.   7,  n o 19,  J a n.   2022, do i:   10.54455/m c n.19.02.   [ 2]   N B S ha a nd  A P G a na tr a E v a lu a ti o of   a u to e n c o de r s tr a in in us in o r ig in a l,   e n c o d e a nd  de c ode   im a ge s   f o r   pr e di c t i o n,”   I nt e r nat io nal   J our nal   of   I nt e ll ig e nt   Sy s te m s   and  A ppl ic at io ns   in   E ngi ne e r in g v o l.   12,  n o.  3,    pp. 2563 2569, 2024.   [ 3 ]   N S ha a nd  A G a na tr a c o mpa r a ti ve   s tu d y   of   a ut oe nc o d e r s - it s   t y p e s   a nd  a ppl i c a ti o n ,”   6t h   I nt e r nat io nal   C onf e r e nc e   on  E le c tr oni c s C om m uni c at io and  A e r os pa c e   T e c hnol o gy I C E C A   2022  -   P r oc e e di ngs pp.  175 180,  2022,    do i:   10.1109/ I C E C A 55336.2022.10009387.   [ 4]   H M a c L e o d,  C L B e nn e tt M R M o r r is a nd  E C ut r e ll U nde r s ta ndi ng  bl in pe o pl e s   e x p e r i e n c e s   w it c o mput e r - ge n e r a te d   c a pt i o ns   of   s o c ia m e di a   im a ge s ,”   in   C onf e r e nc e   on  H um an  F ac to r s   in   C om put in Sy s te m s   -   P r oc e e di ngs M a y   20 17,     vo l.  2017 - M a y , pp. 5988 5999 ,   d o i:  10.1145/3025453.3 025814 .   [ 5]   P S ha r ma N D in g,  S G oo dma n,  a nd  R S or ic u t,   C o n c e p tu a c a pt i o ns a   c le a n e d,  h y p e r n y m e d,  im a ge   a lt - t e x da ta s e t   f or   a ut o ma ti c   im a ge   c a pt i o ni ng,”   in   A C L   2018  -   56t A nnual  M e e t in of   th e   A s s oc ia ti on  f o r   C om put at io nal   L in gui s ti c s P r oc e e di ngs   of  t he  C on f e r e nc e  ( L ong P ape r s ) , 2018,  vo l.  1, pp. 2556 2565 ,   do i:  10.18653/ v 1/ p18 - 1238.   [ 6]   D L . F e r na nd e s , M H . F . R ib e ir o ,  F . R . C e r qu e ir a , a nd  M . M . S il v a ,  “ de s c r ib in g i ma ge   f oc us e d i n  c o gni ti v e  a nd  v is ua de ta il s   f o r   v is ua ll y   im pa ir e d   pe o pl e :   a a ppr o a c h   t o   g e n e r a ti ng  in c lu s i ve   pa r a gr a phs ,”   in   P r oc e e di ngs   of   th e   I nt e r nat io nal   J oi nt   C onf e r e nc e   on  C om put e r   V is io n,  I m agi ng  and  C om put e r   G r aphi c s   T he or y   and  A ppl ic at io ns 2022,  vo l.   5,  pp.  526 5 34 ,     do i:  10.5220/001084570 0003124.   [ 7]   V W a dhw a ,   B G upt a a nd  S G upt a A I   ba s e a ut o ma te im a ge   c a pt i o t oo im pl e me n ta ti o f or   vi s ua ll y   im pa ir e d ,”   in   I C I E R A   2021  -   1s I nt e r nat io nal   C onf e r e nc e   on  I ndus tr ia E le c tr oni c s   R e s e a r c and  A pp li c at io ns P r oc e e di ngs D e c .   20 21,     pp. 1 6. do i:  10.1109/ I C I E R A 53202.2021.9726759.   [ 8]   S R a mpa l,   S G upt a S V e r ma a nd  D K V is hw a ka r ma I ma ge   c a pt i o ni ng  us in I ndR N N ,”   I nt e r nat io nal   J our nal   o f   A dv anc e d   Sc ie nc e  and T e c hnol ogy , v o l.  29, n o . 08, pp. 22 11 2217, 2020.   [ 9]   P R a ut   a nd  R A D e s hmukh,  A a dv a n c e im a ge   c a pt i o n in us in c o mbi na ti o of   C N N   a nd  L S T M ,”   T ur ki s J o u r na of   C o mput e r   a nd  M a th e ma ti c s   E duc a ti o ( T U R C O M A T ) vo l.   12,  n o 1S pp.  129 136,  A pr 20 21,    do i:  10.17762/t u r c o ma t. v 12i 1s .1593.   [ 10]   M R a y pu r ka r A .   S up e P .   B humka r P B o r s e ,   a nd  S .   S a yy a d,  D e e l e a r ni ng   ba s e im a g e   c a pt i o n   ge n e r a t or ,”   I nt e r nat io nal   R e s e ar c h J ou r nal  o f  E ngi ne e r in g and T e c hnol ogy , v o l.  08, n o 03, pp. 554 559, 2021.   [ 11]   S H C hoi S Y J o a nd  S H J ung,  C o mp o n e nt   ba s e c o mpa r a ti ve   a na l y s is   of   e a c m o dul e   in   im a ge   c a pt i o ni ng,”   I C T   E x pr e s s vo l.  7, n o . 1, pp. 121 125, M a r . 2021, d o i:  10.1016/j .i c t e .2020. 08.004.   [ 12]   C W a ng,  Z Z h o u,   a nd  L .   X u,  A in t e g r a ti v e   r e v i e w   o f   im a ge   c a pt i o ni ng  r e s e a r c h ,”   J our nal   of   P hy s ic s :   C onf e r e nc e   Se r ie s   vo l.  1748, n o . 4, p. 042060, J a n. 2021, doi:  10.1088/1742 - 6596/ 1748/4/ 042060.   [ 13]   M C ho ha n,  A K ha n,  M S M a ha r S H a s s a n,  A G ha f oo r ,   a nd  M K ha n,  I ma g e   c a pt i o ni ng  us in d e e l e a r n in g:   a   s y s te m a ti c   li te r a tu r e   r e v i e w ,”   I nt e r nat io nal   J our nal   o f   A dv anc e C om pu te r   Sc ie n c e   and   A ppl ic at io ns v o l.   11,  n o 5,  pp.  278 286,  2 020,     do i:  10.14569/ I J A C S A .2020.0110537.   [ 14]   S H e r da de ,   A K a ppe l e r K B o a k y e ,   a nd  J S o a r e s I ma g e   c a pt i o ni ng:   t ra ns f or mi ng  o b je c ts   in t w o r ds ,”   A dv anc e s   in   N e ur al   I nf or m at io n P r oc e s s in g Sy s te m s , v o l.  32, 2019.   [ 15]   H W a ng,  Y Z ha ng,  a nd  X Y u,  A ove r v i e w   of   im a g e   c a pt i o g e n e r a ti o m e th o ds ,”   C om put at io nal   I nt e ll ig e nc e   and   N e ur os c ie nc e , v o l.  2020, pp. 1 13, J a n. 20 20, do i:  10.1155/202 0/ 3062706.   [ 16]   P W a ghma r e   a nd  D S S hi nd e A r ti f ic ia in te l li ge n c e   ba s e o im a g e   c a pt i o ge n e r a ti o n ,”   SS R N   E le c tr oni c   J our nal 2 020,    do i:  10.2139/s s r n.3648847.   [ 17]   J Y L in C L C hi a ng,  M J W u,  C C Y a o a nd  M C C he n,  S m a r gl a s s e s   a ppl ic a ti o n   s y s t e f or   v is u a ll y     im pa ir e p e o pl e   ba s e o de e l e a r ni ng,”   in   I ndo  -   T ai w an  2nd  I nt e r nat io nal   C onf e r e n c e   on   C om pu ti ng,    A nal y ti c s   and  N e tw or k s I ndo - T ai w an  I C A N   2020  -   P r oc e e di ngs F e b.  2020,  pp.  202 206.     do i:   10.1109/ I nd o - T a iwa nI C A N 48429.2020.9181366.   [ 18]   M N iv e di ta   a nd  Y A .   V .   P ha mi la I ma ge   c a pt i o n in f or   a f f in e   tr a ns f o r m e im a ge s   us in im a ge   ha s hi ng,”     I nt e r nat io nal   J our nal   o f   E ngi ne e r in and   A dv anc e T e c hnol ogy v ol 9,  no 1,  pp.  4736 4741,  O c t.   2 019,     do i:  10.35940/i je a t. A 2022.109119.   [ 19]   G H ox ha F M e lg a ni a nd  B .   D e mi r R e t r ie v in i ma ge s   w it g e n e r a t e t e x tu a de s c r ip ti o ns ,”   in     I nt e r nat io nal   G e os c ie nc e   and  R e m ot e   Se ns in g   Sy m pos iu m   ( I G A R SS ) J ul 2019,   pp.  5812 5815.    do i:  10.1109/ I G A R S S .2019.889 9321.   [ 20]   B K im S S hi n,  a nd  H J ung,  V a r ia ti o na a ut o e n c o d e r - ba s e mul ti pl e   im a ge   c a pt i o ni ng  us in a   c a pt i o a tt e nt i o m a p,”     A ppl ie d Sc ie nc e s  ( Sw it z e r la nd) , vo l.  9, n o . 13, p. 2699, J ul . 2019, do i:  10.3390/app913269 9.   [ 21]   Y F e ng,  L M a W .   L iu a nd   J L uo U ns upe r v is e d   im a ge   c a pt i o ni ng,”   in   P r oc e e di ngs   o f   th e   I E E E   C om put e r     Soc ie ty   C onf e r e n c e   on  C om put e r   V is io and  P at te r R e c ogni ti on J un.  2019,  vo l.   2019 - J une pp.   4120 4 129 ,     do i:  10.1109/C V P R .2019.00425.   [ 22]   B H a r ip r i y a S .   H a s e e b,   G .   M S r us ht i,   a nd  M P r a ka s h,  I ma ge   c a pt i o ni ng  us in de e l e a r ni ng ,”   I nt e r nat io nal   J our nal   of   E ngi ne e r in g R e s e ar c h &  T e c hnol ogy , v o l.  8, n o . 5, pp. 381 38 8, 2019, do i:  10.17577/ I J E R T V 8I S 050284.   [ 23]   L S r in i v a s a n,  D S r e e ka nt ha n,   a nd  A A L I ma ge   c a pt i o ni ng  -   a   de e l e a r ni ng  a ppr o a c h ,”   I nt e r nat io nal   J our nal   of   A ppl ie d   E ngi ne e r in g R e s e ar c h , v o l.  13, n o . 9, pp. 7239 7242, 2018.    [ 24]   R S ta ni ut e   a nd  D Š e š o k,  A   s y s t e ma ti c   l it e r a tu r e   r e v i e w   o i ma ge   c a pt i o ni ng,”   A ppl ie Sc ie nc e s   ( Sw i tz e r la nd) vo l.   9,  n o 10,    p. 2024, M a y  2019, d o i 10.3390/a pp9102024.   [ 25]   M D Z .   H o s s a in F S o h e l,   M F S hi r a tu ddi n,   a nd  H L a ga A   c ompr e he ns i ve   s ur ve y   of   d e e l e a r ni ng  f or   im a ge   c a pt i o ni ng,”   A C M  C om put in g Sur v e y s , v o l.  51, n o . 6, pp. 1 36, N o v . 2019,  do i:  10.1145/3295748.   [ 26]   C A mr it ka r   a nd  V J a ba de I ma ge   c a pt i o n   ge n e r a ti o n   us in de e l e a r ni ng  t e c hni que ,”   in   P r oc e e di ngs   -   2018  4t I nt e r nat i onal   C onf e r e nc e   on  C om put in g,  C om m uni c at io C ont r ol   a nd  A ut om at io n,  I C C U B E A   2018 A ug.  2018,  pp.   1 4 ,     do i:  10.1109/ I C C U B E A .2018.8697360.   [ 27]   S L iu L B a i,   Y H u,  a nd  H W a ng,  I ma ge   c a pt i o ni ng  ba s e o d e e n e ur a n e tw o r ks ,”   M A T E C   W e of   C onf e r e n c e s v o l.   2 32,     p. 01052, Nov . 2018, d o i:  10.1051/m a t e c c o n f /2 01823201052.   [ 28]   N A G o nt i e r J R o m of f ,   a nd  P P a r th a s a r a th i,   V a r ia ti o na e n c o de r   de c o d e r   f or   im a g e   g e ne r a ti o c o ndi ti o n e o c a pt i ons ,”     33r d I nt e r nat io nal  C on f e r e n c e  on M ac hi ne  L e ar ni ng ,   v o l.  48, 2 016.       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   2 M a y   20 2 5 :   1 051 - 1 060   1060   B I OG RA P HI E S   OF   AU T HO RS       N i d hi   B.   Sh a h           w o rk i n g   as   an   as s i s t an t   p ro fe s s o at   c o m p u t e en g i n ee r i n g   D e p art men t   Sard ar  V a l l ab h b h a i   Pat el   I n s t i t u t e   o T ech n o l o g y - V as ad   ( SV I T G u j arat .   Sh e   i s   p art   t i m r e s e ar ch   Sch o l ar  i n   d e p art m en t   o co m p u t e e n g i n ee ri n g ,   C h aru s at   U n i v e rs i t y   G u j arat .   Sh e   h as   recei v ed   M. T ech .   d eg r ee   i n   c o m p u t e r   e n g i n ee ri n g   fr o m   D h aram s i n h   D e s ai   U n i v e rs i t y   ( D D U ),   N a d i a d   G u j arat   i n   2 0 1 1 .   Sh e   h as   rece i v e d   B. E .   D eg ree  i n   Co m p u t e E n g i n ee r i n g   fr o m   Sar d ar  V al l ab h b h ai   Pat e l   I n s t i t u t o T ech n o l o g y - V as ad ,   G u j arat   2 0 0 7 .     H e r   ar e o i n t e r e s t   are   d at mi n i n g ,   m a c h i n l e ar n i n g ,   an d   d e e p   l e arn i n g .   S h c an   b e   c o n t ac t e d   at   em a i l :   n b s h ah 9 9 9 @ y ah o o . c o m .       A m i t   P .   Ga n a tra           i s   Pro v o s t .   A t   Paru l   U n i v e rs i t y   V ad o d ara   I n d i a.   H i s   ci t at i o n s   are   2 5 8 9 ,   h - i n d e x - 2 3 ,   i - 1 0   i n d e x -   4 3 ,   SCO PU S - 8 0   d o cu me n t s   H e   h as   g u i d ed   1 0 0 +   D i s s e rt at i o n s ,   g u i d ed   mo r e   t h an   1 0 0 +   i n d u s t r y   p ro j ec t s   at   u n d e rg ra d u at e   l ev e l h e   i s   g u i d e d   1 2 +   Ph . D .   s t u d e n t s .   H e   i s   an   a c t i v e   mem b e o IE E E   (s e n i o r   m em b e r) ,   A CM  a n d   CS I   p ro fe s s i o n a l   s o ci e t y   c h ap t e rs .   H i s   i s   r e v i ew e i n   m an y   J o u rn a l s   an d   Co n f e r e n ce s .   H i s   ar e o i n t e r e s t   i n c l u d e s   d at ab as e   t ech n o l o g i e s ,   d at mi n i n g ,   b u s i n e s s   i n t el l i g en ce   a n d   d at   an al y t i c s ,   art i f i ci al   i n t e l l i g e n ce,   m a ch i n e   l e ar n i n g ,   c l o u d   c o m p u t i n g ,   Io T ,   b l o ck - c h ai n   t e ch n o l o g i e s ,   s y s t em   s o ft w are ,   an d   s o ft w are   en g i n eeri n g .   H e   c an   b e   c o n t ac t e d   at   em a i l :   p ro v o s t @ p aru l u n i v e rs i t y . a c . i n .     Evaluation Warning : The document was created with Spire.PDF for Python.