I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n  T ec hn o lo g y   ( I J - I CT )   Vo l.  1 5 ,   No .   4 ,  D e c em b er   20 2 6 ,   p p .   1 5 1 0 ~1 5 2 2   I SS N:  2252 - 8 7 7 6 ,  DOI :  1 0 . 1 1 5 9 1 /iji ct . v 1 5 i 4 . pp 1 5 1 0 - 1 5 2 2           1510       J o ur na l ho m ep a g e :  h ttp : //ij ict. ia esco r e. co m   Ara bic callig ra ph y  style recog nitio n wit h  edge e nha ncement  and  a tt ention       B ila l A bd ulra hm a n T ua m a 1, 2 ,   F a rha n M o ha m ed 1, 3   1 D e p a r t me n t   o f   Emer g e n t   C o m p u t i n g ,   F a c u l t y   o f   C o mp u t i n g ,   U n i v e r si t y   o f   Te c h n o l o g y   M a l a y si a ,   J o h o r   B a h r u ,   M a l a y si a   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   C o l l e g e   o f   A p p l i e d   S c i e n c e ,   U n i v e r s i t y   o f   S a m a r r a ,   S a marr a ,   I r a q   3 M e d i a   a n d   G a me  I n n o v a t i o n   C e n t e r   o f   E x c e l l e n t ,   I n st i t u t e   o f   H u ma n   C e n t e r e d   E n g i n e e r i n g ,     U n i v e r si t i   Te k n o l o g i   M a l a y si a ,   K u a l a   Lu m p u r ,   M a l a y si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J an   3 1 ,   2 0 2 6   R ev is ed   J u n   1 8 ,   2 0 2 6   Acc ep ted   J u l 5 ,   2 0 2 6       Ara b ic   c a l li g r a p h y   s t y le   re c o g n i t io n   is   a   c h a l le n g i n g   ta s k   b e c a u s e   v i su a l l y   sim i la r   st y les   o f te n   s h a re   c u r v e d   s tr o k e s ,   c o n n e c te d   st r u c t u re s ,   a n d   s u b tl e   o r n a m e n ta l  v a r iat i o n s .   T h i s  s t u d y   p r o p o se s   a   c o n v o l u ti o n a l  n e u r a l  n e tw o r k   (CNN )   a rc h it e c t u r e   t h a t  c o m b i n e s   le a r n a b le  e d g e   e n h a n c e m e n t ,   s q u e e z e - a n d - e x c it a t i o n   ( S E)  a t te n t i o n ,   a n d   o p ti o n a l  B i LS T M - b a se d   se q u e n ti a l   m o d e l in g   fo r   Ar a b ic   c a ll i g r a p h y   s t y le   c la s sif ica ti o n .   T h e   e d g e   m o d u le   is   d e si g n e d   t o   p re se r v e   fi n e - g ra i n e d   s tr o k e   b o u n d a r ies ,   w h il e   t h e   a tt e n ti o n   m e c h a n ism   e m p h a s ize s   i n fo rm a ti v e   c h a n n e l  re s p o n se s  a n d   t h e   Bi L S T M   m o d e ls  w i d t h - wise   c o n te x t u a l   d e p e n d e n c i e s .   E x p e r ime n ts   we re   c o n d u c te d   o n   a   p u b l ic   Ara b ic   c a l l i g ra p h y   s t y l e   d a ta se t   u s i n g   a   s tra t if ie d   7 0 / 1 5 / 1 5   t ra in - v a li d a ti o n - tes t  s p li t .   T h e   b e s t  c o n fi g u r a t i o n   a c h ie v e d   9 8 . 2 2 %   a c c u ra c y   a n d   9 8 . 2 0 %     F1 - sc o re   o n   t h e   tes t   s u b se t.   T h e se   f i n d i n g s   i n d ic a te   t h a t   a d a p t iv e   e d g e - a wa r e   fe a t u re   lea r n i n g   c a n   im p r o v e   t h e   d i sc r imi n a t io n   o f  v is u a ll y   s imi l a r  Ara b ic   c a ll i g ra p h y   s ty les .   Ne v e r t h e les s ,   b ro a d e r   v a l i d a t i o n   o n   a d d i ti o n a l  d a tas e ts  a n d   re p e a te d   r u n s  is   st i ll   n e e d e d   t o   c o n fir m   g e n e ra l iza b il it y .   K ey w o r d s :   Ar ab ic  ca llig r ap h y   Atten tio n   m ec h an is m   C NN   E d g e  ex tr ac tio n     Sty le  r ec o g n itio n     T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Far h an   Mo h am e d   Dep ar tm en t o f   E m er g e n t Co m p u tin g ,   Facu lty   o f   C o m p u tin g ,   Un iv er s ity   o f   T ec h n o l o g y   Ma lay s ia   J o h o r   B ah r u ,   Ma lay s ia   E m ail:  f ar h an @ u tm . m y       1.   I NT RO D UCT I O N   Ar ab ic  ca llig r ap h y   s ty le  r ec o g n itio n   is   an   im p o r tan t  p r o b lem   in   d o cu m en t  im ag e  an aly s is ,   esp ec ially   f o r   d ig ital  ar ch iv i n g ,   h is to r ic al  m an u s cr ip t  p r o ce s s in g ,   an d   cu ltu r al  h er itag e  r etr ie v al.   I t  is   im p o r tan t  to   d is tin g u is h   th is   task   f r o m   o p tical  ch ar ac ter   r ec o g n itio n   ( OC R ) .   W h ile  OC R   aim s   to   d ec o d e  tex tu al  co n ten t  at   th e  ch ar ac ter   o r   wo r d   lev el,   c allig r ap h y   s ty le  r ec o g n itio n   f o cu s es  o n   id en tify in g   th e  v is u al  s ty le  ca teg o r y   o f   th e  s cr ip t  im ag e  r eg ar d less   o f   th e  wr itten   tex t  [ 1 ] .   Ar a b ic  s cr ip t  in tr o d u ce s   ad d itio n al  d if f icu lty   b ec au s e  it  is   wr itten   f r o m   r i g h t  t o   lef t,   ch a r ac ter s   ch an g e  s h ap e   d e p en d i n g   o n   th eir   p o s itio n   i n   th e   wo r d ,   a n d   ca llig r ap h i c   s ty les m ay   s h ar e  h ig h ly   s im ilar   v is u al  s tr u ctu r es [ 2 ] ,  [ 3 ] .   Ar ab ic  ca llig r ap h y   is   n o t  o n ly   a  wr itin g   s y s tem   b u t  als o   an   ar tis tic  p r ac tice  ch ar ac ter ized   b y   h ar m o n y ,   r h y th m ,   an d   s ty lis tic  v ar iatio n .   Sty les  s u ch   as  T h u lu th ,   R u q aa ,   an d   Nask h   e x h i b it  d is tin ctiv e  v is u al  p atter n s ,   y et  m a n y   o f   th ese  d if f er en ce s   ar e   en co d ed   in   s u b tl e  s tr o k e  c u r v atu r e,   th ick n ess ,   s p ac in g ,   an d   o r n am en tatio n .   C o n v en tio n al   h an d c r af ted   d escr ip to r s   c an   ca p tu r e  p ar t   o f   th is   s tr u ctu r e,   b u t  t h eir   g en er aliza tio n   is   o f ten   lim ited   wh en   s ty les  ar e  v is u ally   c lo s e  o r   wh en   s am p les  ar e  n o is y ,   d eg r ad e d ,   o r   lo w  in   r eso lu tio n   [ 4 ] ,  [ 5 ] .   T h is   m o ti v ates  th e  u s e   o f   d ee p   m o d els  th at  ca n   p r eser v e  b o th   s tr u ct u r al  an d   c o n tex tu al   cu es.   Fig u r e  1   illu s tr ates  th e  s am e  Ar ab ic  tex t  p r esen ted   in   d if f er e n t  ca llig r ap h ic  s ty les,  h ig h lig h tin g   th e   v is u al  v ar iatio n s   th at  m ak e   Ar ab ic  ca llig r a p h y   s ty le  r ec o g n itio n   ch allen g i n g .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       A r a b ic  ca llig r a p h y  s tyle  r ec o g n itio n   w ith   ed g e  en h a n ce me n t  a n d   a tte n tio n   ( B ila l A b d u lr a h ma n   Tu a ma )   1511       Fig u r e   1 .   T h e  s am e  tex t b u t in   d if f er en t c allig r a p h y   s ty les [ 4 ]       E d g e  d etec tio n   f r o m   im ag es  is   an   ess en tial  is s u e  in   im a g e - b a s ed   class if icatio n   p r o b lem s ,   p ar ticu lar ly   f o r   c o m p lex   s ce n ar io s   lik e   Ar ab ic  ca llig r ap h y   a n d   v is u al  s im ilar ities   [ 5 ] .   Un lik e   th e  p r in t ed   L atin   t y p ef ac es,   Ar ab ic  ca llig r ap h y   s ty les  ex h i b it  o v er lap p i n g   s h ap es,  cu r v e d   lin es  an d   s m o o th n ess   in   s tr o k e  tr an s itio n s   th at  n o r m ally   c o m p licate  s ty le  cla s s if icatio n .   Stan d ar d   co n v o lu t io n al  n etwo r k s   m ay   h av e  d i f f icu lty   in   m o d elin g   th ese  f in e - s ca le  d etails ,   r el y in g   s o lely   o n   t h e  am p litu d e  o f   r aw  p ix els  [ 6 ] .   T o   o v er co m e   th is ,     ed g e  ex tr ac tio n   tech n i q u es  ar e  o f ten   em p lo y e d   to   illu m in a te   th e  s tr u ctu r al  b o u n d ar ies  a n d   o u tlin es  o f   th e   g ly p h s .   C o n v en tio n al   m eth o d s   s u ch   as  So b el  [ 7 ] ,   [ 8 ]   f ilter s   ap p ly   p r ed e f in ed   k er n els  to   e n h an ce   h o r izo n tal,   v er tical,   o r   d iag o n al  g r ad ien ts ,   th u s   em p h asizin g   s h ap e  b o u n d ar ies.  Ho wev er ,   th ese  s tatic   o p er ato r s   ar e  n o t   ad ap tiv e  an d   m ay   f ail  to   ca p tu r e  s ty le - s p ec if ic  s tr o k e  v a r i atio n s   in   d iv er s e  ca llig r a p h y   ty p es.  I n   c o n tr ast,   lear n ab le  ed g e  e x tr ac to r s   in te g r ated   in to   d ee p   n e u r al  n etwo r k s   p r o v i d e  a  d ata - d r iv en   alte r n ativ e  [ 9 ] .   T h an k s   to   lear n in g   p r o p er   ed g e - en h an cin g   f ilter s   in   tr ain in g ,   th ey   ar e  ab le  to   s elec tiv ely   em p h asize   th e  m o s t   d is cr im in ativ e  s tr o k e   p atter n s   f o r   d if f er e n t  s ty les.  T h is   n o t o n ly   m a k es   f ea tu r es   m o r e   r o b u s t,  b u t  it  also   m ak es   m o d els m o r e  in ter p r eta b le  as s tr u ctu r al  cu es th at  ar e  n ee d ed   t o   d is cr im in ate  s im ilar   ty p ef ac es a r e  r etain ed .   An   ex am p le  o f   ed g e   d etec tio n   o p e r atio n   o n   A r ab ic  letter s   is   p r esen ted   in   Fig u r e   2 .           Fig u r e  2 .   E x am p le  o f   ed g e  ex t r ac tio n       I n   co m p lex   s cr ip ts   s u ch   as  Ar ab ic,   atten tio n   m ec h an is m s   h elp   th e  n etwo r k   f o c u s   o n   th e  m o s t   in f o r m ativ e  v is u al  cu es,  wh ile  s eq u en ce   m o d elin g   ca n   ca p tu r e  co n tex tu al  d ep en d en cies  b e twee n   n eig h b o r in g   s tr u ctu r es.  SE  atten tio n   im p r o v es  ch an n el - wis e  f ea tu r e  r ec alib r atio n   b y   em p h asizin g   i n f o r m ativ e  r esp o n s es  an d   s u p p r ess in g   ir r elev an t  ac tiv atio n s   [ 1 0 ] ,   [ 1 1 ] .   T h is   is   p ar ticu lar ly   u s ef u l  in   Ar ab ic  ca llig r ap h y ,   w h er e   s m all  s tr u ctu r al  d if f er en ce s   ca n   h av e  s tr o n g   s ty lis tic  s ig n if ican ce   [ 1 2 ] .   T h is   s tu d y   ev alu ates  wh eth er   ad ap tiv e  ed g e  en h an ce m en t,  ch an n el  atten tio n ,   an d   wid th - wis e  s eq u en tial  m o d elin g   ca n   im p r o v e  Ar a b ic  ca llig r ap h y   s ty le  class if icatio n .   T h e  test ed   v ar ian ts   in clu d e  a  co n v o l u tio n al  n eu r al   n etwo r k   ( C NN )   with   atten tio n ,   a  C NN   with   So b el   ed g e  m a p s ,   a   C NN  with   a   lear n ab le   ed g e  ex tr ac to r ,   a n d   a  b aselin e  C NN  w ith o u t  s eq u en tial  m o d elin g .   C o m p ar e d   with   ea r lier   s tu d ies  th at   em p h asized   h a n d cr a f ted   f ea t u r es,  co n v e n tio n al  class if ier s ,   o r   tr an s f er   lear n in g ,   th e   p r esen t   wo r k   in v esti g ates  th e  jo in t  r o le  o f   lear n ab le  e d g e - awa r e  en h a n ce m en t,  atte n tio n - g u id ed   f ea tu r e  r ef in em en t,  an d   co n tex t u al  m o d elin g   i n   a  u n if ied   ar c h itectu r e.   T h e  m ain   co n tr ib u tio n s   o f   th is   wo r k   ar e  s u m m ar ized   as f o ll o ws  :   −   W e  d esig n   a  n o v el  C NN  ar ch itectu r e  f o r   A r ab ic  f o n t  class if icatio n   th at  in teg r ates  atten tio n   an d   ed g e   en h an ce m e n t m o d u les .   −   W e  co m p ar e  th e  ef f ec tiv e n ess   o f   f ix ed   ( So b el)   an d   lear n a b le  ed g e  ex tr ac tio n   in   h i g h lig h tin g   s tr u ctu r al   f o n t f ea tu r es .   −   W e  d em o n s tr ate  th e  b en e f it o f   B iLST M  lay er s   in   m o d elin g   s p atial  d ep en d e n cies f o r   class if icatio n .   −   W e  p r o v id e  a  co m p r e h en s iv e  ev alu atio n   o n   a  p u b lic  Ar ab ic  f o n t d ataset  with   class   b alan cin g   an d   s tr atif ied   v alid atio n  .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 5 ,   No .   4 ,  D e c em b er   20 2 6 :   1 5 1 0 - 1 5 2 2   1512   T h e  r est  o f   t h is   p ap er   is   o r g an ized   as  f o llo ws:   Sect io n   2   r e v iews  th e  r elate d   wo r k   a n d   h ig h lig h ts   th e   tech n iq u es  o f   e x is tin g   ap p r o ac h es.  Sectio n   3   d escr ib es   th e  p r o p o s ed   m eth o d o lo g y ,   in clu d in g   d ataset  p r ep ar atio n   an d   m o d el  ar ch it ec tu r e.   Sectio n   4   p r esen ts   th e  ex p er im en tal  s etu p   an d   r e s u lts   co m p ar is o n s .   Fin a lly ,   Sectio n   5   co n clu d es t h e  p ap er   an d   o u tlin es d ir ec tio n s   f o r   f u tu r e  wo r k .       2.   RE L AT E D  WO RK S   Ver y   lim ited   wo r k   h as   b ee n   co n d u cte d   in   th e  d ev elo p m e n t  o f   Ar ab ic  ca llig r ap h y   r ec o g n i tio n   f r o m   co m p u tatio n al  an d   d ataset  co n s tr u ctio n   p o in ts   of   v iew.   Ka o u d ja  et  a l.   [ 1 3 ]   in t r o d u ce d   a   n ew  s y s tem   f o r   th e   class if icatio n   o f   Ar ab ic  ca llig r ap h y   s ty les  b ased   o n   h an d - m a d e  tex tu r e - b ased   f ea tu r es  an d   en s em b le  lear n er s .   T h e  au t h o r s   id e n tifie d   a n d   b u ilt  a  n ew  d ataset  o f   1 6 8 5   im a g es  in   n in e   c o m m o n   s ty les  ( e. g . )   Nask h ,   Diwan i,   T h u lu th ,   Ku f ic  f r o m   v a r io u s   s o u r ce s   s u ch   as  h is to r ical  m a n u s cr ip ts   an d   p r in te d   d o cu m e n ts .   Acc u r ate  an d   d is cr im in ativ e  v is u al   f ea t u r es  wer e  ex tr ac ted   u s in g   lo ca l  p h ase  q u an tizatio n   ( L PQ)   th at   is   r o b u s t  u n d er   n o is e  an d   b lu r .   C lass if icatio n   was  c o n d u cte d   b y   v ar i o u s   class if ier s :   m u lti - lay er   p er ce p tr o n ,   s u p p o r t  v ec to r   m ac h i n e ,  an d   k - n ea r est  n eig h b o r   ( M L P,  SVM  an d   KNN) ,   an d   d if f er en t  d ec is io n - lev el  f u s io n   m eth o d s   wer e   in v esti g ated .   T h e  Su m   r u le   co m b in atio n   s h o wed   th e   b es t  p er f o r m an ce   with   a n   ac cu r ac y   o f   9 6 . 9 1 \ %  o n   av er ag e  an d   s u r p ass ed   in d iv id u al  class if ier s .   An o t h e r   s i g n i f ic an t   s t u d y ,   Sa b er   et   a l.   [ 1 4 ]   in tr o d u ce d   an   o f f lin e   r ec o g n iti o n   s y s te m   o f   ar ti s tic   A r a b i c   ca ll ig r a p h y   s cr ip ts   h a v i n g   c o m p le x   s t r u ct u r al   t ex tu r es ,   p att er n s ,   a n d   d i f f e r e n t   f o r m s   o f   l ett e r   s h a p es.   T h e   is s u es   p o s e d   b y   d is c r im in ati n g   ca lli g r a p h ic   s t y l es  s u c h   as   i n t er - l ett er   o v er la p   a n d   v is u al   s i m il a r it y ,   w er e  ta ck le d   wit h   th e   g en e r ati o n   o f   d is ti n c ti v e  f ea t u r es  f o r   ea c h   s cr ip t  t y p e  i n   a  f ea t u r e  v ec t o r .   W e   u s ed   t h e  g en eti c  a lg o r it h m   tec h n i q u e  f o r   e x t r a cti n g   an   o p t im al  s et  o f   f e at u r es  a n d   an   i m a g e   r es o l u ti o n   t h at   c o u ld   i m p r o v e   t h e   class i f i ca t io n   r es u l t.   T h e   c lass if i er   was   a   n eu r a l   n etw o r k .   T h e   s y s t em   w as   t este d   u s i n g   t wo   d at ase ts :   a   lo ca l   d at ase t,   a n d   t h e  f i r s t  p u b li c  d a taset   t h a t  co n s is t   o f   t e n   d i f f er e n t   s y n t h e tic   A r a b i c  f o n ts .   T h e   r e p o r te d   er r o r   r at es   wer e  8 . 0 2   a n d   7 . 5 5 %  f o r   t h e  tw o   ex p e r i m e n ts   a b o v e  r es p e cti v e ly ,   i n d i ca t in g   th at  t h e   p r o p o s e d   m e th o d   ac h ie v e d   g o o d   p er f o r m a n c e  b o th   i n   h a n d - wr itt en   c all ig r a p h y   an d   c o m p u te r - g e n e r at e d   ca l li g r a p h y   r e c o g n iti o n .   Ab o o d   et  a l.   [ 1 5 ]   in t r o d u ce d   an   in itiativ e  f o r   a  s p ec ialized   d ataset  an d   tex t  co r p u s   to   lev er ag em ac h in e  lear n in g   ap p r o ac h es.  T h e   au th o r s   co llecte d   3 , 4 6 7   im ag es  f o r   Ar ab ic   ca llig r ap h ic  letter s   in   3 2   letter   ty p es  an d   ad d itio n ally   ex tr ac ted   5 4 4   d if f er en t   p h r ases   f r o m   ca llig r ap h ic  ar t  p iece s .     T h ey   p r o g r am m ed   an   a u to m at ic  h an d wr itin g   an al y s t  an d   u s ed   I m ag eJ   to   m a n u ally   a n n o tate  an d   o b tain   p o s itio n   d eltas  f o r   ea ch   letter .   Fo r   th e  class if icatio n ,   two   f ea tu r e   ex tr ac tio n   tec h n iq u es  wer e  u s ed ,   B ag   o f   SUR F   Featu r es  an d   HOG  f ea tu r es  co m b in ed   with   SVM.   T h e  HOG - b ased   m o d el  h a d   a  b etter   class if icatio n   p er f o r m an ce   ( 6 0 %)  th an   th e   SUR F - b ased   m o d el  ( 5 7 %).   I m an e  et  a l.   [ 1 6 ]   p r o p o s ed   an   o p tical  f o n t   r ec o g n itio n   ( OFR )   f r am ewo r k   f o r   Ar ab ic  ca llig r ap h y ,   wh ic h   o v er c o m es  th e  lim itatio n s   th at  ar e  en co u n ter ed   b y   p r ev io u s   m eth o d s   d u e   to   d eg r ad e d   an d   h is to r ical  d o c u m en ts .   T h e   f ea tu r es  a r e  ex t r a cted   at  p i x el  lev el  b ased   o n   ed g e  d ir ec tio n   m atr i ce s   ( E DM S)   th at  en co d e   d is tin c tiv e  tex tu r e  p atter n s   in   th e  ca llig r ap h y   f o n ts .   A   b ac k p r o p ag atio n   n eu r al  n etwo r k   ( B PNN)   clas s if icatio n   was  im p lem en ted ,   wh ich   ac h iev es   b etter   r ec o g n itio n   p er f o r m an ce   o f   f o n t  ty p es.  T h e  m o d el   o b tain e d   a  te x tu r e  g en er atio n   ( 9 2 . 8 %)  a n d   r e co g n itio n   ac cu r ac y   (4 3 . 7 %)  o n   Ar a b ic  o u tp u t   d eg r ad ed   im ag es ,   r esp ec tiv ely .   Hu s s ein   [ 1 7 ]   also   p r o p o s ed   th e  p r in ted   Ar ab ic   tex t  s et  ( PAT S - A0 1 ) ,   wh ic h   co n tain s   2 , 7 6 6   tex t   lin es  cr o p p e d   f r o m   class ical  Ar ab ic  b o o k s   o f   eig h t  f o n ts :  Ar ial,   T ah o m a,   Ak h b ar ,   T h u lu th ,   Nask h ,   Simp lifie d   A r ab ic  An d alu s   an d   tr ad itio n al  Ar ab ic.   Mu ltip le  f ea tu r e  ty p es  wer e  an aly ze d   with   t wo   n eu r al  m o d els :   ex tr em e  lear n i n g   m ac h in e  ( E L M)   an d   f ast  lear n in g   n e two r k   ( FLN) .   E x p er im e n ts   r ev ea led   th at  t h e  p er f o r m an ce   o f   FLN  an d   E L M  was  s en s itiv e  to   f ea tu r e  ty p e  an d   ne two r k   s ize.   T h is   d em o n s tr ates  th e  p r o m is e  o f   lig h tweig h t  a n d   f ast - lear n in g   m o d els  in   Ar ab ic  f o n t   r ec o g n itio n ,   th o u g h   th e  r o le  o f   d iv e r s e  an d     co n ten t - r ich   d atasets   is   cr itica l  f o r   lear n in g   r o b u s t  class if ier s .   As  f o r   tr an s f er   lear n in g   tech n iq u es,  Gü r er   a n d   Gö k b ay   [ 1 8 ]   a n aly ze d   two   d if f er en t c allig r ap h y   d atasets   to   in v esti g ate  ca llig r ap h ic  wo r k s .   A  f ir s t d ataset  with   9   u n iq u e  ca llig r a p h y   s ty les  an d   th e   s ec o n d   o n e  f o r   th e  class if icatio n   task s ,   co n s is tin g   o f   class es   r ep r esen tin g   ch ar ac ter s   in   d iv er s e  ca llig r ap h i c  s ty les  ( i.e . ,   n o   o v er lap p in g   p atter n s ) .   T h e  ex p e r im en tal   r esu lts   s h o w   good  ac cu r ac y   o f   ab o u t 9 0 % a n d   7 9 % f o r   F1   s co r es o f   s ty les   an d   l etter   class if icatio n .   Fin ally ,   th e  wo r k   in   [ 1 9 ]   attem p ted   to   s tu d y   th e  im p ac t  o f   ap p l y in g   tex tu r e  d escr ip to r s   f o r   th e   p u r p o s e  o f   r ec o g n is in g   Ar ab ic  ar tis tic  wr it in g .   T h e  s ix   p o p u lar   an d   lan d m ar k   tex tu r e  d escr ip to r s     ( GL C M,   L B P,  W L D,   L PQ,  HOG  an d   B SIF)   wer e   u s ed   i n   o u r   s tu d y .   T h ese   d escr ip to r s   wer e  f e d   to   f iv e   d if f er en t   m ac h in e   lear n in g   cl ass if ier s   ( SVM ) ,   r an d o m   f o r e s t  ( R F ) ,   d ec is io n   tr ee   ( DT ) ,   K - n ea r est  n eig h b o r s   ( KNN )   an d   lin ea r   d is cr im in at e  an aly s is   ( L DA ) .   T h e  test   is   d o n e  o n   a   p r o p r ietar y   d ataset  th at  co n s is ts   o f   n in e   s ty les  o f   Ar ab ic  ca llig r ap h y .   Fro m   th e  ex p e r im en tal  r esu lts ,   we  f in d   th at   th e  f ilter - b ase d   f ea tu r es  ar e   m o r e   u s ef u l  th an   s tatis tical  f ea tu r es   f o r   t h is   task .   I n   p ar ticu lar ,   th e  h ig h est  ac cu r ac y   o f   9 4 . 7 %  wa s   o b tain ed   with   th e   co m b in atio n   o f   B SIF  d escr ip to r   an d   SVM  class if ier .   Fin ally ,   it  is   al s o   o b s er v ed   th at  r ec o g n itio n   p er f o r m an ce   was   th e  wo r s t f o r   T h u lu th   an d   Mo h ak ik   s ty les as a   r esu lt   o f   t h eir   s im ilar   s tr u ctu r es.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       A r a b ic  ca llig r a p h y  s tyle  r ec o g n itio n   w ith   ed g e  en h a n ce me n t  a n d   a tte n tio n   ( B ila l A b d u lr a h ma n   Tu a ma )   1513   Ov er all,   p r e v io u s   s tu d ies  d em o n s tr ate  th e  v al u e  o f   h a n d cr af t ed   tex tu r e   d escr ip to r s ,   class ica l  m ac h in e   lear n in g ,   an d   tr an s f er   lear n i n g   f o r   Ar ab ic  s cr ip t  an aly s is .   Ho wev er ,   th r ee   g ap s   r em ai n .   First,  lim ited   wo r k   h as  ex p licitly   ex am in ed   ad a p tiv e   ed g e  en h an ce m en t  f o r   p r eser v in g   s ty le - s p ec if ic  s tr o k e  s tr u ctu r e  in   Ar ab ic   ca llig r ap h y .   Seco n d ,   t h e  jo i n t  co n tr ib u tio n   o f   ch a n n el  a tten tio n   an d   s eq u en tial  m o d elin g   h as  n o t  b ee n   s u f f icien tly   an aly z ed   f o r   f in e - g r ain ed   s ty le  class if icatio n .   T h ir d ,   m a n y   s tu d ies  r ep o r t  s tr o n g   r esu lts   b u t   p r o v id e   lim ited   d is cu s s io n   o f   r ep r o d u cib ilit y ,   s tab ilit y ,   an d   th e  in ter p r etatio n   o f   lear n ed   s tr u ctu r al  c u es.  T h is   s tu d y   ad d r ess es  th ese  g ap s   b y   c o m b in in g   lear n ab le   ed g e  ex tr ac t io n ,   SE  atte n tio n ,   a n d   B iLST M - b ased   co n tex tu al  m o d elin g   with in   a  u n if ied   class if icatio n   f r am ewo r k   [ 2 0 ] ,   [ 2 1 ] .       3.   RE S E ARCH   M E T H O D   T h e  p r o p o s ed   m eth o d   was  d ev elo p ed   to   im p r o v e  f in e - g r ain ed   Ar ab ic  ca llig r ap h y   s ty le  class if icatio n   b y   c o m b in in g   e x p licit  s tr u ctu r al  en h a n ce m en t  with   d ee p   v i s u al  r ep r esen tatio n   lear n in g .   T h e  o v er all  p i p elin e   th at  s h o wed   in   Fig u r e  3   co n s is ts   o f   in p u t  p r ep r o ce s s in g ,   e d g e  ex tr ac tio n ,   h ier a r ch ical  c o n v o lu ti o n al  f ea tu r e  lear n in g ,   o p tio n al  wid th - wis e  s eq u en ce   m o d elin g ,   a n d   f i n al  class if ica tio n .     T h e  m o d el  is   s tr u ctu r ed   in   a  s eq u en ce   o f   m o d u lar   s tag es,  b eg in n in g   with   in p u t  p r ep r o c ess in g   an d   ed g e  ex t r ac tio n ,   f o llo wed   b y   h ier ar c h ical  co n v o lu tio n al  l ay er s   f o r   f ea tu r e  lear n in g ,   a n d   en d in g   with   a   class if icatio n   b lo ck .   B y   in co r p o r atin g   b o th   s p atia l  a n d   co n t ex tu al  in f o r m atio n ,   th e   ar c h itectu r e  aim s   to   o f f er   r o b u s t p er f o r m a n ce   ac r o s s   v ar ied   ca llig r ap h ic  s ty les.           Fig u r e  3 .   T h e  p r o p o s ed   s y s te m   ar ch itectu r e       3 . 1 .     Da t a s et   I n   th is   s tu d y ,   we  u s ed   th e   Ar ab ic  ca llig r ap h y   s ty le  cl ass if icatio n   d ataset  in tr o d u ce d   in   [ 1 3 ] .     T h e  d ataset  was  s elec ted   b ec au s e  it  p r o v id es  m u ltip le  c lass ical  Ar ab ic  ca llig r ap h y   s ty les  with   v is ib le     in tr a - class   v ar iatio n   an d   s u f f i cien t  s am p les  f o r   s u p e r v is ed   ev alu atio n .   T o   p r eser v e  class   d is tr ib u tio n   ac r o s s   s u b s ets,  th e  im ag es  wer e  d iv id ed   u s in g   a  s tr atif ied   s p lit  o f   7 0 %  f o r   tr ain in g ,   1 5 %  f o r   v ali d atio n ,   an d   1 5 %  f o r   test in g .   T h e  v alid atio n   s u b s et   was  u s ed   f o r   m o d el  s elec tio n   an d   ea r ly   s to p p in g ,   w h ile  th e  test   s u b s et  wa s   r eser v ed   o n ly   f o r   f in al  e v alu at io n .   All  im ag es  wer e   r esized   t o   2 2 4 × 2 2 4   p i x els  b ef o r e  tr ain in g .   No   ad d itio n al   d ata  au g m en tatio n   was  ap p li ed   in   th e  cu r r en t  ex p er im en t s .   T h is   allo wed   a  co n tr o lled   ev alu atio n   o f   th e   p r o p o s ed   ar ch itectu r e   o n   th e   av ailab le  d ataset,   alth o u g h   b r o ad e r   au g m en tatio n   a n d   r e p ea ted - r u n   an aly s is   r em ain   im p o r tan t d ir ec tio n s   f o r   f u tu r e   wo r k .   T h e  d ataset  o f f e r s   s ev er al  im p o r tan t c h ar ac ter i s tics :   −   Div er s ity   o f   s ty les : I t c o v er s   a  wid e  s p ec tr u m   o f   class ical  Ar ab ic  ca llig r ap h y   s ty les.   −   Ad eq u ate  s ize :  E ac h   s ty le  i n clu d es  a  s u f f icien t  n u m b e r   o f   lab eled   im ag es  t o   s u p p o r t   lear n in g - b ased   ap p r o ac h es.   −   I n tr a - class   v ar iatio n : T h e  d ata s et  in clu d es  v ar iatio n s   i n   s ca le   an d   p h r ase  len g th   with in   ea c h   s ty le  ca teg o r y ,   wh ich   en r ich es th e  m o d el’ s   ab ilit y   to   g en er alize .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 5 ,   No .   4 ,  D e c em b er   20 2 6 :   1 5 1 0 - 1 5 2 2   1514   Sp ec if ically ,   th e  d ataset  co n s is ts   o f   n in e  ca llig r a p h ic  s ty les:   Nask h ,   Diwan i,  Par s i,  R ek aa ,   T h u lu th ,   Ma g h r ib i,  Ku f ic,   Mo h a k ek ,   a n d   Sq u ar e - Ku f ic,   with   ea ch   s t y le  r ep r esen tin g   a  u n iq u e  class   lab el,   as  s h o wn   in   Fig u r e  4 .   A  t o tal  o f   1 6 8 5   im a g es  ar e  in clu d e d ,   with   1 8 0   t o   1 9 5   im a g es  p er   class .   T h e  im ag es  wer e  c ap tu r e d   u s in g   an   1 8 - m eg a p ix el  ca m er a,   en s u r in g   h ig h   r eso lu tio n   an d   clar ity .   T o   en s u r e  v i s u al  an d   co n tex t u al  d iv er s ity ,   s am p les  wer e  co llected   f r o m   v ar i o u s   s o u r ce s   s u ch   as  b o o k s ,   m an u s cr ip ts ,   an d   o n lin e  r eso u r ce s .   E ac h   im ag e   was  m an u ally   s eg m en ted   to   p r o d u c e   p h r ases   o f   v ar y in g   len g th s ,   an d   all  s am p les  wer e   m eticu lo u s ly   ca teg o r ize d   ac co r d in g   to   th eir   co r r esp o n d in g   c allig r ap h y   s ty le .           Fig u r e  4 .   E x am p les o f   ca llig r a p h ic  s ty les in   th e  d ataset       3 . 2 .     E dg e  ex t r a ct io n   I n   th is   wo r k ,   we  co m p ar e  two   ed g e  en h an ce m e n t  s tr ateg ies:   a  f ix ed   So b el - b ased   b r an ch   an d   a   lear n ab le  ed g e  e x tr ac tio n   b r a n ch .   T h e   o b jectiv e  o f   b o th   b r an ch es  is   to   h ig h lig h t   s tr o k e  c o n to u r s   an d   b o u n d ar y   tr an s itio n s   th at  ar e  in f o r m ativ e  f o r   s ty le  d is cr im in atio n .   We   in v esti g ate  f ix ed   an d   lear n ab le   ed g e  en h an ce m en t   m o d u les  an d   co m p ar e  th eir   ef f icien cy   in   th e  ap p licatio n   o f   Ar ab ic   ca llig r ap h y   s ty le  class if icatio n .   I n   o u r   p r esen t  im p lem en tatio n ,   we  u s e  s tan d ar d   So b el  f ilter s   [ 2 2 ] ,   [ 2 3 ]   f o r   ed g e  d etec tio n   as  d e p icted   in   Fig u r e   5 ,   wh ich   co n s is t  o f   t h e  h o r izo n t al  an d   v er tical  o p e r ato r s .   T h e s e  f ilter s   ar e  ap p lied   to   g r ay s ca le   v er s io n s   o f   th e   in p u t im ag es to   h ig h lig h t   d ir ec tio n al  g r ad ien ts   alo n g   b o th   ax e s.   Fo r   th e  So b el - b ased   b r a n ch ,   t h e  R GB   im ag e  is   f ir s t  co n v er t ed   to   g r ay s ca le  an d   t h en   p r o ce s s ed   u s in g   h o r izo n tal  a n d   v e r tical  So b el  k er n els.  T h e  r esu ltin g   g r a d ien t   r esp o n s es  ar e  co m b in ed   to   p r o d u ce   a  s in g le   ed g e   m ag n itu d e  m ap ,   wh ich   is   co n c aten ated   with   th e  o r i g in al  R GB   ch an n els.  Fo r   th e  lear n a b le  b r an ch ,   th e  n etwo r k   p r ed icts   a  s o f t  ed g e  m ap   d i r e ctly   f r o m   R GB   in p u t  th r o u g h   tr ain ab le  co n v o lu tio n al  f ilter s ,   en ab lin g   th e  ed g e   r ep r esen tatio n   to   ad a p t  to   ca ll ig r ap h y - s p ec if ic  s tr o k e   p atter n s .   Fo r m ally ,   let  I   d e n o te  th e   in p u t  R GB   im ag e.   T h e  lear n ab le  e d g e  e x tr ac to r   i s   d ef in ed   as   ( 1 ) :     = (  2 ( (  (   1 ( ) ) ) ) )   ( 1 )     wh er e  C o n v 1   an d   C o n v 2   ar e  c o n v o lu ti o n al  lay er s ,   B N  d en o tes  b atch   n o r m aliza tio n ,    σ   ( . )   is   R e L U  ac tiv atio n   f u n ctio n   a n d   δ   ( . )   is   Sig m o id   ac tiv atio n   f u n cti o n .   T h e  o u tp u t  E   i s   a  s o f t  ed g e  m a p   th at  is   lear n ed   jo in tly   with   th e  class if icatio n   n etwo r k .   I n   th e  So b el - b ased   e d g e  en h a n ce m en t  m o d u le,   th e  in p u t  im ag es  ar e  f ir s t  co n v er ted   to   g r a y s ca le  b y   av er ag in g   th e  R GB   ch an n els.   Fix ed   h o r iz o n tal  an d   v e r tical  So b el  k er n els  ar e   th en   ap p lied   to   ex tr ac t   th e  ed g e   m ap   in   b o t h   d ir ec tio n s ,   wh ic h   ar e  co m b i n ed   to   p r o d u ce   a  co m p o s ite  ed g e  m a g n itu d e  m ap .   I n   co n tr ast,  th e  lear n in g   ed g e  ex tr ac ts   p r o ce s s   R GB   in p u t  d ir ec tly   an d   u s es  tr ain ab le  co n v en es  lay er s   to   lear n   o p tim al  ed g e   r ep r esen tatio n s   d u r in g   tr ain in g .   T h is   allo ws  th e  m o d el  to   b e  f av o r a b ly   d etec tin g   th e   wo r k - s p ec if ic  s h ap e  a n d   s tr o k e  p atter n ,   w h ich   p r o v id es   m o r e  f le x ib ilit y   th an   th e   s tatic  ed g e  f ilter   [ 2 4 ] .           Fig u r e  5 .   Stan d a r d   s o b el  f ilter s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       A r a b ic  ca llig r a p h y  s tyle  r ec o g n itio n   w ith   ed g e  en h a n ce me n t  a n d   a tte n tio n   ( B ila l A b d u lr a h ma n   Tu a ma )   1515   I n   co n tr ast to   f ix ed   ed g e  d etec tio n   m eth o d ,   we  also   ex p er im en t w ith   a  lear n ab le  ed g e  ex tr ac to r   b ased   o n   tr ain ab le  co n v o lu tio n al   lay er s .   T h is   m o d u le  r ec eiv es  r aw  R G B   in p u t  an d   ap p lies   t wo   co n s ec u tiv e  3 ×3   co n v o l u tio n al  lay er s   with   b at ch   n o r m aliza tio n   a n d   R elu   ac tiv atio n   as  s h o wn   in   Fig u r e   6 .   T h e  f in al  lay er   p r o d u ce s   a  s in g le   ch a n n el  e d g e  m a p   u s in g   a   s ig m o i d   ac tiv atio n ,   allo win g   th e   m o d el   to   lea r n   s o f t  ed g e   r ep r esen tatio n s   th at  ar e  o p tim ized   f o r   t h e  d o w n s tr ea m   class if icatio n   ta s k .   T h is   lear n ab le  ed g e  en h an ce m en t   en ab les  th e  n etwo r k   to   ad ap ti v ely   f o cu s   o n   task   r elev an t  co n to u r s   an d   s tr o k e  p atter n s ,   wh ich   ar e  o f ten   s u b tle   an d   co m p lex   in   Ar a b ic  ca llig r ap h y   s ty les.           Fig u r e  6 .   T h e  p r o p o s ed   lea r n a b le  ed g e  e x tr ac to r       Alth o u g h   b o th   b r a n ch es  aim   to   em p h asize  s tr u ctu r al  in f o r m atio n ,   th e  lear n ab le  ex tr ac t o r   i s   ex p ec ted   to   b e  m o r e  f lex ib le  b ec au s e  it c an   ad ap t to   c u r v at u r e,   s tr o k e  th ick n ess   v ar iatio n ,   an d   s u b tle   co n to u r   tr an s itio n s   th at  f ix ed   g r a d ien t  k er n els  m ay   n o t  ca p tu r e  ef f ec tiv ely   [ 2 5 ] ,   [ 2 6 ] .   I n   b o t h   ca s es,  th e  g o al  is   to   h ig h lig h t  s tr o k e   co n to u r s   an d   b o u n d a r y   tr an s itio n s   th at  ar e  ch ar ac ter is tic  o f   c allig r ap h ic  p atter n s .   T h e  o u tp u t o f   th is   s tag e  is   an   ed g e  m ap   o f   s h ap e  ( 1 × 2 2 4 × 2 2 4 ) .   T ab le1   s h o ws  a  co m p ar is o n   b etwe en   So b el  an d   lea r n ab le   ed g e  ex tr ac to r s   in   n u m b er   o f   asp ec ts .       T ab le1 .   C o m p ar is o n   b etwe en   s o b el  an d   lear n ab le  ed g e  ex tr a cto r s   A sp e c t   S o b e l   e d g e   e x t r a c t o r   Le a r n a b l e   e d g e   e x t r a c t o r   I n p u t   t y p e   C o n v e r t s   R G B   i n p u t   t o   g r a y   sca l e   b e f o r e   p r o c e ss i n g   U ses  r a w   R G B   i n p u t   w i t h   t h r e e   c h a n n e l s   F i l t e r   TY P E   F i x e d   h o r i z o n t a l   a n d   v e r t i c a l   S o b e l   k e r n e l s   Tr a i n a b l e   c o n v o l u t i o n a l   f i l t e r s  l e a r n e d   f r o m   d a t a   Ed g e   o r i e n t a t i o n   C a p t u r e s  o n l y   h o r i z o n t a l   a n d   v e r t i c a l   g r a d i e n t s   C a n   a d a p t i v e l y   l e a r n   c o m p l e x ,   m u l t i - d i r e c t i o n a l   e d g e   f e a t u r e s   Tr a i n a b i l i t y   N o n - t r a i n a b l e   ( w e i g h t s   a r e   f i x e d   a n d   man u a l l y   d e f i n e d )   F u l l y   t r a i n a b l e   e n d - to - e n d   w i t h i n   t h e   n e t w o r k   A d a p t a b i l i t y   t o   d a t a   C a n n o t   a d a p t   t o   s p e c i f i c   s t r o k e   v a r i a t i o n s   o r   f o n t   st y l e s   Le a r n s e d g e   p a t t e r n s   t a i l o r e d   t o   t h e   d a t a se t   a n d   t a s k   P e r f o r ma n c e   c o m p l e x   F o n t s   Li mi t e d   e f f e c t i v e n e ss   o n   v i s u a l l y   si m i l a r   o r   h i g h l y   st y l i z e d   c a l l i g r a p h y   H i g h e r   a c c u r a c y   i n   c a p t u r i n g   su b t l e   d i f f e r e n c e s  a n d   s t r u c t u r a l   d e t a i l s       T h e  class if icatio n   b ac k b o n e   c o n s is ts   o f   f o u r   co n v o l u tio n al  b lo ck s   f o llo we d   b y   b atc h   n o r m aliza tio n ,   R eL U  ac tiv atio n ,   an d   o p tio n al  SE  atten tio n .   SE  atten tio n   r ec alib r ates  ch an n el - wis e  f ea tu r e  r esp o n s es  an d   h elp s   th e  n etwo r k   f o c u s   o n   d i s cr im in ativ e  v is u al  cu es.  Giv en   an   in ter m e d iate  f ea tu r e  te n s o r   X  in   R ^( C   ×   H  ×   W ) ,   th e  s q u ee ze   s tep   co m p u te s   as   ( 2 ) :      = 1  ∑ ∑ = 1 = 1 ( , )   ( 2 )     an d   th e  e x citatio n   s tep   lear n s   ch an n el  weig h ts ,   co m p u ted   as   ( 3 ) :      = ( ₂ ( ₁ ) )   ( 3 )     T h e  r ec alib r ated   o u tp u t is th en   o b tain ed   b y   ( 4 ) :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 5 ,   No .   4 ,  D e c em b er   20 2 6 :   1 5 1 0 - 1 5 2 2   1516   ̃ =   .       ( 4 )     wh e r e   X  is   th e  i n p u t  f ea t u r e  ten s o r   wi th   C   c h a n n els  a n d   s p at ial  d im en s io n s   H ×W.  T h e   s q u ee ze   o p e r a ti o n   co m p u tes   a   c h an n el   d esc r i p t o r     u s i n g   g l o b a l  a v e r a g e   p o o li n g .   T h e   e x c ita ti o n   o p e r at i o n   th e n   g en er at es  ch an n el - wis e   w ei g h ts   t h r o u g h   two   f u l ly   c o n n ec te d   tr a n s f o r m ati o n s   f o ll o we d   b y   R eL U  an d   s ig m o id   a cti v a ti o n s .   Fin all y ,   e ac h   c h a n n el     is   r es ca l ed   b y   its   c o r r es p o n d i n g   w ei g h t     to   p r o d u ce   t h e   r ec ali b r at e d   f e atu r e  m a .   Af ter   h ier ar ch ical  f ea tu r e  ex tr ac tio n ,   s p atial  d o wn - s am p lin g   is   ap p lied   to   r etain   th e  m o s t  in f o r m ativ e   s em an tic  co n ten t  wh ile  r e d u c in g   r eso lu tio n .   W h en   s eq u e n t ial  m o d elin g   is   en a b led ,   th e  o u tp u t  o f   th e   last   co n v o l u tio n al  b l o ck   is   r esh a p ed   alo n g   th e   h o r izo n tal  a x is   an d   p r o ce s s ed   b y   a  B iLST M.   T h is   wid th - wis e   d esig n   is   m o tiv ated   b y   th e  co n n ec t ed   n atu r e  o f   Ar a b ic  wr it in g ,   in   wh ich   n eig h b o r in g   v is u al  elem en ts   alo n g   th e  h o r izo n tal  d ir ec tio n   o f ten   ca r r y   co n tex tu al  s ty lis tic  in f o r m atio n .     3 . 3 .     Cla s s if ica t io n  m o del   I n   th is   wo r k ,   we   p r o p o s e  a   n o v el  d ee p   lear n in g   ar c h itectu r e   tailo r ed   f o r   th e  class if i ca tio n   o f   Ar ab ic   ca llig r ap h y   s ty les.  On ce   th e  in p u t  ten s o r   is   p r ep ar ed   f r o m   t h e  p r ev io u s   s tag e,   it  i s   p ass ed   th r o u g h   a  s er ies  o f   f o u r   co n v o lu tio n al  b l o ck s   d es ig n ed   t o   e x tr ac t  in c r ea s in g ly   ab s tr ac t  an d   d is cr im in ativ e   s p atial  f ea tu r es  f r o m   th e  im ag e.   E ac h   b l o c k   c o n s is ts   o f   a  c o n v o lu tio n al  la y er   f o llo wed   b y   b atch   n o r m ali za tio n   an d   a   R elu   ac tiv atio n   f u n ctio n .   T o   e n h an ce   th e  m o d el’ s   ab ilit y   to   f o c u s   o n   in f o r m ati v e  f ea tu r e  m a p s ,     ea ch   b lo ck   o p tio n all y   in c o r p o r ates  a  s q u ee ze - a n d - e x citatio n   ( SE)   atten tio n   m o d u le  [ 2 7 ] ,   [ 2 8 ]   th at  s h o wn   i n   Fig u r e   7 ,   wh ich   ad ap tiv ely   r ec alib r ates  ch an n el - wis e  f ea tu r e  r esp o n s es  b y   m o d elin g   in ter d ep en d e n cies  b etwe en   ch an n els.   Af ter   f ea tu r e   tr an s f o r m atio n ,   s p atial  d o wn   s am p lin g   is   p e r f o r m ed   u s in g   m ax   p o o lin g   o r   ad ap tiv e   av er ag e  p o o lin g ,   wh ich   p r o g r ess iv ely   r ed u ce s   th e  s p atial  r eso lu tio n   wh ile  r etain in g   s em an tic  in f o r m atio n .   Acr o s s   th e  f o u r   b lo c k s ,   th e  f e atu r e  r ep r esen tatio n   is   tr an s f o r m ed   f r o m   lo w - lev el  p i x el  p a tter n s   to   h ig h - lev el   s em an tic  ab s tr ac tio n s   s u ch   a s   ch ar ac ter   ed g es,   c u r v es,   a n d   s ty lis tic  elem en ts   u n iq u e   to   s p ec if ic   Ar ab ic   ca llig r ap h y   s ty les.  I n   co n f i g u r atio n s   wh er e  s eq u en tial  m o d elin g   is   en ab led ,   th e  o u tp u t  o f   th e  last   co n v o l u tio n al  b lo ck   ( o f   s h ap e   B ×5 1 2 ×7 ×7 )   is   r esh ap ed   to   m o d el  th e  h o r izo n tal  s tr u ctu r e   o f   th e  im ag e  w h er e  ( B )   r ep r esen t  th e  b atch   s ize.   S p ec if ically ,   th e  ten s o r   is   p er m u ted   an d   f latten ed   to   f o r m   a  s eq u en ce   o f   len g th   7   ( wid th - wis e) ,   wh er e   ea ch   s te p   in   th e   s eq u en ce   h as  a   f ea t u r e  d im e n s io n   o f   5 1 2 ×7 .   T h i s   s eq u en ce   is   th en   p ass ed   th r o u g h   a   b id ir ec tio n al  L o n g   S h o r t - T er m   Me m o r y   ( B iLST M)   lay er ,   wh ich   ca p tu r es  d ep en d e n ce   an d   r elatio n s h ip   o n   lo ca ls   in   b o th   f o r war d   an d   b ac k war d   d ir ec tio n s .   T h is   m ec h an is m   is   p ar ticu lar ly   u s ef u l  f o r   Ar ab ic  ca llig r ap h y ,   wh er e  th e   s h ap e  an d   co n n ec tiv ity   o f   th e   letter   o f ten   d ep e n d s   o n   th e   r e f er en ce   with in   th e   wo r d   o r   lin e   [ 2 9 ] .   B iLST M  en ab les  m o d el  to   in teg r ate  s p atia l  r ef er en ce   at  th e  wid th   o f   th e  im ag e,   ef f ec tiv ely   ca p tu r es st r u ctu r al  d e p en d e n c e  b etwe en   n eig h b o r i n g   v is u al  elem en ts .           Fig u r e  7 .   SE  atten tio n   m ec h a n is m       T h e  f in al  class if ier   p r ed icts   th e  ca llig r ap h y   s ty le  lab el  u s in g   eith er   th e  B iLST M  r ep r esen t atio n   o r   a   f u lly   co n n ec ted   h e ad   with o u t  s eq u en tial  m o d elin g .   T r ain i n g   is   p er f o r m e d   with   weig h ted   cr o s s - en tr o p y   lo s s ,   d ef in ed   as   ( 5 ) :     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       A r a b ic  ca llig r a p h y  s tyle  r ec o g n itio n   w ith   ed g e  en h a n ce me n t  a n d   a tte n tio n   ( B ila l A b d u lr a h ma n   Tu a ma )   1517      =   − ∑ = 1  ( ̂ )   ( 5 )     wh er e  K  is   th e  n u m b er   o f   class es,    d en o tes  th e  class   we ig h t  f o r   class   k   an d         is   th e  g r o u n d - tr u th   lab el .   T h is   weig h tin g   r ed u ce s   th e  ef f ec t  o f   class   im b alan ce   an d   s u p p o r ts   a  f air er   co n tr i b u tio n   o f   ea ch   class   d u r in g   o p tim izatio n .   Fin ally ,   th e  f ea tu r e  r ep r esen tatio n   is   p ass ed   th r o u g h   a  class if icatio n   h ea d   to   p r ed ic t  th e  f o n t   ca teg o r y .   I f   th e  B iLST M  is   u s ed ,   th e  last   h id d en   s tate  o f   th e  B iLST M  is   f ed   in to   a  f u lly   co n n ec ted   la y er   to   g en er ate  lo g its   co r r esp o n d in g   to   ea ch   class .   Oth er wis e,   th e   f ea tu r e   m ap   f r o m   th e  last   co n v o lu tio n al  b lo c k   is   f latten ed   an d   p ass ed   th r o u g h   a   s er ies  o f   f u lly   c o n n ec te d   lay e r s   with   d r o p o u t  an d   R elu   ac tiv atio n ,   wh ich   s er v e   to   r ed u ce   o v er - f itti n g   an d   in t r o d u ce   n o n - lin ea r ity .   T h e  f in al  o u tp u t  lay er   p r o d u ce s   a  v e cto r   o f   class   lo g its ,   wh ich   ar e  in ter p r eted   as u n - n o r m alize d   p r o b ab ilit ies o v er   th e   s et  o f   Ar ab ic  ca llig r a p h y   s ty les.  T h ese  lo g its   ar e   th en   u s ed   to   co m p u te  th e   cr o s s - en tr o p y   lo s s   d u r in g   tr ai n in g   an d   to   ass ig n   th e  m o s t  p r o b ab le  lab el  d u r in g   in f er en ce .   T a b le  2   p r esen ts   a  d etailed   ex p lan atio n   o f   th e   p r o p o s ed   m o d el.         T ab le  2 .   Descr ip tio n   o f   th e   p r o p o s ed   m o d el   S t a g e   La y e r   /   O p e r a t i o n   S h a p e   I n p u t   R G B   i ma g e   B   ×   3   ×   2 2 4   ×   2 2 4   Ed g e   e x t r a c t   S o b e l   o r   l e a r n a b l e   e d g e   B   ×   1   ×   2 2 4   ×   2 2 4   C o n c a t e n a t i o n   R G B   +   E d g e   c h a n n e l   B   ×   4   ×   2 2 4   ×   2 2 4   B l o c k   1   C o n v 2 D   ( 4 → 6 4 ,   3 × 3 )   B   ×   6 4   ×   2 2 4   ×   2 2 4   BN     R e l u     S EB l o c k   B   ×   6 4   ×   1 1 2   ×   1 1 2   M a x P o o l 2 d   ( 2 × 2 )     B l o c k   2   C o n v 2 D   ( 6 4 →1 2 8 ,   3 × 3 )   B   ×   1 2 8   ×   1 1 2   ×   1 1 2   BN     R e l u     S EB l o c k   B   ×   1 2 8   ×   5 6   ×   5 6   M a x P o o l 2 d   ( 2 × 2 )     B l o c k   3   C o n v 2 D   ( 1 2 8 → 2 5 6 ,   3 × 3 )   B   ×   2 5 6   ×   5 6   ×   5 6   BN     R e l u     S EB l o c k   ( o p t i o n a l ) ,   B   ×   2 5 6   ×   2 8   ×   2 8   M a x P o o l 2 d   ( 2 × 2 )     B l o c k   4   C o n v 2 D   ( 2 5 6 → 5 1 2 ,   3 × 3 )   B   ×   5 1 2   ×   2 8   ×   2 8   BN     R e l u     S EB l o c k   ( o p t i o n a l ) ,   B   ×   5 1 2   ×   7   ×   7   A d a p t i v e A v g P o o l   ( 7 × 7 )     LSTM   b r a n c h   R e s h a p e :   P e r m u t e   +   F l a t t e n   ( t o   s e q u e n c e )   B   ×   7   ×   3 5 8 4   B i LST M   ( i n p u t = 3 5 8 4 ,   h i d d e n = 2 5 6 × 2 )   B   ×   7   ×   5 1 2   S e l e c t   l a s t   s t e p   B   ×   5 1 2   C l a s si f i e r   ( w i t h   LST M )   Li n e a r   ( 5 1 2   →  n u m_ c l a sses)   B   ×   n u m _ c l a ss e s   C l a s si f i e r   ( n o   LSTM )   F l a t t e n   ( B   ×   5 1 2   ×   7   ×   7   →  B   ×   2 5 0 8 8 )   B   ×   2 5 0 8 8   Li n e a r   ( 2 5 0 8 8   →  5 1 2 )   B   ×   5 1 2   D r o p o u t   ( 0 . 4 ) ,   R e l u   B   ×   5 1 2   Li n e a r   ( 5 1 2   →  n u m_ c l a sses)   B   ×   n u m _ c l a ss e s   O u t p u t   C l a s s l o g i t s (r a w   s c o r e s)   B   ×   n u m _ c l a ss e s       4.   RE SU L T S AN D  D I SCU SS I O N   A  co m p r eh en s iv e  r a n g e  o f   e x p er im en ts   was  co n d u cted   to   ev alu ate  th e  ef f ec tiv en ess   o f   th e  C NN s   ar ch itectu r e  p r o p o s ed   f o r   Ar ab ic  ca llig r ap h y   s ty le  cl ass if icatio n .   T h ese  ex p e r im en ts   ex am in ed   th e  co n tr ib u tio n   o f   v ar io u s   ar c h itectu r al  co m p o n en ts ,   in cl u d in g   atten tio n   m ec h a n is m s ,   ed g e  ex t r ac to r s     ( b o th   h a n d - c r af ted   an d   lear n e d ) ,   an d   s eq u en ce   m o d elin g ,   w h ich   u s es   B iLST M  lay er s   f o r   o v er all  class if icatio n   p er f o r m an ce .   T h is   s ec tio n   u n d er lin es  ex p er im en tal  s ettin g s ,   ab latio n   co n f ig u r atio n ,   an d   p er f o r m an ce   r esu lts .   T h e  i n p u t  im a g es  r ep r esen tin g   Ar ab ic  ca llig r a p h y   ar e   f ir s t  r e s ized   to   a   u n if o r m   s p atial  r eso lu tio n   o f   2 2 4 × 2 2 4   p ix els  to   en s u r e  co n s is ten cy   ac r o s s   th e  d ataset.   T h e  im ag es  ar e  th en   n o r m alize d   to   a  r an g e  b etwe en   - 1   a n d   1   u s in g   m ea n   an d   s tan d ar d   d ev i atio n   v alu es  o f   0 . 5   p er   ch a n n e l.  T h is   n o r m aliza tio n   s tep   h el p s   ac ce ler ate  m o d el  co n v er g en ce   d u r in g   tr ai n in g   an d   s tab ilizes  th e  lear n in g   p r o ce s s .    T h e  d ataset  was  s p lit  in to   tr ain in g ,   v alid atio n ,   a n d   test   s u b s ets  u s in g   a  s tr atif ied   s tr ateg y   ( 7 0 /1 5 /1 5 ) .   T h e  v alid atio n   s et  w as  u s ed   f o r   ea r ly   s to p p in g   a n d   m o d el  s elec tio n ,   wh ile  th e  test   s et  was  r eser v ed   f o r   f in al  e v alu atio n   o n l y .   T ab le  3   s u m m ar izes  th e  k ey   tr ain i n g   p a r am eter s   an d   h y p e r p ar a m eter s   u s ed   in   o u r   ex p er im en ts .   T o   ev alu ate  th e  in d iv id u al  c o n tr ib u tio n   o f   th e  m ain   ar ch i tectu r al  co m p o n en ts ,   we  p er f o r m ed   an   ab latio n   s tu d y   u s in g   f o u r   m o d el  v ar ian ts .   T h e  co m p a r is o n   f o cu s es  o n   th r ee   f ac to r s :  ch an n el  atten tio n   th r o u g h   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  1 5 ,   No .   4 ,  D e c em b er   20 2 6 :   1 5 1 0 - 1 5 2 2   1518   SE  b lo ck s ,   ed g e  e x tr ac tio n   t y p e,   an d   wid th - wis e  B iLST M  m o d elin g .   All  r esu lts   wer e  co m p u ted   o n   t h e    h eld - o u t te s tin g   s u b s et  u s in g   t h e  s am e  tr ain in g   p r o to c o l.       T ab le  3 .   T r ai n in g   c o n f ig u r atio n   an d   h y p e r p ar am eter s   P a r a me t e r   V a l u e   O p t i mi z e r   A d a m   I n i t i a l   L e a r n i n g   R a t e   0 . 0 0 0 1   B a t c h   S i z e   32   Ep o c h s (m a x )   20   Ea r l y   S t o p p i n g   P a t i e n c e   3   e p o c h s   Lo ss F u n c t i o n   C r o ss - E n t r o p y - L o ss (w e i g h t e d )   D e v i c e   G P U   ( N V I D I A   R TX   4 0 6 0 )       4 . 1 .     Abla t io n  s t ud y   T o   ev alu ate   th e  in d iv id u al   co n tr ib u tio n s   o f   th e   co r e   co m p o n en ts   o f   o u r   p r o p o s ed   ar c h itectu r e,   we   co n d u cte d   an   ab latio n   s tu d y   co m p r is in g   two   d is tin ct  ex p er im en tal  s etu p s .   E ac h   co n f ig u r atio n   is o lates  o r   co m b in es  s p ec if ic   m o d u les:   a tten tio n   ( SEBl o ck )   with   s eq u en ce   m o d elin g   v ia   B iLST M  an d   e d g e   ex tr ac tio n   ( f ix ed   o r   lear n ab le) .   T h is   s ec tio n   p r o v i d es  a  d etailed   an aly s is   o f   ea ch   ex p er im en t  an d   its   im p ac t  o n   p er f o r m an ce   in   ter m s   o f   ac cu r ac y   an d   F1 - s co r e  [ 3 0 ] .   T ab l e  4   s h o ws  a  co m p ar is o n   o f   m o d el  v ar ian ts   with   d if f er e n t a tten tio n ,   ed g e  ex tr ac tio n ,   an d   B iLST M  co m p o n e n ts   o n   th e  test in g   s u b s et.       T ab le  4 .   Mo d el  v ar ian ts   an d   p er f o r m a n ce   co m p ar is o n   N o .   Ex p e r i m e n t   V a r i a n t   A t t e n t i o n   ( S E B l o c k )   Ed g e   Ex t r a c t i o n   B i LST M   Te st   A c c u r a c y   F1 - sc o r e   1   C N N + A t t e n t i o n   ✓   X   ✓   0 . 9 7 9 2   0 . 9 4 1 8   2   C N N + A t t e n t i o n + S o b e l   ✓   S o b e l   ( F i x e d )   ✓   0 . 9 7 6 3   0 . 9 6 7 5   3   C N N + A t t e n t i o n + L e a r n e d E d g e   ✓   Le a r n a b l e   C N N   ✓   0 . 9 8 2 2   0 . 9 8 2 0   4   C N N – N o LST M   X   X   X   0 . 9 7 0 3   0 . 9 2 9 0       T o   ass ess   th e  r o le  o f   SE  atte n tio n   an d   B iLST M  m o d elin g ,   we  co m p ar ed   th e  atten tio n - b ased   C NN   with   th e  b aselin e  C NN - No L S T M  co n f i g u r atio n .   T h e  atten ti o n - b ased   m o d el   ac h iev e d   9 7 . 9 2 %  ac cu r ac y   an d   9 4 . 1 8 %   F1 - s co r e,   wh er ea s   t h e  C NN - No L STM   co n f ig u r atio n   ac h iev e d   9 7 . 0 3 %  ac c u r ac y   a n d   9 2 . 9 0 %     F1 - s co r e.   T h ese  r esu lts   s u g g est  th at  ch an n el  r ec alib r atio n   im p r o v es  f ea tu r e  d is cr im in atio n ,   wh ile  wid th - wis e   co n tex tu al  m o d elin g   h elp s   p r eser v e  s ty lis tic  d ep en d e n cies  th at  a r e  d i f f icu lt  to   ca p t u r e   u s in g   p u r ely   l o ca l  co n v o l u tio n al  r esp o n s es.     4 . 1 . 1 .   E x perim ent   1 :   E f f ec t   o f   a t t ent io n  m ec ha nis m   a nd   L ST M   T o   ev alu ate   th e   r o le   o f   ch an n e l - wis e  atten tio n ,   we  c o m p ar e d   th e  b aselin e  C NN  ar ch itectu r e  with   an d   with o u t  SE  b lo c k s .   As  s h o wn   in   T ab le   4 ,   th e  m o d el  with   a tten tio n   m o d u les  ( C NN+ Atten ti o n )   ac h iev ed   an   ac cu r ac y   o f   9 7 . 9 2 %  an d   an   F1 - s co r e  o f   9 4 . 1 8 %,  co m p a r ed   to   9 7 . 0 3 %  an d   9 2 . 9 0 %  i n   th e  n o n - atten tiv e   co n f ig u r atio n   ( C NN – No L STM ) .   T h is   in d icate s   th at  SE  b lo ck s   en h an ce   f ea tu r e  d is cr im in atio n   b y   r ewe ig h tin g   in f o r m ativ e  c h an n els.  I n   th e  s am e  co n te x t,  an d   also   f r o m   th e  s am e  ex p er im en t  we  ca n   d et ec t  th e  im p o r tan ce   o f   L STM   o n   th e  r esu lts .   W ith o u t  L STM ,   th e  m o d el  lo s t  th e   ab ilit y   to   m o d el  tem p o r al/s p atial  d ep en d en cies,   r ed u cin g   its   o v er all  d is cr im in a tiv e  p o wer .   Fig u r e  8   s h o ws co m p ar is o n   b etwe en   th e  two   m o d els     4 . 1 . 2 .  E x perim ent   2 :   E f f ec t   o f   edg e  ex t r a ct io n t y pe   T o   d eter m in e  t h e  co n t r ib u tio n   o f   ed g e   in f o r m atio n   to   o u r   class if icatio n   p er f o r m a n ce ,   we  also   test ed   two   ed g e - e n h an ce d   b aselin e  C NN  v ar ian ts :  o n e   with   f ix e d   S o b el  f ilter s   an d   an o th er   in co r p o r atin g   a   lear n a b le  ed g e  ex tr ac t o r   ( b o th   in teg r ate d   in   a n   SE  atten tio n   s ettin g ) .   T h e  So b el - b ased   c o n f ig u r ati o n   cr ea ted   a  s tatic  ed g e  m a p ,   wh ic h   was  co n ca ten ated   with   th e   R GB   in p u t   to   g et   4 - c h an n el   ten s o r .   C o m p ar ed   with   f ix e d     So b el  f ilter in g   ( ac c u r ac y   9 7 . 6 3 %,  F1   0 . 9 6 7 5 ) ,   th e  le ar n ab le  ed g e  ex tr ac t o r   im p r o v ed   p er f o r m an ce     ( ac cu r ac y   9 8 . 2 2 %,  F1   0 . 9 8 2 0 ) ,   in d icatin g   th at  ad ap tiv e  ed g e   lear n in g   y ield s   b etter   f ea tu r e  r ep r esen tatio n s   f o r   Ar ab ic  ca llig r ap h y .   Su ch   im p r o v em en t   d em o n s tr ates  th e  b en ef it  o f   tr ain in g   task - s p ec if ic  e d g e  f ea tu r es  wh ich   ar e  b etter   ad ap ted   to   th e  d elic ate  s tr o k e  v ar iatio n s   in   Ar ab ic  ca llig r ap h y .   I t  is   wo r th   m en tio n in g   th at  lear n in g   ed g e  ex tr ac ti o n   a n d   in te g r atin g   atten tio n   m ec h an is m   a n d   L STM   m ad e  th e  m o d el  m o r e   r o b u s t,  g e n er aliza b le.   Alt o g eth er ,   th ese  r esu lts   d em o n s tr ate  th at  ad ap tiv e  ed g e  lear n in g   is   s u p er io r   to   f i x ed   f ilter i n g   esp ec ially   with   th e  u s e  o f   Atten tio n   m o d elin g .   C o m p ar is o n   b etwe en   t h e  two   m o d els   is   g iv en   in   Fig u r e  9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       A r a b ic  ca llig r a p h y  s tyle  r ec o g n itio n   w ith   ed g e  en h a n ce me n t  a n d   a tte n tio n   ( B ila l A b d u lr a h ma n   Tu a ma )   1519         Fig u r e  8 .   R esu lt c o m p a r is o n   o f   ex p er im e n t 1             Fig u r e  9 .   R esu lt c o m p a r is o n   o f   ex p er im e n t 2       Ov er all,   th e  q u a n titativ e  r esu lts   s h o w  a  co n s is ten t  p a tter n :  th e  f u ll  m o d el  th at  co m b in es     lear n ab le  ed g e  ex t r ac tio n ,   S E   atten tio n ,   an d   B iLST M  ac h iev es  th e  s tr o n g est  p er f o r m an ce   o n   th e  cu r r en t  d ataset.   T h e  b ase lin e  C NN  r ea ch ed   9 7 . 0 3 %  ac cu r ac y   a n d   9 2 . 9 0 %  F1 - s co r e .   W ith   ad d itio n al  atten tio n     an d   c o n tex tu al   m o d elin g ,   th e   s co r es  im p r o v e d ,   a n d   th e   b e s t  co n f ig u r atio n   ac h iev e d   9 8 . 2 2 %  ac cu r ac y   a n d   9 8 . 2 0 % F1 - s co r e.   A  p lau s ib le  ex p lan atio n   f o r   th is   tr en d   is   th at  th e  th r ee   co m p o n en ts   p r o v i d e  co m p lem e n tar y   b en ef its .   T h e  lear n ab le  e d g e  ex tr ac t o r   p r eser v es  f in e - g r ain ed   s tr u ct u r al  cu es,  SE  atten tio n   em p h asizes  in f o r m ativ e  ch an n el  r esp o n s es,  an d   th e  B iLST M  ca p tu r es  wid th - wis e  co n tex tu al  d ep en d en cies  ac r o s s   co n n ec ted   s cr ip t  p atte r n s .   T o g eth er ,   th ese  elem en ts   im p r o v e  th e  d is cr im in a tio n   o f   v is u ally   s im ilar   Ar ab ic  ca llig r ap h y   s ty les.   T h is   s tu d y   co n d u cted   a  s er ies  o f   ex p er im en ts   to   e v alu ate  th e   ef f ec tiv en ess   o f   atte n tio n   m e ch an is m s ,   tem p o r a l   m o d elin g ,   a n d   ed g e  ex tr ac tio n   tech n iq u es  in   Ar ab ic  ca llig r a p h y   class if icatio n .   Star tin g   f r o m   a  b aselin e  C NN,   th e  m o d el  was  p r o g r ess iv ely   en h an ce d   with   SE  atten tio n   b lo ck s ,   L STM   u n its ,   an d   t wo   ty p es  o f   ed g e   ex tr ac to r s :  f ix ed   So b el  f ilter s   an d   a  lear n a b le  C NN - b ased   ed g e  m o d u le.   Fig u r e   1 0   s h o ws  a  co m p ar is o n   o f   all   m o d els in   ac cu r ac y   an d   F1   s co r e.   T h e  b aselin e  C NN  ac h iev ed   9 7 . 0 3 %  ac cu r ac y   an d   0 . 9 2 8 9   F1 - s co r e.   Ad d in g   SE  atten tio n   im p r o v e d   ac cu r ac y   a n d   b alan ce ,   r ea c h in g   9 7 . 9 2 %/0 . 9 4 1 8 .   I n c o r p o r atin g   L STM   f u r t h er   b o o s t ed   p er f o r m a n ce   to   9 8 . 0 9 %/0 . 9 5 6 3 ,   b y   m o d elin g   s eq u en tial  p atter n s .   Usi n g   So b el  f ilter s   s lig h tly   r ed u ce d   ac c u r ac y   ( 9 7 . 6 3 %)  b u t   in cr ea s ed   F1 - s co r e   ( 0 . 9 6 7 5 ) ,   in d icatin g   b etter   p r ec is io n - r ec all  tr a d e - o f f   d u e  t o   e d g e  e n h an ce m e n t.     T h e  b est  r esu lts   ca m e  f r o m   th e  lear n ab le   ed g e   ex tr ac to r   co m b in ed   with   atten tio n   an d   L STM ,   ac h iev in g   9 8 . 2 2 % a cc u r ac y   a n d   0 . 9 8 2 0   F1 - s co r e,   o u t p er f o r m in g   all  o t h er   co n f ig u r atio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.