I n d on e s i a n  Jo u r n al  of   E l e c t r i c al  E n g i n e e r i n g a n d  C om p u t e r  S c i e n c e   V ol .   40 , N o.   2 N ov e m b e r   2025 , pp.  11 00 ~ 110 8   I S S N :  2502 - 4752, D O I :  10.11591/ i j e e c s . v 40 .i 2 . pp 11 00 - 11 08           1100     Jou r n al  h om e page ht t p: / / i j e e c s .i ae s c or e .c om   E n h a n c i n d oc u m e n t  t e x t  c l ass i f i c at i o n   u si n h y b r i d   d e e p   c o n t e x t u al  a n d  c or r e l at i o n   n e t w or k         S h i l p a,  S h r i d e vi   S om a   D e pa r t m e n t   of   C o m put e r   S c i e n c e   a n E ng i n e e r i ng ,   P D A   C ol l e g e   of   E ngi n e e r i ng,   V i s ve s va r a ya   T e c h n ol o gi c a l   U ni ve r s i t y,     B e l a g a vi ,   I ndi a       A r t i c l e  I n f o     A B S T R A C T   A r t i c l e  h i s t o r y :   R e c e i v e d   J ul   27 2024   R e v i s e A u g   28 2025   A c c e pt e O c t   15 2025       Do c u m e n a n a l y s i s   i n v o l v e s   th e   e x tr a c t i o n   a n d   p r o c e s s i n g   o f   i n f o r m a ti o n   f r o m   d o c u m e n ts ,   a   tas k   i n c r e a s i n g l y   a u to m a te d   th r o u g h   th e   u s e   o f   d e e p   l e a r n i n g   ( DL )   tec h n o l o g i e s .   De s p i te   th e   h ig h   p r e d i c t iv e   p o we r   o f   DL   m o d e l s ,   th e i r   b l a c k - b o x   n a tu r e   p o s e s   c h a l l e n g e s   to   t r a n s p a r e n c y   a n d   i n ter p r e tab il i ty ,   h i n d e r i n g   th e ir   i n teg r a t i o n   i n to   th e   i n d u s tr y .   T h i s   p a p e r   i n tr o d u c e s   th e   h y b r i d   d e e p   c o n tex t u a l   a n d   c o r r e l a t i o n   n e two r k   ( HD C C Ne t) ,   a   n o v e l   m e th o d o l o g y   d e s i g n e d   to   i m p r o v e   b o th   t h e   a c c u r a c y   a n d   i n ter p r e tab il i ty   o f   m u l ti - c a teg o r y   c l a s s i f i c a ti o n   tas k s .   HD C C Ne l e v e r a g e s   a   h y b r i d   l a y e r   c a teg o r y   c o r r e l a t i o n   m o d u l e   to   d e e p e n   c a teg o r y   c o n n e c ti o n s ,   th e r e b y   e n h a n c i n g   th e   u n d e r s tan d i n g   a n d   p r e d i c ti o n   o f   c a te g o r y   i n ter r e l a t i o n s .   T o   a d d r e s s   p o ten ti a l   p r e d i c t i o n   d i v e r g e n c e ,   r e s i d u a c o n n e c ti o n s   a r e   i n c o r p o r a ted ,   e n s u r i n g   s tab l e   a n d   r e li a b l e   p e r f o r m a n c e .   F u r th e r m o r e ,   HD C C Ne r e d u c e s   m o d e l   p a r a m e ter s ,   a c c e ler a t i n g   c o n v e r g e n c e   a n d   m a k i n g   th e   m o d e l   m o r e   e f f icie n t.   T h i s   e f f icie n c y   i s   p a r ti c u l a r l y   b e n e f i c i a l   f o r   p r a c ti c a l   a p p li c a t i o n s ,   a ll o w i n g   f a s ter   d e p l o y m e n t   a n d   s c a l a b i li ty .   B y   b r i d g i n g   th e   g a p   b e twe e n   DL s   c a p a b i li t i e s   a n d   i n d u s tr y   n e e d s   f o r   tr a n s p a r e n c y ,   HD C C Ne p r o v i d e s   a   r o b u s s o l u ti o n   f o r   a u to m a ted   d o c u m e n p r o c e s s i n g ,   p a v i n g   th e   wa y   f o r   b r o a d e r   a d o p ti o n   o f   DL   tec h n o l o g i e s   i n   b u s i n e s s   e n v i r o n m e n t s .   K e y w or d s :   D e e p l e a r ni n g   H D C C N e t   N a t ur a l  l a ng ua g e  p r oc e s s i ng   T e xt  c l a s s i f i c a t i on   T e xt  r e p r e s e nt a t i on   T h i s   i s   a n   o p e n   a c c e s s   a r ti c l e   u n d e r   th e   C C   B Y - SA   l i c e n s e .     C or r e s pon di n g A u t h or :   S hi l pa   D e pa r t m e nt  of  C o m put e r  S c i e nc e  a nd E ng i ne e r i ng , P D A  C ol l e g e  of  E n g i ne e r i n g   V i s v e s v a r a ya   T e c hnol og i c a l  U ni v e r s i t y     B e l a g a v i I ndi a   E m a i l :  s hi l pa _122023 @ r e di f f m a i l .c o m       1.   I N T R O D U C T I O N   D e e p l e a r ni ng  ( D L )  ha s   m a de   m a j or  a d v a nc e m e nt s  i n doc u m e nt  a n a l y s i s  o v e r  t he  pa s t  f e w   y e a r s  [ 1] .   T hi s   m e t hod  of f e r s   a   l ot   of   pot e nt i a l   f or   a ut o m a t i ng  a d m i ni s t r a t i v e   t a s ks   r e l a t e t pr oc e s s i ng   doc u m e nt s .     I n   pr e di c t i on  t a s ks de e n e ur a l   ne t w or ks   h a v e   pr o v e n   t pe r f or m   w e l l H o w e v e r one   s i gni f i c a nt   ba r r i e r   t o   t he   s a f e   i nt e g r a t i on  of   t he s e   t e c hnol og i e s   i nt c or por a t e   pr oc e s s e s   c ont i nue s   t be   a   l a c of   t r a ns pa r e nc y.   U ns t r uc t ur e da t a   w a s   f r e que nt l y   us e t r e pr e s e nt   t e xt   da t a   i t he   e a r l y   da y s   of   d i g i t a l   c o m put i ng.   T e c hnol og i c a l   a d v a n c e s   i t e xt   da t a   s t or a g e   h a v e   l e t a   m a j or   gr o w t i t he   f i e l of   i nf or m a t i on  r e t r i e v a l   ( I R ) T ha nks   t a d v a nc e s   i t e c hnol og y t e xt   c l a s s i f i c a t i on  a nd  t e xt ua l   da t a   pr oc e s s i ng   m a y   no w   be   don e   m o r e   a ut o m a t i c a l l [ 2] E xpe r t s   c o nc l ude a t   t he   be g i nni ng   of   t he   pr oj e c t   t ha t   m a t he m a t i c a l   i nde xi ng   w a s   i ns uf f i c i e nt   t o   a t t a i n   hi g he r   l e v e l s   of   a c c ur a c y A s   t he   be ne f i t s   of   a l l ow i ng   c o m put e r s   t c om p r e he nd  a nd   i nt e r pr e t   hu m a l a n g ua g e   be c o m e   m or e   a ppa r e nt na t ur a l   l a ng u a g e   pr oc e s s i ng   ( N L P ) i s   be c o m i n g   m or e   a n d   m o r e  popul a r .   Evaluation Warning : The document was created with Spire.PDF for Python.
I ndone s i a n J  E l e c  E n g  &  C om p S c i     I S S N :   2502 - 4752       E nhanc i ng  d oc um e nt  t e x t  c l as s i f i c at i on us i n g hy b r i d   d e e p c ont e x t ual  an d c or r e l at i o n ne t w or k   ( Shi l pa )   1101   T he r e   a r e   s e v e r a l   not e w or t h y   s i m i l a r i t i e s   a c r os s   v a r i ous   doc u m e nt   c ol l e c t i ons W he t he   d e s t i na t i on  dom a i i s   s i m i l a r   t or   e qua l   t o   t he   s our c e   dom a i n,  t r a ns f e r   l e a r ni n g   i s   t he   pr oc e s s   of   m o vi ng   know l e d g e   or   i nf or m a t i o n f r o m  one  do m a i n t o a not he r  [ 3] U s i n g  t r a ns f e r  l e a r ni n g  t e c hni que s  oc c a s i ona l l y  r e qui r e s  s pe c i f i c   f e a t ur e s   t e xi s t   i bot t he   s our c e   a nd  de s t i na t i on  dom a i ns I t   m i g ht   be   di f f i c ul t   t t r a i t r a ns f e r   l e a r ni n a l g or i t h m s   f or   t he   t a r g e t   do m a i c l a s s i f i e r e s pe c i a l l y   i f   t he   t a r g e t   t e xt s   l a c c a t e g or i e s O ne   pr obl e m   i s   us i ng  t e r m i nol ogy   s pe c i f i c   t t he   de s t i na t i on  dom a i t ha t   doe s   not   e xi s t   i t he   s our c e   dom a i n.  D oc um e nt s   a r e   f r e que nt l y   c a t e g o r i z e i nt one   or   m or e   g r oups   w i t hi a   hi g h - di m e ns i ona l s pa r s e   s pa c e   dur i ng   t he   c l a s s i f i c a t i on  pr oc e s s N u m e r ous   s t a t i s t i c a l   a nd  a r t i f i c i a l   i nt e l l i g e nc e   m e t hods   ha v e   be e n   us e t s ol v e   t he   pr obl e m  of  doc u m e nt  c l a s s i f i c a t i on [ 4] .   T he   f our   pr i m a r y   s t a g e s   of   doc u m e nt   c a t e g o r i z a t i on  a r e   pr e - p r oc e s s i ng ,   doc u m e nt   p r e di c t i on,   c l a s s i f i e r   t r a i ni ng a nd  f e a t ur e   e xt r a c t i on.  D upl i c a t e   da t a   a r e   r e m o v e a t   t he   pr e - pr oc e s s i ng   s t a g e   of   da t a   a na l y s i s W or ds   t ha t   a r e   unc o m m on  i t hi s   s pe c i f i c   c ont e xt   a r e   e v a l ua t e a s   pa r t   of   t he   r e v i e w   pr oc e s s .     N - g r a m   m ode l s   a r e   f r e qu e nt l y   us e i a   w i de   r a n ge   of   a ppl i c a t i ons   f or   f e a t ur e   e xt r a c t i on.  O ne   of   t he   m ode l s   us e m os t   f r e que nt l y   i N L P   i s   t he   ba g - of - w or ds   m ode l W he us e r - g e ne r a t e i nf or m a t i on  i s   e nc l os e i s qua r e   br a c ke t s   a nd  f ol l ow e by   a   nu m be r i t   i s   r e g a r de a s   a   s our c e   c i t a t i on.  T hi s   s e t up  ha s   be e i ns t a l l e d.  T e r m s   t ha t   a r e   r e g ul a r l y   us e d   ha v e   a   pr ope r t c a l l e t e r m   f r e que n c ( T F ) w hi c i s   t he   ba s i c   c onc e pt   unde r l y i ng   t he   ba g - of - w or ds   a ppr oa c h.  D oc u m e nt   c l a s s i f i c a t i on  i s   ba s e on   t he   i de a s   of   t e r m   f r e que n c y   a n d   i nv e r s e   doc u m e nt   f r e que nc y   ( T F - I D F ) w hi c c o m bi ne s   T F   a nd  I D F   w i t I D F   [ 5] T he   T e ns or F l ow   ( T F )   f r a m e w or i s   a   f unda m e nt a l   c o m pone nt   of   our   w or k.  A   t e xt   c l a s s i f i e r s   c a pa c i t y   t o   r a pi dl y   i nc r e a s e   r e a da bi l i t y   t hr oug w or f r e que nc y   i s   one   of   i t s   ke y   a d v a nt a g e s B y   c onc e nt r a t i ng   on   t he   m os t   c r u c i a l   s e c t i ons  of  t he  doc um e nt , t he  c l a s s i f i e r s  s t udy   m a y  l oc a t e  t he  ke yw or ds  a s s oc i a t e w i t h t he  c ont e nt .   H o w e v e r i t s   c r uc i a l   t r e m e m be r   t ha t   books   c a i nc l ude   a   l o t   of   t e c hni c a l  j a r g on.  T he   c o m bi na t i o n   of   t he   ba g - of - w o r ds   a r c hi t e c t ur e   a nd  t he   i nt e g r a t e f r e que nc y - ba s e f e a t ur e s   y i e l ds   a   s pa r s e   a nd  v a s t   f e a t ur e   s pa c e A l g or i t h m i c   f e a t ur e   s e l e c t i on  c a a s s i s t   i e f f i c i e nt l y   a nd  r a pi dl y   l oc a t i ng   a   c e r t a i c ol l e c t i on   of   pe r t i ne nt   qua l i t i e s   [ 6] T bui l m ode l s t he   s u ppor t   v e c t or   m a c hi n e s   ( S V M )   m a c hi ne   l e a r ni ng   t e c hni que   m a ke s   us e   of   c e r t a i a t t r i but e s .   T he   g e ne t i c   pr o g r a m m i n g   ( G P )   a ppr oa c a l l ow s   t he   c om put e r   t o   a ut onom ous l y   c hoos e   a   s e t   of   c ha r a c t e r i s t i c s   w hi l e   bui l di ng   c l a s s i f i e r s i c ont r a s t   t m ode l s   t ha t   r e l y   on   pr e s e l e c t e f e a t ur e s   [ 7] M or e o v e r c on v e r t i ng   w or ds   i nt num e r i c a l   v e c t or s   i s   a   ke y s t one   of   DL   m e t hodol og i e s . C l a s s i f i e r s  s houl d be  t r a i ne d us i ng  t he  c on v e r s i on pr oc e dur e .   D oc u m e nt   s e gm e nt a t i on  s ol ut i on s   by   di v i di ng   l e n g t h y   t e xt s   i nt s m a l l e r m o r e   di g e s t i bl e   phr a s e s   o r   c hunks   by   us i n g   s l i de r   w i ndow s   or   s e que nt i a l   c ut t i ng   a l g or i t h m s W he a r r a n g e hi e r a r c hi c a l l y phr a s e s   or   s e c t i ons   a ppe a r   be f or e   t he   e nt i r e   r e pr e s e nt a t i on  of   t he   t e xt S a i f ul l a e t   a l .   [ 8]   u s e a   t e c hn i que   i t he i r   s t udy  t ha t   i nv ol v e br e a ki ng   up  t he   r a w   da t a   i nt s m a l l e r   pi e c e s T he   uni t s   w e r e   t he a na l y z e us i ng   t he   B E R T   ba s i c   m ode l F or   c l a s s i f i c a t i on,  t hi s   m ode l   m a ke s   us e   of   on e   r e c u r r e nt   l a y e r   o r   one   e xt r a   t r a ns f or m e r O nc e   t hi s   f e a t ur e   i s   put   i nt pr a c t i c e a l l   of   t he   out pu t s   m a y   be   s ha r e d,  w hi c m a ke s   us e   of   a i n t e r a c t i v e   t r a ns f or m e r   m ode l a nd  i m p r o v e s e nt e nc e   m ode l i ng   e v e m or e S e nt e nc e   r e p r e s e nt a t i on  a c c ur a c y   i s   i m pr o v e d   s i nc e   t hi s   m e t hod  c ons i de r s   t he   c ont e xt   of   t he   f ul l   doc u m e nt T he   e xi s t i ng   a ppr oa c he s w hi c h   a s s um e   hi e r a r c hi c a l   r e p r e s e nt a t i ons   f or   l ong   t e xt s of t e f a i l   t c a pt ur e   t he   i nt e r a c t i ons   a c r os s   s e v e r a l   f e a t ur e   l e v e l s   a nd  s t r u gg l e   t c o m m uni c a t e   i nf or m a t i on  a t   t he   s a m e   l e v e l H o w e v e r t he   c ur r e nt   a l g or i t h m s   ha v e   not   f ul l y  a s s e s s e d t he  s t r uc t ur a l  i nf or m a t i on i nc l ude d i n l e ng t hy  t e xt s .   D L   ha s   r e v ol u t i oni z e doc um e nt   a na l y s i s of f e r i ng   s i g ni f i c a nt   pot e nt i a l   t o   a ut om a t e   doc u m e n t   pr oc e s s i ng  i n bus i ne s s  w or kf l o w s . D e s pi t e  t he i r  pr e di c t i v e  po w e r , t he  bl a c k - box na t ur e  of   D L   m ode l s  hi nde r s   s a f e   i nt e g r a t i on  i t he   i nd us t r y   due   t a   l a c of   t r a ns pa r e nc y   a nd  i nt e r pr e t a bi l i t y B us i ne s s e s   r e qui r e   not   onl a c c ur a t e   m ode l s   but   a l s one s   t ha t   c a be   unde r s t oo a nd  t r us t e by   us e r s m a ki ng   i nt e r pr e t a bi l i t y   a   c r i t i c a l   f a c t or   i a dopt i ng   D L   s ol ut i ons T hi s   pa pe r   a ddr e s s e s   t he   c ha l l e n g e   of   e nha nc i ng   i nt e r pr e t a bi l i t y   w hi l e   m a i nt a i ni ng   hi g pe r f or m a nc e   i doc um e nt   c l a s s i f i c a t i on  t a s ks I t he   r e a l m   of   doc u m e nt   c l a s s i f i c a t i on,  t r a di t i ona l   m e t hods   ha v e   r e l i e he a v i l y   on  m a nua l   f e a t ur e   e ng i ne e r i ng   a nd  s i m pl e   m a c hi ne   l e a r ni n a l g or i t h m s w hi c h,  a l t houg i nt e r pr e t a bl e of t e l a c t he   pr e di c t i v e   po w e r   of   m ode r D L   a ppr oa c he s R e c e nt   a d v a n c e m e nt s   i D L   ha v e   de m ons t r a t e s upe r i or   pe r f or m a nc e   by   a ut o m a t i c a l l y   e xt r a c t i ng  c o m pl e f e a t ur e s   f r o m   r a w   t e xt   da t a H ow e v e r t he s e   m ode l s   de c i s i ons   a r e   of t e opa que m a ki ng   i t   di f f i c ul t  t di a g nos e   e r r or s   or   unde r s t a nd  t he   m ode l s   r e a s oni ng   pr oc e s s T hi s   l a c of   t r a ns pa r e nc y   c a l e a t r e s i s t a nc e   t a dopt i ng   t he s e  t e c hnol og i e s  i n s e ns i t i v e  a ppl i c a t i ons  w he r e  unde r s t a ndi ng  t he  de c i s i on - m a ki ng  pr o c e s s  i s  c r uc i a l .     E nha nc e c a t e g or y   c or r e l a t i on  l e a r ni ng :   our   m e t hodol og y   i nt r oduc e s   a   h y br i de e c ont e xt ua l   a nd  c or r e l a t i on  ne t w or ( H D C C N E T ) w hi c s i g ni f i c a nt l y   d e e pe ns   t he   c onne c t i ons   be t w e e c a t e g or i e s ,   l e a di ng   t i m pr o v e unde r s t a ndi ng   a nd  pr e di c t i on  of   c a t e g or y   i nt e r r e l a t i ons T hi s   e nha n c e s   t he   ov e r a l l   a c c ur a c y  a nd r e l i a bi l i t y  of   m ul t i - c a t e g or y  c l a s s i f i c a t i on t a s ks .     I m pr o v e i nt e r pr e t a bi l i t y :   b y   i nc or por a t i ng  r e s i dua l   c onne c t i ons   a nd  f oc us i ng   on  e s s e nt i a l   f e a t ur e s ou r   a ppr oa c not   onl y   pr e v e nt s   di v e r g e n c e   i pr e di c t i ons   but   a l s of f e r s   g r e a t e r   t r a n s pa r e nc y   a n d   i nt e r pr e t a bi l i t y T hi s   a l l o w s   us e r s   t unde r s t a nd  t he   m ode l s   de c i s i on - m a ki n g   pr oc e s s a ddr e s s i ng   a   c r i t i c a l  ne e d f or  t r us t w or t h y  D L   m ode l s  i n t he  i ndus t r y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2502 - 4752   I ndone s i a n J  E l e c  E n g  &  C om p S c i V ol 40 , N o.  2 ,   N ov e m be r   20 25 :   11 00 - 11 08   1102     E f f i c i e nc y   a nd  s c a l a bi l i t y :   our   m e t hod  r e duc e s   t he   nu m b e r   of   m ode l   pa r a m e t e r s   c o m p a r e t t r a di t i ona l   a ppr oa c he s , a c c e l e r a t i ng  c on v e r g e nc e   a nd  m a ki n g  t he   m od e l   m or e   e f f i c i e nt T hi s  e f f i c i e nc y i s  pa r t i c ul a r l be ne f i c i a l   f or   pr a c t i c a l   a ppl i c a t i ons e na bl i ng   f a s t e r   de pl oym e nt   a nd  s c a l a bi l i t y   i v a r i ous   bus i ne s s   w or kf l o w s .       2.   R E L A T E D  WO R K   Th e   f i e l of   doc u m e nt   a na l y s i s   ha s   s e e s ubs t a nt i a l   a dv a nc e m e nt s   w i t t he   i nt e g r a t i on  of   DL   t e c hni que s e nha nc i ng   t he   e f f i c i e n c y   a nd  a c c u r a c y   of   doc u m e nt   c l a s s i f i c a t i on  t a s ks E a r l y   a ppr oa c he s   r e l i e d   he a v i l y   on  m a nua l   f e a t ur e   e n g i ne e r i ng   a nd  t r a di t i ona l   m a c h i ne   l e a r ni ng   a l g or i t h m s ,   s uc a s   l og i s t i c   r e g r e s s i on   ( L R )   a nd  S V M s w hi c h,  w hi l e   i nt e r pr e t a bl e ,   of t e l a c k e t he   pr e di c t i v e   pow e r   of   DL   m od e l s .   M ode r m e t hodol og i e s   l e v e r a g e   de e p   ne ur a l   ne t w or ks pa r t i c ul a r l y   c on v ol ut i ona l   ne ur a l   ne t w or ks   ( C N N s )   a nd  g r a ph  c on v ol ut i ona l   ne t w or ks   ( G C N s ) w hi c ha v e   de m ons t r a t e s upe r i or   pe r f or m a nc e   by   a ut o m a t i c a l l e xt r a c t i ng   c o m pl e f e a t ur e s   f r o m   r a w   t e xt   da t a N ot a bl e   w or ks   i nc l ude   t he   us e   of   hi e r a r c hi c a l   t r a ns f or m e r s   a nd  B E R T - ba s e m ode l s w hi c ha v e   s how s i g ni f i c a nt   i m pr o v e m e nt s   i ha ndl i ng   l on g   doc u m e nt s   a nd   c a pt ur i ng  i nt r i c a t e  t e xt  r e p r e s e nt a t i ons . D e s pi t e  t he s e  a d v a nc e m e nt s , a  pe r s i s t e nt  c ha l l e nge   r e m a i ns  t he  bl a c k - box  na t ur e   of   DL   m ode l s w hi c hi nde r s   t he i r   i nt e r pr e t a bi l i t y   a nd  t hus   t he i r   a c c e pt a nc e   i t he   i ndus t r y .   R e c e nt   s t udi e s   ha v e   f oc us e on  e nha nc i n g   m ode l   t r a ns pa r e n c y   t hr ou g t e c hni que s   l i ke   a t t e nt i on  m e c ha ni s m s   a nd  e xpl a i na bl e   A I   f r a m e w o r ks a i m i ng   t br i d g e   t he   g a b e t w e e hi g p e r f or m a nc e   a nd  t he   ne e f or   m ode l   i nt e r pr e t a bi l i t y S a i f ul l a h   e t   al .   [ 9]   r e por t e a   pr ope r t y   c ol l e c t i on  t ha t   w a s   done   by   ha nd.  T he   a r t i c l e s   w e r e   t he c a t e g or i z e us i ng   t he   pr e v i ous l y   m e nt i one a t t r i but e s   a s   a   g ui de T he   r a t i os   of   t e x t ua l   t o   non - t e x t ua l   por t i ons c ol um l a y out s c ont e nt   de ns i t y a nd  f ont   s i z e s   i n   c om pa r i s on  w e r e   a m on g   t he   m a ny   f a c t or s   c ons i de r e d t hr oug hout  t he  s e l e c t i on pr oc e s s .   T he   da t a   w a s   c a t e g or i z e us i ng   a   de c i s i on  t r e e   t ha t   w a s   t r a i ne us i ng   t he   pr ov i de a t t r i but e s i t   di s c us s e t he   c onc e pt s   of   doc um e nt   s i m i l a r i t y   a nd  a   que r y i ng   t e c hni que   de s i g ne s pe c i f i c a l l y   f or   doc u m e nt   i m a g e   da t a ba s e s T h e   s t r uc t ur a l   s i m i l a r i t y   t ha t   i s   g e o m e t r i c a l l y   i n v a r i a nt   i s   f ound.   T he   f ol l ow i ng   s t a t e m e nt   i s   a   r e s pons e   t pr e v i ous   r e s e a r c c onduc t e by   r e l e v a nt   pa r t i e s P uj a r   e t   al .   [ 10]   e m pl o y e A da B oos t   i c o m bi na t i on  w i t a e ns e m bl e   of   K - m e a ns   c l us t e r i ng - ba s e c l a s s i f i e r s   t o   f i nd  a r t i c l e s   f or   t he i r   s t udy   qui c kl y T he   i de nt i f i c a t i on  pr oc e s s   w a s   ba s e on  t he   l ow - l e v e l   bi na r y   i m a g e   pi xe l   de ns i t y   da t a   pr o c e s s i ng A   no v e l   m e t hod f or  a ut o m a t i c a l l y  r e c og ni z i n g  pi c t ur e  a nc hor  t e m pl a t e s  f r o m  doc u m e nt  i m a g e s T he  t e m pl a t e s   m a y  b e   us e f or   a   v a r i e t y   of   t a s ks s uc a s   da t a   e xt r a c t i on  a nd   doc um e nt   c a t e g or i z a t i on.  I t he i r   i nqui r y   [ 11]   pr opos e ut i l i z i ng   c ode books   a s   a   m e a ns   of   a s s e s s i ng   doc u m e nt   pi c t ur e   s i m i l a r i t y T he   doc u m e nt   i s   r e c ur s i v e l br oke i nt s m a l l e r   bi t s   us i ng   t hi s   t e c hni que T he   a t t r i but e s   m e nt i one be f or e   w e r e   ut i l i z e t o   r e t r i e v e   doc u m e nt s   f r o m   t he   da t a ba s e   t ha t   s ha r e t he   s a m e   c ha r a c t e r i s t i c s T he   a ut ho r s   e nha nc e t he i r   pr e v i ous   f i ndi ng s   by   t r a i ni ng   a nd  r e t r i e v i n g   doc u m e nt   phot os   t ha t   be l o ng   t t he   s a m e   c a t e g or y   us i ng   a n   uns upe r v i s e r a ndo m   f or e s t   c l a s s i f i e r T he   a c hi e v e m e nt   w a s   a t t a i ne by   opt i m i z i n g   t he   c a l c ul a t e d   r e pr e s e nt a t i ons .   I t he   s ubs e que nt   ye a r   [ 12] t he   a ut hor s   a c hi e v e d   s t a t e - of - t he - a r t   pe r f or m a nc e   on  t he   t a f or m   a n d   t a bl e  r e t r i e v a l  t a s ks  us i ng  t he  s a m e  t e c hni que s T he  pe r f or m a nc e  e v a l u a t i on s  unde r l y i ng  a s s um pt i on w a s  t ha t   i ns uf f i c i e nt   t r a i ni ng   da t a   pr o v i de a   de t a i l e a c c ount   of   t he   f i r s t   a ppl i c a t i on  of   de e C N N   i t he   f i e l of   doc u m e nt   pi c t ur e   c a t e g or i z a t i on.  T hi s   a ppr oa c out pe r f or m e pr e v i ous   ha nd - c od e f e a t ur e   e ng i ne e r i n m e t hodol og i e s   i t e r m s   of   s pe e d.  I t he i r   r e s e a r c publ i c a t i on  i nt r oduc e t he   D e e pD oc   C l a s s i f i e r   a s   a e xa m pl e   of   t he   pot e nt i a l   a ppl i c a t i ons   of   t r a ns f e r   l e a r ni n g   [ 13] T he   s t udy   m a k e s   us e   of   a   d e e C N N   w i t t he   A l e xN e t   a r c hi t e c t ur e T he   w e i g ht s   of   t he   ne t w or w e r e   i ni t i a l i z e us i ng   a   pr e - t r a i ne m ode l   t ha t   w a s   t r a i ne d   on  t he   l a r g e   I m a ge N e t   da t a s e t T he   da t a s e t   c ons i s t s   of   1.28  m i l l i on  t r a i ni ng   pi c t ur e s   t ha t   a r e   c a t e g or i z e i nt o   1000  di s t i nc t   g r oups T he   pe r f or m a nc e   of   e a r l i e r   a ppr oa c he s   w a s   s i g ni f i c a nt l y   i m pr o v e b y   t r a ns f or m i ng   t h e   or i g i na l   c on v ol ut i ona l   l a y e r s   i nt f l e xi bl e   f e a t ur e   e xt r a c t or s T i nc r e a s e   t he   a c c ur a c y   of   t he   c l a s s i f i c a t i on   f i ndi ng s t he   t e xt ua l   da t a   f r o m   a   c o m m e r c i a l   opt i c a l   c ha r a c t e r   r e c o g ni t i on   ( O C R )   s y s t e m   w i t t he   r a w   i m a ge   da t a   [ 14] A f t e r   i t   w a s   r e c o v e r e d,  an   N L P   m ode l   t r a ns l a t e t he   t e xt   i nt t he   f e a t ur e   s pa c e E m pl oye a n   e xt r e m e   l e a r ni n g   m a c hi ne   t m a ni pul a t e   f r oz e c on v ol ut i ona l   l a y e r s   t ha t   w e r e   t r a i ne us i ng   a A l e xN e t   m od e l . T he   gr oup w a s  a bl e  t o i nc r e a s e  out put  w i t hout  c o m pr o m i s i ng  a c c ur a c y  r e qui r e m e nt s .   P a ppa g a r i   e t   al .   [ 1]   e v a l ua t e t he   pe r f or m a nc e   of   v i s ua l   g e o m e t r y   g r oup  ( V G G ) R e s N e t a nd   G oo gL e N e t  i c l a s s i f y i n g  doc u m e nt  pi c t ur e s  us i ng be nc h m a r k da t a s e t s . T h e  s t udy   f i nds  t ha t  s i g ni f i c a nt  ga i ns   m a y   be   a c hi e v e w i t pr e t r a i ne i m a g e   c l a s s i f i c a t i on  ne t w o r ks w hi c ha v e   b e e t r a i ne on  a   l a r g e   a m ount   of   c a t e g or i z e da t a T he y   pr e s e nt e a   t w o - s t r e a m   n e t w or k   t ha t   c oul g e ne r a t e   out put   ba s e on  bot t e xt ua l   a nd  v i s ua l   i nput s .   I c ont r a s t   t pr e v i ous   s t udi e s a a l g or i t hm   w a s   e m pl oye t e v a l ua t e   t he   t e xt ua l   s t r e a m f e a t ur e s   a nd  pi npoi nt   t he   m os t   s i g ni f i c a nt   one s T he y   c o m bi ne O C R   pr e di c t i o ns   w i t i m a g e   d a t a   us i ng   a   m e t hodol ogy   a ki t pr e v i ous   w or k.  H ow e v e r t he   pe r f or m a nc e   w a s   e nha nc e by   e m pl o y i ng   bi di r e c t i ona l   e nc ode r   r e pr e s e nt a t i ons   f r o m   t r a ns f or m e r s   ( B E R T )   a s   t he   N L P   f r a m e w or k,  w hi c l ooke a t   t he   v i a bi l i t y   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I ndone s i a n J  E l e c  E n g  &  C om p S c i     I S S N :   2502 - 4752       E nhanc i ng  d oc um e nt  t e x t  c l as s i f i c at i on us i n g hy b r i d   d e e p c ont e x t ual  an d c or r e l at i o n ne t w or k   ( Shi l pa )   1103   a ppl y i ng   s e l f - s upe r v i s e r e pr e s e nt a t i on  l e a r ni ng   f or   doc u m e nt   i m a ge   c l a s s i f i c a t i on.  H o w e v e r t he   s t ud c onduc t e by  t he   r e s e a r c h e r s   w a s   l i m i t e t a   f e w   ol d - f a s hi one s e l f - s upe r v i s e d   a c t i v i t i e s s uc a s   J i g s a w   puz z l e s T he   s t udy   e f f e c t i v e l y   de m ons t r a t e t he   l i m i t a t i ons   of   t he   s t r a t e gy   i t e r m s   of   g e ne r a t i ng   m e a ni ngf ul   r e pr e s e nt a t i ons .       3.   P R O P O S E D   M E T H O D   T hi s   m ode l   pr opos e s   a   H D C C N e t   m ode l   c o m pos e of   t w pr i m a r y   m odul e s :   t he     a nd  t he     m odul e T he     m odul e   e nha nc e s   doc u m e nt   r e pr e s e nt a t i on  by   i nc or por a t i ng   c a t e g or i nf or m a t i on,  t r e a t i ng   c a t e g or y   i nf or m a t i on  a s   pos i t i v e   s a m pl e s   of   doc u m e nt   i nf or m a t i on  t hr oug c ont r a s t i v e   l e a r ni ng T hi s   pr oc e s s   a l l ow s   f or   a i n - de pt e xpl or a t i on  of   t he   r e l a t i ons hi p s   be t w e e doc u m e nt s   a nd  t he i r   c or r e s pondi ng   c a t e g or i e s B E R T   i s   e m pl oye a s   a   f e a t ur e   e xt r a c t or   t obt a i s e m a nt i c   f e a t ur e s   f r o m   bot t he   doc u m e nt s   a nd  t he   c a t e g or i e s w hi c a r e   t he pr oc e s s e by   t he     m odul e T h e   out put   f r om   t h e     m odu l e   s e r v e s   a s   t he   i nput   f or   t he     m odul e I t he  or i g i na l   c a t e g or y   pr e di c t i ons   a r e   f ur t he r   r e f i ne us i ng   c or r e l a t i on  know l e dge   by   t r a i ni ng   m ul t i pl e   w e i g ht   m a t r i c e s T hi s   m odul e   f oc us e s   on   i de nt i f y i ng   r e l e v a nt  c o m bi na t i ons  of  or i g i na l  c a t e g or y pr e di c t i ons  t o e nha nc e  t he  o v e r a l l  pr e di c t i on a c c ur a c y .   B y   i nt e g r a t i ng   c a t e g or y   s e m a nt i c   i nf or m a t i on  a nd  c a t e g or y   c or r e l a t i on,  H D C C N E T   a c hi e v e s   pr e c i s e   m ul t i - c a t e g or y  c l a s s i f i c a t i on r e s ul t s . F i g ur e  1 s how s  t he  pr opos e d H D C C N  a r c hi t e c t ur e .           F i g ur e  1 .   P r opos e d H D C C N   a r c hi t e c t ur e       3.1.   I n i t i al  a n al ys i s   A s s u m e   t he   da t a s e t   = { ( , ) } = 1 he r e     i s   t he   or i g i na l   doc um e nt   a nd  t he     t e xt   a s ,   = { 1 , 2 , , } ,     r e pr e s e nt s   t he   l e n g t of   t he   i nput   doc u m e nt     i s   t he     w or of   t he   doc u m e nt .   { 0 , 1 }   de not e s   t he   a dj a c e nt   c a t e g or y   s e t   f or     i s   t he   c a t e g or y   s e t   of   t he   da t a s e t   a nd  P   i s   t he   t ot a l  num b e r   of   e xa m pl e s   i t he   da t a s e t t he   c l a s s i f i e r   he r e   c om put e s   t he   pr oba bi l i t y   f or   e a c c a t e g o r y   b e i ng   t r ue   w he r e   = { 1 , 2 , , } t he   l o s s   be t w e e   a nd    i s   g i v e by   ( 1) B e f or e   be i ng   g i v e a s   i nput   t t he   B E R T   m od e l , t he  doc u m e nt     i s  c ons i de r e d, c ons i de r i ng  a   m ode l   w i t   l a y e r s  t he  hi dde n r e pr e s e nt a t i on i s  de not e by  t he     l a y e r  a s   g i v e n i n ( 2) .      ( ,   ) = 1     [  + ( 1 )    ( 1 ) ]   ( 1)     ( ) ( ) = { ( ) , 1 ( ) , . , ( ) }   ( 2)     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2502 - 4752   I ndone s i a n J  E l e c  E n g  &  C om p S c i V ol 40 , N o.  2 ,   N ov e m be r   20 25 :   11 00 - 11 08   1104   3.2.   D e e p   c on t e xt u al  r e p r e s e n t at i on   i n t e gr at or   ( D C R I )  N e t   A s   t he   s e m a nt i c   c ha r a c t e r i s t i c   of   t he   doc u m e nt   a nd  c a t e g o r y w e   m a ke   us e   of   t he   e m be dd e l a y e r   i n   e nha nc e B E R T N e v e r t he l e s s i n v e s t i g a t i ng   t he   c onne c t i ons   be t w e e t he   s e m a nt i c   c ha r a c t e r i s t i c s   of   t he   t e xt   a nd t he  c a t e g or y r e qui r e s   m or e  t ha n j us t  us i ng  t he  l a y e r  of  t he  f i na l  l a y e r .   I n t he  t r a i ni ng   ph a s e , t he  doc u m e nt   f e a t ur e s   a nd  c a t e g o r y   f e a t ur e s   a r e   s y nc hr onous l y   e xt r a c t e d,  a nd  t he   t e xt   f e a t ur e   i s   de not e a s   g i v e i ( 3) .     T o a ddr e s s  t he  a f or e m e nt i one d i s s ue , w e  t hus  s ugg e s t  a  doc u m e nt - c a t e g or y  c ont r a s t i v e  l e a r ni ng  l os s  f unc t i on.  t he   e nc odi ng   of     doc um e nt   f e a t ur e s   ut i l i z i ng   t he   f e a t ur e s   of     a s   m ul t i - c a t e g or y   s e t s   r e l a t e t t he   doc u m e nt   he nc e   t he   num be r   of   s a m pl e s   i s   2M K = { 1,   …,   2M } T he   i nde x   of   t he     do c u m e nt   a s   c a t e g or y   ( )   a nd t he  ne g a t i v e  s a m pl e  r e m a i ns  a s  i n K . T h e  l os s  f unc t i on o f  t he  e xpr e s s i on i s  s h ow n i n ( 4) .     =  ( ( 1 ) , ( 2 ) , ( 3 ) , ( 4 ) , ( 5 ) )   ( 3)     =   2 = 1    ( . ( ) )     /   ( . )   ( 4)     H e r e     i s  t he  t e m p e r a t ur e  c o - e f f i c i e nt  t ha t  c a n  di s t i ng ui s h be t w e e n pos i t i v e  a nd n e ga t i v e  s a m pl e s   i s   t he   c onc a t e na t e v e c t or   of   t he   l a y e r s   obt a i ne f r o m     t T w m a i f a c t or s   c ont r i but e   t C a t e g or   s uc c e s s U s i ng   t he   s e m a nt i c   i nf or m a t i on  of   t he   c a t e g o r i s   t he   f i r s t   s t e i c r e a t i ng  a   d oc u m e nt   r e pr e s e nt a t i on  w i t c a t e g or y   i nf or m a t i on  g ui da nc e U s i ng   t hi s   da t a a   l a n g ua g e   m ode l   c a l l e B E R T   i s   i ns t r uc t e t e xt r a c t   c ha r a c t e r i s t i c s   f r o m   t he   doc u m e nt   i nf or m a t i on  t ha t   a r e   pe r t i ne nt   t t h e   c a t e g or y I t   a l s o   i nc or por a t e s  a n or g a ni z e d  f r a m e w o r k f or  c onne c t i ng  t he  s e m a nt i c  da t a .   I n t hi s  t e c hni que , t he  c a t e g or y   f e a t ur e   e nc odi ng  i s  us e d a s  a  pos i t i v e  s a m pl e  f or  t he  c a t e g or y  a nd t he  doc u m e nt  c ont e nt s .     3.3.   D e e p   c or r e l at i on  N e t  ( D C N e t )   T he   t w p a r t s   of     a r e   t he   r a w   c a t e g or pr e di c t i ons   a nd  t he     c o m put a t i ona l   uni t w hi c h   c on v e r t s  t he  r a w  c a t e g or y  pr e di c t i ons  i nt o i m pr o v e c a t e g or y  pr e di c t i ons  de pe ndi ng  on c a t e g or y   c or r e l a t i ons .   T he     m ode l   i s   de f i ne b t he   g i v e ( 5 ) .   H e r e   A   a nd  A   a r e   t he   out put   a nd  i nput   of   t he     m o de l he r e     i s   t he   r a w   c a t e g or y   p r e di c t i on  be f or e     m ode l   a nd  A   i s   t he   c a t e g or pr e di c t i on  m ode l   w i t h   c or r e l a t i on r e pr e s e nt e d b y  t he   .     = + ( )   ( 5)     T he   s i m pl e s t   de s i g n   f or   a   c a t e g or y   c o r r e l a t i on  m odul e   a dds   a   l i ne a r   l a ye r   a f t e r   y ,   s i m i l a r   t C or ne t ,   f or   c or r e l a t e c a t e g or y   pr e di c t i on.  H o w e v e r t hi s   a ppr oa c y i e l ds   s ha l l ow   c a t e g or y   c or r e l a t i ons T de e pe n   t he   c onne c t i ons w e   pr opos e   a   m ul t i - l a y e r   c a t e g o r y   c or r e l a t i on  m odul e   w h e r e   e a c l a y e r s   out pu t   s e r v e s   a s   t he   ne xt   l a y e r s   i nput i m pr o v i n g   c a t e g or y   c o r r e l a t i ons T pr e v e nt   di v e r g e n c e   i pr e di c t i ons w e   i nc or por a t e   r e s i dua l   c onne c t i ons   us i ng   t he   or i g i na l   c a t e g o r y   pr e di c t i ons T hi s   de s i g n,  w hi c ha s   f e w e r   pa r a m e t e r s   t ha n   t he   t ot a l   num be r   of   c a t e g or i e s f oc us e s   on  l e a r ni ng   d e e c or r e l a t i ons   a nd  a c c e l e r a t e s   m ode l   c on v e r ge nc e .   H e r e     i s  t he  i nput  f or  t he  c or r e l a t i on l a y e r  a nd    i s  t he  a c t i v a t i on f unc t i on. C a t e g or y pr e di c t i on a s  t he  out put   of      a c hi e v e s   hi g a c c ur a c y   i g u i di ng   t he   c a t e g o r y   c or r e l a t i on  pr e di c t i on  a s   i nput   of     T he  c a t e g or y  pr e di c t i on i s  t he  i nput  f or   . T he  e f f e c t  i s  a m pl i f i e d t hr oug h r e s i dua l  c onne c t i ons .     ( ) = (  + )   ( 6)     3.4.   H D C C N E T   m od e l  t r ai n i n g     T he   e nd - to - e nd  ba s e m ul t i - c a t e g or y   c l a s s i f i c a t i on  m ode l   i s   m a de   up  of     a nd    m od e l t he   g oa l   i s   t r e duc e   t he   t a r g e t   l os s   a s     t ha t   c ons i s t s   of   ,    ( , )   a nd   ( , ) t hi s   i s   de f i ne a s   g i v e i ( 7) H e r e     i s   t he   c oe f f i c i e nt   a s s oc i a t e w i t t he   c ont r a s t   l e a r ni ng  of   t h e   c a t e g or i z e doc u m e nt   be t w e e t he   l os s e s   i s   t he   l a s t   pr oba bi l i t y   of   t he     doc um e nt   s e m a nt i c   i nf o   a s   i nput   i s   t he   l a s t   pr oba bi l i t y   of   s e m a nt i c   i nf of   t he   c a t e g or y   s e t   r e l e v a nt   w i t t he     doc um e n t   a s  i nput .     = +    ( , ) +  ( , )   ( 7)       4.   P E R F O R M A N C E   E V A L U A T I O N   T he   pe r f or m a nc e   e v a l ua t i on  de m ons t r a t e s   t ha t   t he   pr opos e s y s t e m   ( P S )   m e t hod  s i g ni f i c a nt l out pe r f or m s   ot he r   s t a t e - of - t he - a r t   t e c hni que s   i doc um e nt   c l a s s i f i c a t i on  on  t he   e xA A P D a nd  e x P F D   Evaluation Warning : The document was created with Spire.PDF for Python.
I ndone s i a n J  E l e c  E n g  &  C om p S c i     I S S N :   2502 - 4752       E nhanc i ng  d oc um e nt  t e x t  c l as s i f i c at i on us i n g hy b r i d   d e e p c ont e x t ual  an d c or r e l at i o n ne t w or k   ( Shi l pa )   1105   da t a s e t s r e s pe c t i v e l y T hi s   not a bl e   pe r f or m a nc e   ga hi g hl i g ht s   t he   P S   m e t hod s   a d v a n c e t e c hni que s   a nd  opt i m i z a t i ons m a ki ng   i t   a   r obu s t   a nd  r e l i a bl e   c hoi c e   f o r   hi g h - a c c ur a c y   c l a s s i f i c a t i on  t a s ks T he   c l us t e r i n g   of   ot he r   m e t hods   s c or e s   w i t hi na r r o w e r   r a n g e s   s ugge s t s   t he i r   c o m pa r a bl e   e f f e c t i v e ne s s y e t   P S s   s upe r i or   r e s ul t s  unde r s c or e  i t s  pot e nt i a l  a dv a nt a g e s  i n pr a c t i c a l  a ppl i c a t i ons .     4.1.   D at as e t     e xA A P D 2:   t he   e xt e nde a nnot a t e a ut om a t i c   phone m e   da t a   ( e x A A P D )   [1 5 da t a s e t   i s   a   c o m pr e he ns i ve   r e s our c e  d e s i g ne f or   a d v a nc e d s pe e c h pr o c e s s i ng   r e s e a r c h.  I t  f e a t ur e s  hi g h - qu a l i t y  a udi o r e c or di ng s   w i t h   de t a i l e d, t i m e - a l i g ne d phone m e   a nnot a t i ons , s uppor t i ng  a   w i de  a r r a y  o f  a ppl i c a t i ons  i nc l udi ng  s pe e c h a n d   phone m e   r e c o g ni t i on,  s pe a ke r   i de nt i f i c a t i on,  a nd  e m ot i on  a na l y s i s T he   da t a s e t   e nc o m p a s s e s   m ul t i pl e   l a ng ua g e s pr o v i di n g   a   v a l ua bl e   t ool   f or   c r os s - l i ng ui s t i c   s t ud i e s   a nd  c om pa r i s ons E a c r e c or di ng   c o m e s   w i t e xt e ns i v e   m e t a da t a   c o v e r i n g   s pe a ke r   d e m o g r a phi c s r e c or di ng   c ondi t i ons a nd  l i n g ui s t i c   de t a i l s ,   e nha nc i ng   i t s   r e s e a r c ut i l i t y T he   di v e r s i t of   s pe a ke r s a c c e nt s a nd  e n v i r on m e nt s   r e pr e s e nt e i t he   da t a s e t  e ns ur e s  i t s  a ppl i c a bi l i t y  a c r os s   v a r i ous  c ont e xt s  a nd r e s e a r c g oa l s     e xP F D :   t he   e xt e nde phone t i c   f r a m e   da t a   ( e xP F D )   da t a s e t   i s   a   s ophi s t i c a t e r e s our c e   de s i g ne f o r   phone t i c   a nd  s pe e c pr oc e s s i ng  r e s e a r c h.  I t   i nc l ude s   hi g h - f i de l i t y   a udi r e c o r di ng s   w i t de t a i l e d,  t i m e - a l i g ne phone t i c   f r a m e   a nnot a t i ons pr o v i di ng   pr e c i s e   c a t e g or y   f or   phone t i c   e v e nt s T he   d a t a s e t   s uppor t s   m ul t i pl e   l a ng ua g e s   a nd  di a l e c t s m a ki ng   i t   a i n v a l ua bl e   t ool   f or   c om pa r a t i v e   phone t i c   s t ud i e s I t   f e a t ur e s   e xt e nde a nnot a t i ons   t ha t   e nc om pa s s   phone t i c   c ont e xt s p e a ke r   a t t r i but e s ,   a nd  e nv i r on m e n t a l   c ondi t i ons a l ong s i de   c o m pr e h e ns i v e   phone t i c   t r a ns c r i pt i ons R i c m e t a da t a   a c c o m pa ni e s   e a c r e c or di ng de t a i l i ng  s pe a ke r   de m o g r a phi c s r e c or di ng   s e t ups a nd  l i ng ui s t i c   ba c kg r ounds T hi s   e xt e ns i v e   d a t a s e t   i s   i de a l   f or   a pp l i c a t i ons   i phone t i c   r e s e a r c h,  s pe e c pr oc e s s i ng ,   a nd  l a n g ua g e   s t udi e s e na bl i ng  i n - de pt a na l y s e s   o f   phone t i c   pr ope r t i e s   a nd   v a r i a t i ons   a c r os s   di v e r s e   l i ng ui s t i c   c ont e xt s R e s e a r c he r s   m us t   a dhe r e   t e t hi c a l   g ui de l i ne s  t o e ns ur e  t he  r e s pons i bl e  us e  a nd i n t e g r i t y  of  t he  da t a .     4.2.   S t at e - of - ar t  t e c h n i q u e s     L R K i m C N N   [ 1 6 ] F a s t T e xt   [ 1 7 ] X M L - C N N   [ 1 8 ] H A N   [ 19 ] a nd  r e g ul a r i z e L S T M   [ 2 0 ]   a r e   e xa m pl e s   of   c on v e nt i ona l   doc u m e nt   c l a s s i f i c a t i on  t e c hni que s H e d w i g i s   a   DL   t ool ki t   t ha t  of f e r s   pr e - i m pl e m e nt e d   doc u m e nt  c l a s s i f i c a t i on  m ode l s . I t  pr o v i de s   v a r i ous  a ppr oa c he s  f or  do c u m e nt  c l a s s i f i c a t i on.     T he   L D C   ha s   de v e l ope t he   hi e r a r c hi c a l   g r a ph  c on v ol ut i ona l   n e t w or ( H G C N ) a   m o de l   c a pa bl e   of   pr oc e s s i ng  bot h t he   m i c r o l e v e l  o f   a   w or g r a ph a nd t he   m a c r o  l e v e l  of  a  s e c t i on gr a ph. S e ve r a l  doc u m e nt   c a t e g or i z a t i on  t e c hni que s   ba s e on   G C N   ha v e   b e e de v e l op e d,  i nc l udi ng   T e xt   G C N   [ 2 1 ]   a nd  B e r t G C N   [2 2 ] . T he  f oc us  of  t he s e  t e c hni que s  i s  t o c l a s s i f y  node s  on  g r a phs  a t  t he  c o r pus  l e v e l I a dd i t i on, t he r e  a r e   ot he r   t e c hni que s   a v a i l a bl e   f or   c a t e g or i z i ng   node s   on  doc um e nt - l e v e l   ne t w or ks i nc l udi ng   T L   G N N   [ 2 3 a nd H y pe r G A T   [ 2 4 ].     T he   t r a ns f or m e r - ba s e L D C   t e c hni que s   c o m e   i s e v e r a l   f or m s A m on g   t he s e   i s   B E R T + T e xt R a nk  15 ] ,     a   t r unc a t i on  ba s e l i ne   e xt e ns i on  of  B E R T I t   e nt a i l s   us i ng   T e xt R a nk  t g e t   a a ddi t i ona l   s e t  of   512  t oke ns A not he r   m e t hod  t ha t   c a be   us e i ns t e a of   t he   B E R T + T e xt R a nk  m ode l   i s   B E R T + R a ndom   [ 2 5 ] .     I t  c hoos e s  up t o 512 t oke ns  a t  r a ndom  f r o m  t e xt s . F ur t he r m or e , R oB E R T  [ 1 ]  i s  a n   e xt e ns i on of  B E R T  t ha t   pe r m i t s   i t s   us e   i L D C O n   t op  of   t he   s e gm e nt   r e pr e s e nt a t i ons R oB E R T   a ppl i e s   a   r e c ur r e nc e   l a y e r   a f t e r   s e gm e nt a t i on.  T o   B E R T   [ 1 ] A   t r a ns f or m e r   l a ye r   i s   s ug ge s t e a s   a   s ubs t i t u t e   f or   t he   r e c ur r e nt   l a y e r   i t he   R oB E R T   m ode l T m a na ge   l e ng t h y   t e xt s a   T r a ns f or m e r   m ode l   v a r i a t i on  c a l l e t he   L ong f or m e r   [ 2 6 c o m bi ne s   l oc a l   a nd  g l oba l   a t t e nt i on   pr oc e s s e s T he   B i g B i r [ 2 7 ]   i s   a a ddi t i ona l   L ong f or m e r   e xt e ns i on   t ha t   a dds   r a ndo m   a t t e nt i on.  I a ddi t i on,  a   hi e r a r c hi c a l   m ode l   c a l l e t he   H i - T r a ns f or m e r   [ 3 ]   c onc e nt r a t e s   on obt a i ni ng  a  doc um e nt s  w hol e   c ont e xt  t o m ode l  s e nt e nc e s  [ 28 ].     4.3.   R e s u l t s   T he  F i g ur e   2 c ha r t  di s pl a y s  t he   T e s t .F 1 s c or e s  f or   v a r i ous  c l a s s i f i c a t i on  m e t hods , r e v e a l i ng   t ha t  m os t   m e t hods   pe r f or m   s i m i l a r l y w i t s c or e s   r a n g i ng   f r o m   a ppr oxi m a t e l y   66  t 68.  M e t ho ds   s uc a s   K i m C N N   [1 6 ] T L - G N N   [ 2 2 ] X M L - C N N   [ 1 8 ] F a s t T e xt   [ 1 7 ] T e xt G C N   [ 2 1 ] L S T M ( R e g)   [ 2 0 ] H A N   [ 19 ] L R ,   B e r t G C N   [ 2 4 ] B E R T + R a ndom   [ 15 ] H G C N + B E R T H i - T r a ns f or m e r   [ 1 5 ] B E R T + T e xt r a n [ 2 5 ] R o B E R T a   [ 1 ] L on g f o r m e r   [ 2 7 ] H y p e r G A T   [ 2 3 ] B i g B i r [3 ] H G C N - B i g B i r [ 1 5 ] T oB E R T   [ 1 ] ,   H M G C N + B E R T   [ 2 8 ] a nd  H M G C N + B i g B i r [ 2 8 ]   a l l   f a l l   w i t hi t hi s   r a ng e i ndi c a t i ng   c o m pa r a bl e   e f f e c t i v e ne s s   i t he   t a s a t   ha nd.  H o w e v e r t he   P S   m e t hod  s t a nds   out   s i g ni f i c a nt l y a c hi e v i n g   a   T e s t .F s c or e   of   a ppr oxi m a t e l 79,   w hi c i s   not i c e a bl y   hi g he r   t ha t he   ot he r s .   T hi s   s ug g e s t s   t ha t   t he   P S   m e t hod  i nc or por a t e s   m or e   a d v a nc e d   t e c hni que s   or   opt i m i z a t i ons l e a di ng   t i t s   s upe r i or   pe r f or m a n c e T he   c l e a r   g a be t w e e n   P S   a nd  t he   o t he r   m e t hod s   hi g hl i g ht s   i t s   r obus t ne s s   a nd  pot e nt i a l   a d v a nt a g e s m a ki n g   i t   a   pr o m i s i ng  c hoi c e   f or   t a s ks   r e qui r i n hi g h a c c ur a c y  a nd r e l i a bi l i t y  i n c l a s s i f i c a t i on.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2502 - 4752   I ndone s i a n J  E l e c  E n g  &  C om p S c i V ol 40 , N o.  2 ,   N ov e m be r   20 25 :   11 00 - 11 08   1106       F i g ur e  2 .   T e s t .F 1 r e s ul t s  f or  e xA A P D 2 da t a s e t  i n c o m pa r i s on w i t h t he  e xi s t i ng  s t a t e - of - a r t     t e c hni que s  w i t h P S       F i g ur e   de pi c t s   t he   T e s t .F s c or e s   f or   v a r i ous   c l a s s i f i c a t i on  m e t hods   f or   e xP F D   da t a s e t ,   hi g hl i g ht i ng   t he i r   pe r f or m a n c e   di f f e r e nc e s T he   m e t hods   r a n g e   f r o m   T L - G N N w hi c s c or e s   a r ound  76,  t P S , w hi c h a c hi e v e s  t he  hi g he s t  s c or e   a t  a pp r oxi m a t e l y  88. M os t   m e t hods , i nc l udi ng  B e r t G C N  [ 2 4 ] , T e xt G C N   [2 1 ] L R H y pe r G A T   [ 2 3 ] K i m C N N   [ 1 6 ] F a s t T e xt   [ 1 7 ] X M L - C N N   [ 1 8 ] H i - T r a ns f or m e r H A N ,   L S T M ( R e g ) L on g f or m e r B i g B i r d,  B E R T + R a ndom R oB E R T a H G C N - B E R T H G A T - B i g B i r d,  T oB E R T ,   H G C N + B i g B i r d,  B E R T + T e xt r a nk,  H M G C N + B E R T a nd  H M G C N + B i g B i r d,  f a l l   w i t hi a  na r r o w e r   r a nge   of   78 t o 84. T hi s  i ndi c a t e s  a  c l os e  c l us t e r i ng  of  pe r f or m a n c e  a m on g  t he s e   m e t hods , s ugg e s t i ng t he y  of f e r  s i m i l a r   e f f e c t i v e ne s s   f or   t he   g i v e t a s k.  H o w e v e r t he   P S   m e t hod  di s t i nc t l y   out pe r f or m s   a l l   ot he r s   w i t i t s   T e s t .F s c or e   of   88,  i ndi c a t i ng   a   s i g ni f i c a nt   pe r f or m a nc e   a d v a nt a g e T hi s   s ug ge s t s   t ha t   t he   P S   m e t hod  ut i l i z e s   m or e   a d v a n c e or   opt i m i z e t e c hni que s s e t t i ng   i t   a pa r t   f r o m   t he   ot he r   m e t hods   a nd  m a ki ng   i t   a   pa r t i c ul a r l y   r obus t   c hoi c e  f or  a c hi e v i n g  hi g h a c c ur a c y  i n c l a s s i f i c a t i on t a s ks .           F i g ur e  3 .   T e s t .F 1 r e s ul t  f or  e xP F D  da t a s e t  i n c om pa r i s on  w i t h t he  e xi s t i ng  s t a t e - of - a r t  t e c hni que s  w i t h P S       5.   C O N C L U S I O N   I c onc l us i on,  t he   H D C C N E T   pr e s e nt s   a   s i g ni f i c a nt   a d v a nc e m e nt   i t he   f i e l of   doc um e n t   a na l y s i s   by   a ddr e s s i ng   t he   dua l   c ha l l e n g e s   of   a c c ur a c y   a nd  i nt e r pr e t a bi l i t y   i m ul t i - c a t e g or y   c l a s s i f i c a t i on  t a s ks .     B y   i nt r oduc i ng   a   m ul t i - l a ye r   c a t e g or y   c or r e l a t i on  m o dul e H D C C N E T   e nha nc e s   t he   de pt of   c a t e g or 0 10 20 30 40 50 60 70 80 90 va l ue M e t h od T es t . F1 72 74 76 78 80 82 84 86 88 90 va l ue M e t h od T es t . F1 Evaluation Warning : The document was created with Spire.PDF for Python.
I ndone s i a n J  E l e c  E n g  &  C om p S c i     I S S N :   2502 - 4752       E nhanc i ng  d oc um e nt  t e x t  c l as s i f i c at i on us i n g hy b r i d   d e e p c ont e x t ual  an d c or r e l at i o n ne t w or k   ( Shi l pa )   1107   c onne c t i ons l e a di ng   t i m pr o v e pr e di c t i on  a c c ur a c y   a nd  a   m or e   nua n c e unde r s t a n di ng   of   c a t e g or i nt e r r e l a t i ons T he   i nc or por a t i on  of   r e s i dua l   c onne c t i ons   e ns ur e s   s t a bi l i t y   a nd  pr e v e nt s   di v e r g e nc e   i n   pr e di c t i on s c ont r i but i ng   t t he   m ode l s   r e l i a bi l i t y F ur t he r m or e H D C C N E T s   de s i g n,  w hi c r e duc e s   t he   num b e r   of   pa r a m e t e r s not   onl y   a c c e l e r a t e s   m od e l   c on v e r g e n c e   but   a l s m a k e s   i t   m or e   e f f i c i e nt   a nd  s c a l a bl e   f or   pr a c t i c a l   a ppl i c a t i ons T hi s   e f f i c i e nc y   i s   pa r t i c ul a r l y   v a l ua bl e   i bus i ne s s   e nv i r onm e nt s   w he r e   c o m put a t i ona l   r e s our c e s   a nd  t i m e   a r e   of t e l i m i t e d.  B y   br i dg i ng   t he   g a be t w e e t he   pow e r f ul   c a pa bi l i t i e s   of   DL   a nd  t he   pr a c t i c a l   ne e f or   t r a ns pa r e nc y   a nd  i nt e r pr e t a bi l i t y H D C C N E T   pr o v i de s   a   r obus t   a nd  s c a l a bl e   s ol ut i on   f or   a ut om a t e doc u m e nt   pr oc e s s i ng T he   c ont r i but i ons   of   H D C C N E T   pa v e   t he   w a y   f or   t he   br oa de r   a dopt i on  of   DL   t e c hnol og i e s   i v a r i ous   bus i ne s s   w or kf l o w s of f e r i ng   a   r e l i a bl e t r a ns pa r e nt a nd  e f f i c i e n t   a ppr oa c h t o doc u m e nt  a n a l y s i s . F ut ur e   w or w i l l  e xpl or e  t he  a ppl i c a t i on of   H D C C N E T  t ot he r  do m a i ns  a n d   f ur t he r  e nha nc e m e nt s  t o i m pr o v e  i t s  r obus t ne s s  a nd a ppl i c a bi l i t y  i n di v e r s e  r e a l - w or l d s c e n a r i os .       A C K N O WL E D G E M E N T   I   w oul l i ke   t e xpr e s s   our   s i nc e r e   g r a t i t ude   t a l l   t hos e   w ho  ha v e   s uppor t e a nd  c ont r i but e t t hi s   r e s e a r c h pr oj e c t . P r i m a r i l y I  e xt e nd our  he a r t f e l t  t ha nks  t o our  g ui de  f or  he r  unw a v e r i n g  g u i da nc e , i n v a l ua bl e   i ns i g ht s , a nd e nc our a g e m e nt  t hr oug hout  t he  r e s e a r c h pr oc e s s .       F U N D I N G  I N F O R M A T I O N   T he  a ut hor s   s t a t e  no f undi ng  i n v ol v e d.       C O N F L I C T  O F  I N T E R E S T  S T A T E M E N T   A ut hor s  s t a t e  no c onf l i c t  of  i nt e r e s t .       D A T A  A V A I L A B I L I T Y   D a t a   a v a i l a bi l i t y   i s   not   a ppl i c a bl e   t t hi s   pa pe r   a s   no  ne w   da t a   w e r e   c r e a t e o r   a na l y z e i t hi s   s t u dy .       R E F E R E N C E S   [ 1]   R .   P a ppa g a r i ,   P .   Z e l a s ko,   J .   V i l l a l ba ,   Y .   C a r m i e l ,   a n N .   D e h a k,   H i e r a r c h i c a l   t r a n s f o r m e r s   f or   l o ng   doc u m e n t   c l a s s i f i c a t i on,   i 2019  I E E E   A ut om a t i c   Spe e c R e c ogni t i o and  U nde r s t andi ng  W or k s hop  ( A SR U ) ,   D e c .   2019,   pp.   838 844,   doi :   10. 1109/ A S R U 46091. 2019 . 900395 8.   [ 2]   X .   Z h a ng,   F .   W e i ,   a n M .   Z h ou ,   H I B E R T :   doc u m e n t   l e ve l   pr e - t r a i n i ng   of   h i e r a r c h i c a l   bi di r e c t i o n a l   t r a n s f or m e r s   f or   doc um e nt   s um m a r i z a t i o n,   i n   P r o c e e di ngs   of   t he   57t A nnual   M e e t i n of   t he   A s s oc i at i on  f or   C om put at i onal   L i ngui s t i c s ,   2019,   pp.   5059 5069,   doi :   10. 18653/ v1 / P 19 - 1499.   [ 3]   C .   W u,   F .   W u ,   T .   Q i ,   a n Y .   H ua ng ,   H i - t r a n s f o r m e r :   h i e r a r c h i c a l   i n t e r a c t i ve   t r a n s f or m e r   f or   e f f i c i e n t   a n d   e f f e c t i ve   l on doc um e nt   m ode l i ng,   i n   P r o c e e di ngs   of   t he   59t A nnual   M e e t i ng  of   t he   A s s oc i a t i on  f or   C om put a t i onal   L i ngui s t i c s   and  t he   11t I nt e r nat i onal   J oi nt   C onf e r e nc e   on  N at ur al   L anguage   P r oc e s s i ng  ( V ol um e   2:   Shor t   P ape r s ) ,   2021 ,   vol .   2,   pp .   848 853,   doi :   10. 18653/ v1/ 2021. a c l - s h or t . 107.   [ 4]   S a i f ul l a h,   S .   A g n e ,   A .   D e n g e l ,   a n S .   A hm e d,   T h e   r e a l i t of   h i gh   pe r f o r m i ng   de e l e a r n i ng   m ode l s :   a   c a s e   s t u dy  on   doc um e nt   i m a g e   c l a s s i f i c a t i o n,   I E E E   A c c e s s ,   vol .   12,   pp.   103537 103564,   2024 ,   doi :   10. 1109/ A C C E S S . 2024. 3425910.   [ 5]   S .   S a i f ul l a h,   S .   A gn e ,   A .   D e n g e l ,   a n S .   A hm e d,   D oc X c l a s s i f i e r :   t ow a r ds   a   r obus t   a n i n t e r p r e t a bl e   de e n e u r a l   n e t w or f o r   doc um e nt   i m a g e   c l a s s i f i c a t i o n ,   I nt e r nat i onal   J our nal   on  D o c um e nt   A nal y s i s   and  R e c ogni t i on ,   vo l .   27,   n o.   3,   pp .   447 473,   S e p.   2024,   doi :   10. 1007/ s 10032 - 024 - 0 0483 - w.   [ 6]   R .   P o w a l s ki ,   Ł .   B o r c hm a nn,   D .   J ur ki e w i c z ,   T .   D w o j a k,   M .   P i e t r us z ka ,   a n G .   P a ł ka ,   G oi ng  f ul l - T I L T   boo gi e   on   doc u m e nt   un de r s t a n d i ng   w i t h   t e x t - i m a g e - l a you t   t r a n s f o r m e r ,   i n   L e c t ur e   N ot e s   i n   C om put e r   Sc i e nc e   ( i n c l udi ng  s ubs e r i e s   L e c t ur e   N ot e s   i A r t i f i c i al   I nt e l l i ge n c e   and  L e c t ur e   N ot e s   i B i oi nf or m at i c s ) ,   vol .   12822  L N C S ,   2021 ,   pp.   732 747.   [ 7]   J .   F e r r a n do  e t   al . ,   I m pr ovi ng   a c c u r a c a n s pe e di ng   up  doc u m e n t   i m a g e   c l a s s i f i c a t i o n   t h r ou gh   pa r a l l e l   s ys t e m s ,   i n   L e c t ur e   N ot e s   i C om put e r   Sc i e nc e   ( i n c l udi ng  s ubs e r i e s   L e c t ur e   N ot e s   i A r t i f i c i al   I nt e l l i ge n c e   and  L e c t u r e   N ot e s   i B i oi nf or m at i c s ) ,   vol .   12138  L N C S ,   2020 ,   pp.   387 400.   [ 8]   S a i f ul l a h,   S .   A .   S i ddi qui ,   S .   A gn e ,   A .   D e ng e l ,   a n S .   A hm e d ,   A r e   de e m ode l s   r ob us t   a g a i n s t   r e a l   di s t or t i o n s ?   A   c a s e   s t udy  o doc um e nt   i m a g e   c l a s s i f i c a t i o n,   i n   2022  2 6t I n t e r nat i onal   C onf e r e nc e   on  P a t t e r R e c ogni t i on  ( I C P R ) ,   A u g .   2 022,   vol .   2022 - A ug us ,   pp.   1628 1635,   doi :   10. 1109/ I C P R 56361. 2022. 9956167.   [ 9]   S .   S a i f ul l a h ,   S .   A gn e ,   A .   D e ng e l ,   a n S .   A hm e d ,   A n a l y z i ng   t h e   pot e n t i a l   of   a c t i ve   l e a r ni ng   f or   doc u m e nt   i m a g e   c l a s s i f i c a t i on ,   I nt e r nat i onal   J our nal   o D o c um e nt   A nal y s i s   and  R e c ogni t i on  ( I J D A R ) ,   vol .   26,   no.   3,   pp.   187 209 ,   S e p.   2023,   doi :   10. 1007/ s 10032 - 023 - 00429 - 8.   [ 10]   P .   P uj a r ,   A .   K u m a r ,   a n V .   K u m a r ,   E f f i c i e n t   pl a n t   l e a f   de t e c t i on   t h r ou gh   m a c h i n e   l e a r n i ng   a ppr oa c h   ba s e d   on   c or n   l e a f   i m a g e   c l a s s i f i c a t i on,   I A E I nt e r nat i onal   J our nal   of   A r t i f i c i a l   I nt e l l i ge n c e   ( I J - A I ) ,   vol .   13,   n o.   1,   p.   1139,   M a r .   2024,   doi :   10. 11591/ i j a i . v13. i 1. pp1139 - 11 48.   [ 11]   S .   H .   S r e e d h a r a ,   V .   K u m a r ,   a n S .   S a l m a ,   E f f i c i e n t   bi g   da t a   c l us t e r i ng   us i ng   a d h oc   f u z z C   m e a n s   a n a ut o - e nc ode r   C N N ,   i L e c t ur e   N ot e s   i N e t w or k s   and  Sy s t e m s ,   vol .   563,   2023,   pp.   353 368.   [ 12]   R .   K h a s a w n e h   a n R .   K o r n r e i c h,   E x p l a i n i ng   da t a - dr i ve n   doc u m e n t   c l a s s i f i c a t i on s ,   M I Q uar t e r l y :   M anage m e nt   I nf or m at i on  Sy s t e m s ,   vol .   3,   n o.   4,   pp.   781 791,   2014.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2502 - 4752   I ndone s i a n J  E l e c  E n g  &  C om p S c i V ol 40 , N o.  2 ,   N ov e m be r   20 25 :   11 00 - 11 08   1108   [ 13]   T .   V e r m e i r e ,   D .   B r u ghm a n s ,   S .   G oe t h a l s ,   R .   M .   B .   de   O l i ve i r a ,   a n D .   M a r t e n s ,   E x pl a i n a bl e   i m a g e   c l a s s i f i c a t i o n   w i t h   e vi de n c e   c oun t e r f a c t ua l ,   P at t e r A nal y s i s   and  A ppl i c at i ons ,   vol .   25,   n o.   2,   pp.   315 335,   M a 2022,   doi :   10. 1007/ s 10044 - 0 21 - 01055 - y.   [ 14]   O .   L a ng   e t   al . ,   E x pl a i ni ng   i n   s t yl e :   t r a i n i ng   a   G A N   t e x p l a i n   a   c l a s s i f i e r   i n   S t yl e S pa c e ,   i n   2 021  I E E E / C V F   I nt e r nat i o na l   C onf e r e nc e   on  C om put e r   V i s i on  ( I C C V ) ,   O c t .   2021,   pp.   673 682,   doi :   10. 1109/ I C C V 48922. 2021. 00073.   [1 5 ]   T .   L i u ,   Y .   H u,   B .   W a ng,   Y .   S un ,   J .   G a o,   a n B .   Y i n ,   H i e r a r c h i c a l   gr a p h   c on vol ut i o n a l   n e t w or ks   f or   s t r uc t ur e d   l ong   doc u m e nt   c l a s s i f i c a t i on,   I E E E   T r ans ac t i ons   on  N e ur al   N e t w or k s   and  L e ar ni ng  Sy s t e m s ,   vol .   34,   n o.   10 ,   pp.   8071 8085 ,   O c t .   2023,   doi :   10. 1109/ T N N L S . 2022. 3185295.   [1 6 ]   Y .   K i m ,   C o n vo l ut i o n a l   n e ur a l   n e t w or ks   f or   s e n t e n c e   c l a s s i f i c a t i o n ,   i n   P r oc e e di ngs   of   t he   2014  C on f e r e nc e   on  E m pi r i c al   M e t hods   i N at ur al   L anguage   P r oc e s s i ng  ( E M N L P ) ,   2014,   pp.   1746 1751,   doi :   10. 3115/ v1/ D 14 - 1181.   [1 7 ]   A .   J oul i n ,   E .   G r a ve ,   P .   B oj a n o w s ki ,   a n T .   M i kol ov,   B a g   of   t r i c ks   f or   e f f i c i e n t   t e x t   c l a s s i f i c a t i o n,   i n   P r oc e e d i ngs   of   t he   15t h   C onf e r e nc e   o f   t he   E ur ope an   C hapt e r   of   t he   A s s oc i a t i on  f or   C om put at i onal   L i ngui s t i c s :   V ol um e   2,   Shor t   P ape r s ,   2017,   vol .   2,   pp.   427 431,   doi :   10 . 18653/ v1/ E 17 - 206 8.   [1 8 ]   J .   L i u ,   W . - C .   C h a ng,   Y .   W u,   a n Y .   Y a n g ,   D e e l e a r n i ng   f or   e x t r e m e   m ul t i - l a be l   t e x t   c l a s s i f i c a t i o n ,   i n   P r oc e e d i ngs   o f   t he   40t I nt e r nat i onal   A C M   S I G I R   C onf e r e nc e   on  R e s e ar c and  D e v e l opm e nt   i I nf or m at i on  R e t r i e v al ,   A u g .   2017 ,   pp .   115 124,   doi :   10. 1145/ 3077136. 3080834.   [ 19 ]   Z .   Y a ng,   D .   Y a n g,   C .   D ye r ,   X .   H e ,   A .   S m ol a ,   a n E .   H ovy ,   H i e r a r c h i c a l   a t t e nt i o n   n e t w o r ks   f or   doc u m e n t   c l a s s i f i c a t i on,   i P r oc e e di ngs   of   t he   2016  C onf e r e nc e   of   t he   N o r t A m e r i c an  C hapt e r   of   t he   A s s oc i at i on  f or   C om put at i onal   L i n gui s t i c s :   H um a n   L anguage   T e c hnol ogi e s ,   2016 ,   pp.   1480 1489,   doi :   10. 18653/ v1/ N 16 - 1174.   [2 0 ]   A .   A dh i ka r i ,   A .   R a m ,   R .   T a ng ,   a n J .   L i n,   R e t h i nki ng   c o m pl e x   n e u r a l   n e t w o r a r c h i t e c t ur e s   f or   doc u m e nt   c l a s s i f i c a t i on,   i P r oc e e di ngs   of   t he   201 C on f e r e nc e   o f   t he   N or t h ,   2019,   vol .   1,   pp.   4046 4051,   doi :   10. 18653/ v1/ N 1 9 - 1408.   [2 1 ]   L .   Y a o,   C .   M a o,   a n Y .   L uo ,   G r a p h   c onvol ut i o n a l   n e t w or ks   f or   t e x t   c l a s s i f i c a t i o n,   33r A A A I   C onf e r e nc e   on  A r t i f i c i a l   I nt e l l i ge n c e ,   A A A I   2019,   31s t   I nnov at i v e   A ppl i c at i ons   of   A r t i f i c i al   I n t e l l i ge n c e   C onf e r e nc e ,   I A A I   2019  and   t he   9t A A A I   Sy m pos i um   on  E duc at i onal   A dv an c e s   i A r t i f i c i al   I nt e l l i ge n c e ,   E A A I   2019 ,   pp.   7370 7377,   2019,   doi :   10. 48550/ a r X i v. 1809. 05679.   [2 2 ]   L .   H ua ng ,   D .   M a ,   S .   L i ,   X .   Z h a ng,   a n H .   W a ng ,   T e xt   l e ve l   g r a p h   n e ur a l   n e t w o r f or   t e x t   c l a s s i f i c a t i o n ,   i n   P r oc e e di ngs   of   t he   2019  C onf e r e nc e   on  E m pi r i c al   M e t hods   i N at ur al   L anguage   P r oc e s s i ng  and  t he   9t I nt e r nat i onal   J oi nt   C onf e r e nc e   on  N at ur al   L anguage   P r o c e s s i ng  ( E M N L P - I J C N L P ) ,   2019 ,   pp.   3442 3448,   doi :   10. 18653/ v1 / D 19 - 1 345.   [2 3 ]   K .   D i ng ,   J .   W a ng,   J .   L i ,   D .   L i ,   a n H .   L i u,   B e   m o r e   w i t h   l e s s :   h ype r g r a p h   a t t e n t i o n   n e t w or ks   f o r   i n duc t i ve   t e xt   c l a s s i f i c a t i on,   i P r oc e e di ngs   of   t he   2020  C onf e r e nc e   on  E m pi r i c al   M e t h ods   i N at ur al   L an guage   P r o c e s s i ng  ( E M N L P ) ,   2020 ,   pp.   4927 4936 ,   doi :   10. 18653/ v1/ 2020. e m n l p - m a i n . 399.   [2 4 ]   Y .   L i n   e t   al . ,   B e r t G C N :   t r a n s duc t i ve   t e xt   c l a s s i f i c a t i on   by  c om bi n i ng   G N N   a n B E R T ,   i n   F i ndi ngs   of   t he   A s s o c i at i on  f or   C om put at i onal   L i ngui s t i c s :   A C L - I J C N L P   2021 ,   2021,   pp.   1456 1462 ,   doi :   10. 18653/ v1/ 2021. f i n di ng s - a c l . 126.   [2 5 ]   H .   P a r k,   Y .   V ya s ,   a n K .   S h a h,   E f f i c i e n t   c l a s s i f i c a t i o n   of   l ong   doc u m e n t s   us i ng   t r a n s f or m e r s ,   i n   P r oc e e di ngs   of   t he   60t A nnual   M e e t i ng  of   t he   A s s oc i at i on  f or   C om put at i onal   L i ngui s t i c s   ( V ol um e   2:   Shor t   P ape r s ) ,   20 22,   vol .   2,   pp.   702 709,   doi :   10. 18653/ v1/ 2022. a c l - s h or t . 79.   [2 6 ]   I .   B e l t a g y ,   M .   E .   P e t e r s ,   a n A .   C oh a n ,   L o ngf or m e r :   t h e   l ong - doc u m e n t   t r a n s f o r m e r ,   ar X i v ,   2020,   [ O n l i n e ] .   A va i l a bl e :   h t t p: / / a r xi v. or g / a bs / 2004. 05150.   [ 2 7 ]   M .   Z a h e e r   e t   al . ,   B i g   bi r d:   t r a n s f or m e r s   f o r   l o ng e r   s e que n c e s ,   A dv an c e s   i N e ur al   I nf or m at i on  P r oc e s s i ng  Sy s t e m s ,   vol .   2020 - D e c e m ,   pp.   17283 1729 7,   J a n .   2021,   [ O nl i n e ] .   A va i l a bl e :   h t t p: / / a r x i v. or g / a bs / 2 007. 14062.   [ 28 ]   T .   L i u ,   Y .   H u,   J .   G a o,   Y .   S un ,   a n B .   Y i n,   H i e r a r c h i c a l   m ul t i - gr a n ul a r i t i n t e r a c t i o n   g r a p h   c o n vol ut i o n a l   ne t w o r f or   l on doc um e nt   c l a s s i f i c a t i on,   I E E E / A C M   T r ans ac t i ons   on  A udi o,   Spe e c h,   and  L anguage   P r oc e s s i ng ,   vol .   32,   pp.   1762 1775,   2024 ,   doi :   10. 1109/ T A S L P . 2024. 3369 530.       B I O G R A P H I E S  O F  A U T H O R       M r s .   S h il p a           r e c e i v e d   h e r   b a c h e l o r s   d e g r e e   i n   C o m p u ter   S c i e n c e   a n d   E n g i n e e r i n g   f r o m   th e   Vi s v e s v a r a y a   T e c h n o l o g i c a U n iv e r s i ty ,   B E L GA U M   -   I n d i a   i n   2 0 1 0   a n d   M a s ter   De g r e e   i n   C o m p u ter   S c i e n c e   a n d   E n g i n e e r i n g   f r o m   s a m e   U n iv e r s i ty   i n   2 0 1 2 .   S h e   i s   c u r r e n tl y   p u r s u i n g   h e r   P h . D.   d e g r e e   f r o m   th e   s a m e   u n iv e r s i ty .   S h e   i s   p r e s e n t l y   wo r k i n g   a s   a s s i s tan p r o f e s s o r   i n   C o m p u ter   S c i e n c e   a n d   E n g i n e e r i n g   De p t.   S h a r n b a s v a   U n iv e r s i ty   Ka l a b u r a g i ,   Ka r n a tak a ,     I n d i a .   He r   p r i m a r y   a r e a   o f   i n ter e s i s   i m a g e   p r o c e s s i n g ,   m a c h i n e   l e a r n i n g ,   a n d   pa tt e r n   r e c o g n i ti o n .   S h e   c a n   b e   c o n tac ted   a e m a i l:   s h il p a _ 1 2 2 0 2 3 @r e d i f f m a il . c o m .       Dr .   S h r id e v S o m a           wo r k i n g   p r e s e n tl y   a s   p r o f e s s o r   i n   De p a r tm e n o f   C o m p u ter   S c i e n c e   a n d   E n g i n e e r i n g ,   P o o jy a   Do d d a p p a   Ap p a   C o l l e g e   o f   E n g i n e e r i n g ,   Ka l a b u r a g i .   S h e   h a s   1 8   y e a r s   o f   T e a c h i n g   a n d   1 0   y e a r s   o f   R e s e a r c h   E x p e r ien c e ,   a n d   c o m p l e ted   h e r   B . E . ,   M . T e c h . ,   a n d   P h . D .   i n   C o m p u ter   S c i e n c e   a n d   E n g i n e e r i n g .   He r   r e s e a r c h   a r e a   i n c l u d e s   d i g i ta i m a g e   p r o c e s s i n g   a n d   p a tt e r n   r e c o g n i ti o n ,   c l o u d   c o m p u ti n g ,   i n ter n e o f   th i n g s ,   b i g   d a ta  a n a l y ti c s .   S h e   p u b l i s h e d   m o r e   th a n   3 0   R e s e a r c h   p a p e r s   i n   a b o v e   m e n ti o n e d   a r e a s ,   a l s o   Gu i d i n g   R e s e a r c h   S tu d e n ts .   S h e   h a s   a l s o   r e c e i v e d   g r a n f o r   e s tab li s h m e n o f   C l o u d   C o m p u ti n g   L a b   f r o m   VG S T .   S h e   c a n   b e   c o n tac ted   a e m a i l:   s h r i d e v i s o m a @g m a il . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.