I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 ,   p p .   810 ~ 823   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 1 . p p 8 1 0 - 8 2 3           810     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Neuro - DA Net du a l attent io deep   neura l net wo rk   lo ng  sho rt - term  me mo ry  f o a utism spect rum  diso rder de tect io n       Su j a t ha   H a nu m a ntha ra y a p pa ,   M a njula   Rudra g o ud a   B ha ra m a g o ud ra   S c h o o l   o f   E l e c t r o n i c a n d   C o mm u n i c a t i o n   E n g i n e e r i n g ,   R EV A   U n i v e r si t y B e n g a l u r u ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   2 6 ,   2 0 2 5   R ev is ed   Dec   2 5 ,   2 0 2 5   Acc ep ted   J an   1 0 ,   2 0 2 6       Au ti sm   sp e c tru m   d iso r d e (ASD is  n e u r o lo g ica il l n e ss   a ffe c ts  a b il it y   o f   in d i v id u a ls  to   c o m m u n ica te  a n d   i n tera c so c ially ,   a n d   i is  d iag n o s e d   in   a n y   ti m e .   Early   d e tec ti o n   o ASD  i e sp e c ially   sig n ifi c a n d u e   to   it su b tl e   c h a ra c teristics   a n d   h i g h   c o sts   a ss o c iate d   with   th e   d e tec ti o n   p r o c e ss .   Trad it io n a d e e p   lea rn in g   ( DL )   m o d e ls  stru g g le  t o   c a p tu re   in tri c a te  sp a ti o tem p o ra l   d e p e n d e n c ies   in   fu n c ti o n a m a g n e ti c   re so n a n c e   ima g in g   (fM RI)  d a ta,  re su lt i n g   in   m i n imiz e d   d e tec ti o n   p e rfo rm a n c e   a n d   p o o r   g e n e ra li z a ti o n .   T o   a d d re ss   t h e se   d ra wb a c k s,  th e   p ro p o se d   N eu ro - DA Ne c o m b in e a   d u a l - a tt e n ti o n   d e e p   n e u ra n e two rk   (DA - DN N)  with   l o n g   s h o rt - term   m e m o ry   (LS TM to   e fficie n tl y   lea rn   sp a ti a a n d   tem p o ra fe a tu re fro m   fM RI  sc a n s.  Th e   c o n ti n u o u wa v e let  tran sfo rm   (CWT is  u se d   to   e x trac m u lt i - sc a le  fe a tu re a n d   th e   p ri n c ip a c o m p o n e n a n a l y sis  (P CA)  is  u ti li z e d   to   d ime n sio n a li ty   re d u c ti o n ,   wh i c h   e n h a n c e ro b u st n e ss   a n d   e ffi c a c y .   Th e   d u a se lf - a tt e n ti o n   m e c h a n ism   imp ro v e th e   in terp re tab i li ty   o th e   m o d e b y   fo c u sin g   o n   c rit ica b ra i n   re g i o n a n d   ti m e   ste p th a a re   m o st  r e lev a n to   ASD  se v e rit y .   Th e   d e v e l o p e d   Ne u ro - DA Ne o b tain s   th e   h i g h e st  a c c u ra c y   o f   9 8 . 5 1 %   o n   a u ti sm   b ra in   ima g i n g   d a ta  e x c h a n g e   ( ABID E ) - a n d   9 8 . 8 1 %   o n   ABID E - II   d a tas e ts wh e n   c o m p a re d   with   trad it io n a a lg o rit h m s.   K ey w o r d s :   Au tis m   s p ec tr u m   d is o r d er   C o n tin u o u s   wav elet  tr an s f o r m s   D u a l - a t t e n t i o n   d e e p   n e u r a l   n e t w o r k   Fu n ctio n al  m ag n etic  r eso n an c im ag in g   L o n g   s h o r t - ter m   m e m o r y   Prin cip al  co m p o n en t a n al y s is   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Su jath Han u m an th a r ay ap p a   Sch o o l o f   E lectr o n ics an d   C o m m u n icatio n   E n g in ee r in g ,   R E VA  Un iv er s ity   B en g alu r u ,   I n d ia   E m ail: su jag 1 2 @ g m ail. co m       1.   I NT RO D UCT I O   Au tis m   s p ec tr u m   d is o r d er   ( AS D)   is   n eu r o d ev el o p m en tal  illn ess   co n s id er ed   with   ess en tial d if f icu lties   with   s o cial  co m m u n icatio n ,   r estricte d   r a n g o f   i n ter ests ,   r ep etitiv b e h av io r s   an d   a ty p ical  p er ce p tu al  r esp o n s es   [ 1 ] [ 3 ] .   Sy m p to m s   o f   ASD  g en er ally   e m er g o n   ea r ly   ch ild h o o d ,   alth o u g h   s o c ial  d ef icits   ar n o t   n o ticea b le  in   d if f icu lt  s o cial   en v ir o n m en ts   [ 4 ] ,   [ 5 ] .   T h e   in cr ea s in g   p r ev alen ce   o f   A SD  h as  m ad it  an   ess en tial  p u b lic  h ea lth   co n ce r n   [ 6 ] .   E ar ly   a n d   ac c u r ate  d ia g n o s is   o f   ASD  is   s ig n if ican f o r   en a b lin g   tim ely   in ter v en tio n s ,   wh ic h   im p r o v q u ality   o f   life   f o r   in d iv id u als  with   th d is o r d er   [ 7 ] .   T h o u g h   th h eter o g en eo u s   n atu r o f   ASD,   with   its   wid r an g o f   s ev er ity   an d   s y m p to m   lev els,  m ak es  d iag n o s is   ch allen g in g ,   ca u s e   m is d iag n o s is   an d   d elay s   [ 8 ] .   Mo r eo v er ,   ASD  d iag n o s is   is   ch allen g in g   p r o ce s s   wh ich   in clu d es  s er ies  o f   ca r ef u s tep s   th at  in v o lv lo n g - ter m   clin ical  m o n ito r in g ,   ea r l y   ass es s m en th r o u g h   ca r e g iv er   an d   p r o f ess io n al  in ter v iews  with   th p h y s ician   [ 9 ] ,   [ 1 0 ] .   R ec en tly ,   m ac h in e   lear n in g   ( ML )   an d   d ee p   lear n in g   ( DL )   m o d els  h av b ee n   im p lem en ted   to   en h an ce   ASD  d iag n o s is   [ 1 1 ] .   T h ese  alg o r ith m s   h a v b ee n   em p lo y e d   f o r   n eu r o im a g in g   in f o r m atio n ,   esp ec ially   f u n ctio n al  m a g n etic  r eso n an ce   im ag in g   ( f MRI)   an d   s tr u ctu r al  m ag n etic   r eso n an ce   im ag in g   ( s MRI)   to   d etec tin g   p atter n s   wh ich   d if f e r en tiate  in d iv id u als  with   ASD   f r o m   n eu r o ty p ica l   co n tr o ls   [ 1 2 ] ,   [ 1 3 ] .   R ec en tly ,   DL   alg o r ith m s   ar p r ef e r r ed   o v er   co n v en tio n al  ML   alg o r ith m s   b ec au s o f   th eir   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       N eu r o - DA N et:   d u a l a tten tio n   d ee p   n e u r a l n etw o r lo n g   s h o r t - term    ( S u ja th a   Ha n u ma n th a r a ya p p a )   811   ca p ab ilit y   f o r   au t o m atica lly   lear n in g   d if f ic u lt  h ier ar c h ical  f ea tu r es  f r o m   r aw   d at a,   p ar ticu lar ly   in     h ig h - d im e n s io n al  ar ea s   lik n eu r o im ag in g   [ 1 4 ] .   Un lik ML   alg o r ith m s ,   wh ich   r ely   o n   h a n d cr af ted   f ea tu r es,   d ee p   m o d els  ex tr ac r ich ,   m u lti - s ca le  r ep r esen tatio n s   d ir e ctly   f r o m   f MRI  an d   s MRI  s ca n s   [ 1 5 ] .   T h is   is   ess en tial  in   au tis m   d iag n o s is ,   wh er th s u b tle  s p atial  an d   tem p o r al  p atter n s   ar c o m p l ex   to   ca p t u r [ 1 6 ] Self - atten tio n   m ec h an is m   im p r o v es  th DL   m o d els  th r o u g h   f o cu s in g   o n   r ele v an b r ain   r eg io n s ,   en h a n cin g   in ter p r etab ilit y   a n d   ac cu r ac y   [ 1 7 ] .   T h is   en a b les  n etwo r k   f o r   ca p tu r in g   lo n g - r a n g e   d ep e n d en cies  with o u t   th e   d r awb ac k s   o f   s eq u en ce s .   Featu r ex tr ac tio n   b y   wav elet  tr a n s f o r m s   ( W T )   en h an ce s   r o b u s tn ess   an d   h ig h lig h ts   th ASD  s p ec if ic  ab n o r m ali ties   m u ch   ef f icien tly   [ 1 8 ] .   T h d im en s io n ality   r ed u ctio n   th r o u g h   p r in cip al   co m p o n en an al y s is   ( P C A)   r ef in es  th ese  f ea tu r es  f o r   ef f ec tiv m o d el  tr ain in g   [ 1 9 ] .   T h ese  m o d els  im p r o v a   m u ch   p r ec is e,   s ca lab le  an d   au t o m atic  alg o r ith m   f o r   ASD  f r o m   b r ain   s ca n s .   S o n g   e t   a l .   [ 2 0 ]   p r e s en t e d   a   n o v e d i ag n o s i s   a l g o r i th m   t h a c o m b in e d   g r a p h   co n v o lu t io n a n e t w o r k s   ( G C N )   w i t h   d u a t r a n s f o r m e r   a r ch i t e c tu r e s ,   o p t i m iz e d   b y   c o - t r a in i n g   s tr a t e g y .   I n i t i a ll y ,   a   t r a n s f o r m e r   w a s   d e te r m in e d   f o r   c ap t u r i n g   i n t r ic a t e   t e m p o r al   f e a t u r e s   f r o m   f M R I   d a t a ,   wh i c h   w er e   e s s e n t i a t o   u n d er s t a n d i n g   b r a i n   a c t i v i ty   o v e r   t im e .   T h e   n e x t r an s f o r m e r   wa s   a p p l i e d   to   i m p r o v f u s i o n   o f   t e m p o r a f e a t u r e s   w i th   s p a t i a f e a t u r e s   l e ar n ed   t h r o u g h   G C N ,   ef f i ci e n t l y   in t e g r a t i n g   d i m e n s i o n s   o f   n eu r o i m ag i n g   d a t a .   A   co - tr a i n in g   s tr a t e g y   w a s   i n t r o d u ce d   to   s i m u l t an eo u s l y   u s e   f M R I   an d   s M R I   d a t a ,   e n h an c i n g   t h c a p a c i ty   o f   th m o d e f o r   g e n e r a l iz a t i o n   a c r o s s   v a r io u s   d a t a s e t s .   T h e   f M R I   i m ag e s   i n c l u d r ed u n d an f e a t u r e s   t h a t   h i n d e r   l e ar n in g   e f f i c a cy   a n d   l o s e   cr i t i c a l   d at a .   T a n g   e t   a l.   [ 2 1 ]   s u g g e s t e d   t h e   g r ap h   n e u r a n e t w o r k   ( G N N)   a n d   l o n g   s h o r t - t e r m   m em o r y   ( L ST M )   f o r   A S D .   S u g g e s t e d   m o d el   c a p t u r e d   s p a t i a a t t r i b u t e s   i n   f M R I   in f o r m a ti o n   th r o u g h   G N N   a n d   a g g r e g a t ed   t em p o r a l   d a t a   o f   d y n am i c   f u n c t io n a c o n n e c t iv i t y   b y   L S T M   f o r   g en e r a t in g   m u ch   co m p le t e   s p a t io - t e m p o r a l   f e a t u r e   r e p r e s e n t at i o n   o f   f M R I .   T h d y n a m i c   g r ap h   p o o l in g   a lg o r i t h m   wa s   d ev e l o p ed   f o r   ex t r a c t i n g   t h e   l a s t   n o d e   r ep r e s e n t a t i o n   f r o m   t h d y n a m i g r a p h   r e p r e s e n t a t io n .   T o   a d d r e s s   v a r i ab l e   d ep e n d e n c ie s   o n   d y n a m i f e a tu r e   co n n e c t i v i ty   in   t im s c a l e s ,   m e th o d   i n tr o d u c e d   j u m p   co n n e c t io n   m e ch a n i s m   f o r   i m p r o v i n g   d a t a   e x tr a c t i o n   am o n g   in t e r n a l   u n i t s   a n d   c ap t u r e d   a t t r ib u te s   i n   v a r i o u s   t im e   s ca l e s .   T h m o d e s t r u g g l e s   w i th   i m b a l a n ce d   d a ta ,   l e ad i n g   t o   b i a s ed   l e a r n in g   a n d   p o o r   g e n er a l i z a t io n .   L i u   e t   a l.   [ 2 2 ]   d e v e lo p ed   m u l t i - a t la s   d e ep   en s e m b l e   n e tw o r k   ( M A D E )   f o r   A S D ,   w h i c h   co m b i n e d   m u l ti   a t l a s e s   o f   f M R I   i n f o r m a t io n   b y   w e ig h t ed   d e e p   en s em b l e   n e t w o r k .   T h d e v e lo p e d   m o d e l   co m b in ed   d e m o g r ap h i c   d a t i n to   a   p r ed ic t i o n   wo r k f lo w   t h a t   i m p r o v e s   d i a g n o s i s   o f   A S p e r f o r m a n c e   an d   p r o v id e s   m u c h   h o l i s t i c   p e r s p e c t i v i n   p a t ie n t   p r o f i l i n g .   T h m o d e l   f a i l ed   t o   e x tr a c t   s p a t i a a n d   t e m p o r a d y n am i c s   in   f MR I   d a t a,   wh i ch   d e g r a d e s   d e t ec t i o n   p er f o r m a n ce .   A s h r af   e t   a l .   [ 2 3 ]   i n tr o d u c e d   a   5 7 - l ay e r   co n v o lu t i o n a l   n e u r a l   n e t wo r k   ( C N N )   ar c h i te c t u r e   n am e d   N eu r o Ne t 5 7 ,   wh i ch   e x t r a c te d   f e a tu r e s   f r o m   f a c tu a l l y   o f   f M R I .   A f te r   p r e - t r a i n in g   o n   b r a i n   tu m o r   d a ta ,   i n tr o d u ce d   m e th o d   w a s   a b l e   t o   e x tr a c f e m a l p h e n o t y p i c   f e a t u r e s   f r o m   th e   au t i s m   b r a in   i m ag e .   T h e n ,   u s ed   an   an t   c o lo n y   en ab le d   s y s t e m   t o   s e le c t   a   f ea t u r e   s u b s e t ,   r ed u c i n g   ex t r a c t ed   f e a tu r e s   s i z e .   H o w ev e r ,   in t r o d u c e d   C N N   m o d e t e n d s   to   lo s e   f i n e - g r a in e d   s p a t i a f e a tu r e s   in   i t s   i n i t i a l   l ay e r s .   Kh an   an d   Kata r y a   [ 2 4 ]   im p lem en ted   b at   alg o r ith m - p ar ticle  s war m   o p tim izat io n - L STM     ( B AT - PSO - L STM )   n etwo r k   f o r   ASD  d iag n o s is .   Her e,   u tili ze d   th r ee   d if f e r en d is tin ct  d ata s ets  s u ch   as  ad u lts ,   ch ild r en   an d   to d d le r s ,   f o r   co m p r eh en s iv a n aly s is   o f   alg o r ith m s .   B AT   an d   PS s elec t h f ea tu r es  an d   f ee d   th em   to   th a d ap tiv f ea t u r e   f u s io n   tech n iq u a n d   L ST class if ier .   T h im p lem en t ed   m o d el  m itig ated   ch allen g es  lik o v e r f itti n g ,   s lo tr ain in g ,   m o d el  in ter p r e tab ilit y ,   g en er aliza tio n   a b ilit y ,   an d   m in im ized   tr ain in g   tim e.   T h im p lem en t ed   d ee p   m o d el  ca u s es  o v er f itt in g   in   s m all  n eu r o im ag in g   d ata,   wh ich   m in im izes   g en er aliza tio n   ab ilit y   o f   t h m o d el.   Srir am ak r is h n an   et  a l.   [ 2 5 ]   d e v elo p e d   f r ac tio n al  wh ale - d r iv in g   tr ai n in g - b ased   o p tim izatio n   ( FW C T B O )   with   C NN - en ab led   tr a n s f er   lear n in g   ( T L )   to   d etec ASD.   Dev elo p ed   m o d el   was  d esig n ed   th r o u g h   in cl u d i n g   f r ac tio n al  ca lcu lu s   ( FC ) ,   wh ale  o p tim izatio n   alg o r ith m   ( W OA) ,   an d   d r iv in g   tr ain in g - b ased   o p tim izatio n   ( DT B O) ,   wh ich   tr ain e d   C NN - T L   h y p er p ar am eter s .   A d d itio n ally ,   C NN  u s e d   h y p er p ar am eter s   f r o m   th tr ain ed   m eth o d s   s u ch   as  Sh u f f leNe an d   Alex Net.   Fo r   en h an cin g   d etec tio n   ef f icac y ,   th n u b   ar ea   was  id en tifie d   an d   p r o ce s s ed   u s in g   f u n ctio n al  c o n n ec tiv ity - en a b led   wh ale  d r iv i n g   tr ain in g   o p tim izatio n   ( W DT B O)   ap p r o ac h .   De v elo p ed   m o d el  f ailed   to   f o c u s   o n   m u c h   in f o r m ativ e   d ata,   wh ich   d eg r a d es  th d etec tio n   p er f o r m an ce .   T r ad itio n al   DL - b ased   alg o r it h m s   s tr u g g le  to   co m p letely   e x tr ac t   co m p lex   s p atio - tem p o r al  d e p e n d en cies  th at  e x is in   f MRI  d ata,   lim itin g   th eir   d etec tio n   ac cu r ac y   f o r   ASD.   I s tr u g g les  with   f ea tu r r ed u n d an cy lo s s   o f   s p atial  s tr u ctu r an d   o v er f itti n g   is s u es  in teg r ated   with     h ig h - d im e n s io n al  n eu r o im ag i n g   d ata.   Mo r e o v er ,   class   im b alan ce   in   ASD  s ev er ity   lev el  m in im izes  th m o d el’ s   r o b u s tn ess   an d   g en er aliza tio n   ab ilit y .   T h ex is tin g   alg o r ith m s   d o n co m b in g lo b al  s p atial  p atter n s   an d   tem p o r al  d y n am ics.  T h m ain   aim   o f   th is   m an u s cr ip is   to   d ev elo p   DL   f r am ewo r k   t h at  co r r ec tly   d etec ts   ASD  b y   f MRI  d ata.   T h p r o p o s ed   m eth o d   aim s   t o   ef f icien tly   ca p tu r s p atio tem p o r al  p atter n s   b y   a   co m b in atio n   o f   s elf - atten tio n   m ec h an is m   an d   an   L STM   ar ch itectu r e.   T h is   p r o ce s s   im p r o v es f ea tu r lear n in g   by  WT   f o r   m u lti - r eso lu tio n   a n aly s is   an d   PC f o r   d im en s io n ality   r ed u cti o n .   T h is   m o d el   m itig ates  th is s u es   lik f ea tu r r ed u n d an c y ,   s p atial  d ata  lo s s   an d   clas s   im b al an ce ,   d etec tio n   p er f o r m a n ce   an d   g en er aliza tio n   ab ilit y .   T h p r im ar y   c o n tr ib u tio n s   o f   th m an u s cr ip t a r d esc r ib ed   as f o llo ws :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   810 - 8 2 3   812   i)   Dev elo p ed   a   n o v el  n e u r o d e v elo p m en tal  d u al  atten tio n   L STM   n etwo r k   ( Neu r o - DANet )   m o d el  wh ic h   co m b in es  d u al - atten tio n   d ee p   n eu r al  n etwo r k   ( DNN)   with   L STM   f o r   ca p tu r in g   s p atial  an d   tem p o r al   d ep en d e n ce s   in   f MRI  d ata,   w h ich   en h a n ce s   ASD  s ev er ity   d etec tio n   an d   s ev er ity   class if icatio n   th r o u g h   lear n in g   d ee p   an d   co n te x t - awa r f ea tu r es.    ii)   E m p lo y ed   co n tin u o u s   wav elet   tr an s f o r m   ( C W T )   f o r   ca p tu r i n g   m u lti - s ca le  f ea tu r es  f r o m   f MRI  im ag es,  wh ich   ca p tu r es  g lo b al  an d   f in e - g r ain ed   p atter n s .   T h is   im p r o v es  th s en s itiv ity   o f   th m o d el  f o r   s u b tle  ASD - r elate d   ab n o r m alities .   iii)   I n clu d ed   th s elf - atten tio n   m e ch an is m   f o r   f o cu s   o n   p r im ar y   b r ain   ar e as  an d   tim s eq u en c es,  en h an cin g   f ea tu r r elev a n ce   an d   d etec tio n   clar ity .   T h is   atten tio n   m ec h an is m   h ig h lig h ts   m an y   in f o r m ativ p atter n s   f o r   ASD  d etec tio n   an d   s ev er it y   class if icatio n .   T h is   r esear ch   m an u s cr ip t   is   s y s tem ized   as  f o llo ws:   s ec tio n   2   p r o v id es  a   d etailed   ex p l an atio n   o f     th p r o p o s ed   m o d el.   Sectio n   3   g iv es  th o u tco m es  an d   co m p ar is o n   o f   p r o p o s ed   m o d el.   S ec tio n   4   co n clu d es   m an u s cr ip t.       2.   RE S E ARCH   M E T H O D   I n   th is   ar ticle  d ev elo p ed   th Neu r o - DANe t,  wh ich   in teg r a tes  s elf - atten tio n   DNN  an d   L STM   f o r   ASD  d etec tio n .   T h d atasets   u s ed   f o r   th is   m an u s cr ip ar a u tis m   b r ain   im ag in g   d ata  e x ch a n g ( AB I DE ) - a n d   AB I DE - I I ,   th en   th im ag es   ar p r e - p r o ce s s ed   b y   u s in g   im ag r esizin g   an d   d ata  au g m en tatio n .   T h e   m ea n in g f u f ea t u r es  ar e   ex tr a cted   b y   u s in g   W T   a n d   d im en s io n ality   is   m in im ized   b y   u s i n g   PC A.   At  last ,   t h e   s elf - atten tio n   DNN - L STM   n e two r k   is   u s ed   to   d etec t   th d i f f er en t   class es  o f   ASD.   Fig u r 1   r ep r esen ts   t h e   p r o ce s s   o f   ASD   s ev er ity   class if icatio n   u s in g   s elf - atten tio n   DNN - L STM .           Fig u r 1 .   Pro ce s s   o f   ASD  s ev er ity   class if icatio n   u s in g   s elf - atten tio n   DNN - L STM       2 . 1 .     Da t a s et   I n   th is   a r ticle,   u s ed   AB I DE   d ataset  m u c h   claim ed   f o r   i ts   ex ten s iv n e u r o im ag i n g   d ata,   wh ich   co n tain s   AB I DE - [ 2 6 ]   an d   AB I DE - II   [ 2 7 ] .   Data s et  in clu d es  f MRI  s ca n s   f r o m   v ar io u s   p ar ticip an ts .   T h e   AB I DE - d ataset  co n tain s   4 1 9   in d i v id u als  d iag n o s ed   to   ASD   an d   5 3 0   n eu r o ty p ical  co n tr o ls .   AB I DE - II   d ataset  co n tain s   9 2   ASD  an d   1 0 3   n eu r o ty p ical  co n tr o ls .   T h is   s u b s tan tial  p ar ticip an to o l,  s o u r ce d   f r o m   m u ltip le  in ter n atio n al  r esear c h   f ac ilit ies,  im p r o v es  s tatis tical  r o b u s tn ess   an d   s u p p o r ts   wid g en e r aliza tio n   ab ilit y .   T ab le  1   r ep r esen ts   th e   d ataset  d escr ip tio n   o f   AB I DE - an d   T a b le  2   r ep r esen ts   th d ataset  d escr ip tio n   o f   AB I DE - II   d ataset,   an d   Fig u r e s   an d   3   s h o th s am p le  i m ag es o f   AB I DE - an d   AB I DE - II   d atasets .       T ab le  1 .   Data s et  d escr ip tio n   o f   AB I DE - d ataset   C l a s ses   A S D   TD   To t a l   i m a g e s   N u mb e r   o f   sam p l e s   1 0 5 8   1 1 6 3   2 2 2 1       T ab le  2 .   Data s et  d escr ip tio n   o f   AB I DE - II   d ataset   C l a s ses   M i l e d   M o d e r a t e   S e v e r e   TD   To t a l   i m a g e s   N u mb e r   o f   sam p l e s   1 6 0   2 7 7   2 2 8   4 4 5   1 1 1 0   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       N eu r o - DA N et:   d u a l a tten tio n   d ee p   n e u r a l n etw o r lo n g   s h o r t - term    ( S u ja th a   Ha n u ma n th a r a ya p p a )   813       Fig u r 2 .   Sam p le  im a g es o f   A B I DE - d ataset           Fig u r 3 .   Sam p le  im a g es   o f   A B I DE - II   d ataset       2 . 2 .     P re - pro ce s s ing   I n itially ,   f o r   AB I DE - II   d ataset,   s p lit  th d ata  b ased   o n   th e   s o cial  r esp o n s iv en ess   s ca le  ( SR S )   T - v alu e   b y   s tan d ar d   an n o tatio n s .   ASD  Sev er ity   is   clas s if ied   in to   4   g r o u p s   f o r   ea ch   d o m ain   d e p en d in g   o n   th SR v alu e.   SR to tal  T - s co r p r o v id ed   in   AB I DE - II   p h en o t y p i d ata  is   ap p lied   to   f MRI  s u b jects,  d u to   SR S   v alu es  ar clin ical   o r   b eh a v i o r al  m ea s u r es,   n o t   b ased   o n   im ag in g   m o d ality .   T h SR v alu es  f o r   ev e r y   in d iv id u al  class   is   d escr ib ed   a s   f o llo ws :     T y p ically   d ev el o p in g   ( T D) S R S v alu 59     Mild   ASD SR S v alu r an g 6 0 - 65     Mo d er ate  ASD SR S v alu r an g 6 6 - 75     Sev er ASD SR S v alu 76     2 . 2 . 1 .   I m a g e   re s izing   I n   th is   ar ticle,   th im a g es  f r o m   f MRI  s ca n s   a r r esized   to   f ix ed   d im en s io n   o f   2 2 4 × 2 2 4 .   T h is   r esizin g   is   ess en tial  b ec au s n eu r o im a g in g   d ata  g en e r ally   v ar ies  in   r eso lu tio n   d u t o   v a r io u s   s ca n n er s   an d   p o s itio n s   o f   th b r ain   s lice.   T h DL   m o d els  r e q u ir e   u n if o r m   in p u d im e n s io n s   f o r   ef f ec tiv b atch   p r o ce s s in g   an d   tr ain in g   s tab ilit y .     2 . 2 . 2 .   Da t a   a ug m ent a t io n   I n   th is   ar ticle,   d ata  a u g m e n tatio n   tech n iq u es  lik e   f lip p in g ,   r o tatio n ,   a n d   tr a n s latio n   ar e   u t ilized   f o r   s im u latin g   v ar iatio n   in   MRI  a cq u is itio n   with o u c h an g i n g   t h d iag n o s tic  v alu o f   im a g es.  T h ese  tech n i q u es   ar em p lo y ed   f o r   en h a n cin g   g en er aliza tio n   ab ilit y   o f   th m o d el.   T h ese  tr an s latio n s   s im u late  g en er al   v ar iatio n s   in   MRI   ac q u is itio n   lik h em is p h er ic  s y m m etr y ,   h ea d   p o s itio n in g   th at   alter s   d iag n o s tic  d ata  i n   f MRI  s lices.  Au g m en tatio n   h elp s   th m o d el  to   lea r n   s p atia lly   r o b u s f ea tu r es  an d   o v er c o m es  th ef f ec ts   o f   class   im b alan ce   in   ASD  s ev er ity   d ata.     Fli p p in g it  r ef er s   to   m ir r o r in g   im ag es  with   ax is   lik h o r izo n tal  an d   v er tical  f lip p in g .   Fli p p in g   d o esn d is to r t c lin ical  f ea tu r es a n d   h e lp s   th m o d el  to   lea r n   in v ar ian t f ea tu r es o n   b o th   s id es o f   t h b r ain .     R o t a t i o n i h e l p s   t h m o d e l   to   le a r n   r o t at i o n - i n v ar i a n t   f ea t u r e s   an d   m i n i m iz e s   o v e r f i t t i n g   f o r   a l i g n m e n p a t t er n s .       T r an s latio n it  s h if ts   th wh o le  im ag h o r izo n tally ,   v e r tically   b y   f ew  p ix els  o r   m illi m eter s .   T h is   en s u r es  m o d el  f o r   r ec o g n izin g   f ea tu r es  r e g ar d less   o f   th eir   ac cu r ate  s p atial  p o s itio n ,   en h a n cin g   r o b u s tn ess   f o r   m i n o r   s p atial  s h if ts .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   810 - 8 2 3   814   2 . 3 .     F e a t ure  ex t r a ct io n   W T   p r o v id e s   t h ca p ab i l i t y   f o r   d ec o m p o s in g   f M R I   im a g es   i n to   m u l t ip l f r e q u e n c y   an d   r e s o l u t io n   l e v e l s ,   en a b l in g   t h a t o   ex t r a c t   b o t h   g l o b a l   s t r u c t u r e   p a tt e r n s   an d   f i n e - g r a i n e d   in f o r m a t i o n .   T r a d i t io n a C N N   m o d e l s   l i k M o b i l e Ne t ,   R e s N e t   l e ar n   t h e   f e a t u r e s   b y   s t a c k e d   c o n v o l u t io n s   w i t h o u t   e x p l i c i t l y   s e p a r a t in g   th e   f r eq u en cy   s c a le s ,   w h i ch   l i m i t s   i t s   s en s i t i v i ty   f o r   s u b t l e   te x tu r e s ,   e s p e c i a ll y   i n   in i t i a l   la y er s .   A d d i t io n a l ly ,   W T   i s   in h e r en tl y   a p p r o p r i a t e   f o r   s m a l d a t b e c au s e   o f   i t s   h a n d cr a f t ed   a n d   d o m a i n - a w ar d e v e lo p m e n t,   w h er e   d e e p   C N N   m o d e l s   g e n er a l ly   o v e r - p a r a m e t er i z ed   f o r   l i m i te d   f MR I   d a t a   a n d   l e ad s   t o   o v er f i t t in g .   I n i t ia l l y ,   t i m e - f r eq u en c y   e l e m en t s   a r e   e x tr a c t ed   i n   ev e r y   s i g n a l   th r o u g h   th CWT .   C o e f f i c i en o f   C W T   i s   d e t e r m i n ed   a s   s i g n a l   co n v o lu t i o n   ( )   w i t h   t r a n s l a te d   a n d   s c a l ed   v e r s io n   o f   w a v e le t   , ( )   w h i c h   i s   g iv e n   a s   ( 1 ) .      ( , ) = 1 ( ) . ( )  ∞∞   ( 1 )     I n   ( 1 ) ,   th   is   wav elet  s ca le,   th   is   tim s h if lo ca tio n   a n d     is   d if f icu lt   co n ju g ate.   A   Mo r let   wav elet  is   ch o s en   as  m o th er   wav elet  wh ich   h as  b etter   p r o p o r tio n   ( 1 . 0 3 )   am o n g   f r eq u en cy   b an d   a n d   wav elet  s ca le,   th at  s u p p o r ts   f o r   in ter p r etin g   o u tco m es  in   a   f r eq u e n cy   d o m ain .   T h r o u g h   v ar y in g   wav elet   s ca le  an d   tr an s latio n   with   l o ca lized   tim in d ex ,   a n   im ag is   g en er ated   th at  r e p r esen ts   th am p litu d o f   f ea tu r es  ac r o s s   d if f er en s ca l es.  Am p litu d is   v ar ied   with   tim f o r   g e n er atin g   s ca lo g r a m   im ag es,  th at  is ,   ac cu r ate  v alu o f   W T   co ef f ici en ts .   W T   ex tr ac ts   s p atial  an d   f r eq u e n cy   d ata  in   m u ltip le  r es o lu tio n s ,   allo win g   f o r   ca p tu r in g   m ea n in g f u p att er n s   f r o m   f MRI  d ata.   T h is   h e lp s   to   h ig h lig h s u b tle  b r ain   a ctiv ity   d if f er en ce s   lik ASD  th r o u g h   p r eser v in g   ess en tial  s tr u ctu r al  an d   f u n ctio n al  in f o r m atio n   wh ile   m in im izin g   n o is e.     T r ad e - o f f   o f   WT :     L o wer   lev els ( 1 - 2 )   r etain   h ig h - f r eq u e n cy   n o is an d   m icr o - p a tter n s ,   th at  d o   n o t g e n er alize   well.     Hig h er   lev els ( 5 - 6 )   o v er - s m o o th in g   im ag es,  lo s in g   ess en tial a n ato m ical  in f o r m atio n .   I n   th is   a r ticle,   lev el   4   as  th e   o p tim u m   b alan ce ,   wh ich   p r eser v es  f in e   to   m id r a n g e   in f o r m atio n   a n d   g lo b al  b r ain   s tr u ctu r e.   I ef f i cien tly   b alan ce s   th in f o r m at io n   r eten tio n   an d   m in im izes   n o is e,   ess en tial  to   d if f er en tiate  s u b tle  ASD  v ar iatio n s .   Fro m   th WT ,   a   to t al  5 5 , 9 0 6   f ea tu r es  ar e   ex tr a cted   an d   g i v en   t o     th d im en s io n ality   r ed u ctio n   p h ase.   Fig u r es  4   a n d   5   r ep r esen th ex t r ac ted   f ea t u r es  f o r   AB I DE - an d   AB I DE - II   d atasets .             Fig u r 4 .   E x tr ac ted   f ea t u r es f o r   AB I DE - d ataset     Fig u r 5 .   E x tr ac ted   f ea t u r es f o r   AB I DE - II   d ataset       2 . 4 .     P rincipa l c o m po nent  a na ly s is   f o dim ens io na lity   re du ct io n   PC p r es er v es  th i n t er n al  a r c h it ec t u r o f   w av el et - tr a n s f o r m ed   f MRI  f e at u r es  t h r o u g h   ca p t u r in g   p r in ci p a a x es   o f   v a r i a n ce   t h at   r e f l ec t   m u c h   in f o r m a ti v a n d   co r r el ate d   s p a tia l - f r e q u e n c y   p atte r n s .   T h is   m o d el   en s u r es   t h e   p r i m a r y   s ta tis ti ca l   s tr u ct u r e   o f   b r a in   a b n o r m ali tie s   i n t eg r ate d   wi th   t h e   s e v er i ty   o f   ASD   t h at   r e m ai n s   in t ac t   in   m i n i m i ze d   d im en s i o n al   f e at u r e   s p ac e,   f ac ili tati n g   e f f ec ti v e   d et ec ti o n .   PC A   i d e n ti f i es  th e   p r i n ci p al   co m p o n e n ts   a n d   th d i r e cti o n s   i n   f ea tu r e   s p ac th at   e x t r ac t   m an y   v ar ia n c es.   H o we v e r ,   C h i - s q u a r e   a n d   ANOV A   a r s u i ta b le   f o r   ca t eg o r ic al   f ea t u r es ,   w h e r e as  h er t h e   f e at u r es  a r e   c o n ti n u o u s   v al u es .   Fi g u r es   6   a n d   7   r e p r ese n t   t h e   t r a n s f o r m e d   f ea t u r es  u s i n g   PC o n   AB I D E - I   a n d   AB I D E - I I   d a tase ts .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       N eu r o - DA N et:   d u a l a tten tio n   d ee p   n e u r a l n etw o r lo n g   s h o r t - term    ( S u ja th a   Ha n u ma n th a r a ya p p a )   815         Fig u r 6 .   T r an s f o r m e d   f ea tu r e s   f o r   AB I DE - d ataset     Fig u r 7 .   T r an s f o r m e d   f ea tu r e s   f o r   AB I DE - II   d ataset       2 . 5 .     Cla s s if ica t io n   Self - atten tio n   m ec h an is m   is   ef f icien f o r   an al y s is   o f   f MRI  b ec au s th at  ex tr ac ts   lo n g - r a n g s p atial   an d   tem p o r al  r elatio n s h ip s ,   with o u r ely in g   o n   s eq u en tial   p r o ce s s .   T h is   p r o ce s s   allo ws   f ast  tr ain in g   an d   g o o d   s ca lin g   with   h u g f MRI   d ata.   I n   t h is   ar ticle,   s elf - atten tio n   in   d u al   atten tio n   b lo ck s   f o cu s es  o n   ess en tial  b r ain   a r ea s   an d   tim p o in ts ,   i m p r o v i n g   f ea tu r e   r ep r esen tatio n   wh ile   m ain tain in g   tr ain i n g   s tab ilit y   b y   r esid u al   co n n ec tio n s .   An   a d d itio n al   p o s t - ad d itio n   s elf - atten tio n   lay er   r ef in es  t h ese  f ea tu r es   b ef o r f ee d in g   th em   in t o   L STM ,   wh ich   m o d els  th tem p o r al  d y n a m ics.  T h is   in teg r ated   alg o r ith m   en h a n ce s   th m o d el’ s   ca p ab ilit y   f o r   id en tify in g   s u b tle  an d   c o m p l ex   b r ai n   p atter n s ,   ca u s in g   m u ch   p r ec is f MRI  d etec tio n   w h en   co m p ar e d   with   tr ad itio n al  atten tio n   m ec h an is m s .   Fig u r 8   r e p r esen ts   th ar c h itectu r o f   Ne u r o - DANe t m o d el  f o r   ASD.           Fig u r 8 .   Ar c h itectu r o f   Neu r o - DANe t m o d el  f o r   ASD   d ete ctio n       2 . 5 . 1 .   Dee neura l net wo rk   DNN  is   cla s s   o f   ar tific ial  n eu r al  n etwo r k   ( ANN)   in clu d es  m u ltip le  p r o ce s s in g   lay er s ,   ab le  to   lear n   d if f icu lt  f ea tu r es  an d   p atter n s   f r o m   d ata.   L a y er s   in   DNN  ar class if ied   in to   in p u t,  h id d en ,   an d   o u tp u lay er s ,   with   ev er y   lay er   b ein g   f u lly   c o n n ec ted .   T h is   a r ch itectu r e   en ab led   a   m eth o d   f o r   p r o ce s s in g   an d   an aly zin g   d ata   at  d if f er en ab s tr ac tio n   lev els,  ef f ec tiv ely   im p r o v in g   th eir   p r ed ictiv ab ilit ies.  DNN  i s   t r ain ed   b y   f o r war d   p r o p a g atio n   an d   b ac k   p r o p ag a tio n   ap p r o ac h es,  an d   g r a d ien d escen is   u tili ze d   f o r   o p tim izin g   th weig h ts .   I n   p r o ce s s   o f   f o r war d   p r o p a g atio n ,   ev er y   n eu r o n   r ec ei v es  in p u t s   f r o m   th p r io r   lay er ,   wh ich   i s   tr an s m itted   b y   weig h ted   s u m ,   f o llo we d   b y   n o n - lin ea r   ac tiv atio n   f u n ctio n   f o r   g en er atin g   th e   r esu lt.  T h m ath e m atica l   ex p r ess io n   f o r   th is   p r o ce s s   is   g iv en   in   ( 2 ) .     [ ] = ( [ ] [ 1 ] + [ ] )   ( 2 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   810 - 8 2 3   816   Fo r   g iv en   lay er   ,   th eir   r esu lt is   r ep r esen ted   as  [ ]   wh ich   is   ex ec u ted   b y   em p lo y in g     an   ac tiv atio n   f u n ctio n   is   em p lo y e d   o n   th w eig h ted   s u m   in p u t a n d   b ias ter m   f o r   th at  lay er .   Her e,   weig h ted   in p u t is ac q u ir e d   th r o u g h   m u ltip ly i n g   th r esu lt  f r o m   p r io r   la y er   [ 1 ]   with   weig h m atr ix   [ ]   in   th p r esen lay er .   T h [ ]   r ep r esen ts   b ias  ter m ,   wh ic h   is   in tr o d u ce d   f o r   ad d itio n a ad ju s tm en t,   an d   f ac ilit ates  m o d el  p er f o r m an c e   o p tim is atio n .   Af ter   ac q u ir in g   th g r ad ien t,  g r ad ien d esce n is   u tili ze d   f o r   u p d atin g   th weig h ts   o f   th e   n etwo r k .   T h e   m ath em atica ex p r ess io n   f o r   t h weig h t   u p d ate  f o r m u la  is   g iv en   in   ( 3 ) .   I n   th ( 3 ) ,   th e     r ep r esen ts   lear n in g   r ate.     =      ( 3 )     2 . 5 . 2 .   Self - a t t ent i o n m ec ha nis m   Fo r   g lo b al  d ep en d en cies  o f   in p u s en ten ce ,   two   s ig n if ican r ea s o n s   th at  n ee d   to   b m itig ated   i)   m ea s u r in g   atten tio n   o f   ev e r y   wo r d   in   an   in p u s eq u en c e   an d   ii)  ex tr ac tin g   s en ten ce   s eq u en ce   d ata.   Fo r   ca p tu r in g   g lo b al  d e p en d e n cies  o f   im ag es  in   d ata,   m ea s u r th atten tio n   o f   ev e r y   im ag in   th d ata  at  f ir s t.   Self - atten tio n   is   m u ch   s ca lab le  an d   p ar allel  atten tio n   m ea s u r in g   tech n i q u e.   Self - atten ti o n   is   co n s id er ed   as  co n ten t - en a b led   q u er y   p r o ce s s ,   th at  ex ec u tes  atten tio n   f u n ctio n   o n   g r o u p   o f   q u e r ies  an d   p ac k a g es   th at  to   m atr ix   Q.   I n   s im ilar   tim e,   k e y s   an d   v alu es  a r f illed   to   m atr ices    an d   .   I n   an   ar ea   o f   im ag p r o ce s s in g ,     s elf - atten tio n   m ec h a n is m   is   u t ilized   f o r   d e p en d e n cy   o f   ev er y   wo r d   with   e n tire   s ig n als.   Fo r   o b tain in g   m o d ality   co r r elatio n ,   th d o p r o d u ct  is   co m p u ted .   T h e   m atr ix   r es u ltin g   f r o m   m u ltip licatio n   o f     an d     is   r elatio n s h ip   am o n g   ea c h   im a g an d   wh o le  o th er   im ag es.  C o r r elatio n   v alu e   o f   ev er y   m o d ality   is   p r o d u ce d   th r o u g h   s o f tm ax   f u n cti o n .   At  last ,   th is   v alu is   m u ltip lied   with   m ap p in g   m atr ix   V   o f   S   f o r   ac q u ir in g   wo r d s   r ep r esen tatio n   to   e x tr ac g lo b al  d ep e n d en ce   d ata.   Self - atten tio n   m ec h an is m   is   e x ec u tin g   t h atten tio n   weig h t   in to   ev er y   m o d ality ,   an d   its   m ath em atica ex p r ess io n   is   g i v en   as  ( 4 ) .   I n   th ( 4 ) ,   th = { 1 , 2 , , } ×    an d   = { 1 , 2 , , } ×    r ep r esen h id d en   r e p r e s en tatio n .   Nex t,  , ,   an d   V   r ep r esen ts   m ap p ed   m atr ices,  th at  is   in iti alize d   with   m u ltip ly in g   in p u em b ed d in g   an d   r esp ec tiv e   weig h m atr ix   an d   its   m ath em atica ex p r ess io n   is   g iv en   as  ( 5 )   to   ( 7 ) .   I n   ( 5 )   to   ( 7 ) ,   th , , × 2    r ep r esen ts   m ap p in g s   o f   s eg m en r ep r esen tatio n   with   d ata  = { ̃ 1 , ̃ 2 , , ̃ } ×  ,   th ,        r ep r esen ts   lear n ab le   p ar am eter   m atr ices.  C alcu late  its   atten tio n   v alu es  f o r   ac q u ir in g   s elf - atten tio n   r ep r esen tatio n   an d   its   m ath em atica ex p r ess io n   is   g i v en   as  ( 8 ) .   I n   ( 8 ) ,   t h   r ep r es en ts   s ca lin g   f ac to r   a n d   th at   d im en s io n   is   s etted   to   h id d en   r ep r esen tati o n .     ̃ = ( + ) ,       [ 1 , ]   ( 4 )     = ̃   ( 5 )     = ̃   ( 6 )     = ̃     ( 7 )     =   ( )   ( 8 )     2 . 5 . 3 .   L o ng   s ho rt - t er m m e mo ry   L STM   is   v ar ian o f   r ec u r r en n eu r al  n etwo r k   ( R NN ) ,   f o r   tim s er ies  d ata,   wh ich   is   m u ch   s u itab le  to   ca p tu r d if f er en t d ata  f ea tu r es b ec au s o f   a d d itio n al  s to r ag e   u n its   ab le  to   s to r h is to r ical  d ata.   L STM   n etwo r k   ar ch itectu r em p lo y e d   th r ee   g ates  s u ch   as  f o r g et,   i n p u t   an d   o u tp u t   g ates  in   e v er y   L STM   n eu r o n .   T h L STM   n etwo r k   p r o ce s s   b etter   wh en   th in p u f ea tu r es  ar i n d ep e n d en o f   ea c h   o th er .   T h e   u n c o r r elatio n   n atu r e   o f   PC A - tr an s f o r m ed   f ea tu r es  h el p s   th L STM   m o d el  to   f o cu s   o n   lear n in g   tem p o r al  r elatio n s h ip s   in   d ata  in s tead   o f   h an d lin g   th co r r elatio n   am o n g   f ea tu r es.  T h is   p r o ce s s   m ak es  th tr ain in g   p r o ce s s   m u ch   s tab le  an d   ef f ec tiv e.   T h   r ep r esen ts   th r est  o f   th in f o r m atio n   o n   p r i o r   L STM   n eu r o n   a f ter   f ed   to   f o r g et  g ate ,   th   r ep r esen ts   am o u n o f   in f o r m a tio n   f o r   in p u o n   p r esen L STM   n eu r o n ,   th e   ̃   r ep r esen ts   ca n d id ate  s tate  ce ll  v alu an d   th   r ep r esen ts   r esu lt  am o u n o f   d ata  o n   L STM   n eu r o n .   Ma th e m atica ex p r ess io n   f o r   e v er y   g ate   o f   th L STM   ce ll is   g iv en   as f r o m   ( 9 )   to   ( 1 4 ) .     = (  + 1 + )   ( 9 )     = (  + 1 + )   ( 1 0 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       N eu r o - DA N et:   d u a l a tten tio n   d ee p   n e u r a l n etw o r lo n g   s h o r t - term    ( S u ja th a   Ha n u ma n th a r a ya p p a )   817   = 1 + ̃       ( 1 1 )     ̃ =  (  + 1 + )   ( 1 2 )     = (  + 1 + )   ( 1 3 )     =  ( )   ( 1 4 )     I n   ( 9 )   t o   ( 1 4 ) ,   th   r ep r esen ts   s ig m o id   ac tiv atio n   f u n ctio n ,   a     r ep r esen ts   Had am ar d   p r o d u ct  an d     r ep r esen ts   p r esen in p u v ec t o r .   T h e    ,  ,  ,    r ep r esen ts   r esp ec tiv weig h v ec to r   f o r   in p u t,   th e   1   r ep r esen ts   s tate  v ec to r   o f   p r io r   ce ll  u n it’s  h id d e n   lay er .   T h , , ,   r ep r esen ts   h id d e n   lay er   weig h ts   o n   s tate  v ec to r ,   th , , ,   r ep r esen ts   b ias  v ec to r .   T h p r o p o s ed   m eth o d   ef f icien tly   ca p tu r es   s p atio tem p o r al  p atter n s   b y   co m b in atio n   o f   s elf - atten tio n   m ec h an is m   an d   an   L STM   ar ch itectu r e.   T h is   p r o ce s s   im p r o v es  f ea tu r lear n in g   b y   W T   f o r   m u lti - r eso lu tio n   an aly s is   an d   PC A   f o r   d im en s io n ality   r ed u ctio n .   T h is   m o d el  m itig ates  th i s s u es  lik f ea tu r r ed u n d an c y ,   s p atial  d ata  lo s s   an d   class   im b alan ce ,   d etec tio n   p er f o r m a n ce   an d   g e n er aliza tio n   ab ilit y .       3.   RE SU L T S AN D I SCU SS I O N   T h d ev elo p e d   m o d el  is   s i m u lated   o n   MA T L AB   2 0 2 0   R   an d   u s ed   s y s tem   co n f ig u r atio n   ar e     i5   p r o ce s s o r ,   8   GB   R AM ,   an d   W in d o ws  1 0   ( 6 4   b it).   T h v alid atio n   m etr ics  s u ch   as  ac cu r ac y ,   s en s itiv ity ,   s p ec if icity ,   p r ec is io n ,   F 1 - s co r e ,   an d   Ma tth ew’ s   co r r elatio n   co ef f icien ( MCC )   ar co n s id e r ed   in   th is   ar ticle  to   v alid ate  th p er f o r m an ce .   T h e   p ar am eter s   o f   th m o d el  ar e   d escr ib ed   in   T ab le  3 .   Fig u r es  9   an d   1 0   r ep r esen th test ed   s am p le  im ag es u s in g   AB I DE - I   an d   AB I DE - I I   d at asets .       T ab le  3 .   Mo d el  p ar am ete r s   P a r a me t e r s   V a l u e   M a x   e p o c h s   1 0 0   I n i t i a l   l e a r n i n g   r a t e   0 . 0 1   L2   r e g u l a r i z a t i o n     1 . 0 0 E - 04   Le a r n i n g   r a t e   d r o p   f a c t o r   0 . 2   B a t c h   si z e   16   Le a r n   r a t e   s c h e d u l e   P i e c e w i se   Le a r n   r a t e   d r o p   p e r i o d   1 0 0   G r a d i e n t   d e c a y   f a c t o r   0 . 9 1           Fig u r 9 .   T ested   s am p le  im a g es o f   AB I DE d ataset       T a b l 4   r e p r e s e n t s   a n   ev a l u a t i o n   o f   t h d e v e lo p e d   N e u r o - D A N e w i t h   d i f f e r en t   c l a s s i f i e r s   o n   A B I D E - a n d   A B I D E - II   d a t as e t s .   D i f f er e n c l a s s i f i er s ,   s u c h   a s   g a t ed   r e c u r r en t   u n i ( GR U ) ,   b id i r e ct i o n a l o n g   s h o r t - t er m   m e m o r y   ( B i - L S T M ) ,   D N N ,   a n d   co n v e n t io n a l   L S T M,   a r e   t a k en   t o   v a l id a t e   a   p er f o r m a n ce   o f   d ev e l o p ed   m o d e l .   T h p r o p o s e d   m e th o d   a i m s   to   e f f i c i e n t ly   c a p tu r s p a t io t e m p o r a p a t te r n s   b y   a   c o m b i n a t io n   o f   s e l f - a t t e n t io n   m e ch a n i s m   an d   a n   L S T M   a r ch i t e c tu r e.   T h i s   p r o c e s s   i m p r o v e s   f e a t u r Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   810 - 8 2 3   818   l e a r n in g   b y   W T   f o r   m u l t i - r e s o l u t io n   an a l y s i s   a n d   P C A   f o r   d i m e n s io n a l i ty   r ed u c t i o n .   T h i s   m o d e l   m i t i g a t e s   t h e   i s s u e s   l i k e   f e a tu r e   r ed u n d an c y ,   s p a t i a d a t l o s s   a n d   c l a s s   i m b a l a n ce ,   d e t e c t io n   p e r f o r m an c e   an d   g e n er a l i z a t io n   ab i l i t y .   De v e lo p ed   Ne u r o - D A Ne t   o b ta i n s   th e   h i g h e s a c cu r a cy   o f   9 8 . 5 1 %   o n   A B I DE - an d   9 8 . 8 1 %   o n   A B I D E - II   d a t a s e t.           Fig u r 1 0 .   T ested   s am p le  im a g es o f   AB I DE - II   d ataset       T a b l e   4 .   E v a l u a t i o n   o f   d e v e l o p e d   N e u r o - D A N et   w it h   d i f f e r e n t   c l as s i f i e r s   o n   AB I DE - a n d   AB I D E - II   d a t as e ts   M o d e l s   A c c u r a c y   ( %)   S e n s i t i v i t y   ( %)   S p e c i f i c i t y   ( %)   P r e c i s i o n   ( %)   F1 - sc o r e   ( %)   M C C   ( %)   A B I D E - I   G R U   7 6 . 6 4   7 4 . 3 5   8 1 . 0 7   7 9 . 7 0   7 6 . 9 3   7 1 . 5 9   Bi - LST M   8 1 . 6 5   7 9 . 0 3   8 3 . 1 9   8 2 . 6 3   8 0 . 7 9   7 8 . 1 9   DNN   7 9 . 2 6   7 9 . 2 1   7 5 . 6 9   7 6 . 8 3   7 8 . 0 0   7 4 . 6 6   LSTM   9 5 . 2 8   9 4 . 4 4   9 3 . 4 8   9 2 . 7 7   9 3 . 6 0   9 1 . 8 4   N e u r o - D A N e t   9 8 . 5 1   9 8 . 1 1   9 8 . 1 1   9 8 . 7 3   9 8 . 4 2   9 6 . 2 4   A B I D E - II   G R U   9 6 . 4 3   9 5 . 9 9   9 6 . 8 6   9 5 . 1 2   9 5 . 5 5   9 3 . 6 4   Bi - LST M   9 4 . 2 4   9 3 . 8 4   9 3 . 2 0   9 3 . 0 9   9 3 . 4 7   9 1 . 0 0   DNN   9 7 . 1 9   9 6 . 4 4   9 7 . 0 6   9 7 . 1 3   9 6 . 7 8   9 5 . 7 1   LSTM   9 8 . 0 5   9 7 . 3 1   9 7 . 7 3   9 7 . 4 0   9 7 . 3 6   9 6 . 6 0   N e u r o - D A N e t   9 8 . 8 1   9 8 . 8 1   9 9 . 6 0   9 8 . 8 6   9 8 . 8 3   9 8 . 4 3       T ab le  5   r ep r esen ts   th ev alu a tio n   o f   5 - f o ld   c r o s s - v alid atio n   f o r   th d ev elo p ed   Neu r o - D ANe with   d if f er en class if ier s   o n   AB I DE - an d   AB I DE - II   d atasets .   T h d if f er e n class if ier s   s u ch   as  GR U,   B i - L STM ,   DNN ,   an d   co n v en tio n al   L STM ,   ar e   tak en   to   e v alu ate  a   p er f o r m a n ce   o f   a   d e v elo p e d   m o d el.   T h p r o p o s e d   m eth o d   aim s   to   ef f icien tly   ca p tu r s p atio tem p o r al  p atter n s   b y   co m b in atio n   o f   s elf - atten tio n   m ec h an is m   an d   an   L STM   ar ch itectu r e .   T h is   p r o ce s s   im p r o v es  f ea tu r l ea r n in g   b y   W T   f o r   m u lti - r eso lu tio n   an aly s is   an d   PC f o r   d im en s io n ality   r ed u c tio n .   T h is   m o d el   m itig ates  th e   is s u es  lik f ea tu r e   r ed u n d a n c y ,   s p atial  d ata   lo s s   an d   class   im b alan ce ,   d etec tio n   p er f o r m an ce   an d   g en er al izatio n   ab ilit y .   On   5 - f o ld   cr o s s   v alid atio n ,   th d ev elo p e d   m o d el  o b tain s   h i g h   ac cu r ac y   o f   9 8 . 5 1 % o n   AB I DE - an d   9 8 . 8 1 % o n   AB I DE - II   d atasets .   T ab le  6   r ep r esen ts   th e v alu atio n   o f   d if f er en t   k - f o ld   v ali d atio n   s ets  o n   AB I DE - a n d   AB I DE - II   d atasets .   K - f o ld   v alid atio n   s ets  s u ch   as  K= 3 ,   K= 5 ,   K =7   an d   K= 8   is   ev al u ated   f o r   t h d ev elo p e d     Neu r o - DANe t.  I n   th at,   t h d e v elo p ed   m o d el  s h o ws  th h ig h est  ac cu r ac y   o n   K= 5   wh en   c o m p ar ed   with   o th e r   k - f o ld   v alid atio n   s ets.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       N eu r o - DA N et:   d u a l a tten tio n   d ee p   n e u r a l n etw o r lo n g   s h o r t - term    ( S u ja th a   Ha n u ma n th a r a ya p p a )   819   T ab le  5 .   E v alu atio n   o f   5 - f o ld   cr o s s   v alid atio n   f o r   d ev el o p ed   Neu r o - DANe t w ith   d if f e r en class if ier s   u s in g   AB I DE - an d   AB I DE - II   d atasets   M o d e l s   A c c u r a c y   ( %)   S e n s i t i v i t y   ( %)   S p e c i f i c i t y   ( %)   P r e c i s i o n   ( %)   F1 - sc o r e   ( %)   M C C   ( %)   A B I D E - I   G R U   7 6 . 0 7   7 3 . 3 8   8 0 . 1 0   7 9 . 1 4   7 6 . 1 5   7 1 . 0 2   Bi - LST M   8 0 . 6 8   7 8 . 0 6   8 2 . 6 2   8 1 . 6 6   7 9 . 8 2   7 7 . 6 2   DNN   7 8 . 2 9   7 8 . 6 4   7 5 . 1 2   7 5 . 0 1   7 6 . 7 8   7 4 . 0 9   LSTM   9 4 . 3 2   9 3 . 8 7   9 2 . 5 1   9 1 . 8 0   9 2 . 8 2   9 1 . 2 8   N e u r o - D A N e t   9 8 . 5 1   9 8 . 1 1   9 8 . 1 1   9 8 . 7 3   9 8 . 4 2   9 6 . 2 4   A B I D E - II   G R U   9 5 . 4 3   9 4 . 9 9   9 5 . 8 6   9 4 . 2 0   9 4 . 5 9   9 3 . 0 4   Bi - LST M   9 3 . 2 4   9 2 . 8 4   9 3 . 9 8   9 3 . 0 0   9 2 . 9 2   9 0 . 0 0   DNN   9 6 . 1 9   9 5 . 4 4   9 6 . 9 6   9 6 . 9 3   9 6 . 1 8   9 5 . 0 1   LSTM   9 7 . 0 5   9 8 . 3 1   9 7 . 0 3   9 7 . 0 0   9 7 . 6 5   9 6 . 0 0   N e u r o - D A N e t   9 8 . 8 1   9 8 . 8 1   9 9 . 6 0   9 8 . 8 6   9 8 . 8 3   9 8 . 4 3       T ab le  6 .   E v alu atio n   o f   d if f er e n k - f o l d   v alid atio n   s ets f o r   th d ev elo p e d   Neu r o - DANe t u s in g   AB I DE - an d   AB I DE - II   d atasets   K - f o l d   v a l i d a t i o n   A c c u r a c y   ( %)   S e n s i t i v i t y   ( %)   S p e c i f i c i t y   ( %)   P r e c i s i o n   ( %)   F1 - sc o r e   ( %)   M C C   ( %)   A B I D E - I   K = 3   9 6 . 9 0   9 5 . 6 4   9 5 . 0 8   9 6 . 0 0   9 5 . 8 2   9 4 . 0 8   K = 5   9 8 . 5 1   9 8 . 1 1   9 8 . 1 1   9 8 . 7 3   9 8 . 4 2   9 6 . 2 4   K = 7   9 7 . 5 0   9 6 . 4 6   9 6 . 5 4   9 6 . 6 2   9 6 . 5 4   9 5 . 4 0   K = 8   9 5 . 2 0   9 2 . 5 5   9 2 . 1 3   9 3 . 9 5   9 3 . 2 5   9 2 . 7 0   A B I D E - II   K = 3   9 6 . 6 1   9 6 . 3 6   9 5 . 4 5   9 5 . 4 2   9 5 . 8 9   9 4 . 5 8   K = 5   9 8 . 8 1   9 8 . 8 1   9 9 . 6 0   9 8 . 8 6   9 8 . 8 3   9 8 . 4 3   K = 7   9 5 . 5 6   9 4 . 6 3   9 5 . 0 9   9 4 . 6 5   9 4 . 6 4   9 3 . 4 3   K = 8   9 4 . 1 2   9 3 . 6 4   9 3 . 4 2   9 4 . 8 8   9 4 . 2 6   9 3 . 4 5       T ab le  7   r ep r esen ts   th ev a lu atio n   o f   d i f f er en t   L 2   r eg u lar izatio n   v alu es  f o r   th e   d ev elo p e d     Neu r o - DANe o n   AB I DE - I   a n d   AB I DE - II   d atasets .   On   L 2   r eg u lar izatio n   v alu es  o f   1 . 0 0 E - 0 4 ,   th e   d ev elo p ed   Neu r o - DANe o b tain ed   th h ig h est  ac cu r ac y   o f   9 8 . 5 1 o n   AB I DE - an d   9 8 . 8 1 o n   AB I DE - II   d atasets .   T ab le  8   r ep r esen ts   th ev alu ati o n   o f   d i f f er en b atch   s izes f o r   th d ev elo p e d   Neu r o - DANe t u s in g   AB I DE - I   an d   AB I DE - II   d atasets .   On   B atch   s ize  o f   1 6 ,   d ev elo p ed   Neu r o - DANe o b tain ed   th h ig h est  a cc u r ac y   o f   9 8 . 5 1 %   on  AB I DE - an d   9 8 . 8 1 % o n   A B I DE - II   d atasets .       T ab le  7 .   E v alu atio n   o f   d if f er e n t L 2   r e g u lar izatio n   v alu es o f   th d ev elo p ed   Neu r o - DANe t o n   AB I DE - an d   AB I DE - II   d atasets   L2   r e g u l a r i z a t i o n   A c c u r a c y   ( %)   S e n s i t i v i t y   ( %)   S p e c i f i c i t y   ( %)   P r e c i s i o n   ( %)   F1 - sc o r e   ( %)   M C C   ( %)   A B I D E - I   4 . 0 0 E - 04   9 2 . 9 4   9 2 . 6 3   9 1 . 3 3   9 2 . 7 6   9 2 . 7 0   9 2 . 2 8   3 . 0 0 E - 04   9 6 . 5 2   9 3 . 6 7   9 5 . 9 4   9 4 . 0 3   9 3 . 8 5   9 4 . 8 6   2 . 0 0 E - 04   9 7 . 6 2   9 7 . 2 5   9 8 . 8 4   9 7 . 0 2   9 7 . 1 3   9 5 . 0 5   1 . 0 0 E - 04   9 8 . 5 1   9 8 . 1 1   9 8 . 1 1   9 8 . 7 3   9 8 . 4 2   9 6 . 2 4   A B I D E - II   4 . 0 0 E - 04   9 4 . 3 8   9 3 . 4 2   9 3 . 3 6   9 2 . 5 0   9 2 . 9 6   9 1 . 2 6   3 . 0 0 E - 04   9 5 . 5 8   9 4 . 0 0   9 4 . 6 8   9 3 . 2 7   9 3 . 6 3   9 2 . 7 8   2 . 0 0 E - 04   9 7 . 2 4   9 5 . 1 7   9 6 . 2 1   9 5 . 2 9   9 5 . 2 3   9 5 . 6 9   1 . 0 0 E - 04   9 8 . 8 1   9 8 . 8 1   9 9 . 6 0   9 8 . 8 6   9 8 . 8 3   9 8 . 4 3       T a b l e   8 .   E v a l u a t i o n   o f   d i f f e r e n t   b a t c h   s i z e s   o f   d e v el o p e d   N e u r o - D A N e t   u s i n g   AB I D E - a n d AB I D E - II   d a t as e ts   B a t c h   si z e   A c c u r a c y   ( %)   S e n s i t i v i t y   ( %)   S p e c i f i c i t y   ( %)   P r e c i s i o n   ( %)   F1 - sc o r e   ( %)   M C C   ( %)   A B I D E - I   1 2 8   9 2 . 6 8   9 1 . 5 6   9 0 . 0 9   9 1 . 7 1   9 1 . 6 3   9 0 . 9 2   64   9 5 . 6 1   9 5 . 6 8   9 4 . 3 6   9 4 . 4 1   9 5 . 0 4   9 3 . 1 3   32   9 6 . 9 7   9 6 . 6 5   9 4 . 0 7   9 5 . 7 6   9 6 . 2 0   9 4 . 3 2   16   9 8 . 5 1   9 8 . 1 1   9 8 . 1 1   9 8 . 7 3   9 8 . 4 2   9 6 . 2 4   A B I D E - II   1 2 8   9 5 . 2 5   9 4 . 7 4   9 4 . 2 2   9 3 . 6 5   9 4 . 2 0   9 2 . 2 1   64   9 4 . 0 1   9 3 . 7 4   9 4 . 8 7   9 3 . 5 0   9 3 . 6 2   9 1 . 8 5   32   9 7 . 1 0   9 6 . 8 4   9 5 . 5 6   9 5 . 7 7   9 6 . 3 1   9 4 . 5 5   16   9 8 . 8 1   9 8 . 8 1   9 9 . 6 0   9 8 . 8 6   9 8 . 8 3   9 8 . 4 3     Evaluation Warning : The document was created with Spire.PDF for Python.