I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 ,   p p .   361 ~ 373   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 1 . p p 3 6 1 - 3 7 3           361     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   M ulti - sca le  featur es a ss isted knowle dg e distillatio n vi sio trans former  for l a nd cov er segm en tatio n and  clas sifi ca tion       Su j a t a   Arj un   G a ik wa d ,   Vij a y a   M us a nd e   D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   J a w a h a r l a l   N e h r u   E n g i n e e r i n g   C o l l e g e ,   M G M   U n i v e r s i t y ,     C h h a t r a p a t i   S a m b h a j i   N a g a r ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma y   2 6 ,   2 0 2 5   R ev is ed   No v   1 7 ,   2 0 2 5   Acc ep ted   J an   1 0 ,   2 0 2 6       Th e   m o st  si g n ifi c a n p ro b lem   in   re m o te  se n sin g   i n terp re tatio n   is  se m a n ti c   se g m e n tatio n ,   wh ich   a tt e m p ts  to   g iv e   e a c h   p ix e i n   th e   ima g e   a   p a rti c u lar   c las s.  Th is  re se a rc h   wo rk   fo ll o w th e   v a rio u ste p s,  s u c h   a p re - p ro c e ss in g ,   se g m e n tatio n ,   a n d   c las sifica ti o n .   In it ially ,   h i g h   sp a ti a re so l u ti o n   re m o te   se n sin g   ima g e (RS I)   a re   c o ll e c te d   fro m   th e   o p e n - so u rc e   d a tas e t.   In   th e   p re - p ro c e ss in g   sta g e ,   a n   imp r o v e d   g u i d e d   fil ter  (Im p - G F is  u se d   to   re m o v e   v a rio u n o ise fro m   ima g e s.  Ne x t,   th e   se g m e n tati o n   is  d o n e   b y   u sin g   a   k n o wle d g e   d isti ll a ti o n - b a se d   v isi o n   t ra n sfo rm e a p p ro a c h   i n teg ra t e d   with   a n   a tro u s p a ti a m u lt i - sc a le  p y ra m id a m o d u le   (KD - M u ViT P y ).   Ba s e d   o n   th e   se g m e n ted   ima g e ,   la n d   c o v e c la ss e su c h   a v e g e tati o n ,   u r b a n   a re a s,  fo re st,   wa ter  b o d ies ,   a n d   ro a d s   a re   c las sified .   T h e   p ro p o se d   m e th o d   o u t p e rfo rm e d   th e   B h u v a n   sa telli te   d a tas e t,   a c h i e v in g   b e tt e a c c u ra c y ,   p re c isio n ,   re c a ll ,   F 1 - sc o re ,   Dic e   sc o r e ,   in ters e c ti o n   o v e u n i o n   ( I o U ) ,   a n d   Ka p p a   sc o re   a v a lu e s   o 9 8 . 0 1 % ,   9 8 . 9 9 % ,   9 7 . 4 9 % ,   9 8 . 2 3 % ,   9 8 . 2 3 % ,   9 6 . 5 5 % ,   a n d   9 5 . 9 1 % ,   re sp e c ti v e ly .   K ey w o r d s :   I m p r o v ed   g u id ed   f ilter   Kn o wled g d is till atio n   Mu lti s ca le  s eg m en tatio n   Py r am id al  m o d u le   R em o te  s en s in g   im ag e     Vis io n   tr an s f o r m er     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Su jata  Ar ju n   Gaik wad     D e p a r t m e n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   J a w a h a r l a l   N e h r u   E n g i n e e r i n g   C o l l e g e ,   M G M   U n i v e r s i t y   C h h atr ap ati  Sam b h aji  Nag ar Ma h ar ash tr a,   I n d ia   E m ail:  s u jatag aik wad 4 1 4 @ g m ail. co m       1.   I NT RO D UCT I O   L a n d   c o v e r   d e t e ct i o n   a n d   cl a s s i f i c a ti o n   a r e   c r i t i ca l   i n   e c o n o m i c   as s ess m e n t ,   r es o u r c e   m a n a g e m e n t ,   a n d   c r o p   a r e a   a n a l y s is .   T h is   e v a l u a t i o n   s t u d y   g r e a tl y   i m p r o v e d   h o m e l a n d   s e c u r i t y   a n d   n a ti o n al   e c o n o m i c   s t a b i li t y   [ 1 ] ,   [ 2 ] .   R e m o t e   s e n s i n g   is   a   p o w e r f u l   t e c h n o l o g y   f o r   e a r t h   l a n d   o b s e r v a t i o n   t h a t   e m p l o y s   s e n s o r s   o n   s at e ll i t es   o r   a i r p l a n e s   t o   c a p t u r e   i m a g es   o f   t h e   p l a n e t' s   s u r f a c e   w i t h o u t   r e q u i r i n g   d i r e c t   p h y s ic a l   co n t a c t   [ 3 ] ,   [ 4 ] .   O n s i g n i f i c a n t   a r e o f   r e m o t s e n s in g   i s   o p ti c a l r e m o t s e n s i n g ,   wh i c h   h a s   b e e n   u s e d   f o r   a   v a r i e ty   o f   p u r p o s e s ,   s u c h   a s   s u p e r - r e s o l u ti o n   m a p p i n g   o f   l a n d   c o v e r   a n d   o b j ec t   d et e c tio n   [ 5 ] .   U s i n g   t h e   v as t   a m o u n o f   r e m o t e   s e n s i n g   p h o t o s ,   r e s e a r c h e r s   h a v e   f o c u s e d   o n   a u t o m a t i c a ll y   c l as s i f y i n g   l a n d   c o v e r   u s i n g   s at e l li t e   p i ct u r e s   [ 6 ] .   T h ex am in atio n   o f   lan d   co v e r ag h as  b ec o m m o r v is ib le  in   r ec en y ea r s   d u to   th e   d e v elo p m en t   o f   ar tific ial  in tellig en ce   ( AI )   [ 7 ] .   AI - p o wer ed   m ac h in e   lear n in g   ( ML )   as  well  as  d ee p   lear n in g   ( DL )   m o d els  ar em p lo y ed   to   id en tify   ch a n g es  in   th la n d   [ 8 ] .   B ec au s e   o f   its   d ee p   lay er s ,   DL   m o d e ls   o u tp er f o r m   ML   m o d els  in   d etec tio n .   ML   m o d els  u s s tatis tical  alg o r ith m s   t o   d etec p atter n s   in   d ata,   b u th ey   m ay   s tr u g g le   with   co m p licated ,   m u ltid im en s io n al  d atasets   s u ch   as satelli t im ag es  [ 9 ]   DL   m o d els,  wh ich   u s m u lti - l ay er ed   n eu r al  n etwo r k s ,   p r o v i d g r ea ter   d etec tio n   s k ills .   T h ese  m o d els   ca n   au to m atica lly   e x tr ac d eta iled   f ea tu r es  f r o m   r aw   d ata  u s in g   d ee p er   lay er s ,   ca tch in g   s m all  ch an g es  m o r e   ef f ec tiv ely   [ 1 0 ] .   DL ' s   ca p ac it y   to   lear n   h ier ar ch ical  r ep r esen tatio n s   allo ws  it   to   p er f o r m   well  in   task s   lik e   im ag s eg m en tatio n ,   class if icatio n ,   as we ll a s   ch an g r ec o g n itio n   [ 1 1 ] .   As a  r esu lt,  DL - b ased   tech n iq u es h av e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   361 - 3 7 3   362   em er g ed   as  th p r ef er r e d   m eth o d   f o r   d etec tin g   la n d   c o v er   ch an g es,  as  th ey   o f f er   h ig h er   ac c u r ac y   an d   r esil ien ce   th an   s tan d ar d   ML   m o d els  [ 1 2 ] .   T h is   m ak es  t h em   esp ec ially   v al u ab le  in   u r b an   p r e p ar atio n ,   d ef o r estatio n   m o n ito r in g ,   as w ell  as a g r icu ltu r al  m an a g em en [ 1 3 ] .   I n iti all y ,   l an d   c o v e r   class i f i ca t io n s   ar d o n u s i n g   m u lti - s ca l c o n v o lu ti o n al   n eu r al  n e tw o r k s   ( C NNs ) Ho w ev er ,   is s u es  l ik in ad e q u ate  d ep th ,   c o n s tr ai n e d   r e ce p ti v e   f i el d s ,   a n d   t h i n c a p ac it y   t o   ac c u r at el y   ca p t u r e   lo n g - r a n g e   i n t e r d ep e n d e n ce   i n   i n t r ic ate   s it u at io n s   h i n d e r e d   t h e ir   p e r f o r m a n c e   [ 1 4 ] .   T h e y   t h u s   h av e   t r o u b l m a n a g i n g   i r r e g u la r   p att er n s   in   lar g e - s ca l e   r em o t e   s e n s i n g   d at a   a n d   f i n e - g r ai n ed   class if ica ti o n .   F u r t h e r m o r e ,   t h e   s eg m e n t ati o n   a n d   c lass i f i ca ti o n   o f   o v e r l ap p i n g   o r   u n cle ar   la n d   c o v e r   t y p es  w er l ess   a cc u r at el y   a cc o m p lis h e d   b y   t h ea r l y   m u lti - s c al C NNs   d u e   t o   t h eir   a b s en ce   o f   s t r o n g   f ea t u r e   f u s i o n   p r o ce s s es  [ 1 5 ]   Alt h o u g h   C NN - b as ed   m u lti - s ca l m o d els   h a v e   b ee n   wi d el y   u s ed   f o r   la n d   c o v er   s eg m e n tati o n ,   t h e y   s till   f a ce   s o m e   k e y   c h a lle n g es ,   s u c h   as   li m ite d   r e ce p ti v e   f iel d s ,   a m b ig u o u s   la n d   c o v e r   t y p es ,   i n s u f f ic ie n t   d e p t h   to   ca p t u r e   l o n g - r a n g d e p en d e n ci es,   a n d   w ea k   f ea t u r e   f u s i o n .   Ma n y   e x is ti n g   m o d els  als o   s u f f e r e d   f r o m   h i g h   co m p u tati o n a l   c o s t ,   m em o r y   in e f f ic ie n c y ,   a n d   f ea t u r e   r e d u n d an c y ,   w h i c h   r e d u ce   t h e   s ca l ab ilit y   f o r   h i g h - r es o l u ti o n   s at elli te   i m a g e r y .   T o   b r i d g e   t h ese   g a p s ,   t h is   s t u d y   in tr o d u ce s   a   n o v el   k n o wl e d g e   d is ti lla ti o n - b as ed   v is i o n   t r a n s f o r m e r   a p p r o a c h   i n t eg r ate d   wi th   m u lt i - s ca l e   p y r am i d al   m o d u le   ( KD - M u ViT P y )   m o d el .   T h p r o p o s e d   m o d e l   i n te g r at es   n o i s r e d u c ti o n   v i a   a n   i m p r o v e d   g u i d e d   f ilt er   ( I m p - GF) ,   r es p o n s e - b as ed   k n o wl ed g e   d is t illa ti o n   t o   t r a n s f e r   r o b u s t   r ep r ese n ta ti o n   f r o m   te ac h e r   t o   s tu d e n n e tw o r k s ,   an d   d y n a m ic   m u l ti - s ca le   p y r am i d al   p o o l in g   t o   ca p t u r b o t h   g l o b al   an d   f i n e - g r ai n ed   s p a tia l   f ea t u r es .   T h is   co m b in ati o n   e n h a n c es   s eg m e n t ati o n   ac cu r ac y ,   r e d u c es  co m p u tat io n al   o v er h e a d ,   a n d   d e li v e r s   s ta te - of - t h e - a r t   p e r f o r m a n ce   f o r   l a n d   co v e r   c lass i f i ca ti o n .   T h e   m aj o r   c o n tr ib u t io n   o f   t h is   r es ea r c h   wo r k   is   g i v e n   b el o w :   n o is e   f r o m   th e   i n p u t   im ag es  is   r em o v e d   b y   u s in g   a n   I m p - G F,  w h i c h   h e lp s   t o   e n h a n ce   i m a g e   q u alit y .   T o   s eg m e n t   t h e   p r e - p r o c ess e d   im ag es   an d   i d e n ti f y   l a n d   c lass es   u s i n g   at r o u s   s p at ial   KD - M u V iTP y .       2.   RE L AT E WO RK   Var io u s   p r e v io u s   s tu d ies  h a v e   r ec o m m e n d ed   n u m b e r   o f   m eth o d s   b ased   o n   m u lti - s ca le   an d   DL   to   im p r o v t h ac cu r ac y   o f   ex tr a ctin g   f ea tu r es a n d   g r o u p i n g   im ag es g en er ated   f r o m   r em o te  s e n s in g ,   s u ch   as:     C ar d am et  a l.   [ 1 6 ]   d ev elo p ed   co n s en s u s   m u lti - s ca le  b in ar y   alter atio n   r ec o g n itio n   ap p r o ac h   f o r   o b ject - b ased   f ea tu r ex tr ac tio n .   Mu ltip le  d etec to r s   b ased   o n   d if f er e n s eg m en tatio n   a p p r o ac h es  wer e   u tili ze d   at  d if f er en s ca les  to   ex p lo it  th v er y   h ig h   r eso lu tio n   ( VHR )   p ictu r es '   h ig h   s p atial  r eso lu tio n   an d   ca p tu r ch an g es  at  d if f er e n g r an u lar ity   le v els.  T h ch an g v ec to r   an aly s is - s eg m en an y th in g   m o d el   ( C VA - SAM )   was u s ed   o n   th s eg m en t le v el  r ath er   t h an   th e   p ix el  lev el.       W an g   et  a l [ 1 7 ]   d ev elo p ed   th p ar allel  s win   (P - Swin )   tr an s f o r m er   n etwo r k ,   t r an s f o r m er   n etwo r k   b ased   o n   p ar allel  win d o ws.  T h P - s win   tr an s f o r m e r   b lo c k ,   wh ich   co m p r is es  th f ee d   f o r war d   n etwo r k   ( FF N)   an d   win d o w - b ased   s elf - atten tio n   in ter ac tio n   ( W SAI ) ,   is   cr itical  co m p o n en o f   P - Swin .   W SAI   ca n   d eter m in th lin k   b etwe en   win d o ws  as  well  a s   th r elatio n s h ip   with in   win d o ws.  As  r esu lt,  i t   in cr ea s es th n etwo r k ' s   ab ilit y   to   co llect  f ea tu r c o n tex d ata.       Ma  et  a l [ 1 8 ]   d ev elo p ed   a   n ew  C NN   p ix el - by - p ix el  class if icatio n   ap p r o ac h   with   s m aller   s izes.  T h ap p r o ac h   ad d r ess es  th p r o b l em   o f   in ad eq u ate  m u lti - s ca le  lear n in g   f o r   class if icatio n   b y   em p lo y in g   m u lti - s ca le  n etwo r k s   to   r em o v m u lti - s ca le  co n tex tu al  d ata  a t a   f in e - g r ai n ed   lev el.       J ia  et  a l [ 1 9 ]   d ev elo p e d   m u lti - atten tio n   s em an tic  s eg m en tatio n   n etwo r k   f o r   r em o te  s en s in g   im ag es  ( R SI) .   T h b aselin m o d el  is   U - Net ,   an d   th b ac k b o n n etwo r k ' s   ca p ac ity   to   r em o v f in e - g r ain e d   s tr u ctu r es  is   im p r o v e d   b y   in co r p o r atin g   an   o r g a n ized   atten ti o n - b ased   r esid u al  n etwo r k   in t o   th en c o d er .   T o   in cr ea s n etwo r k   in f o r m ati o n   ex t r ac tio n ,   th d e co d er ' s   tr ad itio n al  u p - s am p lin g   o p e r ato r   was  r ep lace d   b y   co n ten t - awa r r ea r r an g e m en t m o d u le.       Xu   et  a l.   [ 2 0 ]   d ev elo p ed   a   two - b r an ch ed   s u p er v is ed   s em an t ic  s eg m en tatio n   s y s tem .   n e s y m m etr ic   atten tio n   m o d u le  with   en h an c ed   s tr ip   p o o lin g   was  d e v elo p e d .   T h e   m u ltip le  lo n g   ac ce s s ib le  f ield s   allo w   f o r   th ac q u is itio n   o f   m o r a n i s o tr o p ic  co n te x tu al  in f o r m atio n   an d   b etter   v is ib ilit y   o f   ir r eg u lar   o b jects.      Z h an g   et  a l [ 2 1 ]   d ev elo p ed   t h ex ten d e d   to p o lo g y   p r eser v in g   s eg m en tatio n   ( E T PS )   m o d el - b ased   m u lti - s ca le  as  well  as  m u lti - f ea tu r e   m eth o d   th at   em p lo y s   co n v o l u tio n al  n e u r al  s eg m e n tatio n .   T h s u g g ested   m o d el  s p lits   th e   im ag es  in t o   s u p er p ix els  em p lo y in g   th e   E T PS   m eth o d .   Ho wev er ,   th e   m u lti - r eso lu tio n   s eg m en tatio n   m o d el  r etr iev e d   f ea tu r es a n d   m a p p ed   th em   to   s u p er p ix els f o r   m u lti - r ep r esen t atio n .       Sh et  a l [ 2 2 ]   d ev el o p ed   a   lan d   c o v er   class if icatio n   s y s tem   b ased   o n   m u lti - s p ec tr al   lig h d etec tio n   a n d   r an g in g   ( L iDAR )   with   s p atial  m u lti - s ca le  as  well  as  s p ec tr al  f ea tu r e   s elec tio n .   I n iti ally ,   k - n ea r est  n eig h b o r h o o d   was   em p lo y e d   to   c h o o s n eig h b o r h o o d   p o in ts   f r o m   m u lti - s p ec tr al   L iDAR   d ata.   Ad d itio n ally ,   s p atial  as we ll a s   s p ec tr al  in f o r m atio n   was r etr iev ed   f r o m   th m u lti - s ca le  n eig h b o r h o o d .       L et  a l [ 2 3 ]   d ev elo p ed   a   m u lti - s ca le  f u lly   co n v o lu tio n al  n etwo r k   ( MSFC N)   with   m u lti - s ca le   co n v o l u tio n al  k er n el  as  well  as  ch an n el  atten tio n   b l o ck   ( C AB )   as  well  a s   g lo b al  p o o li n g   m o d u le  f o r   lan d   co v e r   ca teg o r izatio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Mu lti - s ca le  fea tu r es a s s i s ted   kn o w led g d is till a tio n   visi o n   tr a n s fo r mer fo r   la n d   …  ( S u ja t a   A r ju n   Ga ikw a d )   363     Ma r tin s   et  a l [ 2 4 ]   s u g g ested   th e   m u lti - s ca le  o b ject - b ase d   co n v o lu tio n al  n eu r al   n etw o r k s   ( OC NN)   m o d el.   Ho we v er ,   th s u g g e s ted   m o d el  class if ies  th lar g e - s ca le  lan d   ar ea   with   a   1 4 5 , 7 5 0   Km 2   r eso lu tio n .   Mo r eo v er ,   th s u g g ested   m eth o d   co n s is ts   o f   t h r ee   p h ases im ag s eg m en tatio n ,   s k eleto n   b ased   alg o r ith m   f o r   o b ject  an a ly s is ,   an d   th ap p licatio n   o f   m u ltip le  C NNs f o r   u ltima te  clas s if icatio n .       C h e n   e a l [ 2 5 ]   d ev e lo p ed   t h e   m u l t i - l e v e f ea t u r e   ag g r e g a t io n   n e t wo r k   ( M F A N e t)   m o d e l .   T h s u g g e s t ed   ap p r o ac h   h ad   im p r o v ed   t wo   p h a s e s ,   s u c h   a s   d e ep   f e a t u r e   ex t r ac t i o n   a s   we l l   as   u p - s a m p l in g   f e a t u r e   f u s i o n .   T h liter atu r s ea r ch   id e n tif ied   s ev er al  co n s tr ain ts ,   in cl u d in g   th e   m o d el' s   h ig h   co m p u tatio n al   co m p lex ity ,   n ee d   f o r   m o r m em o r y   to   p r o ce s s ,   an d   h ig h   co m p u tatio n al  co s t;  also ,   th e   m o d el  h as  s ca lin g   co n ce r n s   [ 1 6 ] [ 1 8 ] .   I n   ad d itio n ,   co n v en tio n al  m o d els  r eq u ir m o r e   tim f o r   tr ai n in g .   Fu r t h er m o r e ,   in cr ea s ed   f ea tu r r ed u n d an c y   r en d er s   th m o d el  in ef f icien [ 1 9 ] [ 2 3 ] .   R eg ar d less   o f   h o m an y   lay er s   ar p r esen in   th n etwo r k ,   n etwo r k   d if f icu lties   m ay   ar is e,   an d   f u tu r f u s io n   ap p r o ac h es  m ay   e n h an ce   co m p lex ity   [ 2 4 ] ,   [ 2 5 ] T h ese  ar th o v er all  lim itatio n s   m en tio n ed   i n   th ex is tin g   s u r v ey .     T o   ad d r ess   th ese  cu r r en ch allen g es,  u n iq u k n o wled g d is till atio n - b ased   v is io n   tr an s f o r m er   ap p r o ac h   was  p r esen ted ,   wh ich   is   co u p led   with   an   atr o u s   s p atial  m u lti - s ca le  p y r am id al  m o d u le  to   d iv id an d   class if y   lan d   co v er   ef f ec tiv ely .   T h is   s tu d y   f o u n d   th at  k n o wled g d is till atio n - b ased   v is io n   tr an s f o r m er   m o d el   en h an ce s   ac c u r ac y   wh ile  lo w er in g   c o m p u tin g   co s ts .   I n   ad d itio n ,   th e   u n iq u e   m o d u le   in c lu d es  m u lti - s ca le  p y r am id al  m o d u le  lay er   th at  p r o ce s s es  an d   ex tr ac ts   th e   m u lti - s ca le  asp ec ts   o f   th in p u t   im ag wh ile  also   ass is tin g   in   th ac q u is itio n   o f   h ig h - lev el  co n tex tu al  in f o r m atio n .   Fu r th e r m o r e ,   th m u lti - s ca le  p y r am id al  m o d u le  im p r o v es  co m p u tatio n al  ef f icien cy   an d   is   ap p r o p r iate  f o r   r ea l - tim ap p licatio n s .   T h KD - b ased   v is io n   tr an s f o r m er   c o n s is ten tly   im p r o v es  class if icatio n   p er f o r m an ce   to   b o o s s em an tic  s eg m en tatio n   tr an s f o r m er s ,   r esu ltin g   in   h i g h er   ac cu r ac y ,   lo wer   co m p u tatio n al  co s t,  an d   im p r o v ed   p r e - tr a in in g   n ee d s .       3.   P RO P O SE M E T H O D   T h is   s tu d y   p r esen ted   a   m u lti - s ca le  f ea tu r ass is ted   s em an tic  s eg m en tatio n   m eth o d   f o r   lan d   s eg m en tatio n   an d   class if icatio n .   T h wo r k i n g   f lo o f   r esea r ch   is   r ep r esen ted   in   Fig u r 1 .   T h ar ch itectu r e   s h o ws  th f lo w   o f   th s u g g ested   m eth o d o lo g y i n itially ,   d at wer ac q u ir ed   f r o m   th e   B h u v an   s atellite  im ag e   d ataset.   T h e   p r e - p r o ce s s in g   s tag es  u s th e   I m p - GF  m eth o d ,   wh ich   ef f ec tiv ely   elim in ates  th u n d esire d   n o is e   an d   ar tifa cts  f r o m   th e   im ag e.   Af ter   p r e - p r o ce s s in g   is   d o n e,   s eg m e n tatio n   is   p er f o r m ed   b y   u s in g   th e     KD - Mu ViT Py   ap p r o ac h .   T h er ef o r e,   t h s eg m e n ted   im a g es  a r u s ed   t o   class if y   th e   lan d   co v er   in to   n u m er o u s   k in d s ,   s u ch   as r o a d s ,   u r b an   ar e as,  f o r ests ,   wate r   b o d ies,  as we ll a s   v eg etatio n .         Im prove d gui de fi l t e Im a ge  a c qui s i t i on  know l e dge  di s t i l l a t i on ba s e d vi s i on  t ra ns for m e r a ppro a c h i nt e gra t e w i t h a t rous  s pa t i a l  m ul t i s c a l e   pyra m i da l  m odul e   S e gm e nt e d out c om e s   Bhuva n s a t e l l i t e   i m a ge  da t a s e t P re - proc e s s i ng  S e gm e nt a t i on a nd  c l a s s i fi e r m ode l V e ge t a t i on  U rba n a re a s F ore s t W a t e r bodi e s Roa ds Cl a s s i fi c a t i on      Fig u r 1 .   Ar c h itectu r o f   th p r o p o s ed   m et h o d o lo g y       3 . 1 .     P re - pro ce s s ing   by   us ing   a n im pro v ed  g uid ed  f ilte r   I n   th is   wo r k ,   im a g es  ar o b tai n ed   f r o m   s atellite  im ag d at aset;  n ev er th eless ,   th co llect ed   im ag es  co n tain   s o m ar tifa cts  an d   u n d esire d   n o is es  s u ch   as  s p ec k le  n o is e   an d   s alt  an d   p ep p er   n o is e.   T h ese  n o is e s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   361 - 3 7 3   364   wer r em o v ed   u s in g   th I m p - GF   m eth o d .   Ho wev er ,   th is   f ilter   ca n   b u s ed   to   elim in ate  t h n o is f r o m   th e   s u b - b an d   im ag es  [ 2 6 ] .   T h n o i s elim in ated   f r o m   th im ag b y   u s in g   I m p - GF is f o r m u late d   in   ( 1 ) .     = + ,   ( 1 )     Her   d en o tes  th win d o a n d   lin ea r   v ar ia b les  ar r ep r es en ted   as    an d   .   Nex t,  th ( 2 )   r em o v es  th e   u n wan ted   n o is to   d eter m i n t h lin ea r   v a r iab les.     = 1   ( 2 )     Her e,   th i n p u t   im ag e   is   s p ec if ied   as  ,   an d   n o is elem en t   is   r ep r esen ted   as ,   h o wev er ,   m in im izin g   th e   d if f er en ce   b etwe en     an d     is   f o r m u lated   in   ( 3 ) .     ( , ) = ( ( + ) 2 + 2 )   ( 3 )     W h er   r ep r esen t h n o r m ali za tio n   v ar iab le.   I m p - GF  in tr o d u ce d   th e   J ac ca r d   s im ilar ity ,   wh ich   is   u s ed   f o r   id en tify in g   im a g es  n ea r   th e   e d g es,  an d   is   f o r m u lated   in   ( 4 )   an d   ( 5 ) .   Her J ac ca r d   s im ilar ity   is   r ep r esen ted   as   ,   th u s ,   th p r o ce s s   o f   I m p - GF e f f ec tiv ely   elim in ates  th n o is an d   en h an ce s   th ed g an d   c o n tr ast  ac cu r ac y   o f   th d e g r ad e d   im ag e.     ( , ) = ( ( + ) 2 + 2 ) +    ( 4 )      = 1 | | | |   ( 5 )     3 . 2   Seg m ent a t i o n a nd   la nd   co v er   cla s s if ica t io n by   KD - M uVi T P y   T h is   s tu d y   in tr o d u ce d   KD - Mu ViT Py   m o d el  f o r   p ictu r s eg m en tatio n   a n d   class if icatio n .   T h is   tech n iq u a d d r ess es  th ch allen g es  th at  ex is in   th u s u al  ap p r o ac h .   I n   g en er al,   d is till atio n   m eth o d o lo g ies,  k n o wled g e   ty p e ,   an d   teac h er   s tu d en s tr u ctu r all   h av e   an   im p ac o n   s tu d e n m o d el  lear n i n g .   K n o wled g e   ca n   b ca teg o r ize d   as  f ea tu r e ,   r esp o n s e,   o r   r elatio n s h ip - b ased ,   e m p lo y in g   th teac h er   m o d el' s   k n o wled g e   s ets.  Fo r   p ictu r class if icatio n ,   r esp o n s e - b ased   k n o wled g e   s er v es  as  class if icatio n   p r o b lem ,   o f t en   k n o wn   as  h ar d   lab els.  I n   class if icatio n ,   r ea lab els  ar u tili ze d   as  h ar d   lab el s ,   an d   th p r o b ab ilit y   d is s em in atio n   o f   t h m o d el  is   f ed   in to   th So f t M a x   f u n ct io n .   Fu r th er m o r e,   th e   r esu lt  o f   th So f t M a x   f u n ctio n   is   im m ed iately   m atch e d   with   th h ar d   la b el  to   estab lis h   th s p ec if ic  ca teg o r y .     3 . 2 . 1.   K no wledg dis t illa t io n - ba s ed   v is io n t ra ns f o rm er   T h is   s tu d y   u s ed   th KD - b a s ed   v is io n   tr an s f o r m er ,   wh ich   co n s is ten tly   im p r o v es  cl ass if icatio n   p er f o r m an ce   an d   s em an tic  s eg m en tatio n   tr a n s f o r m er s ,   r esu ltin g   in   h ig h e r   ac cu r ac y ,   lo w er   p r o ce s s in g   co s ts ,   an d   im p r o v ed   p r e - tr ain in g   n ee d s   [ 2 7 ] .   I n   KD,   k n o wled g is   tr an s f er r ed   f r o m   teac h e r   to   s tu d en u s in g   m o d el   th at  is   ex ten s iv ely   u tili ze d   in   co m p u ter   v is io n .   Ho we v er ,   th m ain   p u r p o s o f   th is   r esear c h   is   to   cr ea te  K D   s tr u ctu r f o r   s eg m e n tatio n   u s i n g   tr an s f o r m er - b ased   m o d els.  Me an wh ile,   th is   s tu d y   u s ed   r esp o n s e - b ased   KD  tech n iq u e   to   t r ain   a   teac h e r   a n d   s tu d e n m o d el.   C o m p ar e d   to   p r e v io u s   KD   m o d els,  th e   r esp o n s e - b ased   KD   m eth o d   o f f er s   t h ad v an tag e s   o f   m in im izin g   er r o r ,   d is tr ib u tin g   d ata  ad a p tiv ely   b ased   o n   d iv er s ty p es,   en h an cin g   m o d el  i n ter p r etab ilit y ,   an d   s ig n if ican tly   im p r o v in g   m o d el  r o b u s tn ess .   Fig u r 2   d ep icts   th e   ar ch itectu r o f   th k n o wled g d is till atio n - b ased   v is io n   tr an s f o r m er .   T h s o f lab el   is   th k e y   p o in o f   r esp o n s e - b ased   KD;  in   th is   ca s e,   th s o f lab el  h as  o b tain ed   a   s m o o th ed   r ep r esen tatio n   o f   t h So f tMa x   r o le  f r o m   th p r o b ab ilit y   o f   o u tp u t   d is s em in atio n .   Ho wev er ,   th e   s o f ten in g   o u tp u t is ca lcu lated   em p lo y in g   th teac h e r   tr ain in g   m o d el,   as r e p r esen ted   in   ( 6 ) .     = ( ) ( )   ( 6 )     Her e,   t h e   s o f t   la b e is   d en o t e d   as   ,   w h i c h   is   en g ag e d   to   g u i d t h s tu d e n t   m o d el   as   w ell   a s     s ig n i f i es   t h lik eli h o o d   o f   p o s t er io r   d is s e m in a ti o n ,   w h ic h   is   p e r f o r m e d   b ef o r S o f tM a x .   T h e     d en o t es  th e   v al u o f   t h e   class ;   h e r e     is   th e   p o s t er io r   p r o b ab ilit y .   M o r eo v er ,   o n e   s i g n i f ic a n t   r est r ic ti o n   is   th e   te m p e r a tu r e   s y s t em   wh i ch   p e r m i ts   s m o o t h i n g   t h p o s te r i o r   p r o b a b il it y   d is s e m i n ati o n .   W h e n   th t em p er at u r   i s   1 ,   i is   f u n ct io n a to   t h e   So f t Ma x   m o d el i f     is   l ar g e r   t h a n   1 ,   th p r o b ab ilit y   d is tr i b u ti o n   o f   t h e   o u t p u t   b ec o m es   s m o o t h e r   a n d   s er v es   t o   p r es er v e   s i m il a r   i n f o r m at io n ,   w h i le     is   i n f i n it e,   it   r es em b les   a   u n if o r m   d is s e m i n a ti o n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Mu lti - s ca le  fea tu r es a s s i s ted   kn o w led g d is till a tio n   visi o n   tr a n s fo r mer fo r   la n d   …  ( S u ja t a   A r ju n   Ga ikw a d )   365   In p u t   i m a g e E m b e d d e d   p a t c h e s N o rm M u l t i - h e a d   a t t e n t i o n N o rm M L P D i l a t e d   c o n v o l u t i o n a l   b l o c k M u l t i - p y ra m i d a l   m o d u l e S o ft m a x D i s t i l l a t i o n   l o s s E m b e d d e d   p a t c h e s N o rm M u l t i - h e a d   a t t e n t i o n N o rm M L P D i l a t e d   c o n v o l u t i o n a l   b l o c k M u l t i - p y ra m i d a l   m o d u l e S o ft m a x Cro s s   e n t ro p y   l o s s T e a c h e m o d e l S t u d e n t   m o d e l P re d i c t e d   re s u l t s S o ft   l a b e l s     Fig u r 2 .   Ar c h itectu r o f   k n o wled g d is till atio n - b ased   v is io n   tr a n s f o r m er       3 . 2 . 2 .   M ulti - s ca le  py ra m ida l m o du le    B ased   o n   co m p u ter   v is io n ,   th m u lti - s ca le  p y r am id al  m o d u le  is   in tr o d u ce d .   T h ter m   m u lti - s ca le   r ef er s   to   s am p lin g   o f   f ea tu r e s   at  d if f er e n s tag es.  Ho we v er ,   p e r f o r m in g   s p ec if ic   task   r eq u ir es  d if f er en t   f ea tu r es  at  d if f er en t   s ca le  co n d itio n s th er e f o r e,   th e   m u lti - s ca le  atten tio n   n etwo r k   ( MSANe t)   m u s b e   in tr o d u ce d .   T h m u lti - s ca le  p y r am id al  p o o lin g   m o d u le  o n   th en co d er   a n d   th e   atten tio n   m ec h an is m   o n   th e   d ec o d er ,   wh ich   p r im ar ily   r ef l ec th m u lti - s ca le  f ea tu r e   in t o   two   p o r tio n s ,   s u ch   as  f ea tu r f u s io n   a n d   f ea tu r e   m ap ,   ar e   th f o u n d atio n   o f   th MSANe n etwo r k ' s   d esig n .   Fig u r 3   r ep r esen ts   th ar ch itectu r o f   th e     m u lti - s ca le  p y r am id al  m o d u le  m o d el.       D RConv D RCo nv D RConv C onc a t UP X G ( X ) C o n v   K   x   K A r g   m a x ( * ) D RCo nv . . . 64  64 32  32 + UP P ool i ng     Fig u r 3 .   Ar c h itectu r o f   m u lt i - s ca le  p y r am id al  m o d u le       T h u s o f   m u lti - s ca le  in p u f ea tu r m ap   in cr ea s es  f u s io n s   b etwe en   lo w -   an d   h ig h - r eso lu tio n   d ep th s   as  well  as  s h allo f ea tu r es,  en r ich in g   d etailed   an d   s em an tic  s eg m en tatio n .   Ho we v er ,   g lo b al  av er ag e   p o o lin g   is   u s ed   i n   th e   m u lti - s ca le  p o o lin g   p y r am id al   m o d u le,   wh ich   allo ws  f o r   a   b etter   g r asp   o f   co n tex tu al  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   361 - 3 7 3   366   in f o r m atio n .   T h p o o lin g   m o d u le  ad ap ts   f o u r - p ar allel  lay e r   s tr u ctu r e,   alth o u g h   it  h as  b ee n   ad ju s ted   to   allo f ea tu r m a p s   at  d if f e r en s ca les.  Dy n am ic  r eg i o n - awa r e   co n v o lu tio n   ( DR C o n v )   is   ap p lied   u n d er   ea ch   p o o lin g   lay er .   T h m u lti - s ca le  p o o lin g   m o d u le  in t r o d u ce s   th co n ce p o f   DR C o n v ,   wh ich   is   b ase d   o n   th e   p y r a m id al   p o o lin g   m o d u les.  Py r am id al  p o o lin g   m o d u les  ca n   u s co n tex tu al  in f o r m atio n   at  v ar io u s   s ca les,  an d   DR C o n v   im p r o v es  th s p atial  in ter ac ti o n   o f   c h an g i n g   s em an tic  d ata .   T h DR C o n v   s ep ar ates  th s p atial  d im en s io n s   in to   n u m er o u s   r e g io n s   u s in g   t h lear n a b le  g u id ed   m ask ,   all o win g   it   to   c o m b in a   s et  o f   s em an tically   s im ilar   f ea tu r es  in to   s in g le   r eg i o n ,   a s   f o r m u late d   in   ( 7 ) .   Similar ly ,   th m u lti - s ca le  p y r am id al  p o o lin g   m o d u le   ad d ed   to   DR C o n v   ca n   ef f ec tiv ely   s im u late  s em an tic  d ata  f r o m   m u ltip le  lo ca tio n s   in   h ig h - lev el  s t r u ctu r es,  wh er e   th e   r eg io n   ass ig n m en t is d eter m in ed   b y   th g u id ed   m ask   d ef in ed   in   ( 8 ) ,   h e n ce   im p r o v in g   th s p atial  in ter ac tio n   o f   s tr u ctu r es a t d if f er en t scale s .     , , = , , = 1 , ( ) ( , )   ( 7 )     , =    ( , 0 , , 1 , . . . . , , 1 )   ( 8 )     Her d ef in es   th m ask   = 0 , . . . , 1 ,   wh er e     d en o tes  th e   r eg i o n s   in   th s p atial  d im en s io n ,   b ased   o n   th in p u im a g f ea t u r e x tr ac tio n   o f   th e   m ask   is   p er f o r m ed .   Similar ly ,   s em an tic  s tr u ct u r es  ar g r o u p ed   i n to   u n if o r m   r eg i o n s .   s ig n if ica n m ea s u r o f   DR C o n v ,   th e   m ask     r eg u lates  th d is s em in atio n   o f   co n v o lu tio n al   k er n els  in   th e   s p atial  d im en s io n .   I n   ea ch   r eg io n ,   o n ly   o n c o n v o lu ti o n al  k e r n el   ( [ 0 , 1 ] )   is   s h ar ed .   T h co n v o lu tio n al  k e r n els  ar e   d ef in ed   as   = [ 0 , . . . . 1 ] B t R U   co r r esp o n d in g   t o   th r eg io n   .   T h e   co r r esp o n d in g   co n v o l u tio n al  k er n el,   wh ich   co n v o lv es  o n   t h f ea tu r m ap ,   is   alter ed   ev e r y   tim b ased   o n   its   m ask .   Acc o r d in g   to   th s h a r ed   ar ea ,   th co n v o lu tio n al  k er n el  will  au to m atica lly   ad ju s th s u b s tan tial  s tr u ctu r es  o f   th e   in p u im ag e.   At  th e   en d   o f   th m o d u le,   a   f ea tu r e   m ap   is   im p lem e n ted   u s in g   b ilin ea r   in ter p o latio n .   Fu r th er ,   at  ea c h   lev el,   f ea tu r es  f o llo th s u p er p o s itio n   o p er atio n ,   wh i ch   f in ally   p r o v i d es  o u tp u to   t h d ec o d er .   T h er ef o r e,   m u lti - s ca le  p y r a m id al  m o d u le  allo ws  b etter   co n tex tu al   d ata  ac r o s s   v ar io u s   r eg io n s   an d   im p r o v es  its   ab ilit y   to   s eize   g lo b al  d ata.   T h er e f o r e,   th m u lti - s ca le  f ea tu r es  ac cu r ately   id en tify   an d   class if y   th lan d   c o v er   ty p es e f f ec tiv ely .       4.   RE SU L T S AN D I SCU SS I O   T h s u g g ested   m eth o d   h as  b ee n   r elate d   to   v a r io u s   p r ev ailin g   m eth o d s   lik U - Ne t,  HR Net,   Dee p L ab V3 ,   R esNet5 0 +D ee p L ab V3 ,   a n d   Xce p ti o n +D ee p L ab V3 .   An al y tical  p er f o r m an ce   o f   th is   m eth o d ,   s u ch   as  ac cu r ac y ,   p r ec is io n ,   r ec al l,  F 1 - s co r e,   Dice   s co r e in ter s ec tio n   o v er   u n i o n   ( I o U) ,   Kap p s co r e ,   an d   er r o r   m etr ics,  is   ev alu ated   a s   well  as  co m p ar ed   with   r ec en r esear ch   wo r k s .   T h s u g g ested   m eth o d   is   im p lem en ted   in   MA T L AB   R 2 0 2 1 b ,   u tili zin g   W in d o ws 1 0   OS a n d   8   GB   R AM .     4 . 1 .     B hu v a s a t ellit im a g da t a s et   des cr iptio   Fo r   task s   in v o lv in g   th an aly s is   an d   s eg m en tatio n   o f   lan d   co v er ,   th is   d ataset  is   co n s id er ed   v alu ab le   r eso u r ce   [ 2 8 ] .   s et  o f   s atellite  p h o to s   with   h ig h   s p atial  r eso lu tio n   is   p ar o f   th d ataset.   T h d ataset  in clu d es  s atellite  2 im ag es  o f   Var a n asi,  city   lo ca ted   in   th n o r th e r n   p ar o f   I n d ia,   i n   th e   s tate  o f   Uttar   Pra d esh ,   o r g an ized   alter n atin g   f r o m   2 5 . 3 ° to   2 5 . 5 ° N  latitu d as we ll   as 8 3 °  to   8 3 . 2 °   E lo n g i tu d e.   I t c o n s is ts   o f   s er ies  o f   h ig h - r eso l u tio n   im ag es  o f   th E ar th ' s   s u r f ac e.   T h ese  im ag es  wer ca p tu r ed   b y   th I n d ian   r em o te  s en s in g   s atellite   ( I R S),   p r o ce s s ed ,   an d   m ad ac ce s s ib le  th r o u g h   th B h u v an   g e o   p latf o r m ,   wh ich   is   o p er ated   b y   th I n d ian   s p ac e   r esear ch   o r g an izatio n   ( I SR O) .     4 . 2 .     E x perim ent a a na ly s is   Fig u r 4   d ep icts   an   ex p er im e n tal  in v esti g atio n   o f   t h s u g g ested   s tr ateg y   u s in g   th B h u v an   s atellite   im ag d ataset .   T h in p u im ag is   g iv en   in   Fig u r 4 ( a) .   Fig u r 4 ( b )   s h o ws  th p r e - p r o ce s s ed   im ag ac q u ir ed   th r o u g h   th ap p licatio n   o f   an   Imp - GF .   Fig u r 4 ( c)   s h o ws  th s eg m en ted   im ag th at  th s u g g ested     KD - Mu ViT Py   m o d el  o b tain s .     4 . 3 .     P er f o r m a nce  a na ly s is   in bo t h t ra ini ng   a nd   t esting   T r ain in g   b ased   p er f o r m an ce   a n aly s is   o f   th e   p r o p o s ed   m o d el ,   ass ess ed   in   ter m s   o f   th m et r ics  s u ch   as   ac cu r ac y ,   p r ec is io n ,   r ec all,   a s   well  as  F1 - s co r u s in g   th e   B h u v an   s atellite  im ag d ata s et,   is   d ep icted   in     Fig u r 5 .   T h p er f o r m an ce   a n aly s is   o f   th r ec o m m en d ed   m o d el  u s in g   th B h u v an   s atellite  im ag d ataset  is   s h o wn   in   Fig u r 6 .   T h is   an aly s is   i s   a s s e s s ed   in   ter m s   o f   m etr ics  s u ch   as  ac cu r ac y ,   p r ec is io n ,   r ec all,   F1 - s co r e,   Dice   s co r e,   I o U,   an d   Kap p a   s co r e .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Mu lti - s ca le  fea tu r es a s s i s ted   kn o w led g d is till a tio n   visi o n   tr a n s fo r mer fo r   la n d   …  ( S u ja t a   A r ju n   Ga ikw a d )   367                     ( a)   ( b )   ( c)     Fig u r 4 .   E x p er im e n tal  an aly s is   u s in g   th B h u v an   s atellite  d ataset  in   ter m s   o f   ( a)   o r ig in al   i m ag e ,     ( b )   p r e - p r o ce s s ed   im ag e an d   ( c)   s eg m en ted   o u tco m es           Fig u r 5 .   T r ain in g   b ased   p er f o r m an ce   an aly s is   o f   s eg m e n tatio n   u s in g   B h u v an   Satellite  d ata s et       T h s eg m en tatio n   ac cu r ac y   e v alu ated   b y   e x is tin g   m eth o d s ,   s u ch   as  U - Net ,   HR Net,   Dee p L ab V3 ,   R esNet5 0 +D ee p L ab V3 ,   Xce p tin +D ee p L ab V3 ,   ac h iev es  v alu es  o f   8 4 . 3 5 7 2 7 %,  8 7 . 1 8 5 3 4 %,  9 3 . 5 0 8 0 9 %,   9 6 . 2 9 5 7 %,  an d   9 7 . 8 2 0 9 %,  r e s p ec tiv ely ,   as  d ep icted   in   Fi g u r 6 ( a) .   Similar ly ,   t h p r ec is io n   ev alu ated   b y   ex is tin g   m eth o d s   is   illu s tr ated   in   Fig u r e   6 ( b ) ,   w h ich   ac h ie v e d   v alu es  o f   8 3 . 9 5 3 2 6 %,  8 7 . 8 2 1 6 5 %,  9 3 . 6 0 9 0 9 %,  9 6 . 8 5 1 2 7 %,  a n d   9 7 . 9 9 2 6 %,   r esp ec tiv ely .   T h e   r ec all  w as  ass e s s ed   u s in g   ex is tin g   m eth o d s ,   s u ch   as   8 2 . 7 1 0 9 3 %,  8 5 . 8 6 2 2 %,  9 3 . 1 5 4 5 8 %,  9 6 . 0 7 3 5 5 %,  an d   9 7 . 0 8 3 5 8 %,  r esp ec tiv ely .   T h F1 - s co r ev alu ated   b y   th s u g g ested   m eth o d   is   9 9 . 2 2 3 9 7   %,  as  d ep icted   in   Fig u r es   6 ( c)   an d   6 ( d ) .   T h Dice   s co r was  ev alu ated   b y   ex is tin g   m eth o d s ,   s u c h   as  8 1 . 5 9 %,  8 5 . 9 8 %,  9 2 . 3 1 %,  9 5 . 1 3 %,  an d   9 6 . 0 1 %,  r esp ec tiv el y .   T h e   Dice   s co r e   ass es s ed   b y   th e   s u g g ested   m eth o d   is   9 8 . 2 3 %,  as  s h o wn   in   Fig u r e   6 ( e) .   T h e   I o ev a lu ated   b y   ex is tin g   m eth o d s   is   8 0 . 0 2 %,  8 3 . 9 9 %,  8 8 . 2 5 %,   9 2 . 6 8 %,  a n d   9 4 . 9 9 %.  T h e   p r o p o s ed   m eth o d   o b tain ed   a n   I o o f   9 6 . 5 5 %,   wh ich   is   s h o wn   i n   F ig u r 6 ( f ) .   T h e   Kap p a   s co r e   was  ev alu ated   b y   e x is tin g   m eth o d s   at  v alu es  o f   7 9 . 2 5 %,  8 2 . 7 5 %,  8 7 . 8 8 %,  9 1 . 3 5 %,  an d   9 3 . 8 6 %.  T h s u g g e s ted   m eth o d   o b tain e d   Kap p s co r o f   9 5 . 9 1 %,  wh ich   is   d ep icted   in   Fig u r 6 ( g ) .   T h s u g g ested   m et h o d   p r o d u ce d   th b est  r esu lts   wh en   co m p ar ed   to   o th e r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   361 - 3 7 3   368   tech n iq u es.  Fig u r 7   s h o ws  th p er f o r m an ce   an aly s is   o f   th e   r ec o m m e n d ed   tech n iq u ac r o s s   i n cl u d i n g   m an y   class es;   Fi g u r e   7 ( a)   f o r   u r b a n ,   Fi g u r e   7 ( b )   f o r   w ate r ,   Fi g u r e   7 ( c )   f o r   f o r est ,   Fi g u r e   7   ( d )   f o r   a g r icu ltu r e,   an d   Fig u r 7 ( e)   f o r   r o ad u s in g   th e   B h u v an   Satellite im ag d ataset.         ( a)     ( b )         ( c)     ( d )         ( e)     (f)       ( g )     Fig u r 6 .   T esti n g   b ased   p er f o r m an ce   an aly s is   o f   s eg m e n tatio n   u s in g   B h u v a n   s atellite  d ataset  in   ter m s   o f     ( a)   ac cu r ac y ,   ( b )   p r ec is io n ,   ( c)   r ec all ( d )   F1 - s co r e,   ( e )   Dice   s co r e,   ( f )   I o U,   an d   ( g )   Ka p p s co r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Mu lti - s ca le  fea tu r es a s s i s ted   kn o w led g d is till a tio n   visi o n   tr a n s fo r mer fo r   la n d   …  ( S u ja t a   A r ju n   Ga ikw a d )   369     ( a)     ( b )         ( c)     ( d )       ( e)     Fig u r 7 .   L a n d   c o v er   class if icatio n   ac cu r ac y   of   ( a)   u r b an ,   ( b )   wate r ,   ( c)   f o r est ,   ( d )   ag r ic u ltu r e ,   an d   ( e)   r o ad       4 . 4 .     Co m pa ra t iv a na ly s is   I n   th is   an aly s is ,   th s u g g ested   m o d el  is   r elate d   to   co n v en tio n al  m o d els  s u ch   as  U - Net ,   HR Net,   Dee p L ab V3 ,   R esNet5 0 +D ee p L ab V3 ,   an d   Xce p tin +D ee p L a b V3 .   T h p r o p o s ed   m o d el  h as   o b tain ed   tr ain in g   p h ase  ac cu r ac y   o f   9 9 with   3 0 0   ep o c h s   an d   8 0 o f   th t r ain in g   d ata.   T h s u g g ested   m o d el  h as  tr ain in g   lo s s   v alu o f   less   th an   1   with   3 0 0   ep o c h s ,   with   8 0 % o f   th tr ain in g   d ata.   T h s u g g ested   m o d el  ac h iev ed   b ette r   o u tco m es  co m p ar ed   with   o th e r   ex is tin g   m o d els.  T h s u g g es ted   m o d el   h as  o b tain e d   test i n g   p h ase  ac cu r ac y   o f   9 8 with   3 0 0   ep o ch s .   T h e   s u g g ested   m o d el  h as  a   test in g   lo s s   v alu o f   less   th an   1   wi th   3 0 0   ep o ch s .   T h e   s u g g ested   m o d el  ac h iev e d   b et ter   o u tco m es  c o m p a r ed   with   o th er   ex is tin g   m eth o d s .   B o th   tr ain in g   as  well  as   test in g   ac cu r ac y   an d   lo s s   ar e   s h o wn   in   Fig u r e   8 .   Sp ec if ically ,   Fig u r e   8 ( a )   illu s tr ates  th tr ain in g   ac c u r ac y ,   Fig u r 8 ( b )   s h o ws  th tr ain i n g   lo s s ,   Fig u r 8 ( c)   p r esen ts   t h test in g   ac cu r ac y ,   an d   Fig u r 8 ( d )   d ep icts   th test in g   lo s s .   Fig u r 8   s h o ws  th tr ain in g - b ased   p e r f o r m an ce   an aly s is   f o r   ac cu r ac y ,   p r ec is io n ,   r ec all,   as  well  as   th F1 - s co r e.   W h en   co m p a r e d   to   cu r r en m o d els,  th s u g g ested   m o d el  attain ed   an   ac cu r ac y   o f   9 9 . 0 0 %.  Similar ly ,   an aly s es  o f   p r ec is io n ,   r ec all,   as  well  as  F1 - s co r r ev ea led   s u p er io r   p er f o r m an ce   v alu es  o f   9 9 . 2 8 %,   9 8 . 4 7 %,  a n d   9 9 . 2 2 %,  r esp ec tiv ely .   T ab le  1   s h o ws a  co m p ar i s o n   o f   th e x is tin g   an d   p r o p o s ed   m o d els.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   1 ,   Feb r u ar y   2 0 2 6 :   361 - 3 7 3   370       ( a)   ( b )           ( c)   ( d )     Fig u r 8 .   T r ain in g   a n d   test in g   ac cu r ac y   as we ll a s   lo s s   u s in g   B h u v an   s atellite  d ataset   of   ( a)   tr ain in g   ac cu r ac y ,   ( b )   tr ain in g   lo s s ,   ( c)   test in g   ac cu r ac y ,   a n d   ( d )   test in g   lo s s       T ab le  1 .   T r ai n in g   b ased   co m p ar ativ an aly s is   o f   s eg m en tati o n   u s in g   B h u v an   s atellite  d ataset   M e t r i c s   U - N e t   H R N e t   D e e p La b V 3   R e s n e t 5 0 + D e e p La b V 3   X c e p t i n + D e e p La b V 3   P r o p o se d   m o d e l   A c c u r a c y   ( %)   8 4 . 3 5 7 2 7   8 7 . 1 8 5 3 4   9 3 . 5 0 8 0 9   9 6 . 2 9 5 7 6   9 7 . 8 2 0 9   9 9 . 0 0 0 6 4   P r e c i s i o n   ( %)   8 3 . 9 5 3 2 6   8 7 . 8 2 1 6 5   9 3 . 6 0 9 0 9   9 6 . 8 5 1 2 7   9 7 . 9 9 2 6   9 9 . 2 8 6 7 2   R e c a l l   ( %)   8 2 . 7 1 0 9 3   8 5 . 8 6 2 2   8 9 . 8 4 1 7   9 4 . 9 3 2 2 3   9 6 . 3 3 6 1 6   9 8 . 4 7 4 8 9   F1 - sc o r e   ( %)   8 2 . 7 1 0 9 3   8 6 . 7 5 1 0 3   9 3 . 1 5 4 5 8   9 6 . 0 7 3 5 5   9 7 . 0 8 3 5 8   9 9 . 2 2 3 9 7       T esti n g   b ased   co m p ar ativ a n aly s is   o f   th p r o p o s ed   m o d el  u s in g   B h u v a n   s atellite  im ag d ata  is   s h o wn   in   T ab le  2 .   T h s u g g ested   m o d el  attain ed   th m a x im al  ac cu r ac y   o f   9 8 . 0 1   %,   wh ich   is   1 4 . 4 9 %,   1 1 . 6 9 %,  5 . 4 3 %,  2 . 6 7 %,  an d   1 . 1 6 s u p er io r   to   th ex is tin g   U - Net ,   HR Net,   Dee p L ab V3 ,   R esNet5 0 +D ee p L ab V3 ,   an d   Xce p tin +D ee p L ab V3   m o d els .   Similar ly ,   t h s u g g ested   m o d el  o b tain ed   th e   p r ec is io n   v alu o f   9 8 . 9 9 %,  wh ich   is   1 5 . 8 7 %,  1 2 . 0 4 %,  6 . 3 1 %,  3 . 1 %,  an d   1 . 9 7 s u p er i o r   to   th tr ad itio n a l   m o d els.  T h s u g g ested   m o d el  o b tain ed   r ec all  v alu o f   9 7 . 4 9 %,  wh ich   is   1 5 . 6 %,  1 2 . 4 8 %,  8 . 5 4 %,  3 . 5 %,  an d   2 . 1 1 s u p er i o r   to   th ex is tin g   m o d els.  T h s u g g ested   m o d el  o b tain e d   an   F1 - s co r o f   9 8 . 2 3 %,  wh ich   is   1 6 . 3 4 %,  1 2 . 3 4 %,  6 . 0 0 %,  3 . 1 1 %,  an d   2 . 1 1 s u p er io r   to   t h e   ex is tin g   m o d els.  Ho wev er ,   t h p r o p o s ed   m o d el  o b tain ed   a   Dice   s co r v alu o f   9 8 . 2 3   %,   wh ich   is   1 6 . 6 4 %,   1 2 . 2 5 %,   5 . 9 2 %,  3 . 1 %,  an d   2 . 2 2 m o r e   th an   th e   ex is tin g   m o d els.  T h e   p r o p o s e d   m o d el  o b tain ed   an   I o v al u o f   9 6 . 5 5   %,  wh ich   is   1 6 . 5 3 %,  1 2 . 5 6 %,  8 . 3 %,  3 . 8 7 %,  an d   1 . 5 6 s u p er i o r   to   th co n v en tio n al  m o d el.   T h p r o p o s ed   m o d el  o b tain e d   K ap p s co r v alu o f   9 5 . 9 1   %,  wh ich   is   1 6 . 6 6 %,  1 3 . 1 6 %,  8 . 0 3 %,  4 . 5 6 %,  an d   2 . 0 5 % b etter   th an   th c u r r en m o d els.       T ab le  2 .   T esti n g   b ased   co m p a r ativ an aly s is   o f   s eg m en tatio n   u s in g   B h u v a n   s atellite  d ataset  [ 2 9 ]   M e t r i c s   U - N e t   H R N e t   D e e p La b V 3   R e s n e t 5 0 + D e e p La b V 3   X c e p t i n + D e e p La b V 3   P r o p o se d   m o d e l   A c c u r a c y   ( %)   8 3 . 5 2   8 6 . 3 2   9 2 . 5 8   9 5 . 3 4   9 6 . 8 5   9 8 . 0 1   P r e c i s i o n   ( %)   8 3 . 1 2   8 6 . 9 5   9 2 . 6 8   9 5 . 8 9   9 7 . 0 2   9 8 . 9 9   R e c a l l   ( %)   8 1 . 8 9   8 5 . 0 1   8 8 . 9 5   9 3 . 9 9   9 5 . 3 8   9 7 . 4 9   F1 - sc o r e   ( %)   8 1 . 8 9   8 5 . 8 9   9 2 . 2 3   9 5 . 1 2   9 6 . 1 2   9 8 . 2 3   D i c e   sc o r e   ( %)   8 1 . 5 9   8 5 . 9 8   9 2 . 3 1   9 5 . 1 3   9 6 . 0 1   9 8 . 2 3   I o U   ( %)   8 0 . 0 2   8 3 . 9 9   8 8 . 2 5   9 2 . 6 8   9 4 . 9 9   9 6 . 5 5   K a p p a   s c o r e   ( %)   7 9 . 2 5   8 2 . 7 5   8 7 . 8 8   9 1 . 3 5   9 3 . 8 6   9 5 . 9 1   Evaluation Warning : The document was created with Spire.PDF for Python.