I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   4 A u g u s t   20 25 ,   p p .   3 9 9 6 ~ 4 0 0 3   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 4 . pp 3 9 9 6 - 4 0 0 3           3996       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   M ulti - cla ss  pne u mo nia  det ect io n u sing  f ine - tuned  vis io trans former mo d el       K hu s h bo o   T riv edi Chin t a n   B.   T ha ck er   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g   D e p a r t me n t ,   P a r u l   U n i v e r si t y ,   V a d o d a r a ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   1 2 ,   2 0 2 4   R ev is ed   Ma r   5 ,   2 0 2 5   Acc ep ted   Ma r   2 0 ,   2 0 2 5       Distin g u ish i n g   b e twe e n   th e   v a ri o u f o rm o p n e u m o n ia   (b a c teria l,   v iral,   fu n g a l,   a n d   n o rm a l u sin g   c h e st  X - ra y is  a   m a jo p ro b lem   in   g l o b a h e a lt h .   Co n v e n ti o n a a p p r o a c h e to   p n e u m o n ia  i d e n ti fica ti o n   fre q u e n tl y   d e p e n d   o n   lab o ri o u a n d   e rro r - p r o n e   m a n u a in ter p re tatio n .   C u rre n m a c h i n e   lea rn in g   ( ML )   m o d e ls,  li k e   c o n v o l u ti o n a n e u ra n e two rk (CN N s) ,   h a v e   d e m o n stra ted   so m e   su c c e ss ,   b u t h e y   fre q u e n tl y   fa il   o n   j o b re q u ir in g   m u lt i - c las c las sific a ti o n   o g e n e ra li z a ti o n .   T h e   p o ten ti a o v isio n   tra n sfo rm e (ViT)   m o d e ls,  fi n e - tu n e d   t o   a d d re ss   th e se   li m it a ti o n s,   is  e x p l o re d .   T h e   a p p ro a c h   e n h a n c e th e   a c c u ra c y   o p n e u m o n ia  c las sifica ti o n   in to   f o u r   d isti n c c las se b y   le v e ra g in g   th e   a tt e n ti o n   m e c h a n ism   in   v isio n   tra n sfo rm e rs  (ViTs) .   F i n e - tu n in g   wit h   a   tag g e d   c h e st  X - ra y   d a tas e imp ro v e t h e   a lg o rit h m ' a b il it y   to   d e tec s u b tl e   v a riati o n s   in   p n e u m o n ia  t y p e s.  T h e   fin d i n g s   d e m o n stra te   th e   m o d e l' e ffe c ti v e n e ss   in   m u lt i - c las p n e u m o n ia   d iag n o sis,  a c h iev i n g   a   sig n ifi c a n p e rfo rm a n c e   imp ro v e m e n with   9 8 %   a c c u ra c y   a c ro ss   th e   fo u c las se s.  Th is  wo r k   h i g h li g h ts  th e   p ro m ise   o v isi o n   tran sfo rm e rs  in   m e d ica ima g in g ,   e n a b li n g   th e   d e v e lo p m e n o imp r o v e d   a n d   sc a lab le p n e u m o n ia cla ss ifi c a ti o n   m e th o d s.   K ey w o r d s :   C h est X - R ay   clas s if icatio n   Fin e - tu n in g   Me d ical  im ag in g   Mu lti - class   p n eu m o n ia   Vis io n   tr an s f o r m er     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kh u s h b o o   T r iv ed i   C o m p u ter   Scien ce   an d   E n g i n e er in g   Dep ar tm e n t,  Par u l U n iv er s ity   Vad o d ar a,   G u jar at,   I n d ia   E m ail: k h u s h b o o . tr iv e d i2 1 3 0 5 @ p ar u lu n iv er s ity . ac . in       1.   I NT RO D UCT I O N   Pn eu m o n ia  r em ain s   s ig n if ic an g lo b al  h ea lth   ch allen g e ,   in f ec tin g   m illi o n s   an n u ally   an d   ca u s in g   s u b s tan tial  n u m b er   o f   d ea th s .   E ar ly   a n d   ac c u r ate  d iag n o s i s   is   cr itical  f o r   im p r o v in g   p a tien o u tco m es  a n d   r ed u cin g   co m p licatio n s   [ 1 ] ,   [ 2 ] .   C h est  X - r ay s   ar wid ely   u s ed   f o r   d iag n o s in g   p n eu m o n ia,   b u in ter p r etin g   th ese  im ag es  is   co m p lex   task ,   esp ec ially   wh en   d is t i n g u is h in g   b etwe en   b ac te r ial,   v ir al,   f u n g al,   a n d   m y co p lasma   p n eu m o n ia.   Va r iab ilit y   in   h o p n eu m o n ia   m an if ests   ac r o s s   p atien ts   f u r th er   c o m p licates  d iag n o s is ,   m ak in g   m an u al  in te r p r etatio n   b y   r a d io lo g is ts   b o th   tim e - in ten s iv an d   p r o n to   er r o r s   [ 3 ] [ 5 ] .   R ec en ad v an ce m en ts   in   d ee p   lear n in g   h a v led   to   p r o m is in g   d ev el o p m en ts   in   a u to m ati n g   m ed ical  im ag an aly s is .   C o n v o lu tio n a n eu r al  n etw o r k s   ( C NNs)  h av b ee n   p ar ticu lar l y   s u cc ess f u in   im ag e - b ased   d is ea s d iag n o s is ,   in clu d in g   p n eu m o n ia  class if icatio n   [ 6 ] [ 8 ] .   Ho wev er ,   C NNs  o f ten   s t r u g g le  with   m u lti - class   clas s if icatio n   task s   th at  r eq u ir e   r ec o g n izin g   s u b tle  v ar iatio n s   b etwe en   ca teg o r ies.   Ad d itio n ally ,   th eir   p er f o r m an ce   ca n   d e g r ad e   wh e n   ap p lied   to   u n s ee n   o r   d iv e r s d atasets ,   h ig h lig h tin g   n ee d   f o r   m o r a d ap tab le   an d   r o b u s t so lu tio n s   [ 9 ] ,   [ 1 0 ] .   Vis io n   tr an s f o r m e r s   ( ViT s )   o f f er   a   co m p ellin g   alter n ativ e   to   C NNs   b y   lev er ag i n g   s elf - atten tio n   m ec h an is m s   to   ca p tu r lo n g - r an g d ep e n d en cies  with in   im ag es.  T h is   ca p ab ilit y   m ak es  th em   well - s u ited   f o r   co m p lex   class if icatio n   p r o b le m s .   T h g o al  o f   th is   r esear ch   is   to   ex p lo r th ef f ec tiv en ess   o f   f in e - tu n e d   ViT s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Mu lti - cla s s   p n eu mo n ia   d etec t io n   u s in g   fin e - tu n ed   visi o n   tr a n s fo r mer m o d el   ( K h u s h b o o   Tr ived i )   3997   in   th m u lti - class   cla s s if icat io n   o f   p n eu m o n ia,   aim in g   to   o v er co m th lim itatio n s   o f   ex is tin g   m eth o d s   an d   ac h iev h ig h   ac cu r ac y   ac r o s s   d if f er en t   p n e u m o n ia  ty p es.  T h is   s tu d y   asp ir es  to   co n tr ib u te   t o   th e   d ev el o p m en t   o f   s ca lab le,   r eliab le,   a n d   ef f icien t d iag n o s tic  to o ls   f o r   p n eu m o n ia  d etec tio n .       2.   L I T E R AT U RE   S T UDY   T h u s o f   ar tific ial  in tellig en ce   ( AI )   an d   d ee p   lea r n in g   h as  r ev o lu tio n ized   m ed ica im ag in g ,   p ar ticu lar ly   in   p n e u m o n ia   d ia g n o s is .   ViT s   h av im p r o v e d   e f f icien cy   an d   ac cu r ac y   i n   ch es X - r ay   an al y s is   f o r   p n eu m o n ia   [ 1 ] .   T r an s f er   lear n in g   alg o r ith m s ,   s u c h   as  th o s ap p lied   to   d etec C OVI D - 1 9   p n e u m o n ia,   h a v e   b ee n   k e y   in   e n h an ci n g   d ia g n o s is   [ 2 ] ,   [ 3 ] .   Gen etic  alg o r it h m s   r ef in in g   m o d els  lik DC GAN s   with   C NN   ar ch itectu r es  ( e. g . ,   VGG - 1 6 )   h av f u r th e r   im p r o v e d   p n eu m o n ia  ca teg o r izatio n   [ 4 ] .   Den s eNe t - 1 2 1   h as  b ee n   ef f ec tiv in   p ed iatr ic  p n eu m o n ia  class if icatio n ,   ev en   with   i m b alan ce d   d atasets   [ 5 ] ,   [ 6 ] .   Sy s tem atic  r ev iews  h av s u p p o r ted   p n eu m o n ia  d i ag n o s is   in   r e g io n s   with   h ig h   c o m o r b i d ities ,   lik I n d ia  [ 7 ] ,   w h ile  m o d els  lik e   th e   L AC E   in d ex   p r e d ict  3 0 - d ay   h o s p ital r ea d m is s io n s   f o r   p n eu m o n ia  [ 8 ] ,   [ 9 ] .   T h co r o n a v ir u s   d is ea s 2 0 1 9   ( C OVI D - 19 )   p a n d em ic   h as  a m p lifie d   th e   im p o r tan ce   o f   d e ep   lear n in g   in   p n eu m o n ia  d etec tio n .   E m er g in g   tec h n iq u es,  in clu d in g   ex p lain ab le  m o d els  an d   f u zz y - en h a n ce d   d ee p   lear n in g ,   h a v s h o wn   p r o m is in   ea r ly   p n eu m o n ia  p r e d ictio n ,   esp ec ially   in   C OVI D - 1 9   ca s es  [ 1 0 ] ,   [ 1 1 ] Gr ap h - b ased   d ee p   lear n in g   w ith   d if f u s io n   p s eu d o - lab elin g   h as  en h an ce d   ex p lain a b ilit y   in   d iag n o s es  [ 1 2 ] ,   [ 1 3 ] ,   an d   ViT - b ased   m o d el s   f o r   C OVI D - 1 9   s cr ee n i n g   p r o v i d s tr o n g   d iag n o s tic  ju s tific atio n s   [ 1 4 ] I n ter p r etab le   p n eu m o n ia  alg o r ith m s   th at   in teg r ate   m u lti s o u r ce   d ata   h a v b ee n   d ev elo p ed   [ 1 5 ] .   Oth e r   d iag n o s tic  ap p r o ac h es,  s u c h   as  an tig en   an d   n u cleic   ac i d   am p lific atio n   test s ,   h av also   co n tr ib u ted   to   p n eu m o n ia  r esear c h   [ 1 6 ] ,   [ 1 7 ] .   C NNs  with   L I ME   h a v im p r o v ed   th in ter p r etab ilit y   o f   p n eu m o n ia   d iag n o s es  [ 1 8 ] ,   an d   s elf - s u p e r v is ed   lear n in g   h as  en h an ce d   g en e r aliza b ilit y   [ 1 9 ] .   Ps eu d o - lab elin g   h as  f u r th er   r ef i n e d   C OVI D - 1 9   d iag n o s is   ac cu r a cy   [ 2 0 ] .   T h W o r l d   Hea lth   Or g an izatio n   h as  s tr ess ed   th n ee d   to   im p r o v d etec tio n   p r o to co ls   d u r in g   th e   p an d em ic  [ 2 1 ] .   Dee p   r esid u a n etwo r k s   co m b i n ed   with   tr a n s f er   lear n in g   h av e   o p tim ized   p e d iatr ic  p n e u m o n i d iag n o s is   [ 2 2 ] .   GANs  ar in cr ea s in g ly   u s ed   in   m ed ical  im ag an aly s is ,   in clu d in g   b o n s u r f ac s eg m en tatio n   an d   b r ea s u ltra s o u n d   im ag i n g   [ 2 3 ] ,   [ 2 4 ] .   GAN - b ased   a u g m e n tatio n   h as  h elp ed   o v e r co m e   d ata  s h o r tag es  in   p n eu m o n ia  d iag n o s is   [ 2 5 ] ,   [ 2 6 ]   an d   h as  in cr ea s ed   m o d el  g en er aliza b ilit y   in   o th er   a r ea s ,   s u ch   as  h ip   f r ac tu r e   d etec tio n   an d   p r o s tate  ca n ce r   g r ad i n g   [ 2 7 ] ,   [ 2 8 ] .   Dee p   lear n in g   m o d els  lik C h eXN eXt  h av d e m o n s tr ated   ef f ec tiv en ess   in   d iag n o s in g   ch est  illn ess es,  in clu d in g   p n eu m o n ia,   co m p ar ed   to   r ad io lo g is ts   [ 2 9 ] .   T h e   av ailab ilit y   o f   o p en   c h est  X - r ay   d atasets   h as  ac ce ler ated   r esear ch   b y   p r o v id in g   cr itical  tr ain in g   d ata  f o r   m o d els  [ 3 0 ] .   C NNs  an d   GANs  ar p ar ticu lar ly   u s ef u f o r   p n eu m o n ia  d ia g n o s is ,   esp ec ially   in   d ata - lim ite d   s ce n ar io s   [ 3 1 ] ,   [ 3 2 ] .   Fin e - t u n i n g   p r e - t r ain ed   C NN  m o d els  h as  en ab led   ac cu r ate  lo ca lizatio n   an d   class if icatio n   o f   lu n g   illn ess es  in   ch est  X - r a y s   [ 3 3 ] .   AI - b ased   s cr ee n in g   s y s tem s   h av p la y ed   a   cr u cial  r o le  in   im p r o v i n g   th e   ac cu r ac y   an d   s p ee d   o f   p n eu m o n ia  d iag n o s is   d u r in g   th C OVI D - 1 9   p an d em ic  [ 3 4 ] .   T h r o le  o f   AI   ex ten d s   b ey o n d   p n e u m o n ia,   in f lu e n ci n g   d iag n o s tics   in   o th er   d is ea s es,  s u ch   as  ea r ly   lu n g   ca n ce r   d etec tio n   [ 3 5 ] ,   [ 3 6 ] Pn eu m o n ia  d ia g n o s is   s y s tem s   b ased   o n   C NNs  h av s u cc ess f u lly   p r o ce s s ed   lar g X - r a y   d atasets   [ 3 7 ] ,   [ 3 8 ] Ad v an ce s   in   co m p u tatio n al  al g o r ith m s   co n tin u to   d r iv th e   ev o lu tio n   o f   AI - d r iv en   m e d ic al  im ag d iag n o s is   [ 3 9 ] ,   [ 4 0 ] ,   an d   co m p ar is o n s   b etwe en   C T   s ca n s   an d   PC R   test s   h av h ig h li g h ted   th im p o r tan ce   o f   p r o m p t   C OVI D - 1 9   p n eu m o n ia  d ia g n o s is   [ 4 1 ] .       3.   M E T H O D   T h e   m e t h o d   s e ct i o n   b e g i n s   w ith   a n   o v e r v i e w   o f   t h e   d at a s e t s   u s e d   f o r   p n e u m o n i a   d e t e c ti o n ,   a s   d e t ai l e d   i n   T a b l e   1 .   T h es e   p u b l i cl y   av a i l a b l e   d at a s et s   i n c l u d e   v ar i e t y   o f   c h e s t   X - r a y   i m a g e s   la b e l l e d   t o   i d e n t i f y   p n e u m o n i a ,   w i t h   d e t ai ls   a b o u t   t h e i r   s i z e ,   s o u r c e ,   a n d   s p ec i f i c   u s e   c as e s   p r o v i d e d   i n   t h e   t a b l e .   T h e   p r e p r o c e s s i n g   t e c h n i q u e s ,   o u t l i n e d   i n   T a b l e   2 ,   d e s c r i b e   s t e p s   t a k e n   t o   p r e p a r e   t h e   m e d i c a l   i m a g e s   f o r   d e e p   l e a r n i n g   m o d e l s ,   s u c h   as   r es i zi n g   t o   c o n s i s te n t   i m a g s i z e ,   n o r m a li z i n g   p i x el   v a l u es ,   a n d   a u g m e n t i n g   t h d a t a s et   t o   i m p r o v m o d e l   g e n e r a l i za t i o n .   F i n a ll y ,   T a b l e   3   p r es e n ts   t h d e e p   le a r n i n g   a r c h i t e ct u r e s   e m p l o y e d   t o   c l as s i f y   p n e u m o n i a   f r o m   c h e s t   X - r a y s ,   i n c l u d i n g   ad v a n c e d   m o d e l s   l i k e   V i T ,   V GG - 1 6 ,   a n d   R e s N e t - 5 0 ,   e a c h   c h o s e n   f o r   t h e i r   p r o v e n   p e r f o r m a n c e   i n   i m a g e   c l as s i f ic a t i o n   t as k s .   T h e s e   m o d e ls   ar e   t r a i n e d   u s i n g   t h p r o c e s s ed   d a t a s et s   a n d   a r e v a l u a t e d   b a s e d   o n   t h e i r   a c c u r ac y   a n d   a b i l i t y   t o   d e te c t   p n e u m o n i a   f r o m   t h e   X - r a y   i m a g es .       T ab le  1 .   L is t o f   d atasets   D a t a s e t   N u mb e r   o f   I mag e s / P a t i e n t s   C a t e g o r i e s   N I H   d a t a se t   [ 3 8 ]   1 0 8 , 9 4 8   c h e s t   r a d i o g r a p h s   f r o 3 2 , 7 1 7   p a t i e n t s   8   C H d a t a se t   [ 3 9 ]     2 2 4 , 3 1 6   c h e s t   X - r a y s fr o m   6 5 , 2 4 0   p a t i e n t s   14   K A G   d a t a se t   [ 4 0 ]   5 , 8 6 3   c h e st   X - r a y   i m a g e s (p e d i a t r i c   p a t i e n t o n l y )   2     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   3 9 9 6 - 4003   3998   T ab le  2 .   L is t o f   p r e - p r o ce s s   m eth o d s   M e t h o d   M e t h o d s/ D e t a i l s   R e si z e   [ 2 ] ,   [ 3 ] ,   [ 1 3 ] ,   [ 1 4 ] ,   [ 1 6 ] ,   [ 1 7 ] ,   [ 1 9 ] ,   [ 2 1 ] ,   [ 2 4 ]     -   N e a r e s t - n e i g h b o r   i n t e r p o l a t i o n :   U s e t h e   c l o s e st   p i x e l   t o   t h e   n e w   p i x e l   l o c a t i o n   ( f a st   b u t   may   a p p e a r   b l o c k y ) .     -   B i l i n e a r   i n t e r p o l a t i o n :   A v e r a g e t h e   f o u r   c l o ses t   p i x e l s f o r   a   smo o t h e r   r e s u l t .     -   B i c u b i c   i n t e r p o l a t i o n :   U ses   c u b i c   p o l y n o m i a l f o r   s mo o t h e r   i ma g e s   b u t   i c o m p u t a t i o n a l l y   e x p e n si v e .     -   A sp e c t   r a t i o :   P r e s e r v e s   a s p e c t   r a t i o   d u r i n g   r e si z i n g   t o   a v o i d   d i s t o r t i o n .     -   P a d d i n g :   A d d b o r d e r t o   ma i n t a i n   a sp e c t   r a t i o   d u r i n g   r e si z i n g .   N o r mal i z a t i o n   [ 1 ] ,   [ 2 ] ,   [ 4 ] ,   [ 6 ] ,   [ 1 8 ] ,   [ 2 2 ]   -   M i n - m a x   n o r ma l i z a t i o n :   S c a l e s   p i x e l   v a l u e s   t o   a   sp e c i f i e d   r a n g e ,   u s u a l l y   [ 0 ,   1 ]   u si n g   t h e   f o r mu l a :     n o rm a l i ze d _ v a l u e = ( p i x e l _ v a l u e   -   m i n _ v a l u e ) / ( m a x _ v a l u e   -   m i n _ v a l u e ) .     -   Z - sco r e   n o r m a l i z a t i o n :   A d j u st s   p i x e l   v a l u e s   t o   h a v e   a   m e a n   o f   0   a n d   s t a n d a r d   d e v i a t i o n   o f   1   u si n g :     n o rm a l i ze d _ v a l u e = ( p i x e l _ v a l u e   -   m e a n ) / ( st a n d a r d _ d e v i a t i o n ) .     -   S t a n d a r d i z a t i o n :   A   s u b s e t   o f   n o r ma l i z a t i o n ,   i t   r e sc a l e p i x e l   v a l u e s   t o   h a v e   a   me a n   o f   0   a n d   v a r i a n c e   o f   1   u s i n g :     st a n d a r d i z e d _ v a l u e = ( p i x e l _ v a l u e   -   m e a n ) / ( st a n d a r d _ d e v i a t i o n ) .       T ab le  3 .   L is t o f   m o d el   M e t h o d   D e scri p t i o n   V i si o n   t r a n sf o r m e r   ( V i T)   [ 1 ]   A   t r a n sf o r m e r - b a s e d   a r c h i t e c t u r e   f o r   i ma g e   c l a ss i f i c a t i o n   t h a t   u ses   se l f - a t t e n t i o n   me c h a n i sms   i n s t e a d   o f   C N N s.   D i v i d e s i ma g e i n t o   f i x e d - si z e   p a t c h e s,  p r o c e sses   t h e m   a t o k e n s ,   a n d   c a p t u r e s g l o b a l   d e p e n d e n c i e s.   VGG - 16  [ 4 ]   A   d e e p   C N N   a r c h i t e c t u r e   w i t h   1 6   w e i g h t   l a y e r s :   1 3   c o n v o l u t i o n a l   a n d   3   f u l l y   c o n n e c t e d   l a y e r s.   I t   u s e sm a l l   3 x 3   f i l t e r s t o   e x t r a c t   f i n e   d e t a i l s,   w i t h   ma x - p o o l i n g   l a y e r s   f o r   s p a t i a l   d o w n s a m p l i n g .   D e n seN e t - 1 2 1   [ 6 ]   A   C N N   w h e r e   e a c h   l a y e r   i c o n n e c t e d   t o   a l l   p r e v i o u s   l a y e r s.  R e d u c e s   f e a t u r e   r e d u n d a n c y   a n d   e n h a n c e f e a t u r e   r e u se .   I n c l u d e s f o u r   d e n se  b l o c k s   a n d   t r a n s i t i o n   l a y e r s   f o r   d o w n s a mp l i n g .   R e sN e t - 5 0   [ 2 2 ]   A   5 0 - l a y e r   a r c h i t e c t u r e   u si n g   r e s i d u a l   c o n n e c t i o n s   ( sk i p   c o n n e c t i o n s)   t o   c o mb a t   v a n i sh i n g   g r a d i e n t s .   T h e   n e t w o r k   l e a r n s res i d u a l   m a p p i n g i n st e a d   o f   d i r e c t   t r a n sf o r ma t i o n s.   I n c e p t i o n N e t V 3   [ 3 8 ]   A n   a d v a n c e d   v e r s i o n   o f   t h e   I n c e p t i o n   a r c h i t e c t u r e   w i t h   m u l t i p l e   f i l t e r   si z e s   i n   a   si n g l e   l a y e r .   U ses   i n c e p t i o n   mo d u l e t o   c a p t u r e   f e a t u r e a t   d i f f e r e n t   sca l e s   a n d   f a c t o r i z e d   c o n v o l u t i o n t o   r e d u c e   c o m p u t a t i o n a l   c o mp l e x i t y .   F i n e - Tu n i n g   [ 1 ] ,   [ 4 ] ,   [ 6 ] ,   [ 2 2 ] ,   [ 3 8 ]   I n v o l v e s   a p p l y i n g   a   p r e - t r a i n e d   m o d e l   t o   a   n e w   t a s k   b y   c o n t i n u i n g   t r a i n i n g   o n   a   d i f f e r e n t   d a t a se t ,   t y p i c a l l y   w i t h   a   smal l e r   l e a r n i n g   r a t e .   H e l p s   a d a p t   t h e   mo d e l   t o   n e w   t a s k s w i t h o u t   r e t r a i n i n g   f r o m s c r a t c h .       4.   P RO P O SE SYS T E M   Fig u r 1   d em o n s tr ates  p r o p o s ed   th r ee - s tag e   p r o ce d u r f o r   tr ain in g ,   test in g ,   an d   ass ess in g   m o d el .   T h is   m o d el   is   lik ely   to   b e   u s ed   f o r   a   m ed ical   im ag in g   i m ag class if icatio n   p r o b lem   with   th f o llo win g   class es n o r m al,   v ir al,   b ac ter i a,   an d   f u n g al T h f o llo win g   i s   an   ex h au s tiv d escr ip tio n   o f   th s tep s   an d   th eir   co n s titu en t p ar ts :           Fig u r 1 .   Pro p o s ed   s y s tem   f lo d iag r am       Stag 1   d ata  in itializatio n   an d   p r e - p r o ce s s in g T h is   s tag in v o lv es  co m b in in g   im ag es  f r o m   v ar io u s   s o u r ce s   in to   a   s in g le  d ataset,   s o r ted   in to   ca te g o r ies  lik e   n o r m al,   v i r al,   b ac te r ial,   an d   f u n g al.   T h e   d ata   u n d er g o es  p r e - p r o ce s s in g ,   in c lu d in g   r esizin g   im ag es  to   f it  t h ViT   m o d el  an d   n o r m alizin g   p ix el  v al u es  to   a   s tan d ar d   r an g e.   Fin ally ,   th d ataset  is   s p lit  in to   tr ain in g   ( 8 0 %)  an d   test in g   ( 2 0 %)  s ets  f o r   m o d el  tr ain in g   a n d   ev alu atio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Mu lti - cla s s   p n eu mo n ia   d etec t io n   u s in g   fin e - tu n ed   visi o n   tr a n s fo r mer m o d el   ( K h u s h b o o   Tr ived i )   3999   Stag 2   m o d el  t u n in g   an d   tr a in in g I n   th is   s tag e,   th ViT   m o d el  is   f i n e - tu n e d   u s in g   a   p r e - tr ain ed   m o d el  an d   m e d ical  im ag d a ta.   T h m o d el  p r o ce s s es  im a g es  b y   d iv id in g   th em   in to   3 2 × 3 2   p atch es.  T h e   lear n in g   r ate  is   s et  to   1 e - 3 ,   a n d   th e   Ad am   o p tim izer   a d ju s ts   weig h ts   d u r i n g   tr ain in g .   T h ca teg o r ical   cr o s s - en tr o p y   lo s s   f u n ctio n   is   u s ed ,   an d   ea r ly   s to p p in g   p r ev e n t s   o v er f itti n g   b y   h altin g   tr ai n in g   if   p e r f o r m an ce   p latea u s   b ef o r 5 0   e p o ch s .   Stag 3   m o d el  test in g   an d   ev a lu atio n T h tr ain ed   m o d el  is   ev alu ated   u s in g   th 2 0 test   s et,   wh er its   ab ilit y   to   g en er alize   to   u n s ee n   d ata  is   as s es s ed .   T h m o d el  class if ies  im ag es   as  n o r m al,   v ir al,   b ac ter ial,   o r   f u n g al.   Per f o r m an ce   is   ev alu a ted   u s in g   m etr ics  s u ch   as  ac c u r ac y   ( AC C ) ,   p r ec is io n   ( P),   r ec all  ( R ) ,   an d   F1 - s co r to   d eter m in e   class if icati o n   ac cu r ac y   an d   m o d el  ef f ec ti v en ess .       5.   RE SU L T S AN D I SCU SS I O N   T h f in d in g s   o f   th is   s tu d y   h i g h lig h th e   p e r f o r m a n ce   o f   t h p r o p o s ed   ViT   m o d el,   f in e - tu n ed   f o r   p n eu m o n ia  class if icatio n .   c o n cise  co m p a r is o n   with   c u r r e n tr an s f er   lea r n in g   m o d els,  s u p p o r ted   b y   d etailed   tab les  an d   f ig u r es,  d e m o n s tr at es  th m o d el' s   ef f ec tiv en ess   a cr o s s   f o u r   p n eu m o n ia  ca teg o r ies.  T h e   r esu lts   ar d is cu s s ed   in   th co n tex o f   th s tu d y ' s   o b jectiv es,  ex is t in g   h y p o th eses ,   an d   r elate d   r esear ch   wh ile  ad d r ess in g   p o ten tial  in ter p r etatio n s   an d   lim itatio n s .   Fig u r 2   s u m m ar iz es  th d ataset  d is tr ib u tio n   ac r o s s   th f o u r   class es:   1 4 8   im ag es  f o r   v ir a p n eu m o n ia,   2 4 2   f o r   b ac ter ial,   2 3   f o r   f u n g al,   an d   2 3 2   f o r   n o r m al  ca s es.  T h is   im b alan ce   h ig h lig h ts   th ch allen g es  in   a ch iev in g   r o b u s p er f o r m an ce   ac r o s s   all  ca teg o r ies,  p ar ticu la r ly   f o r   t h m in o r ity   class   ( f u n g al) .   Fig u r 3   p r o v id es  an   o v er v iew  o f   th e   f in e - tu n ed   ViT   a r ch itectu r e.   T h m o d el  c o m p r is e s   o v er   8 5   m illi o n   p ar am ete r s ,   with   o n ly   th f i n al  lin ea r   lay er   ( 3 , 0 7 6   tr ain ab le  p a r am eter s )   o p tim iz ed   d u r in g   tr ain in g .   T h is   d esig n   lev er ag es   th p r e - tr ain ed   weig h ts   o f   th e   f r o ze n   l ay er s   wh ile  f in e - tu n i n g   th o u tp u lay er   to   ad a p t   to   th p n e u m o n ia  class if icatio n   task .           Fig u r 2 .   Data s et  r ea d in g           Fig u r 3 .   Fin e - tu n ViT   ar c h itectu r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   3 9 9 6 - 4003   4000   Fig u r 4   d ep icts   th ac cu r ac y   an d   lo s s   cu r v es  o v e r   5 0   tr ain in g   iter atio n s .   B o th   tr ai n in g   a n d   test in g   ac cu r ac ies  co n v er g at  ap p r o x im ately   0 . 9 8 ,   with   s tead ily   d ec r ea s in g   lo s s   v alu es  an d   clo s ely   alig n ed   cu r v es  f o r   tr ain in g   an d   test in g .   T h ese  r esu lts   in d icate   s tr o n g   m o d el  p er f o r m a n ce   with o u o v er f itti n g .           Fig u r 4 .   Fin e - tu n ViT   ac cu r ac y /lo s s   p lo ts       Fig u r 5   p r esen ts   th e   co n f u s io n   m atr ix   an d   class if icatio n   r ep o r t,  s h o wca s in g   th e   m o d el' s   p er f o r m an ce   ac r o s s   th f o u r   p n e u m o n ia   class es.  Hig h   d i ag o n al  v alu es  in   th c o n f u s io n   m atr i x   in d icate   ac cu r ate  p r e d ictio n s   f o r   all  ca t eg o r ies.  T h e   class if icatio n   r ep o r f u r th er   co n f i r m s   th ese  r e s u lts ,   with   an   o v er all   ac cu r ac y   o f   0 . 9 8   an d   h ig h   p r ec is io n ,   r ec all,   an d   F1 - s co r es  f o r   all  class es.  No tab ly ,   f u n g al  p n eu m o n ia   p r ed ictio n s   ac h iev f lawless   s co r es,  u n d er s co r in g   th m o d el' s   ab ilit y   to   h an d le  im b alan ce d   d atasets   ef f ec tiv ely .   T ab le  4   co m p ar es  t h e   p r o p o s ed   m o d el' s   p er f o r m an ce   wi th   o th e r   d ee p - lear n i n g   ap p r o ac h es  f o r   p n eu m o n ia  d etec tio n .   W h ile  m o s p r io r   s tu d ies  ad d r ess   o n l y   two -   o r   th r ee - class   p r o b lem s ,   th f in e - tu n ed   ViT   ac h iev es  9 8 ac c u r ac y   ac r o s s   f o u r   class es,  m atch in g   o r   ex c ee d in g   th e   p er f o r m an ce   o f   e x is tin g   m eth o d s .   T h is   d em o n s tr ates th ViT ' s   ca p ab ilit y   to   g en er alize   a n d   class if y   p n eu m o n ia  m o r co m p r eh e n s iv ely .           Fig u r 5 .   C o n f u s io n   m atr i x   an d   class if icatio n   r ep o r t       T ab le  4 .   Ass ess m en t o f   d ee p   l ea r n in g   s tr ateg ies   M o d e l   A C C   ( %)   P   ( %)   ( %)   F 1   ( %)   S i n g h   e t   a l .   [ 1 ]   [2 - c l a ss]   0 . 9 7   0 . 9 6   0 . 9 7   0 . 9 7   A l i   e t   a l .   [ 2 ]   [3 - c l a ss]   0 . 9 5   0 . 9 4   0 . 9 5   0 . 9 5   G u   a n d   L e e   [ 3 ]   [2 - c l a ss]   0 . 9 8   0 . 9 7   0 . 9 8   0 . 9 8   P u t r i   a n d   A l   M a k i   [ 4 ]   [3 - c l a ss]   0 . 9 6   0 . 9 5   0 . 9 6   0 . 9 6   A sn a k e   e t   a l .   [ 5 ]   [2 - c l a ss]   0 . 9 4   0 . 9 3   0 . 9 4   0 . 9 4   P r o p o se d   f i n e - t u n e   V i T   [4 - c l a ss]   0 . 9 8   0 . 9 8   0 . 9 8   0 . 9 8   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Mu lti - cla s s   p n eu mo n ia   d etec t io n   u s in g   fin e - tu n ed   visi o n   tr a n s fo r mer m o d el   ( K h u s h b o o   Tr ived i )   4001   6.   CO NCLU SI O N   T h is   r esear ch   d em o n s tr ated   t h at  th f in e - t u n ed   ViT   m o d el   ac h iev ed   a n   im p r ess iv 9 8 ac cu r ac y ,   alo n g s id 9 8 p r ec is io n ,   r ec a ll,  an d   F1 - s co r es,  ac r o s s   th f o u r   p n eu m o n ia  class es n o r m al,   f u n g al,   b ac ter ial,   an d   v ir al.   T h ViT   m o d el’ s   a b ilit y   to   ef f ec tiv ely   d if f er e n tiate  b etwe en   v a r io u s   f o r m s   o f   p n eu m o n ia  h ig h lig h ts   its   im p r o v ed   ca p ac ity   to   ca p tu r co m p lex   p atter n s   in   ch est  X - r ay   im a g es,  m ad e   p o s s ib le  b y   its   s elf - atten tio n   m ec h an is m .   T h ese  f in d in g s   s u g g est  th at  th f in e - tu n ed   ViT   m o d el  is   p r o m is in g   to o f o r   cl in ical  ap p licatio n ,   p o ten tially   ac ce ler atin g   d iag n o s is   an d   s ig n if ican tly   im p r o v in g   ac cu r ac y ,   u ltima tely   lead i n g   to   b etter   p atien t   o u tco m es.  I n   s u m m ar y ,   th e   f i n d in g s   o f   th is   r esear ch   h a v s ig n if ican im p licatio n s   f o r   b o t h   th e   r esear ch   f ield   an d   th h ea lth ca r c o m m u n ity ,   p r o v id in g   r o b u s f r a m ewo r k   f o r   th d ev elo p m en o f   ad v a n ce d ,   s ca lab le,   a n d   r eliab le  d iag n o s tic  to o ls   in   m e d ical  im ag in g .   Fu tu r r esear ch   s h o u ld   f o c u s   o n   f u r th er   en h a n cin g   th g en e r aliza b ilit y   o f   t h ViT   m o d el  b y   u tili zin g   lar g er   an d   m o r d iv e r s d atasets   th at  in co r p o r ate  v ar iatio n s   i n   d em o g r ap h ics,  im ag in g   co n d itio n s ,   an d   d is ea s s tag es.  T o   im p r o v e   p e r f o r m an ce ,   h y b r i d   m o d els  co m b in in g   th e   s tr en g th s   o f   ViT s   a n d   C NNs  co u ld   b e   ex p lo r ed ,   with   p ar ticu lar   f o cu s   o n   b etter   ca p tu r in g   b o th   lo ca an d   g l o b al  in f o r m atio n .   Ad d itio n ally ,   in co r p o r atin g   e x p lain ab ilit y   te ch n iq u es  in to   th m o d el’ s   d ec is io n - m ak in g   p r o ce s s   co u ld   in cr ea s p h y s ician s tr u s an d   f ac ilit ate  wid er   ad o p t io n   in   h ea lth ca r e.   Fin ally ,   e x p an d in g   th u s o f   f in e - t u n ed   V iT  m o d els  to   o th er   me d ical  im ag in g   m o d alities ,   s u ch   as  C T   an d   MRI,   co u l d   o p en   u p   n ew  av e n u es  f o r   d iag n o s in g   a   b r o ad er   r an g o f   p u l m o n ar y   an d   o th e r   d is ea s es.       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Kh u s h b o o   T r iv ed i                               C h in tan   B .   T h ac k er                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       I NF O RM E CO NS E N T   W h av o b tain ed   in f o r m ed   c o n s en t f r o m   all  in d iv id u als in c lu d ed   in   t h is   s tu d y .       E T H I CAL AP P RO V AL   T h is   r esear ch   d id   n o in v o lv th u s o f   h u m an   p ar ticip a n ts   o r   an im als.  T h er ef o r e,   eth ica ap p r o v al   was n o t r eq u ir e d .       DATA AV AI L AB I L I T Y   D a t a   a v a il a b i li t y   is   n o t   a p p l i ca b l e   t o   t h is   p a p e r   a s   n o   n e w   d at w e r e   c r e a t e d   o r   a n al y z e d   i n   t h is   s t u d y .         RE F E R E NC E S   [ 1 ]   S .   S i n g h ,   M .   K u m a r ,   A .   K u mar,   B .   K .   V e r ma,   K .   A b h i s h e k ,   a n d   S .   S e l v a r a j a n ,   Ef f i c i e n t   p n e u m o n i a   d e t e c t i o n   u si n g   v i s i o n   t r a n sf o r mers   o n   c h e st   X - r a y s,   S c i e n t i f i c   Re p o rt s ,   v o l .   1 4 ,   n o .   1 ,   Ja n .   2 0 2 4 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 5 9 8 - 024 - 5 2 7 0 3 - 2.   [ 2 ]   A .   M .   A l i ,   K .   G h a f o o r ,   A .   M u l a h u w a i sh ,   a n d   H .   M a g h d i d ,   C O V I D - 1 9   p n e u m o n i a   l e v e l   d e t e c t i o n   u s i n g   d e e p   l e a r n i n g   a l g o r i t h m   a n d   t r a n sf e r   l e a r n i n g ,   Ev o l u t i o n a ry   I n t e l l i g e n c e ,   v o l .   1 7 ,   n o .   2 ,   p p .   1 0 3 5 1 0 4 6 ,   S e p .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s 1 2 0 6 5 - 0 2 2 - 0 0 7 7 7 - 0.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   3 9 9 6 - 4003   4002   [ 3 ]   C .   G u   a n d   M .   L e e ,   D e e p   t r a n sf e r   l e a r n i n g   u s i n g   r e a l - w o r l d   i m a g e   f e a t u r e s   f o r   m e d i c a l   i m a g e   c l a ssi f i c a t i o n ,   w i t h   a   c a se   st u d y   o n   p n e u mo n i a   X - r a y   i ma g e s,   B i o e n g i n e e ri n g ,   v o l .   1 1 ,   n o .   4 ,   p .   4 0 6 ,   A p r .   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / b i o e n g i n e e r i n g 1 1 0 4 0 4 0 6 .   [ 4 ]   K .   A .   P u t r i   a n d   W .   F a w w a z   A l   M a k i ,   En h a n c i n g   p n e u mo n i a   d i se a se  c l a ss i f i c a t i o n   u s i n g   g e n e t i c   a l g o r i t h m - t u n e d   D C G A N a n d   VGG - 1 6   i n t e g r a t i o n ,   J o u rn a l   o f   E l e c t ro n i c s,   E l e c t r o m e d i c a l   E n g i n e e ri n g ,   a n d   M e d i c a l   I n f o rm a t i c s ,   v o l .   6 ,   n o .   1 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 3 5 8 8 2 / j e e e m i . v 6 i 1 . 3 4 9 .   [ 5 ]   N .   W .   A sn a k e ,   A .   O .   S a l a u ,   a n d   A .   M .   A y a l e w ,   X - r a y   i m a g e - b a se d   p n e u m o n i a   d e t e c t i o n   a n d   c l a ss i f i c a t i o n   u si n g   d e e p   l e a r n i n g ,   Mu l t i m e d i a   T o o l a n d   Ap p l i c a t i o n s ,   v o l .   8 3 ,   n o .   2 1 ,   p p .   6 0 7 8 9 6 0 8 0 7 ,   Ja n .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 1 0 4 2 - 0 2 3 - 1 7 9 6 5 - 4.   [ 6 ]   T.   S .   A r u l a n a n t h ,   S .   W .   P r a k a s h ,   R .   K .   A y y a sam y ,   V .   P .   K a v i t h a ,   P .   G .   K u p p u sam y ,   a n d   P .   C h i n n a sam y ,   C l a s si f i c a t i o n   o f   p a e d i a t r i c   p n e u m o n i a   u si n g   m o d i f i e d   D e n seNe t - 1 2 1   d e e p - l e a r n i n g   m o d e l ,   I EE Ac c e ss ,   v o l .   1 2 ,   p p .   3 5 7 1 6 3 5 7 2 7 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / a c c e s s. 2 0 2 4 . 3 3 7 1 1 5 1 .   [ 7 ]   C .   J.   G h i a   a n d   G .   S .   R a mb h a d ,   S y st e ma t i c   r e v i e w   a n d   me t a - a n a l y s i o f   c o m o r b i d i t i e a n d   a sso c i a t e d   r i sk   f a c t o r i n   I n d i a n   p a t i e n t o f   c o mm u n i t y - a c q u i r e d   p n e u mo n i a ,   S AG E   O p e n   M e d i c i n e ,   v o l .   1 0 ,   J a n .   2 0 2 2 ,   d o i :   1 0 . 1 1 7 7 / 2 0 5 0 3 1 2 1 2 2 1 0 9 5 4 8 5 .   [ 8 ]   V .   R a j a g u r u ,   T .   H .   K i m,   J.   S h i n ,   S .   G .   Le e ,   a n d   W .   H a n ,   A b i l i t y   o f   t h e   LA C i n d e x   t o   p r e d i c t   3 0 - d a y   r e a d m i ssi o n s   i n   p a t i e n t s   w i t h   a c u t e   my o c a r d i a l   i n f a r c t i o n ,   J o u r n a l   o f   Pe r so n a l i ze d   Me d i c i n e ,   v o l .   1 2 ,   n o .   7 ,   p .   1 0 8 5 ,   J u n .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / j p m 1 2 0 7 1 0 8 5 .   [ 9 ]   M .   O .   Le w i s,   P .   T.   Tr a n ,   Y .   H u a n g ,   R .   A .   D e sa i ,   Y .   S h e n ,   a n d   J.   D .   B r o w n ,   D i sea s e   se v e r i t y   a n d   r i s k   f a c t o r s   o f   3 0 - d a y   h o s p i t a l   r e a d m i ssi o n   i n   p e d i a t r i c   h o sp i t a l i z a t i o n s   f o r   p n e u mo n i a ,   J o u r n a l   o f   C l i n i c a l   M e d i c i n e ,   v o l .   1 1 ,   n o .   5 ,   p .   1 1 8 5 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / j c m1 1 0 5 1 1 8 5 .   [ 1 0 ]   C .   I e r a c i t a n o   e t   a l . ,   A   f u z z y - e n h a n c e d   d e e p   l e a r n i n g   a p p r o a c h   f o r   e a r l y   d e t e c t i o n   o f   C o v i d - 1 9   p n e u mo n i a   f r o p o r t a b l e   c h e st   X - r a y   i ma g e s ,   N e u r o c o m p u t i n g ,   v o l .   4 8 1 ,   p p .   2 0 2 2 1 5 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m. 2 0 2 2 . 0 1 . 0 5 5 .   [ 1 1 ]   M .   R o st a m i   a n d   M .   O u ssa l a h ,   A   n o v e l   e x p l a i n a b l e   C O V I D - 1 9   d i a g n o si met h o d   b y   i n t e g r a t i o n   o f   f e a t u r e   se l e c t i o n   w i t h   r a n d o m   f o r e st ,   I n f o rm a t i c i n   M e d i c i n e   U n l o c k e d ,   v o l .   3 0 ,   p .   1 0 0 9 4 1 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . i mu . 2 0 2 2 . 1 0 0 9 4 1 .   [ 1 2 ]   A .   I .   A v i l e s - R i v e r o ,   P .   S e l l a r s,   C . - B .   S c h ö n l i e b ,   a n d   N .   P a p a d a k i s ,   G r a p h X C O V I D :   Ex p l a i n a b l e   d e e p   g r a p h   d i f f u s i o n   p se u d o - La b e l l i n g   f o r   i d e n t i f y i n g   C O V I D - 1 9   o n   c h e s t   X - r a y s,”   Pa t t e r n   Re c o g n i t i o n ,   v o l .   1 2 2 ,   p .   1 0 8 2 7 4 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 2 1 . 1 0 8 2 7 4 .   [ 1 3 ]   A .   M a l h o t r a   e t   a l . ,   M u l ti - t a s k   d r i v e n   e x p l a i n a b l e   d i a g n o si o f   C O V I D - 1 9   u s i n g   c h e st   X - r a y   i m a g e s,”   Pa t t e rn   Re c o g n i t i o n ,   v o l .   1 2 2 ,   p .   1 0 8 2 4 3 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 2 1 . 1 0 8 2 4 3 .   [ 1 4 ]   A .   K .   M o n d a l ,   A .   B h a t t a c h a r j e e ,   P .   S i n g l a ,   a n d   A .   P .   P r a t h o sh ,   x V i TC O S :   e x p l a i n a b l e   v i si o n   t r a n sf o r mer   b a s e d   C O V I D - 1 9   scree n i n g   u si n g   r a d i o g r a p h y ,   I EE J o u rn a l   o f   T ra n sl a t i o n a l   E n g i n e e ri n g   i n   H e a l t h   a n d   Me d i c i n e ,   v o l .   1 0 ,   p p .   1 1 0 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / j t e h m. 2 0 2 1 . 3 1 3 4 0 9 6 .   [ 1 5 ]   H .   R e n   e t   a l . ,   I n t e r p r e t a b l e   p n e u m o n i a   d e t e c t i o n   b y   c o m b i n i n g   d e e p   l e a r n i n g   a n d   e x p l a i n a b l e   mo d e l w i t h   mu l t i s o u r c e   d a t a ,   I EEE  A c c e ss ,   v o l .   9 ,   p p .   9 5 8 7 2 9 5 8 8 3 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / a c c e ss. 2 0 2 1 . 3 0 9 0 2 1 5 .   [ 1 6 ]   F .   C o l a v i t a   e t   a l . ,   C O V I D - 1 9   r a p i d   a n t i g e n   t e s t   a s c r e e n i n g   st r a t e g y   a t   p o i n t o f   e n t r y :   e x p e r i e n c e   i n   l a z i o   r e g i o n ,   C e n t r a l   I t a l y ,   A u g u st O c t o b e r   2 0 2 0 ,   Bi o m o l e c u l e s ,   v o l .   1 1 ,   n o .   3 ,   p .   4 2 5 ,   M a r .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / b i o m1 1 0 3 0 4 2 5 .   [ 1 7 ]   M .   M u st a f a   H e l l o u   e t   a l . ,   N u c l e i c   a c i d   a m p l i f i c a t i o n   t e st o n   r e s p i r a t o r y   samp l e s   f o r   t h e   d i a g n o s i o f   c o r o n a v i r u i n f e c t i o n s:   a   sy s t e ma t i c   r e v i e w   a n d   m e t a - a n a l y s i s,”   C l i n i c a l   Mi c r o b i o l o g y   a n d   I n f e c t i o n ,   v o l .   2 7 ,   n o .   3 ,   p p .   3 4 1 3 5 1 ,   M a r .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . c m i . 2 0 2 0 . 1 1 . 0 0 2 .   [ 1 8 ]   M .   T o ğ a ç a r ,   N .   M u z o ğ l u ,   B .   Er g e n ,   B .   S .   B .   Y a r ma n ,   a n d   A .   M .   H a l e f o ğ l u ,   D e t e c t i o n   o f   C O V I D - 1 9   f i n d i n g s   b y   t h e   l o c a l   i n t e r p r e t a b l e   mo d e l - a g n o s t i c   e x p l a n a t i o n m e t h o d   o f   t y p e s - b a se d   a c t i v a t i o n s   e x t r a c t e d   f r o m   C N N s,   B i o m e d i c a l   S i g n a l   Pro c e ssi n g   a n d   C o n t ro l ,   v o l .   7 1 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . b sp c . 2 0 2 1 . 1 0 3 1 2 8 .   [ 1 9 ]   D .   M a h a p a t r a ,   Z.   G e ,   a n d   M .   R e y e s,  S e l f - s u p e r v i se d   g e n e r a l i z e d   z e r o   s h o t   l e a r n i n g   f o r   me d i c a l   i ma g e   c l a ssi f i c a t i o n   u s i n g   n o v e l   i n t e r p r e t a b l e   s a l i e n c y   m a p s ,   I E EE   T ra n sa c t i o n o n   M e d i c a l   I m a g i n g ,   v o l .   4 1 ,   n o .   9 ,   p p .   2 4 4 3 2 4 5 6 ,   S e p .   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / t m i . 2 0 2 2 . 3 1 6 3 2 3 2 .   [ 2 0 ]   M .   Li   e t   a l . ,   E x p l a i n a b l e   C O V I D - 19   i n f e c t i o n s i d e n t i f i c a t i o n   a n d   d e l i n e a t i o n   u s i n g   c a l i b r a t e d   p s e u d o   l a b e l s,”   I E EE  T ra n s a c t i o n o n   Em e r g i n g   T o p i c s   i n   C o m p u t a t i o n a l   I n t e l l i g e n c e ,   v o l .   7 ,   n o .   1 ,   p p .   2 6 3 5 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / t e t c i . 2 0 2 2 . 3 1 8 9 0 5 4 .   [ 2 1 ]   W H O   d i r e c t o r - g e n e r a l s   o p e n i n g   r e mar k s   a t   t h e   me d i a   b r i e f i n g   o n   C O V I D - 1 9 ,   W o rl d   h e a l t h   O rg a n i s a t i o n .   A c c e ss e d :   M a r .   1 1 ,   2 0 2 0 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / w w w . w h o . i n t / d i r e c t o r - g e n e r a l / sp e e c h e s/ d e t a i l .   [ 2 2 ]   G .   L i a n g   a n d   L.   Z h e n g ,   A   t r a n sf e r   l e a r n i n g   me t h o d   w i t h   d e e p   r e s i d u a l   n e t w o r k   f o r   p e d i a t r i c   p n e u mo n i a   d i a g n o s i s,   C o m p u t e r   Me t h o d s   a n d   Pr o g ra m s   i n   B i o m e d i c i n e ,   v o l .   1 8 7 ,   A p r .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . c mp b . 2 0 1 9 . 0 6 . 0 2 3 .   [ 2 3 ]   T.   F u j i o k a   e t   a l . ,   Ef f i c i e n t   a n o m a l y   d e t e c t i o n   w i t h   g e n e r a t i v e   a d v e r sar i a l   n e t w o r k   f o r   b r e a s t   u l t r a s o u n d   i m a g i n g ,   D i a g n o st i c s v o l .   1 0 ,   n o .   7 ,   p .   4 5 6 ,   Ju l .   2 0 2 0 ,   d o i :   1 0 . 3 3 9 0 / d i a g n o st i c s 1 0 0 7 0 4 5 6 .   [ 2 4 ]   A .   Za ma n ,   S .   H .   P a r k ,   H .   B a n g ,   C .   P a r k ,   I .   P a r k ,   a n d   S .   J o u n g ,   G e n e r a t i v e   a p p r o a c h   f o r   d a t a   a u g m e n t a t i o n   f o r   d e e p   l e a r n i n g - b a s e d   b o n e   s u r f a c e   se g me n t a t i o n   f r o u l t r a so u n d   i ma g e s ,   I n t e r n a t i o n a l   J o u rn a l   o f   C o m p u t e Assi s t e d   R a d i o l o g y   a n d   S u rg e ry v o l .   1 5 ,   n o .   6 ,   p p .   9 3 1 9 4 1 ,   M a y   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s1 1 5 4 8 - 0 2 0 - 0 2 1 9 2 - 1.   [ 2 5 ]   P .   D i m i t r a k o p o u l o s,   G .   S f i k a s ,   a n d   C .   N i k o u ,   I S I N G - G A N :   a n n o t a t e d   d a t a   a u g me n t a t i o n   w i t h   a   s p a t i a l l y   c o n s t r a i n e d   g e n e r a t i v e   a d v e r sar i a l   n e t w o r k ,   i n   2 0 2 0   I E EE   1 7 t h   I n t e r n a t i o n a l   S y m p o si u m   o n   B i o m e d i c a l   I m a g i n g   ( I S BI ) ,   A p r .   2 0 2 0 ,   p p .   1 6 0 0 1 6 0 3 ,   d o i :   1 0 . 1 1 0 9 / i s b i 4 5 7 4 9 . 2 0 2 0 . 9 0 9 8 6 1 8 .   [ 2 6 ]   I .   A r v i d ss o n ,   N .   C .   O v e r g a a r d ,   K .   A st r o m,   a n d   A .   H e y d e n ,   C o m p a r i s o n   o f   d i f f e r e n t   a u g m e n t a t i o n   t e c h n i q u e f o r   i mp r o v e d   g e n e r a l i z a t i o n   p e r f o r ma n c e   f o r   g l e a s o n   g r a d i n g ,   i n   2 0 1 9   I E EE  1 6 t h   I n t e rn a t i o n a l   S y m p o si u m   o n   Bi o m e d i c a l   I m a g i n g   ( I S BI   2 0 1 9 ) ,   A p r .   2 0 1 9 ,   p p .   9 2 3 9 2 7 ,   d o i :   1 0 . 1 1 0 9 / i sb i . 2 0 1 9 . 8 7 5 9 2 6 4 .   [ 2 7 ]   Y. - J.  L i n   a n d   I . - F .   C h u n g ,   M e d i c a l   d a t a   a u g me n t a t i o n   u si n g   g e n e r a t i v e   a d v e r sar i a l   n e t w o r k s:   X - r a y   i ma g e   g e n e r a t i o n   f o r   t r a n sf e r   l e a r n i n g   o f   h i p   f r a c t u r e   d e t e c t i o n ,   i n   2 0 1 9   I n t e r n a t i o n a l   C o n f e re n c e   o n   T e c h n o l o g i e a n d   A p p l i c a t i o n o f   Art i c i a l   I n t e l l i g e n c e   ( T AAI) ,   N o v .   2 0 1 9 ,   p p .   1 5 ,   d o i :   1 0 . 1 1 0 9 / t a a i 4 8 2 0 0 . 2 0 1 9 . 8 9 5 9 9 0 8 .   [ 2 8 ]   V .   B h a g a t   a n d   S .   B h a u mi k ,   D a t a   a u g m e n t a t i o n   u si n g   g e n e r a t i v e   a d v e r s a r i a l   n e t w o r k f o r   p n e u m o n i a   c l a ss i f i c a t i o n   i n   c h e s t   X r a y s,   i n   2 0 1 9   Fi f t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   I m a g e   I n f o rm a t i o n   Pro c e ssi n g   ( I C I I P) ,   N o v .   2 0 1 9 ,   p p .   5 7 4 5 7 9 ,   d o i :   1 0 . 1 1 0 9 / I C I I P 4 7 2 0 7 . 2 0 1 9 . 8 9 8 5 8 9 2 .   [ 2 9 ]   P .   R a j p u r k a r   e t   a l . ,   D e e p   l e a r n i n g   f o r   c h e s t   r a d i o g r a p h   d i a g n o s i s:   a   r e t r o sp e c t i v e   c o m p a r i s o n   o f   t h e   C h e X N e X t   a l g o r i t h t o   p r a c t i c i n g   r a d i o l o g i s t s,”   PLO S   M e d i c i n e ,   v o l .   1 5 ,   n o .   1 1 ,   N o v .   2 0 1 8 ,   d o i :   1 0 . 1 3 7 1 / j o u r n a l . p me d . 1 0 0 2 6 8 6 .   [ 3 0 ]   H .   Q .   N g u y e n   e t   a l . ,   V i n D r - C X R :   a n   o p e n   d a t a se t   o f   c h e s t   X - r a y w i t h   r a d i o l o g i st a n n o t a t i o n s,   S c i e n t i f i c   D a t a ,   v o l .   9 ,   n o .   1 ,   p .   4 2 9 ,   J u l .   2 0 2 2 ,   d o i :   1 0 . 1 0 3 8 / s4 1 5 9 7 - 0 2 2 - 0 1 4 9 8 - w.   [ 3 1 ]   S .   I sl a m   e t   a l . ,   G e n e r a t i v e   a d v e r sari a l   n e t w o r k ( G A N s)   i n   m e d i c a l   i ma g i n g :   a d v a n c e me n t s ,   a p p l i c a t i o n s,   a n d   c h a l l e n g e s,”   I EE E   Ac c e ss ,   v o l .   1 2 ,   p p .   3 5 7 2 8 3 5 7 5 3 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 4 . 3 3 7 0 8 4 8 .   [ 3 2 ]   J .   G u i ,   Z .   S u n ,   Y .   W e n ,   D .   T a o ,   a n d   J .   Y e ,   A   r e v i e w   o n   g e n e r a t i v e   a d v e r s a r i a l   n e t w o r k s :   a l g o r i t h m s ,   t h e o r y ,   a n d   a p p l i c a t i o n s ,   I E E E   T r a n s a c t i o n s   o n   K n o w l e d g e   a n d   D a t a   E n g i n e e r i n g ,   v o l .   3 5 ,   n o .   4 ,   p p .   3 3 1 3 3 3 3 2 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / T K D E . 2 0 2 1 . 3 1 3 0 1 9 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Mu lti - cla s s   p n eu mo n ia   d etec t io n   u s in g   fin e - tu n ed   visi o n   tr a n s fo r mer m o d el   ( K h u s h b o o   Tr ived i )   4003   [ 3 3 ]   G .   M .   M .   A l s h mr a n i ,   Q .   N i ,   R .   J i a n g ,   H .   P e r v a i z ,   a n d   N .   M .   El s h e n n a w y ,   A   d e e p   l e a r n i n g   a r c h i t e c t u r e   f o r   mu l t i - c l a ss   l u n g   d i s e a se c l a ssi f i c a t i o n   u s i n g   c h e s t   X - r a y   ( C X R )   i ma g e s ,   A l e x a n d ri a   E n g i n e e ri n g   J o u r n a l ,   v o l .   6 4 ,   p p .   9 2 3 9 3 5 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . a e j . 2 0 2 2 . 1 0 . 0 5 3 .   [ 3 4 ]   R .   A r o r a   e t   a l . ,   A I - b a se d   d i a g n o si s   o f   C O V I D - 1 9   p a t i e n t u s i n g   X - r a y   s c a n s   w i t h   st o c h a s t i c   e n s e mb l e   o f   C N N s,”   Ph y si c a l   a n d   En g i n e e ri n g   S c i e n c e s   i n   Me d i c i n e ,   v o l .   4 4 ,   n o .   4 ,   p p .   1 2 5 7 1 2 7 1 ,   D e c .   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s1 3 2 4 6 - 0 2 1 - 0 1 0 6 0 - 9.   [ 3 5 ]   Y .   G u a n   e t   a l . ,   C o m p a r i s o n   o f   d e e p - l e a r n i n g   a n d   r a d i o mi c s - b a se d   m a c h i n e - l e a r n i n g   m e t h o d f o r   t h e   i d e n t i f i c a t i o n   o f   c h r o n i c   o b s t r u c t i v e   p u l m o n a r y   d i sea s e   o n   l o w - d o se   c o m p u t e d   t o m o g r a p h y   i ma g e s,”   Q u a n t i t a t i v e   I m a g i n g   i n   Me d i c i n e   a n d   S u r g e ry ,   v o l .   1 4 ,   n o .   3 ,   p p .   2 4 8 5 2 4 9 8 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 2 1 0 3 7 / q i ms - 23 - 1 3 0 7 .   [ 3 6 ]   Q .   A n ,   W .   C h e n ,   a n d   W .   S h a o ,   A   d e e p   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   f o r   p n e u mo n i a   d e t e c t i o n   i n   X - r a y   i ma g e w i t h   a t t e n t i o n   e n s e mb l e ,   D i a g n o s t i c s ,   v o l .   1 4 ,   n o .   4 ,   p .   3 9 0 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / d i a g n o s t i c s1 4 0 4 0 3 9 0 .   [ 3 7 ]   S .   p r a sa d   K o y y a d a   a n d   T.   P .   S i n g h ,   A n   e x p l a i n a b l e   a r t i f i c i a l   i n t e l l i g e n c e   m o d e l   f o r   i d e n t i f y i n g   l o c a l   i n d i c a t o r a n d   d e t e c t i n g   l u n g   d i se a se   f r o c h e st   X - r a y   i m a g e s,   H e a l t h c a r e   A n a l y t i c s ,   v o l .   4 ,   p .   1 0 0 2 0 6 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . h e a l t h . 2 0 2 3 . 1 0 0 2 0 6 .   [ 3 8 ]   X .   W a n g ,   Y .   P e n g ,   L .   Lu ,   Z.   L u ,   M .   B a g h e r i ,   a n d   R .   M .   S u mm e r s,  C h e st X - r a y 8 :   h o s p i t a l - sca l e   c h e s t   X - r a y   d a t a b a se  a n d   b e n c h mar k s   o n   w e a k l y - s u p e r v i se d   c l a ssi f i c a t i o n   a n d   l o c a l i z a t i o n   o f   c o m mo n   t h o r a x   d i se a ses ,   i n   2 0 1 7   I EE C o n f e re n c e   o n   C o m p u t e r   Vi s i o n   a n d   P a t t e r n   Re c o g n i t i o n   ( C VP R) J u l .   2 0 1 7 ,   p p .   3 4 6 2 3 4 7 1 ,   d o i :   1 0 . 1 1 0 9 / C V P R . 2 0 1 7 . 3 6 9 .   [ 3 9 ]   P .   M o o n e y ,   C h e st   X - r a y   i ma g e ( p n e u m o n i a ) ,   K a g g l e .   2 0 1 7 ,   A c c e sse d :   D e c .   1 0 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / w w w . k a g g l e . c o m / p a u l t i m o t h y mo o n e y / c h e s t - x r a y - p n e u m o n i a / v e r si o n / 2 .   [ 4 0 ]   J.  I r v i n   e t   a l . ,   C h e X p e r t :   a   l a r g e   c h e st   r a d i o g r a p h   d a t a set   w i t h   u n c e r t a i n t y   l a b e l s   a n d   e x p e r t   c o m p a r i s o n ,   Pr o c e e d i n g s   o f   t h e   AAAI C o n f e re n c e   o n   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   3 3 ,   n o .   0 1 ,   p p .   5 9 0 5 9 7 ,   J u l .   2 0 1 9 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 3 i 0 1 . 3 3 0 1 5 9 0 .   [ 4 1 ]   S .   W a k r i m,  D i a g n o s t i c   p e r f o r m a n c e   o f   c h e s t   C T   f i n d i n g o f   C O V I D - 1 9   w i t h   R T - P C R   n e g a t i v e ,   A f ri c a n   H e a l t h   S c i e n c e s ,   v o l .   2 2 ,   n o .   4 ,   p p .   5 0 2 5 0 4 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 4 3 1 4 / a h s . v 2 2 i 4 . 5 6 .       B I O G RAP H I E S O F   AUTH O RS       K h u shb o o   Tr i v e d         h o ld s   a   m a ste r’s  d e g re e   i n   c o m p u t e sc ien c e   a n d   e n g in e e rin g   fr o m   P a r u Un iv e rs it y   a n d   c u rre n tl y   p u rsu in g   P h . D .   in   th e   d o m a in   o f   d e e p   lea rn in g   a n d   c o m p u ter   v isio n   fr o m   P a ru l   Un i v e rsity ,   Va d o d a ra ,   Gu jara t.   S h e   h a 1 2 +   y e a rs   o e x p e rien c e   i n   a c a d e m ia.  He re se a rc h   in tere sts  a re   in   m a c h in e   lea rn in g ,   d e e p   lea rn i n g ,   a rti ficia in telli g e n c e ,   a n d   c o m p u ter  v isio n .   Cu rre n tl y ,   sh e   se rv e a a n   a ss istan p ro fe ss o r   in   th e   c o m p u ter  sc ien c e   a n d   e n g i n e e rin g   De p a rtme n a P a ru In sti tu te  o f   Tec h n o lo g y ,   P a r u Un iv e rsity .   S h e   c a n   b e   c o n tac ted   a e m a il k h u s h b o o . tri v e d i2 1 3 0 5 @p a ru lu n iv e rsit y . a c . in .         Chi n ta n   B .   Th a c k e r           re c e iv e d   a   P h . D .   d e g re e   in   th e   d o m a in   o a rti f icia l   in telli g e n c e   a n d   c o m p u ter  v i sio n   fro m   G u jara Tec h n ica Un iv e rsit y   i n   t h e   y e a 2 0 2 2 .   He   h a d   se rv e d   a H e a d   o f   t h e   De p a rtme n o f   Co m p u ter   S c ien c e   a n d   En g in e e rin g   De p a rtme n t   a HJ D   In stit u te   o f   Tec h n ica l   Ed u c a ti o n   a n d   Re se a rc h ,   Ke ra ,   In d ia.  He   h a 1 +   y e a rs  o f   e x p e rien c e   in   in d u stry   a n d   1 2 +   y e a rs  o f   e x p e rien c e   in   a c a d e m ia.  Cu rre n tl y ,   h e   se rv e a a n   a ss istan t   p ro fe ss o i n   t h e   Co m p u ter  S c i e n c e   a n d   En g in e e ri n g   De p a rtm e n a P a ru I n stit u te  o f   En g i n e e rin g   Tec h n o l o g y ,   P a ru Un iv e rsity ,   Va d o d a ra ,   G u jara t.   In   a d d it i o n ,   h e   h a a ls o   g u i d e d   se v e ra d o c to ra te  st u d e n ts an d   h a b e e n   a c ti v e   in   c o n d u c ti n g   se v e ra wo rk sh o p s   in   th e   d o m a in   o c o m p u ter  v isio n .   H is  re se a rc h   in tere sts  a re   in   m a c h in e   lea rn in g ,   a rti ficia l   in telli g e n c e ,   d e e p   lea rn i n g   a n d   c o m p u ter  v isi o n .   He   c a n   b e   c o n tac ted   a t   e m a il c h in tan . th a c k e r1 9 4 3 5 @ p a ru l u n i v e rsity . a c . in .     Evaluation Warning : The document was created with Spire.PDF for Python.