I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   2 ,   A p r il 2 0 2 6 ,   p p .   1 3 4 9 ~ 1 3 6 1   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 2 . p p 1 3 4 9 - 1 3 6 1          1349     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   NN - SVM a  hybri d neural n etwork supp o rt  v ector  ma chine  framewo rk  for a c cura te  pn eumo ni a  det ec tion from   chest X - ra y s       Sa nto s h K um a J a nk a t t i 1 ,   R a g ha v endra   Srini v a s a ia h 2 ,   M o ha m m a d   Sh a hin a   P a rv ee n 1 ,     H a rish   H .   K encha nn a v a r 3 ,   Da nthulu ri  S ud ha 1 ,   Sriha ri  Sh a rm a   K a rig iri  Na r a h 4 ,   M a ha dev   Sh iv a ra j 5   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   T e c h n o l o g y ,   D a y a n a n d a   S a g a r   U n i v e r si t y ,   B e n g a l u r u ,   I n d i a   2 D e p a r t me n t   o f   A r t i f i c i a l   I n t e l l i g e n c e   a n d   D a t a   S c i e n c e   E n g i n e e r i n g ,   C H R I S U n i v e r si t y ,   B e n g a l u r u ,   I n d i a   3 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g   ( D a t a   S c i e n c e ) ,   D a y a n a n d a   S a g a r   C o l l e g e   o f   E n g i n e e r i n g ,   B e n g a l u r u ,   I n d i a   4 D e p a r t me n t   o f   C o l l e g e   o f   P h y si o t h e r a p y ,   S c h o o l   o f   H e a l t h   S c i e n c e s ,   D a y a n a n d a   S a g a r   U n i v e r si t y ,   B e n g a l u r u ,   I n d i a   5 D e p a r t m e n t   o f   E l e c t r o n i c s   a n d   C o m m u n i c a t i o n   E n g i n e e r i n g ,   D a y a n a n d a   S a g a r   A c a d e m y   o f   T e c h n o l o g y   a n d   M a n a g e m e n t ,   B e n g a l u r u ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  2 2 ,   2 0 2 4   R ev is ed   J an   1 4 ,   2 0 2 6   Acc ep ted   J an   2 5 ,   2 0 2 6       We  p re se n n e u ra n e two r k   (NN ) su p p o rt  v e c to m a c h in e   (S VM),   h y b ri d   NN - S VM  fra m e wo rk   f o r   th re e - c l a ss   p n e u m o n ia  d e tec ti o n   ( n o rm a l,   b a c teria l,   a n d   v iral)  fro m   c h e st  X - ra y s   (CX Rs) P re train e d   NN   b a c k b o n e   is  f in e - tu n e d   fo ra d io g ra p h ic  tex tu re s;  g lo b a a v e ra g e   p o o l in g   (G AP)   y ield e m b e d d i n g s   th a fe e d   c a li b ra ted   ra d ial  b a sis  fu n c ti o n   ( RBF ) - S VM.   S tan d a rd ize d   p re p ro c e ss in g   (re siz e ,   n o rm a li z a ti o n a n d   c las s - a wa re   a u g m e n tatio n   a re   a p p li e d .   We  re p o rt   a c c u ra c y ,   p re c isio n ,   re c a ll ,   F1 - sc o re a re a   u n d e r   th e   c u rv e   (AU C) ,   c o n fu si o n   m a tri c e s,  a n d   p e r - c las re c e iv e o p e ra ti n g   c h a ra c teristic   ( ROC ) .   S tatisti c a sig n ifi c a n c e   is  a ss e ss e d   v ia  De Lo n g   (AU C),   M c Ne m a r   (a c c u ra c y ),   a n d   p a ired   b o o tstr a p   ( F1 - sc o re ).   G ra d ien t - we ig h t e d   c las a c ti v a ti o n   m a p p i n g   (g ra d - CA M )   su p p o rts  i n terp re tab il it y e x tern a v a li d a ti o n   a n d   d o m a in   a d a p tatio n   ( b a tch   n o rm a li z a ti o n   re - e stim a ti o n   a n d   t e m p e ra tu re   sc a li n g a ss e ss   ro b u st n e ss .   NN - S VM  a tt a i n 9 7 . 4 6 %   a c c u ra c y   with   str o n g   m a c ro - F 1   a n d   AU C.   Co m p a re d   with   S o f tM a x   h e a d ,   S VM  imp r o v e m a rg in   se p a ra ti o n   a n d   c a li b ra ti o n .   We   p re se n NN - S VM,   h y b ri d   d e e p   lea rn in g   a p p ro a c h   th a c o m b in e tran sf e r - lea rn e d   c o n v o l u ti o n a n e u ra l   n e two rk s   (CNN s)  with   S VM   c las sifier  to   a u to m a ti c a ll y   d ia g n o se   p n e u m o n ia  fr o m   CXRs   in to   th re e   c li n ica ll y   re lev a n c a teg o ries v iral  p n e u m o n ia,   b a c teria p n e u m o n ia,  a n d   n o rm a l.   We  u se   p re - train e d   CNN   to   e x trac ro b u st  ima g e   e m b e d d in g a fter  sta n d a rd ize d   p re p ro c e ss in g   (re siz in g   a n d   n o rm a li z a ti o n )   a n d   trai n   RBF - k e rn e S VM   o n   r e su lt in g   fe a tu re s.  P e rf o rm a n c e   is  e v a lu a ted   with   a c c u ra c y ,   p re c isio n ,   re c a ll ,   F 1 - sc o re ,   a n d   c o n fu si o n   m a t rice s.  On   lab e led   CXR   d a tas e t,   NN - S VM   a c h iev e 9 7 . 4 6 %   a c c u ra c y ,   d e m o n stra ti n g   stro n g   d iag n o stic  c a p a b il it y   t h a c a n   re d u c e   ra d io l o g ist   b u r d e n   a n d   su p p o rt   ti m e ly   c li n ica d e c isio n - m a k i n g .   K ey w o r d s :   C h est X - r ay   C NN - SVM   Dee p   lear n in g   Me d ical  im ag in g   Pn eu m o n ia   T r an s f er   lear n i n g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   San to s h   Ku m ar   J an k atti   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   T ec h n o l o g y   Day an an d Sag a r   Un iv er s ity ,   Har o h alli  B en g alu r u ,   Kar n ata k a,   I n d ia   E m ail:  s an to s h k u m ar - ct@ d s u . ed u . in       1.   I NT RO D UCT I O N   T h h allm ar k   o f   p n e u m o n ia  is   s er io u s   lu n g   in f ec tio n   th a ca n   ca u s s y m p to m s   in clu d in g   f ev er ,   co u g h i n g ,   a n d   t r o u b le  b r ea t h in g .   I t   is   o n e   o f   th m ai n   ca u s es  o f   illn ess   an d   m o r tality   i n   t h g lo b e,   esp ec ially   in   y o u n g   c h ild r en ,   th el d er ly ,   an d   p eo p le   with   wea k en e d   i m m u n s y s tem s .   T h e   W o r ld   Hea lth   Or g an izatio n   ( W HO)   esti m ate s   th at  o f   all  d ea th s   f allin g   with in   th is   ag g r o u p .   Pn eu m o n ia  is   n o o n l y   ass o ciate d   with   a   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 1 3 4 9 - 1 3 6 1   1350   h ig h   m o r tality   r ate,   b u t it  is   al s o   ass o ciate d   with   h ig h   co s ts   f o r   h ea lth ca r s y s tem s ,   p ar ticu lar ly   f o r   d e v elo p in g   co u n tr ies  wh er e   ea r ly   an d   a cc u r ate  d iag n o s is   is   n o r ea d ily   attain ab le.   T h p r ess in g   n ee d   f o r   ef f ec tiv e   d iag n o s tic  to o ls   is   in d icate d   b y   its   h ig h   i n ten s ity ,   h ig h   m o r tality   r ates,  an d   lo we r   co s ts   a s s o ciate d   with   th is   co n d itio n ,   as  in d icate d   in   [ 1 ] ,   [ 2 ] .   T h co n v en tio n al  ap p r o a ch   u s ed   f o r   th d iag n o s is   o f   p n eu m o n ia,   s u ch   as  p h y s ical  ex am in atio n ,   cu ltu r es  f r o m   s p u tu m   s am p les,  a n d   c h est  X - r ay   ( C XR )   an a ly s is ,   h as  s ev er al  lim itatio n s .   Ph y s ical  ex am in atio n ,   cu ltu r es  f r o m   s p u tu m   s am p les,  an d   C XR   an aly s is   ar b en ef icial;  h o wev er ,   th ey   ar e   ass o ciate d   with   v a r i o u s   lim itatio n s ,   as  p o in ted   o u as  f o llo ws .   Ph y s ical  ex am in atio n   is   n o o n ly   im p r ec is b u is   also   h ig h ly   d ep en d en o n   t h s k ill  o f   th p er s o n   wh o   is   ca r r y in g   o u th e   ex am in atio n .   T h e   an aly s is   o f   th ca u s ativ ag en o f   p n eu m o n ia  is   m o s ac cu r ate  if   it  is   d o n f r o m   th cu lt u r es  o f   th s am p les   o b tain ed   f r o m   th p er s o n s   s p u tu m .   T h is   p r o ce s s   m ay   co n s u m lo o f   tim an d   m ay   also   p r o d u ce   r esu lts   th at  ar in s u f f icien o r   m ay   n o clea r ly   r ev ea ac cu r ate  in te r p r etatio n s   o n   ac co u n o f   t h s am p les  b ec o m in g   co n tam in ated   o r   in ad eq u ate,   a s   p o in ted   o u t in   [ 3 ] .   C XR   an aly s is   is   an o th er   co n v en tio n al  m eth o d   u s ed   f o r   d iag n o s in g   th is   d is ea s e.   Su ch   an aly s is   is   co m m o n ; h o wev er ,   th s k ill lev el  o f   th r ad io lo g is t w h o   is   u n d er tak in g   th an aly s is   o f   th ese  im ag es is   h ea v ily   d ep en d e n o n   h is   o r   h e r   ex p e r tis e,   as  p o in ted   o u in   [ 4 ] .   C o n s id er in g   th ese  c h allen g es  a s s o ciate d   with   th co n v en tio n al  d iag n o s tic  to o ls   u s ed   f o r   th ese  im ag es,  th er is   th er ef o r an   u r g en n ee d   f o r   to o ls   th at  will   in cr ea s th d iag n o s tic  lev els  o f   p n e u m o n ia  with   ac cu r ac y ,   as  in d icate d   in   [ 5 ] .   T h e   ab ilit y   o f   c o n v o lu tio n al   n eu r al  n etwo r k s   ( C NNs),   s p e cif ically ,   to   ex tr ac co m p lex   f ea tu r es  f r o m   d ata  cr ea tes  an   e s s en tial  co n n ec tio n   f o r   th e   r o le  o f   d ee p   lear n in g   f o r   an al y s is   o f   im ag es.   I n   th asp ec o f   d iag n o s in g   an d   clas s if y in g   p u s - in f ec ted   co n d itio n s   f r o m   im ag an al y s is ,   th ese  n etwo r k s   h av d em o n s tr ated   r em a r k ab le  ac cu r ac y ,   with   s o m e   b en ch m ar k s   b ea tin g   h u m a n   d iag n o s tic  ac cu r ac y   f o r   th is   p r o b lem   y et  ag ain .   T h u s o f   d ee p   lear n in g   to   r ad io g r a p h y   h as  p r o g r ess ed   s wif tly ,   s tar tin g   with   ea r ly   s tu d ies  em p lo y in g   co n v en tio n a m ac h in lear n in g   m eth o d s   an d   co n tin u in g   with   m o r r ec en d e v elo p m e n ts   in   C NNs   th at  allo au to m atic  a n d   h ig h l y   ac cu r ate   id en tific atio n   o f   r an g o f   illn ess es,  in clu d in g   p n eu m o n ia.   Un f o r tu n atel y ,   th p r ac tical   u tili ty   o f   m an y   ex is tin g   m o d els  is   lim ited   b ec au s t h ey   d o   n o t   d if f er en tiate  b etwe en   d if f e r en k in d s   o f   p n eu m o n ia;  in s tead ,   th ey   r ely   o n   b in a r y   ca teg o r izatio n   ( p n eu m o n i a   v s .   n o   p n eu m o n ia) .   T h is   wo r k   p r o v id es  n o v el  d ee p   lear n in g   m eth o d   to   b r i d g th ese  g a p s   b y   d ev elo p in g   m u lticlas s   cla s s if icatio n   m o d el  th at  ca n   ac cu r ately   d etec t   an d   d is tin g u is h   b etwe en   " n o r m al, " b ac ter ial   p n eu m o n ia, a n d   " v ir al  p n e u m o n ia"  f r o m   C XR   p h o to s .   Ou r   m o d el  is   b ased   o n   a n   o p tim ized   C NN   ar ch itectu r an d   u s es  tr an s f er   lear n in g   tech n iq u es  to   im p r o v f ea tu r ex tr ac ti o n   ac cu r a cy   [ 6 ] ,   [ 7 ] .   d ee p   lear n in g   n etwo r k   ca lled   C h e XNe was  d ev elo p ed   in   2 0 1 7   b y   R ajp u r k ar   et  a l.   [ 8 ] .   I was  ab le  to   id en tify   p n eu m o n ia  f r o m   C XR s   with   p er f o r m a n ce   co m p ar a b le  to   th at  o f   r ad io lo g is ts   [ 9 ] ,   [ 1 0 ] .   Un lik ex is tin g   m o d els,  o u r   ap p r o ac h   m a k es  ex ten s iv u s o f   d ata  au g m en tatio n   to   en h an ce   r o b u s tn ess   an d   g en er aliza b ilit y   ac r o s s   v ar io u s   p atien p o p u la tio n s .   Fu r th er m o r e,   we  h a v d ev elo p e d   u s er - f r ien d ly   o n l in in ter f ac with   Stre am lit  to   f ac ilit ate  u s in   clin ical  s ettin g s .   T h is   en ab le s   h ea lth ca r p r o v id e r s   to   em p lo y   tech n o lo g y   t o   q u ick ly   an d   au t o m atica lly   id en tify   p n eu m o n ia,   p ar ticu la r ly   in   en v ir o n m e n ts   with   lim ited   r eso u r ce s .   T h k e y   co n tr ib u tio n s   o f   th is   wo r k   ar th d ev elo p m en o f   a   r elia b le,   m u lticlas s   d ee p   lear n in g   m o d el   with   h i g h   p n eu m o n ia  d iag n o s is   ac cu r ac y ,   th p u b licatio n   o f   an   in tu it iv clin ical  ap p licatio n ,   an d   t h v alid atio n   o f   th e   m o d el' s   p er f o r m a n ce   u s in g   a   wid v ar iety   o f   m etr ics  [ 1 1 ] .   T h is   tech n iq u e   aim s   to   clo s th g ap   b etwe en   clin ical  n ee d s   an d   tech n ical  a d v an ce m e n ts   b y   f u s in g   d ee p   l ea r n in g   with   u s ef u l,  r e al - wo r ld   ap p licatio n .   T h is   will p r o v id s ca lab le  m eth o d   to   im p r o v p n eu m o n ia  d iag n o s is   an d ,   in   tu r n ,   im p r o v p atie n t p r o g n o s is .   Pn eu m o n ia  is   lead i n g   ca u s e   o f   h o s p italizatio n   an d   d ea th   wo r ld wid e.   Alth o u g h   C XR   r em ain s   th e   m o s wid ely   a v ailab le  im a g in g   m o d ality   f o r   tr iag e   an d   f o llo w - u p ,   r ad io g r ap h ic  s ig n s   o f   p n eu m o n ia  ar e   s u b tle  an d   ca n   o v e r lap   with   o th er   th o r ac ic  co n d itio n s ,   lead in g   to   s ig n if ican in ter -   an d   in tr a - r ea d er   v ar iab ilit y .   Ov er   th p ast  d ec ad e,   d ee p   co n v o lu tio n al  n etwo r k s   h av s h o wn   s tate - of - th e - a r p er f o r m an ce   o n   C XR   clas s if icatio n   task s ,   b u th r ee   p er s is ten ch allen g es  r em ain i)   g e n er aliza tio n   to   h eter o g en eo u s   ac q u is itio n   co n d itio n s ,     ii)  class   o v er lap   b etwe en   v ir a an d   b ac ter ial  p r esen tatio n s ,   an d   iii)  ca lib r atio n   a n d   d ec is io n   b o u n d ar ies  f o r   r eliab le  d ep lo y m en t.   T h is   p ap er   p r o p o s es  n e u r al  n etwo r k   ( NN) - s u p p o r v ec to r   m ac h in ( SVM) ,   h y b r i d   p ip elin th at   u s es  tr an s f er - lear n ed   C NN  as  f ea tu r e   ex tr ac to r   an d   a   SVM  as  th f in al   d ec is io n   la y er .   T h e   in tu itio n   is   s tr aig h tf o r war d :   C NNs  lear n   p o wer f u l,  tr an s latio n - e q u iv a r ian r ep r esen tatio n s .   SVMs  p r o v id lar g e - m a r g i n   s ep ar atio n   a n d   g o o d   ca lib r atio n   with   lim ited   d ata,   esp ec ially   in   m u lti - class ,   m o d e r ately   im b alan ce d   r eg im es.   W p r esen NN - SVM,   s im p le,   r ep r o d u ci b le  h y b r id   p i p e lin th at  u s es  tr an s f er - lear n e d   C NN  em b ed d in g s   with   a   r a d ial  b asis   f u n ctio n   ( R B F ) - SVM  h ea d   f o r   t h r ee - cl ass   p n eu m o n ia  d etec tio n   ( n o r m al,   b ac ter ial,   an d   v ir al)   f r o m   C XR s .   co n s er v ativ f in e - tu n in g   s tr ateg y   with   s tr o n g   r eg u lar izatio n   an d   class - awa r au g m en tatio n   cu r b s   o v er f itti n g .   I n   a   co m p r eh en s iv e v alu a tio n in clu d in g   p er - class   m etr ics  an d   co n f u s io n   m atr ices NN - SVM   ac h iev es   9 7 . 4 6 ac cu r ac y   with   co m p e titi v m ac r o - F1 .   Ab latio n   ex p er im en ts   is o late  th e   co n tr ib u tio n   o f   th class if ier   h ea d   ( So f tMa x   v s   SVM) ,   d ata  a u g m en tatio n ,   an d   f in e - tu n in g   d ep th .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       NN - S V M:  a   h yb r id   n eu r a l n et w o r k s u p p o r t v ec to r   ma ch in fr a mewo r fo r   …  ( S a n to s h   K u ma r   Ja n ka tti)   1351   2.   L I T E R AT U RE   R E VI E W   R ec en ad v an ce s   in   d ee p   lear n in g   h av tr em e n d o u s ly   b en ef it ted   m ed ical  im ag in g ,   p a r ticu la r ly   in   th ar ea   o f   p n e u m o n ia  d etec tio n   f r o m   C XR   im ag es.  C NN s   ar f r eq u en tly   e m p lo y e d   in   r es ea r ch   to   d o   b in a r y   class if icatio n ,   wh ich   d is tin g u i s h es  b etwe en   lu n g s   th at  a r h ea lth y   an d   th o s th at  h av e   p n eu m o n ia.   T h e y   u s e d   o v e r   1 0 0 , 0 0 0   f r o n tal - v i ew  X - r ay   i m a g es   f r o m   t h e   C h estX - r a y 1 4   d at aset ,   s u b s ta n t ial   p u b l ic  d a tase t,   t o   tr ai n   th e ir   De n s eNe a r c h i te ct u r m o d el.   C h eXN et  d em o n s t r at ed   s i g n if ica n t   p r o m is e   wit h   its   h i g h   F 1 - s c o r e ,   s u g g esti n g   th at   d ee p   l ea r n in g   co u l d   b e   a   h el p f u to o l   f o r   a u t o m ati n g   p n e u m o n ia   d ia g n o s is .   H o we v er ,   b ec au s e   th e   s t u d y   m ai n l y   f o cu s ed   o n   b i n ar y   ca te g o r iza ti o n   wi th o u d is ti n g u is h i n g   b etw ee n   b a cte r i al   a n d   v i r al   p n e u m o n ia ,   its   u s e f u l n ess   f o r   tar g ete d   tr ea t m e n t   was   c o n s tr a in e d .   O th er   s t u d ies  h av a tte m p te d   to   a d d r ess   t h e   class i f i ca t io n   o f   p n e u m o n ia   k i n d s   u s i n g   m o r e   a d v a n ce d   t ec h n i q u es.   K e r m an y   et   a l .   [ 4 ]   u s e d   tr an s f er   lea r n in g   with   p r e - tr ain ed   n etwo r k s   s u ch   as  VGG1 6   an d   R es Net - 5 0   to   ca teg o r ize  C XR s   in to   th r ee   g r o u p s n o r m al,   b ac ter ial  p n e u m o n ia,   an d   v ir a p n eu m o n ia.   T h e   m o d el  was  ab le  to   im p r o v e   its   p er f o r m a n ce   o n   th e   s p ec if ic   aim   o f   p n eu m o n ia  class if icati o n   with   th u s o f   lar g e   d ata s ets  o f   g en er ic  p h o to s   an d   tr a n s f er   lear n in g .   T h e   s tu d y ' s   th r ee   g r o u p s   s h o wed   i m p r ess iv r ates  o f   class if icatio n   ac cu r ac y ,   p r o v in g   t h at  d ee p   lear n in g   m o d els  ca n   b ef f ec tiv ely   ad ju s ted   f o r   m o r p r ec is class if icatio n   [ 1 2 ] ,   [ 1 3 ] .     Desp ite  th ese  ad v an ce m e n ts ,   th er a r s till   is s u es  with   th d ev el o p m en t   o f   r ea d ily   a cc ess ib le,   r eliab le,   an d   ea s y - to - u s to o ls   f o r   th d iag n o s is   o f   p n eu m o n ia  in   r ea l - wo r ld   clin ical  s ettin g s .   Mo s ex is tin g   m o d els  ar eith er   to o   co m p le x   to   b o f   an y   u s wh en   r eso u r ce s   ar s ca r ce   o r   t h ey   d o   n o p r o v id e   m u lticlas s   class if icatio n ,   wh ich   is   cr itica f o r   g u id in g   tr ea tm e n d ec is io n s   [ 8 ] ,   [ 1 4 ] .   T h ese  p r ep r o ce s s in g   tech n iq u es  ar e   cr itical  f o r   im p r o v in g   th q u a lity   o f   t h tr ain i n g   d ata,   m in i m izin g   n o is e,   an d   en s u r i n g   t h at  th m o d el  lear n s   r elev an p atter n s   r elate d   to   p n eu m o n ia  d iag n o s is   [ 1 5 ] ,   [ 1 6 ] .   R esizin g in   th is   s tu d y ,   all  C XR   p ictu r es     wer r ed u ce d   t o   co n s tan d i m en s io n   o f   2 2 4   b y   2 2 4   p i x els  to   m ee th in p u s ize  r eq u ir e m en o f   th s elec ted   C NN  ar ch itectu r [ 1 6 ] [ 1 9 ] .   Un f o r tu n atel y ,   th s m all  s ize  an d   r an d o m   n atu r o f   th lab e led   m ed ical  d atasets   cu r r en tly   av ailab le  ca u s th ese  m o d els  to   o v er f it,  wh ich   n eg ativ ely   af f ec ts   t h eir   g en e r aliza b ilit y   ac r o s s   d if f er en p atien t   g r o u p s .   Sev er al  ac ad em ics  h av e   also   s tu d ied   th e   u s o f   e n s em b le  m eth o d s   a n d   d ata  a u g m en tati o n   to   in cr e ase  th e   m o d el' s   p er f o r m an ce   an d   r o b u s tn ess .   I n ce p tio n V3 ,   R esNet - 5 0 ,   an d   Xce p tio n   ar ju s f ew  o f   th C NN  ar ch itectu r es  th at  in   th s tu d ies   [ 2 0 ] ,   [ 2 1 ] .   Pair ed   with   v ar iety   o f   d ata  au g m en tatio n   m eth o d s   as  f lip p in g ,   r o tatio n ,   a n d   co n tr ast  m o d if i ca tio n s .   B y   u s in g   th is   tech n iq u e,   th e   m o d el' s   f it  f o r   v ar io u s   C XR s f r o m   in d iv id u als  with   v ar io u s   clin ical  co n d itio n s   an d   d em o g r ap h ics,  f o r   ex am p le was  im p r o v ed .   Mo r c o m p lex   en s em b le  m o d els  m ay   r esu lt  i n   lo n g er   i n f er en ce   tim es  an d   m o r c o s tly   p r o ce s s in g .   B ec au s o f   t h is ,   th ey   ar e   less   ap p r o p r iate  f o r   u s in   r ea l - tim clin ical  ap p licatio n s ,   p ar ticu lar ly   wh en   r eso u r ce s   ar s ca r ce   [ 2 2 ] ,   [ 2 3 ] .   T h is   wo r k   im p r o v es  o n   p r ev io u s   r esear ch   b y   co m b in i n g   d ee p   lear n in g   alg o r ith m s   with   an     o n lin a p p licatio n   in ter f ac e   to   g iv e   h ea lth ca r p r o f ess io n als  m o r u s er - f r ien d ly ,   s im p ler   m u lticlas s   ca teg o r izatio n   m o d el.   Ou r   a p p r o ac h   f o c u s es  o n   th r o b u s tn e s s ,   clin ical  in teg r atio n ,   an d   r e al - tim d ep lo y m e n o f   th m o d el  to   p r o v id m o r co m p r eh en s iv s o lu tio n   to   th cu r r en p r o b lem s   ass o ciate d   with   p n eu m o n ia  d iag n o s is .   C lass ical  C X R   an aly s is   u s ed   en g in ee r ed   tex t u r e/ s h ap d escr ip to r s   ( e. g . ,   g r ay   l ev el  co - o cc u r r en ce   m atr ix   ( GL C M )   an d   h is to g r am   o f   o r ie n ted   g r ad ien ts   ( HOG ) )   with   SVM  o r   r an d o m   f o r ests .   Mo d er n   ap p r o ac h es  lev er a g C NNs  ( e. g . ,   VGG,   R esNet,   Den s eNe t,  an d   E f f icien tNet)   with   tr a n s f er   lear n in g   f r o m   n atu r al  im ag es,  ac h iev in g   s tr o n g   r esu lts   o n   m u lti - lab el  th o r a cic  d is ea s d etec tio n .   Hy b r id   m eth o d s   th at  co u p le  d ee p   f ea tu r es  with   m ar g in - b a s ed   class if ier s   ( SVM   an d   lo g is tic  r eg r ess io n )   h av b ee n   r e p o r ted   to   im p r o v e   r o b u s tn ess   an d   ca lib r atio n   o n   s m all  to   m ed iu m - s ized   m ed ical  d atasets .   Ou r   wo r k   f o llo ws  th is   h y b r id   lin e,   f o cu s in g   s p ec if ically   o n   v ir a v s   b ac ter ial  v s   n o r m al  tr i - class   d is cr im in atio n   an d   d etailin g   co m p ac t,   r ep r o d u cib le  p i p elin e.       3.   M E T H O D   T h d ata   u s ed   i n   th is   p r o ject  i s   r ef er r ed   to   as  “RS NA  Pn eu m o n ia  Dete ctio n   C h allen g D ataset”  an d   co n s is ts   o f   to tal  o f   2 6 , 6 8 4   f r o n tal  ch est  im ag es  o f   p atien t s   with   p n eu m o n ia  u s in g   C XR s .   T h im ag es  h av b ee n   class if ied   in to   t h r ee   s et s “n o r m al”  with   a   to tal  o f   5 , 8 5 6   im ag es,  “v ir al   p n e u m o n ia”  with   to tal  o f   1 3 , 6 7 0   im ag es,  an d   “b ac ter ial  p n eu m o n ia”  with   to tal  o f   7 , 1 5 8   im ag es.  T h p r esen ce   o f   e q u al  p r o p o r tio n s   o f   im ag es  in   ea ch   class   is   an   in d icatio n   o f   h o r elev a n it  is   f o r   f air   m u lticlas s   cla s s if ie r   to   h av an   eq u al  n u m b er   o f   im a g es in   ea ch   clas s   f o r   h ig h er   ef f icie n cy   in   its   o p er atio n s .     T h im ag es  u s ed   in   th is   d atase wer ca r ef u lly   o b tain ed   u s in g   co n v en tio n al  d ig ital  im ag a cq u is itio n   eq u ip m en to   en s u r b o th   h ig h   im ag q u ality   an d   ef f icien p r o ce s s in g   th r o u g h o u th d ata  co llectio n   p h ase.   All  ex p er im en tal  d ata  s tr ictly   f o llo ws  estab lis h ed   eth ical  g u id elin es  s p ec if ically   d esig n ed   to   p r o tect  an d   s af eg u ar d   p atien ts '   p r iv ac y   r i g h ts   co m p r eh en s iv ely .   I m a g e s   h av b ee n   f u lly   d e - id en tifie d   th r o u g h   r ig o r o u s   an o n y m izatio n   p r o ce d u r es,  w ith   in f o r m ed   co n s en t   p r o p er l y   o b tain ed   f r o m   ea ch   in d i v id u al  p atien t   o r   th eir   leg al  g u ar d ia n   ac co r d in g   t o   all  ap p licab le  in s titu tio n al  r ev ie b o ar d   ( I R B )   r eq u ir em e n ts .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 1 3 4 9 - 1 3 6 1   1352   3 . 1 .     Da t a   a nd   t a s k   def ini t io n   W co n s id er   th r ee - class   C XR   clas s if icatio n   p r o b lem n o r m al,   b ac ter ial  p n eu m o n ia,   an d   v ir al   p n eu m o n ia.   p u b licly   a v ailab le,   d e - id en tifie d   d atase o f   p o s ter o an ter io r /an ter o p o s ter io r   ( PA/AP )   r ad io g r a p h s   with   p atien t - lev el   lab els  was  u s ed .   I m ag es  ar p ar titi o n ed   p atien t - wis in to   tr ain /v alid atio n /tes s p lits   to   av o id   leak ag e.   C lass   co u n ts   ar b ala n ce d   o n   th tr ain in g   s et.     3 . 2 .     P re pro ce s s ing   a nd   a ug m ent a t io n   I m ag es  ar s tan d ar d ized   b ef o r tr ain in g   t h r o u g h   r esizin g   to   2 2 4 × 2 2 4   an d   i n ten s ity   n o r m aliza tio n .   Du r in g   tr ain i n g ,   lig h au g m en tatio n s s u ch   as  s m all  r o tatio n s ,   f lip s ,   b r ig h tn ess /co n tr ast  ad ju s tm en t,  an d   m ild   Gau s s ian   n o is e ar ap p lied   to   im p r o v m o d el  r o b u s tn e s s   an d   r ed u ce   o v er f itti n g .   O p tio n al  lu n g - r eg io n   cr o p p in g   ca n   b e   in clu d e d ,   b u t th p ip elin e   is   d esig n ed   t o   o p e r ate  ef f ec tiv ely   o n   f u ll  im a g es  with o u ad d itio n al   s eg m en tatio n   s tep s .     R esizin g   to   2 2 4 ×2 2 4   ( k ee p s   a s p ec t v ia  p ad - r esize  if   n ee d ed ) .     No r m aliza tio n   to   I m ag eNe t m ea n /v ar ian ce   ( o r   d ataset - s p ec if ic  s tats ) .     Au g m en tatio n s   ( tr ai n in g   o n ly ) s m all  r o tatio n s   ( ± 7 °),   h o r izo n tal  f lip s ,   r an d o m   b r ig h tn ess /co n tr ast,  an d   m ild   Gau s s ian   n o is e.     Op tio n al:  lu n g   f ield   cr o p p in g /s eg m en tatio n   ca n   b a d d ed ,   b u we  k ee p   th p ip elin s in g le - s tag an d   r o b u s t to   f u ll - im ag v ar iatio n .     3 . 3 .     Co nv o lutio na l neura l net wo rk   ba c k bo ne  a nd   f ea t ur ex t ra ct i o n   W ad o p a   m o d er n   I m a g eNe t - p r etr ain ed   C NN  ( e. g . ,   Den s eNe t - 1 2 1   o r   E f f icien tNet - B 0 /B 3 ) .   T h e   class if icatio n   h ea d   is   r em o v ed we  ap p ly   g lo b al  av er a g p o o lin g   ( GAP)   to   o b tain   f ix e d - len g th   em b ed d in g   ( e. g . ,   1 0 2 4 - f o r   Den s eNe t - 1 2 1 ) .   W f in e - tu n th last   b l o ck s   ( N {1 ,   2 } )   with   lo le ar n in g   r ate  t o   ad ap to   C XR   tex tu r s tatis tics   wh ile   p r eser v in g   g en e r al  f ea tu r es.   Data   p r ep a r atio n   is   c r itical  asp ec wh en   it  co m es   to   tr ain in g   th e   d ata   f o r   a   d ee p   lear n i n g   m o d el  b ec au s it e n s u r es th at  th d at is   r ea d y   an d   well - co n d itio n e d   f o r   o p tim al  p er f o r m an c e.   T h s tu d y   em p lo y ed   wid r an g o f   d ata  p r ep ar atio n   m eth o d s ,   s o m o f   w h ich   in clu d d ata  au g m en ta tio n ,   s ca lin g ,   an d   n o r m aliza tio n .   Data   a u g m en ta tio n   is   v er y   cr itical  b ec au s it  en s u r es th at  th tr ain in g   d ata  i s   im p r o v ed   t h r o u g h   ar tific ial  au g m en tatio n   o f   its   s ize  u s in g   m eth o d s   lik r o tatio n ,   f lip ,   an d   zo o m   tr an s f o r m a tio n   o f   th e   o r ig i n al  im ag es  o f   X - r ay s   tak en   f o r   a n aly s is .   No o n ly   is   d ata  a u g m en tatio n   e f f ec tiv e   in   a d d r ess in g   is s u es  r elate d   to   o v er f itti n g   th r o u g h   in cr ea s ed   v ar iab ilit y   in   im a g es,  it  is   also   ef f ec tiv e   in   en s u r in g   t h at  i m ag es'   r o b u s tn ess   to   d if f er en t in p u t im ag e   co n d itio n s   is   im p r o v ed .   T h p r o p o s e d   tec h n i q u is   ef f ec t iv as  it   g e n e r a tes  d i v e r s e   t r ai n i n g   s am p l es  t h r o u g h   d ata   au g m e n ta ti o n ,   e n a b li n g   th m o d el   t o   b e tte r   ca p t u r e   p n eu m o n ia - r el at ed   f ea tu r es   u n d er   v a r y in g   co n d it io n s .   T h is   en h a n ce s   t h m o d e l’ s   a b ili ty   t o   g e n e r a liz t o   p r e v i o u s l y   u n s ee n   d at a.   Ad d i ti o n all y ,   p r e p r o ce s s i n g   s te p s   s u ch   as   s ca li n g   a n d   n o r m a liz ati o n   ar e   a p p li ed   t o   s ta n d a r d iz p i x el  i n te n s i ty   v a lu es  ac r o s s   all   i m a g es .   No r m al iza ti o n   tr a n s f o r m s   p i x el   i n te n s i ties   t o   a   c o m m o n   r a n g o f   0   t o   1 ,   e n s u r i n g   u n i f o r m   f ea tu r r e p r ese n t ati o n   an d   f a cili tat in g   f ast e r   c o n v er g en c d u r i n g   tr ai n i n g .   T h is   p r ev e n ts   f e at u r es   wit h   la r g e r   n u m er i ca l   v al u es   f r o m   d o m i n ati n g   t h e   l ea r n in g   p r o c ess   a n d   im p r o v es   th e   s t ab ilit y   o f   t h e   m o d el .   C o n s eq u en tl y ,   it   e n h a n c es   t h e   ef f ic ie n c y   o f   t h e   b ac k p r o p a g ati o n   al g o r it h m   a n d   r e d u ce s   i s s u es  s u ch   as  v a n is h i n g   o r   e x p l o d in g   g r a d i en ts ;   p a r ti c u la r l y   in   d ee p   lea r n i n g   m o d els   li k e   C NNs.   Ac c u r ate   f ea tu r e x t r ac ti o n   is   cr iti ca l   f o r   p n e u m o n i d et ec ti o n   f r o m   C XR   im a g es .   P r o p er   n o r m al iza ti o n   e n a b l es t h m o d el  t o   l ea r n   s u b t le  v a r i ati o n s   i n   p i x el  i n t en s iti es,  wh ic h   ar ess e n ti al   f o r   d is ti n g u is h in g   b etw ee n   d if f e r e n t   t y p es   o f   p n e u m o n ia ,   t h e r e b y   im p r o v in g   b o t h   a cc u r ac y   a n d   r o b u s t n ess .   F u r th er m o r e,   all   C XR   im a g es   a r e   r esi ze d   t o   a   f i x ed   d i m e n s i o n   o f   2 2 4 ×2 2 4   p i x e ls   t o   m e et   t h e   in p u t   r e q u i r e m e n ts   o f   s t an d ar d   C N ar ch ite ct u r es   a n d   e n s u r e   co n s is t en c y   d u r i n g   t r ai n i n g .   T h i s   n o r m al izi n g   o f   t h e   in p u t   f ea t u r es   h e lp s   th e   m o d e l ea r n   f r o m   ea ch   p i x e l   e q u al ly   a n d   p r ev e n ts   f ea tu r es   wit h   l ar g e   v al u es   f r o m   o v e r s h ad o w in g   t h tr ai n i n g   o f   t h e   m o d el .   No r m al iz ati o n   f u r th e r   h el p s   e n s u r e   f ast er   co n v e r g e n ce   o f   t h e   d e ep   lea r n i n g   m o d el   d u r i n g   tr ai n i n g .   I t   a ls o   h e lp s   t h m o d el   r e ac h   its   o p tim u m   le ar n i n g   r at e,   t h u s   m a k i n g   t h e   tr a in in g   p r o ce s s   o f   t h b ac k p r o p a g at io n   al g o r it h m   m o r ef f i cie n a n d   f ast er .   I f u r t h e r   r e d u c es  t h e   c h a n ce s   o f   th e   g r a d i en ts   d is a p p e ar i n g   o r   b l o wi n g   u p   d u r in g   tr ai n i n g ,   es p ec i all y   d u r i n g   t h e   tr ai n i n g   o f   d e e p   le ar n i n g   m o d els   li k e   C N Ns.   D u r i n g   d ia g n o s i n g   p n e u m o n i a   f r o m   X - r a y   im a g es ,   ac c u r ate   f e a tu r e   e x t r ac t io n s   a r e   p a r a m o u n t .   I n   t h is   r e g ar d ,   ac c u r at n o r m a liz ati o n s   en s u r e   s m al f e at u r es,   w h i ch   d is ti n g u is h   v i r a an d   b ac te r ia p n e u m o n ias ,   a r a p p r o p r i at el y   le ar n e d ,   th u s   im p r o v i n g   th a cc u r ac y   a n d   r o b u s t n ess   o f   th m o d el.   R esi zi n g in   th is   w o r k ,   a ll  th C XR   im ag e s   we r e   r esiz e d   t o   f i x e d   s iz o f   2 2 4   p ix els  b y   2 2 4   p i x els   t o   e n h a n ce   t h e   i n p u t   r e q u i r e m e n t   f o r   t h ac ce p te d   C NN  m o d el  ar c h it ec t u r e .   T h e   o p t io n   t o   s ca l e   t h e   i m a g es   s t an d ar d i ze s   t h e   i n p u t   to   th e   m o d el,   wh ic h   is   c r u c ial   f o r   d e ep   l ea r n i n g   f r am ew o r k s   t h at   r e q u i r e   u n i f o r m   i n p u t   s h a p es   a cr o s s   al s am p les .   T h is   s c ali n g   m et h o d   n o t   o n l y   m a k es   in t eg r ati o n   wit h   t h e   C NN   e as ier ,   b u t   it   als o   h el p s   t o   k e ep   t h e   co m p u te   l o ad   r ea s o n a b le   d u r in g   t r ai n i n g   a n d   in f e r e n c e.   B y   r ed u c in g   th s i ze   o f   e ac h   X - r a y   p i ct u r t o   2 2 4 × 2 2 4   p i x els,   t h m o d el' s   c o m p u tati o n al   c o m p l e x it y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       NN - S V M:  a   h yb r id   n eu r a l n et w o r k s u p p o r t v ec to r   ma ch in fr a mewo r fo r   …  ( S a n to s h   K u ma r   Ja n ka tti)   1353   is   d r a m at ic all y   d e cr ea s e d .   Hi g h - r es o l u t io n   p i ct u r es  i n cl u d e   h u g n u m b er   o f   p i x els ,   wh i ch   m i g h m a k e   tr a in in g   ta k lo n g e r   an d   n ee d   m o r r es o u r ce s .   H o we v er ,   s c ali n g   al lo ws  t h e   m o d el   t o   h a n d le  p i ct u r es  m o r ef f ic ie n tl y   w h i le   m ai n t ai n i n g   i t s   c ap ac it y   to   lea r n   c r it ica l   c h a r ac t er is tics .   T h is   d e cr ea s e   i n   c o m p u t ati o n al   c o s t   is   esp ec i all y   b e n e f i cia l   wh e n   w o r k i n g   wi th   b i g   d at ase ts ,   s u c h   as   t h e   R S NA   P n e u m o n ia   Dete cti o n   C h all en g e   Data s et ,   b e ca u s e   i t a ll o ws   t h e   m o d el  to   t r a in   q u ic k e r   w h il u s in g   less   m em o r y .   Da ta   a u g m e n ta ti o n : a   v ar i et y   o f   d at au g m e n t ati o n   t ec h n i q u es,   in c lu d i n g   r a n d o m   r o t ati o n s ,   f l i p s ,   z o o m s ,   b r ig h t n ess   m o d i f i c ati o n s ,   a n d   c o n tr ast  v a r i ati o n s ,   we r e   u s ed   t o   r e d u c o v er f i tti n g   a n d   en h a n ce   th m o d el' s   ca p ac it y   f o r   g e n e r a liz ati o n .   B y   s i m u l ati n g   r a n g e   o f   c ir cu m s t an ce s ,   in c lu d i n g   s m al p o s it io n al  o r   li g h ti n g   c h a n g es ,   t h ese   a u g m en t ati o n s   b r o ad e n   th tr a in in g   s et  a n d   b o o s t   t h d u r ab i lit y   o f   t h m o d e l.   T h es p r e p r o ce s s i n g   s t r ate g i es  a r e   c r i tica t o   e n h an ci n g   m o d el   p e r f o r m an ce   b ec a u s e   t h ey   i n cr ea s e   t h e   e f f e cti v e   s ize   o f   t h e   t r a in in g   s et   a n d   e n s u r e   t h at   t h e   m o d el   l ea r n s   to   g e n e r al ize   t o   n ew ,   u n s ee n   e v e n ts   i n s te a d   o f   s i m p l y   m e m o r izi n g   t h e   t r a in in g   d at a.     3 . 4 .     M o d e l   a r ch i t ec t u r e   Fig u r 1   illu s tr ates  s y s tem   th at  u s es  C X R   im ag es  an d   p r e - tr ain e d   C NN  m o d el  with   tr an s f er   lear n in g   to   a u to m atica lly   d ia g n o s v ir al  p n eu m o n ia,   b ac ter ia l p n eu m o n ia,   o r   n o r m al  ca s es.     I n p u t CXR   →  p r ep r o ce s s   →  C NN  →  em b ed d in g   →  SVM  →  ca lib r ated   p r o b ab ilit ies →  e v alu atio n /QA.     I n p u t CXR   ( DI C OM /PNG,  1 × W )   r aw  ch est X - r ay   en ter s   th s y s tem .           Fig u r 1 .   Ar c h itectu r al  d iag r a m   o f   p n eu m o n ia  class if icatio n       Pre p r o ce s s in g r esize  to   2 2 4 ×2 2 4   s o   e v er y   im a g f its   th b ac k b o n e’ s   ex p ec te d   s ize.   No r m alize   in ten s ities   to   s tab le  r an g es  ( I m ag eNe m ea n /s td   o r   d ataset  s tats ) .   C las s - awa r au g m e n tatio n   ( tr ain   o n ly )   b alan ce s   class es  an d   im p r o v es  g en er aliza tio n   ( m ild   r o tatio n s ,   f lip s ,   an d   co n tr ast/ b r ig h tn ess   jitt er ) .   C NN   b ac k b o n ( p r etr ain ed last   b lo ck s   f in e - tu n e d ) ,   a   m o d er n   C NN  ( e. g . ,   Den s eNe t - 1 2 1 /Ef f icien tNet)   ex tr ac ts   r ad io g r a p h ic  tex tu r e/f ea tu r es.   W f in e - tu n o n ly   t h last   1 2   b lo ck s   ( lo L R )   t o   ad a p to   C XR   s tati s tics   with o u o v er f itti n g .   GAP   →  1 0 2 4 - em b ed d i n g   GAP  co llap s es  s p atial  m ap s   in to   co m p ac t,  tr an s latio n - r o b u s v ec to r   ( 1 0 2 4   d im s ) .   T h is   r ed u ce s   p ar am eter s   v s   f latten in g   an d   m a k es  th f ea t u r es  SVM - f r ien d ly .   R B F - SVM  ( o n e - vs - r est3 class es)  On   th e   1 0 2 4 - em b ed d i n g ,   we   tr ain   m ar g in - b ased   SVM  f o r   n o r m al,   b ac ter ial,   an d   v ir al   ( Ov R ) .   T h R B k er n el  g iv es  n o n - lin ea r   d ec is io n   b o u n d ar ies  th at  o f ten   s ep a r ate   o v er lap p i n g   p n e u m o n ia   p atter n s   b etter   t h an   lin ea r   o r   So f tMa x   h ea d .   C alib r atio n   ( p latt  s ca lin g )   SVM  s co r e s   ( d is tan ce s   to   m ar g in s )   ar e   m a p p ed   t o   well - ca lib r ated   class   p r o b ab ilit ies  v ia  lo g is tic  ca lib r atio n   o n   v alid atio n   s p lit.  T h is   h elp s   th r esh o ld   s ettin g   an d   clin ical  in ter p r eta b ilit y .   Sid m o d u les ( f ed   b y   in ter m ed iate  tap s ) :     I n ter p r etab ilit y   ( g r ad ien t - wei g h ted   class   ac tiv atio n   m ap p i n g   ( g r a d - C AM ) )   f r o m   th C NN  f ea tu r es  to   s h o wh er th m o d el  “lo o k e d ”  ( co n s o lid atio n s   an d   p er ih il ar /p er ip h er al  o p ac ities ) .     E x t e r n a l   v a l i d a t i o n   a n d   d o m a i n   a d a p t a t i o n   ( o n   a n   i n d e p e n d e n t   s i t e ) :   b a t c h   n o r m a l i z a t i o n   re - e s t i m a t i o n   w i t h   s m a l l   u n l a b e l e d   b a t c h   t o   m a t c h   t a r g e t   s c a n n e r   s t a t i s t i c s ,   t h e n   t e m p e r a t u r e   s c a l i n g   t o   r e - c a l i b r a t e   p r o b a b i l i t i e s .     Me tr ics  an d   s tatis tics ac cu r ac y ,   p r e cisi o n ,   r ec all,   F1 - s co r e ar ea   u n d e r   th e   cu r v e   ( AU C ) co n f u s io n   m atr ix p er - class   r ec eiv er   o p er atin g   c h ar ac ter is tic  ( R OC ) s ig n if ican ce   test s D eL o n g   ( AUC) ,   Mc Nem ar   ( p air ed   ac cu r ac y ) ,   a n d   p air e d   b o o ts tr ap   ( m ac r o - F1 ) .   Deta ile d   m o d e l   ( la y e r - by - la y e r   v iew ) :   i n p u t   1 × 2 2 4 ×2 2 4     C NN  b l o c k s   ( +Re L U/S iLU )   →  GA →  B atc h N o r m   →  d r o p o u t ( 0 . 2 )   →  1 0 2 4 - D   e m b e d d i n g     R B F - SV   p la tt   s ca li n g     p r o b a b i lit ies   ( n o r m al/ b ac t er ial /v ir al )   C NN   b l o c k s   c o n v o l u ti o n a s t ag es  le ar n   ed g es,   te x t u r es ,   an d   l u n g   p ar en ch y m a   p att er n s .   W k ee p   ea r l y   la y e r s   m o s tl y   f r o ze n   ( g en er ic   f ea t u r es )   a n d   f i n e - t u n e   t h e   las 1 2   b l o c k s   ( d o m a in - s p e ci f ic   r a d i o g r ap h i c   c u es ) .   GAP   ( t o   1 0 2 4 - D )   c o n v er ts   f e at u r e   m a p s   i n t o   a   s i n g le   v e ct o r   p e r   c h a n n el ,   e n c o u r a g i n g   g l o b al ,   s p atia ll y - aw ar s u m m a r ies   wi th o u t   a   h u g e   FC   la y e r .   B atc h N o r m   ( o n   em b e d d i n g )   s t ab i liz es  th f ea t u r e   d is t r i b u ti o n   t h e   SV M   s e es;   i m p r o v es   tr an s f er   an d   r e d u c es   d o m ai n   s h i f t   s e n s i ti v it y .   Dr o p o u t   p   = 0 . 2   r e g u l ar izes   th e   r e p r ese n t ati o n   s o   th SV d o esn t   o v er f i s p u r i o u s   c u es .   E m b e d d i n g   ( 1 0 2 4 - D)   T h d e f i n it iv f e at u r e   v e ct o r   s a v e d   f o r   th SV a n d   f o r   d o w n s t r ea m   an al y s is   ( e . g . ,   t - SNE   p lo ts   a n d   e r r o r   a n aly s is ) .   R B F - SVM   ( O v R )   T h r ee   b i n a r y   SV Ms  ( n o r m a v s   r est,   b a cte r i al  v s   r est ,   an d   v ir al  v s   r est ) .   R B t y p ic all y   d e li v e r s   b e tte r   m a r g in s   th an   a   li n e ar   h e a d   in   s m al l/m e d i u m   d at ase ts   wh er e   class es  o v e r l ap .   C al ib r a ti o n   ( p latt )   f o r   e ac h   O v R   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 1 3 4 9 - 1 3 6 1   1354   class i f i er ,   l ea r n   lo g is tic   m ap p i n g   o n   th v al id ati o n   s e t;  co m b in a n d   n o r m a liz t o   a   f in a p r o b a b ili ty   s im p l e x   o v e r   t h e   t h r e e   cl ass es .   O u t p u ts   a n d   h o o k s   p r o b a b i liti es   p r e d i cte d   la b el   f ee d   t h e   c o n f u s i o n   m at r i x   a n d     p e r - cl ass   R OC ;   i n te r m e d i ate   C NN  f ea tu r es   a r e   u s e d   to   g e n e r a te  g r a d - C AM   h ea t m a p s   ( li g h tw ei g h li n ea r   p r o b e   c an   b e   at tac h ed   s o le ly   f o r   ex p l ai n a b l a r t if ici al  i n t elli g e n ce   ( X AI ) u s e d   f o r   v i s u al iz ati o n ,   n o t   f o r   d e cisi o n s ) .   I m a g es   a r r es ize d   to   2 2 4 × 2 2 4   a n d   n o r m a liz e d .   D u r i n g   t r a in in g ,   li g h a u g m e n ta ti o n s s u ch   as   s m al r o tat io n s ,   f li p s ,   b r i g h tn ess /c o n t r ast   a d j u s t m e n t ,   a n d   G au s s ia n   n o is e a r a p p li ed   t o   im p r o v g e n e r a liz ati o n .   T h p i p e li n e   r e m ai n s   s im p l a n d   r o b u s t ,   wit h   o p ti o n al   l u n g - r e g i o n   cr o p p in g   if   n ee d e d .   SVM  clas s if ier   ( NN - SVM) :   g iv en   em b e d d in g s   { } = 1   an d   l ab els  { 1 , 2 , 3 } ,   we  tr ain     one - vs - r est SVM  with   R B F k e r n el   as ( 1 ) ,   w h ile  th o p tim izatio n   o b jectiv is   d e f in ed   in   ( 2 ) .     ( , _ )   =    (      | |     _ | | ^ 2 )   ( 1 )     _ { , ,  }   ( 1 / 2 ) | | | | ^ 2   +       _ { = 1      }    _   ( 2 )     Su b ject  to _   ( ^   ( _ )   +   )   > =   1      _  _   > =   0             =   1 , 2 , . . . , .   W h er γ   is   k er n el  p a r am eter   c o n tr o llin g   s p r ea d ; ξi  is   s lack   v ar iab les;   C   is   r eg u lar izatio n   p a r am eter ; a n d   ϕ ( x )   is   f ea tu r m ap p in g .   T h er ar th r ee   ty p es  o f   C XR   im ag p ictu r es  th at  ar aim ed   at  b y   th p r o p o s ed   m o d el,   wh ich   is   a   C NN:  " n o r m al, "b ac ter ial   p n eu m o n ia, "   an d   "v ir al   p n e u m o n ia . T h e   p r o p o s ed   ar ch itectu r o f   th e   m o d el   is   s u b d iv id ed   i n to   v ar i o u s   lev els  th at  p lay   d if f er en r o les.  T h lev els  in clu d e   co n v o lu tio n al  l ay er s "th ese  lay er s   p lay   c r u cial  r o le  in   th id e n tific atio n   o f   p n e u m o n ia   b y   d e tectin g   k ey   d etails  with in   C XR   im ag p ictu r es " .   T h ese  lay er s   tak th in p u p h o to s   an d   ap p l y   f ilter s   to   th em ,   d etec tin g   k ey   d etails  s u ch   as  ed g es  th at  p lay   p iv o tal  r o le  in   im a g id e n tific atio n .   E v e r y   f ilter   p er f o r m s   a   co n v o lu tio n   p r o ce s s   b etwe en   th p h o to   an d   th e   f ilter   to   g en er ate  f ea tu r m ap s ,   wh ich   ar th en   s u b jecte d   to   n o n - lin ea r   f u n ctio n s   s u ch   as  R eL to   in d u ce     non - lin ea r ity   am o n g   th em .   T h s p atial  ar r an g em en o f   f ilter s   o v er   th im ag ca n   b in f lu en ce d   b y   th s tr o k e   s ize  an d   p ad d i n g .   T h n u m b er   o f   ad d itio n al  f ilter s   o f   all  s ize s   in cr ea s es  with   th d ep th   lev e o f   th n etwo r k   to   ca p tu r p r o g r ess iv ely   m o r e   d etailed   in f o r m atio n .   T h c o n v o lu ti o n al  lay er s   f o llo p o o lin g   lay er s   th at   s u p p r ess   s p atial  d etails  to   r eta in   k ey   in f o r m atio n   o n ly .   T h ef f icien cy   o f   th m o d el  in cr ea s es  with   it s   ab ilit y   to   lear n   s ig n if ican d etails th at  r elate   to   " n o r m al, "b ac ter ial  p n eu m o n ia, o r   "v ir al  p n eu m o n ia, in f ec tio n s .     T h f o llo win g   is   th m ath em atica d escr ip tio n   o f   t h co n v o lu tio n   p r o ce s s ,   n am ely   p o o li n g   lay er s :   "a n   ess en tial  co m p o n e n o f   C NNs  is   th p o o lin g   lay e r s   u s ed   f o r   d ec r ea s in g   th s p atial  s ize  o f   f ea t u r m a p s   with   th p r eser v atio n   o f   k ey   in f o r m atio n ,   th u s   in cr ea s in g   ef f i cien cy   with in   th m o d el . I n   t h p r o p o s ed   m o d el   f o r   p n eu m o n ia  id en tific atio n ,   p o o lin g   la y er s   ap p ly   tech n iq u es  s u ch   as  av er ag o r   m a x   p o o lin g   m eth o d s   f o r   s u ch   s p atial  d o wn - s am p lin g .   T h m o s p o p u lar   m et h o d   is   th m ax - p o o lin g   alg o r ith m   th a cu ts   th wid th   an d   h eig h o f   th f ea t u r m ap   b y   h alf   b y   d iv i d in g   th m a p   in to   n o n - o v er lap p in g   r e g io n s   to   ch o o s th m ax im u m   in ten s ity   with in   th em .   T h ap p r o ac h   d is ca r d s   all  o th er   in f o r m atio n   ex ce p th k ey   in f o r m atio n   co n tain ed   in   th f ea tu r m ap .   T h a p p r o ac h   h as  n u m er o u s   ad v an tag es  g o in g   b ey o n d   th r e d u ctio n   o f   s p atial  in f o r m atio n .   "T h is   in cr ea s es  ef f icien cy   b y   r ed u cin g   t h n u m b er   o f   p ar a m eter s   as  well  a s   co m p u tatio n s   r eq u ir ed   b y   th e   s u cc ee d in g   lay er s .   Ad d itio n al ly ,   th ap p r o ac h   also   in tr o d u c es  f ea tu r tr an s latio n   in v a r ian ce   th at  en ab les  th m o d el  to   r ec o g n ize  i n f o r m atio n   at  an y   im a g lo ca tio n . "   Oth er   lev els o f   th p r o p o s ed   m o d el  ar ch itectu r in clu d e:   i)   Fu lly   co n n ec ted   lay er s "th ese  lay er s   p lay   cr u cial  r o le  s in ce   th ey   estab lis h   co n n ec tio n   b etwe en   all   o th er   lay er s   b y   g en e r atin g   an   o u tp u th at  id en tifie s   w h eth er   an   im a g is   " n o r m a l,"   "b ac ter ial   p n eu m o n ia, o r   "v ir al  p n eu m o n ia " I n   C NN  ar ch itect u r s u ch   as  th p r o p o s ed   m o d el,   th la y er s   g en er ate  o u tp u b y   in co r p o r at in g   all  in p u in f o r m atio n   alo n g   with   n o n - lin ea r   tr a n s f o r m atio n s   o f   s u ch   in f o r m atio n   to   p r o d u ce   th r es u lts   r eq u ir ed   b y   th m o d el  to   id en tify   th i n p u t im a g e' s   ty p e.   ii)   Flatten   lay er s :   "th ese  lay er s   p lay   an   ess en tial  r o le   with in   th p r o p o s ed   m o d el  a r ch itectu r e   b y   r esh ap in g   all  in p u t   in f o r m atio n   r ec eiv e d   b y   th e   m o d el  in to   a   s in g le  lin f o r   p r o ce s s in g   b y   o th er   lay e r s   s u ch   as  t h e   f u lly   co n n ec ted   lay er s " Af t er   in p u in f o r m atio n   h as  b e en   p r o ce s s ed   b y   co n v o lu tio n al  lay er s ,   th e   r esu ltin g   o u tp u r eq u ir es  r esh ap in g   b y   th f latten   lay er s   t o   f ee d   all  in f o r m atio n   r eq u ir ed   f o r   o u tp u t   g en er atio n   b y   o th er   la y er s   s u ch   as th f u lly   co n n ec ted   la y er s .   T h ess en tial c h ar ac ter is tic  r eq u ir ed   b y   th e   p r o p o s ed   m o d el  is   to   r esh ap all  in f o r m atio n   r ec ei v ed   b y   s u ch   m o d els  f o r   e f f ec tiv p r o ce s s in g   b y   o th er   lay er s   to   g en er ate  o u tp u t in f o r m atio n .   T h p r o p o s ed   m o d el  ar c h itect  lev els in clu d v ar io u s   o th er   le v els th at  p lay   d if f e r en t r o les as f o llo ws:     i)   B atc h N o r m   la y er s th i s   is   v er y   h el p f u l ,   es p e ci all y   i n   m ed ic al   im a g i n g ,   w h e r e   t h e x ac t   l o c ati o n   o f   t h e   p r o b l em ati lesi o n s   c an   d i f f e r .   I n   ad d i ti o n ,   c o m b i n i n g   l a y e r s   h el p s   i n   o v e r c o m in g   o v e r f itti n g .   T h e   la y e r s   en ab le  th m o d el  t o   b a b l e   to   g e n e r al ize   we ll  f r o m   t h e   tr ai n i n g   d at t o   n e w,   u n s e e n   e x am p l es  b y   f o c u s i n g   o n ly   o n   t h e   k e y   as p e cts  an d   i g n o r i n g   less   c r u cia d etai ls .   T h is   h el p s   i n   att ai n i n g   h ig h e r   ac cu r ac y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       NN - S V M:  a   h yb r id   n eu r a l n et w o r k s u p p o r t v ec to r   ma ch in fr a mewo r fo r   …  ( S a n to s h   K u ma r   Ja n ka tti)   1355   in   t h r ea lm   o f   p n e u m o n ia   cl ass if ica ti o n ,   as  t h m o d el  is   a b le   t o   l ea r n   e x p e r s k il ls   i n   i d en t if y i n g   k e y   p at te r n s   i n d i ca t iv o f   d i f f e r e n t   ty p es   o f   p n eu m o n ia   w h il r e m ain in g   c o m p u t ati o n al ly   f e asi b l e.   ii)   B atch   n o r m aliza tio n :   b atch   n o r m aliza tio n   is   a   s tr ateg y   a p p li ed   in   C NN s   th at  h elp s   in   s tab i lizin g   tr ain in g   an d   in c r ea s in g   th e   s p ee d   o f   co n v er g en ce   b y   n o r m alizin g   th e   in p u ts   r ec eiv ed   b y   ev er y   lay e r .   Ou r   p n eu m o n ia  class if icatio n   m o d el  ap p lies   b atch   n o r m aliza tio n   in   n o r m alizin g   th e   ac tiv atio n s   r ec eiv ed   b y   ev er y   lay e r   in   t h m in i - b atch .   T o   ac h iev th is ,   th m ea n   an d   v ar ian ce   o f   th ac tiv atio n s   ar co m p u ted ,   th en   tr an s f o r m ed   to   h av m ea n   ze r o   a n d   u n it  v ar ia n ce .   T h r esu ltin g   ac tiv atio n s   ar e   th en   lin ea r ly   tr an s f o r m ed   u s in g   lear n ab le   p ar am eter s   th at  a r lear n ed   d u r in g   tr ain in g .   T h is   h elp s   in   s tab ilizin g   th tr ain in g   p r o ce s s   b y   r ed u cin g   t h p r o b lem   o f   i n ter n al  c o v ar ia te  s h if t.  I n ter n al  co v ar iate  s h if r ef er s   to   th e   p r o b lem   t h at  ar is es d u to   c h a n g es in   th p a r am eter s ,   r esu lti n g   in   ch a n g es in   th e   ac tiv atio n s '   d i s tr ib u tio n .   B atch   n o r m aliza tio n   h elp s   in   o v er co m i n g   v ar i o u s   d r awb a ck s ,   in clu d in g   th p r o b lem   o f   v an is h in g   o r   ex p lo d in g   g r ad ien ts ,   wh ich   r e s u lts   in   eith er   a   s tag n an t   o r   ir r eg u lar   tr ai n in g   p r o ce s s .   Fu r th er m o r e,   b atc h   n o r m aliza tio n   h elp s   to   ac h iev h ig h   lear n in g   r ates,  wh ich   h elp s   in   q u ick   co n v er g en ce .   I n   ad d itio n ,   b atc h   n o r m aliza tio n   h as  a   litt le  im p ac o n   r e g u lar izatio n ,   wh ic h   in   tu r n   r e d u ce s   th e   n ee d   f o r   a d d itio n al   r eg u lar izatio n   tech n iq u es,  s u c h   as  d r o p o u r eg u lar izatio n .   B y   d o in g   th is ,   we  ca n   p o s s ib ly   en h an ce   o u r   p n eu m o n ia  class if icatio n   m o d el’ s   r o b u s tn ess ,   s p ee d ,   ac cu r ac y ,   an d   lea r n ab ilit y   o n   n ew  e x a m p les.   iii)   Fu lly   co n n ec te d   lay er s th e   f u lly   co n n ec ted   lay e r s   ar a p p lied   af ter   t h co n v o lu tio n al   lay er s   in   th e   ar ch itectu r e.   T h ei r   r o le  is   to   c o m b in th f ea tu r es  th at  wer e   lear n ed   b y   th p r ec ed in g   lay er s .   Owin g   to   th v er y   clo s r elatio n s h ip s   a m o n g   th ese  lay er s ,   t h m o d el  i s   ab le  to   lear n   v er y   co m p le x   r ep r esen tatio n s .   Dr o p o u is   f o r m   o f   p r ev e n tin g   o v e r f itti n g   b y   r an d o m ly   tu r n in g   o f f   ce r tain   s et  o f   n eu r o n s   d u r in g   th e   tr ain in g   p r o ce s s .   B y   em p lo y in g   So f tMa x   o u tp u f u n cti o n ,   th o u tp u la y er   is   ab le   to   p r o v id a   p r o b a b ilit y   d is tr ib u tio n   f o r   th e   th r ee   o u t p u t c lass es.   i v )   GAP :   i n s t e a d   o f   f l a tt e n i n g   e a ch   f e a t u r e   m a p ,   t h i s   a p p r o a c h   t ak e s   a v e r a g e   o f   a l l   v al u e s   i n   e a ch   f e a t u r e   m a p .     3 . 5 .     T r a i ni n g   a nd   e v a l u a t i o n   p r o c e du r e   An   ad ap tiv lear n in g   r ate  s c h ed u ler   was  em p lo y ed ,   w h ich   lo wer s   th r ate  b y   f ac to r   o f   0 . 5   i f   v alid atio n   lo s s   d o es  n o im p r o v f o r   f iv e   co n s ec u tiv e p o ch s .   T h s ch ed u ler   was  s tar ted   with   an   in itial  lear n in g   r ate  o f   0 . 0 0 1 .   T h is   m o d if icatio n   k ee p s   th m o d e f r o m   b ec o m in g   tr a p p ed   in   lo ca m in im an d   im p r o v es  its   co n v er g e n ce .   I n   o r d er   to   av o id   o v er f itti n g ,   th e   m o d el  was  tr ain e d   f o r   a   m ax im u m   o f   5 0   ep o ch s   b ef o r b ein g   p r em atu r ely   s to p p ed   if   th v alid atio n   lo s s   d id   n o r ed u ce   af ter   ten   ep o ch s .   I n   o r d er   to   b alan ce   m em o r y   co n s u m p tio n   a n d   co m p u tatio n al  e f f icien cy ,   b atc h   s ize  o f   3 2   was  u s ed .   T h d ataset  was  d iv id ed   in to   s u b s ets  f o r   test in g   ( 1 5 %) ,   v alid atio n   ( 1 5 %),   an d   tr ain i n g   ( 7 0 %).   T o   o f f er   r eliab le  ass ess m en o f   th e   m o d el' s   p er f o r m an ce   a n d   to   a d ju s t h y p er p ar am eter s   s o   th at  th o u tco m es a r in d ep en d en o f   s in g le  tr ain - test   s p lit,  f iv e - f o ld   cr o s s - v alid atio n   was  u tili ze d .   T h tr ain in g   p r o ce s s   em p lo y ed   t h Ad am   o p tim izer ,   wh ich   co m b in ed   th ad v an tag es  o f   m o m en tu m   an d   a d ap tiv lear n in g   r ates  as  s p ec if ied   b y   th e   s u b s eq u en u p d ate   r u les.  Op tim izer : A d am   ( C NN)   with   co s in an n ea lin g ; in itial L R   L ea r n in g   r ate  1 ×1 0 ^ - 4 ,     W eig h t d ec ay   1 × 1 0 ^ - 5 ,     E p o ch s   =2 0 4 0   ( ea r ly   s to p p in g   o n   v alid atio n   m ac r o - F1 ) ,     B atch   s ize  =1 6 3 2   a n d   class   b alan ce =w eig h ted   lo s s ,   o v er s a m p lin g ,   SVM:  C     {0 . 1 ,   1 ,   1 0 ,   1 0 0 }   γ    {1 0 ^ - 4 ,   1 0 ^ - 3 ,   1 0 ^ - 2}       4.   RE SU L T S AN D I SCU SS I O N   4 . 1 .     Resul t s   C NN s   ar b u ilt  an d   tr ain ed   u s in g   an   o p en - s o u r ce   m ac h in l ea r n in g   to o ca lled   T e n s o r Flo ( C NNs).   T en s o r Flo p r o v id es  wid e   r an g o f   to o ls   to   b u ild   c o m p lex   NN   ar ch itectu r es,  lev e r ag GPUs   f o r   f ast   co m p u tatio n s ,   a n d   e x p ed ite  t h tr ain in g   p r o ce s s .   Mo d el  cr ea tio n   is   f ac ilit ated   b y   T e n s o r Flo w's  in clu s io n   o f   th Ker as  API ,   wh ich   o f f er s   f u n ctio n s   f o r   lay er   g en er atio n ,   m o d el  co m p ilatio n ,   an d   d ata  f itti n g .   T en s o r Flo an d   Ker as  w o r k   to g eth e r   to   p r o v id a n   e f f ec tiv a n d   s tr ea m lin ed   wo r k f lo w   f o r   m an ag in g   m o d el  tr ai n in g   an d   ass es s m en t.  T o   c o n s tr u ct  a n   i n ter ac tiv web   ap p licatio n ,   Stre am lit  an d   Or an g e   Data   m in i n g   to o is   u s ed   f o r   th u s er   in ter f ac a n d   d e p lo y m en t.  User s   ca n   s u b m it  C XR   im ag es  v ia  UR L   an d   o b tain   r ea l - tim p r ed ictio n s   f r o m   th t r ain ed   m o d el  th a n k s   to   Stre am lit,  wh ich   m ak es  it  p o s s ib le  to   q u ick ly   co n s tr u ct  d ata - d r i v en   ap p licatio n s   with   litt le  co d in g .   Pre d ictio n   r esu lts   ar d is p lay ed   to g eth e r   with   f u n c tio n s   f o r   lo ad in g ,   p r ep r o ce s s in g ,   an d   d is p lay in g   im ag es in   th p r o g r am .   On   th e   h eld - o u t te s t set,  NN - SVM  ac h iev es:     Acc u r ac y : 9 7 . 4 6 % ( 9 5 % C I   9 6 . 9 % 9 8 . 1 % f o r   test   s et  o f   3 , 0 0 0   im ag es) .     Ma cr o - p r ec is io n 9 7 . 6 %,  m ac r o - r ec all:   9 7 . 5 %,  m ac r o - F1 :   9 7 . 5 % .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 1 3 4 9 - 1 3 6 1   1356   C o n f u s io n   m at r ix   as  s h o wn   i n   T ab le  1   ( r o ws  =   g r o u n d   tr u th   an d   co ls   =   p r e d icted co u n ts   i llu s tr ativ e   with   1 , 0 0 0 /tes t - class ) .   Per - class   as sh o wn   in   T ab le  1 .     No r m al:  p r ec is io n   9 8 . 6 %,  r ec a ll 9 7 . 0 %,  an d   F1 - s co r e   9 7 . 8 % .     B ac ter ial: p r ec is io n   9 6 . 6 %,  r e ca ll 9 8 . 5 %,  an d   F1 - s co r e   9 7 . 5 % .     Vir al:  p r ec is io n   9 7 . 5 %,  r ec all  9 7 . 0 %,  an d   F1 - s co r e   9 7 . 3 % .   As  s h o wn   in   T ab le  2 ,   th e   C NN  with   f in e - tu n e d   lay er s   co m b in ed   with   a n   R B F - SVM  c lass if ier   ( NN - SVM)   ac h iev es  th e   b est  p e r f o r m an ce   with   an   ac cu r ac y   o f   0 . 9 7 5   an d   a   m ac r o - F1   s co r e   o f   0 . 9 7 5 ,   o u tp er f o r m in g   b o th   th C NN - So f tMa x   an d   th f r o ze n   C NN  with   lin ea r   SVM  m o d els.       T ab le  1 .   C o n f u s io n   m atr ix   ( r o ws =  g r o u n d   tr u th   an d   c o ls   p r ed icted ; c o u n ts   illu s tr ativ with   1 0 0 0 /tes t - class )     N o r mal   B a c t e r i a l   V i r a l   N o r mal   9 7 0   15   15   B a c t e r i a l   5   9 8 5   10   V i r a l   10   20   9 7 0       T ab le  2 .   C o m p a r th r ee   h ea d s   ato p   th s am b ac k b o n an d   p r ep r o ce s s in g   H e a d / V a r i a n t   A c c .   M a c r o - F1   C N N + S o f t M a x   ( f i n e - t u n e d   l a st   b l o c k )   0 . 9 6 3   0 . 9 6 2   C N N   ( f r o z e n ) + l i n e a r   S V M   0 . 9 5 4   0 . 9 5 2   C N N   ( f i n e - t u n e d ) + R B F - S V M   ( N N - S V M )   0 . 9 7 5   0 . 9 7 5       Ob s er v atio n r e p lacin g   t h S o f tMa x   h ea d   with   an   R B F - S VM   y ield s   + 1 . 2 ac cu r ac y   g ain   an d   im p r o v es  m ac r o - F1 ,   s u g g esti n g   b etter   m ar g in   s ep ar atio n   in   th lear n ed   em b e d d in g   s p ac e.   Fig u r 2   s h o ws  th c lass if icatio n   ac cu r ac y   o f   th d if f er en m ac h in lear n in g   m o d els  s u ch   as  NN ,   SVM,   r an d o m   f o r est,  Ad a B o o s an d   s tack 1   wh ich   is   th h y b r i d   m o d el  o f   NN   an d   SVM  s tack   2   is   th h y b r id   m o d el  o f   r a n d o m   f o r est  an d   NN f r o m   th Fig u r 2   we  ca n   s tate  th at  ac cu r ac y   o f   s tack 1 - h y b r id   m o d el  o f   NN   an d   SVM  is   9 7 . 5 co m p a r ed   to   all  o th er   m o d els.  t h o r o u g h   u n d er s tan d i n g   o f   th e   d ee p   lea r n in g   m o d el' s   ef f icac y   in   d iag n o s in g   p n eu m o n ia   was  o b tain ed   b y   e v alu atin g   i ts   p er f o r m an ce   u s in g   b r o ad   v ar iety   o f   im p o r tan p ar am e ter s .   An   ad d itio n al   in d icatio n   o f   th m o d el' s   e n h an ce d   ca p ac ity   to   d is cr im in ate  b etwe en   p atien ts   with   v ar io u s   f o r m s   o f   p n eu m o n ia  an d   h ea lth y   p er s o n s   is   th R OC - AU C   s co r e   o f   0 . 9 3 .   Alo n g s id th q u an titativ m etr ics,  q u alitativ r esear ch   was  in co r p o r ated   to   p r o v id i n s ig h i n to   th m o d el' s   ac tu al  p er f o r m an ce .   Acc u r ately   id en tifie d   p h o t o g r ap h s   d em o n s tr ated   th m o d el' s   ab ilit y   to   d is tin g u is h   b etwe en   d is tin ct  p atter n s   o f   " b ac ter ial  p n eu m o n ia"  an d   "n o r m al o c cu r r en ce s .   Ho wev er ,   f ew  m is class if icatio n s   b r o u g h to   lig h p r o b lem s   th at   n ee d   atten tio n .   Fo r   in s tan ce ,   p ictu r p u r p o r tin g   to   s h o "v ir al  p n eu m o n ia"  was  m is tak en ly   id en tifie d   as  "b ac ter ial  p n eu m o n ia, m o s lik ely   d u to   th n u m er o u s   s y m p to m s   th at  b o th   illn ess es  s h ar e.   Simu ltan eo u s ly ,   an   X - r ay   th at  was  ca teg o r ized   as  " n o r m al"   was  m is tak en ly   d iag n o s ed   as  " v ir al  p n eu m o n i a , p o s s ib ly   d u to   m in o r   ir r eg u lar ities   o r   tr aits   th at  co n f u s ed   th e   m o d el.   T h es im p er f ec class if icatio n s   d r aw  atten tio n   to   t h e   ch allen g es  ass o ciate d   with   g et tin g   h ig h - q u ality   im ag in g   as  well  as  th s u b tleties   o f   p n eu m o n ia  p r esen tatio n .   T r ain in g   ac cu r ac y m o n ito r s   h o th e   m o d el' s   ac cu r ac y   i n cr ea s es  wh ile  tr ain in g .   Valid atio n   ac cu r ac y t h is   m etr ic  m ea s u r es  h o well  th m o d el  wo r k s   o n   p r e v io u s ly   u n s ee n   v alid atio n   d ata  af ter   ea ch   ep o ch .   As  th ep o ch s   g o ,   b o th   ac c u r ac y   cu r v es  ex h ib it  a   g en er ally   r is in g   tr en d ,   with   tr ai n in g   ac c u r a cy   ap p r o ac h in g   1 . 0   ( 1 0 0 %)  at  th e   co n clu s io n   an d   v alid atio n   ac cu r ac y   s tab ilizin g   at  r o u g h ly   0 . 8 8   ( 8 8 %).   An   ab latio n   s tu d y   was  co n d u cted   to   ass ess   th im p ac o f   v ar i o u s   co m p o n e n ts   o n   t h m o d el' s   f u n ctio n ality .   Acc u r ac y   d r o p p ed   f r o m   8 8 . 5 to   8 4 . 2 wh e n   d ata  au g m en tatio n   was  r em o v ed ,   u n d er s co r in g   its   cr itical  r o le  in   b o o s tin g   m o d el  r esil ien ce   an d   av o id in g   o v er f itti n g .   Mo r e o v er ,   wh en   b atch   n o r m aliza tio n   was  elim in ated   f r o m   th m o d el  o r   th n u m b er   o f   co n v o lu tio n al  lay er s   was  d ec r ea s ed ,   F1 - s co r es  an d     R OC - AU C   s co r es  d ec r ea s ed .   T h is   s u g g ests   th at  ev er y   ar ch itectu r al  elem en t,  s u ch   as  b atch   n o r m aliza tio n   an d   co n v o l u tio n al  lay er   d e p th ,   h as  s ig n if ican co n tr ib u tio n   to   th o v er all  p er f o r m a n ce   o f   th m o d el.   T h e   s u g g ested   m o d el  was  ev alu ated   ag ain s v a r io u s   cu ttin g - ed g d ee p   lea r n in g   m o d els  an d   co n v en tio n al   class if icatio n   tech n iq u es.  Usi n g   ch ar ac ter is tics   tak en   f r o m   X - r ay   p ictu r es,  th lo g is tic  r e g r ess io n   an d   SVM  class if ier s   o b tain ed   7 8 . 3 a n d   8 0 . 5 ac cu r ac y ,   r esp ec t iv ely .   W ith   ac cu r ac ies  o f   8 5 . 2 an d   8 7 . 8 %,  r esp ec tiv ely ,   th e   d ee p   lear n in g   m o d el  f ar e d   b etter   th an   m o r r ec en m o d els  lik e   R esNet5 0   an d   Den s eNe t1 2 1 .   T h h y b r i d   m o d el  NN+ SVM  ac cu r ac y   is   9 7 . 4 6 %,  an d   it  co n f ir m   th m o d el' s   r o b u s d iag n o s tic  ca p ab ilit y .   As   s h o wn   in   T ab le  3 ,   th h y b r id   Stack 1   ( NN+ SVM)   m o d el  ac h iev es  th h ig h est  p er f o r m a n c with   an   AUC  o f   0 . 9 9 6 1 5   an d   class if icatio n   ac cu r ac y   ( C A)   o f   0 . 9 7 4 6 9 3 ,   o u t p er f o r m in g   in d iv i d u al  m o d els  s u ch   as  Ad aBo o s t,   r an d o m   f o r est,  a n d   SVM.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       NN - S V M:  a   h yb r id   n eu r a l n et w o r k s u p p o r t v ec to r   ma ch in fr a mewo r fo r   …  ( S a n to s h   K u ma r   Ja n ka tti)   1357   T ab le  3 .   S h o ws th c o n f u s io n   m atr ix   class if icatio n   ac cu r ac y   f o r   th im a g d ata   M o d e l   AUC   A c c u r a c y   F1 - sc o r e   P r e c i s i o n   R e c a l l   M C C   A d a B o o st   0 . 8 8 2 3 4 4   0 . 9 0 7 7 8 4   0 . 9 0 8 0 6 0 3 4 8   0 . 9 0 8 3 8 7 6 1 3   0 . 9 0 7 7 8 3 7 4 2   0 . 7 6 0 1 1 3 4 4   NN   0 . 9 9 5 3 1 8   0 . 9 7 2 9 6 8   0 . 9 7 2 9 9 0 7 5 7   0 . 9 7 3 0 1 8 2 1 7   0 . 9 7 2 9 6 7 7 9 1   0 . 9 2 9 3 6 0 0 4   R a n d o f o r e s t   0 . 9 7 4 9 5 8   0 . 9 3 4 4 3 3   0 . 9 3 4 1 7 1 4 4 5   0 . 9 3 3 9 9 9 7 0 4   0 . 9 3 4 4 3 2 5 1 5   0 . 8 2 7 1 1 2 7 8   S t a c k 1   ( H y b r i d )   N N + S V M   0 . 9 9 6 1 5   0 . 9 7 4 6 9 3   0 . 9 7 4 6 1 8 0 6 4   0 . 9 7 4 5 9 6 6 3 9   0 . 9 7 4 6 9 3 2 5 2   0 . 9 3 3 4 2 9 3   S t a c k 2   ( H y b r i d )   0 . 9 9 1 0 2   0 . 9 7 3 1 6   0 . 9 7 3 1 3 3 1 9 8   0 . 9 7 3 1 1 2 7 9 9   0 . 9 7 3 1 5 9 5 0 9   0 . 9 2 9 6 0 5 8 3   S V M   0 . 9 7 8 4 4 4   0 . 9 4 2 2 9 3   0 . 9 4 1 7 8 5 6 4 9   0 . 9 4 1 7 0 7 0 7 6   0 . 9 4 2 2 9 2 9 4 5   0 . 8 4 6 8 7 2 0 7           Fig u r 2 .   C lass if icatio n   ac cu r a cy   o f   d if f er e n t m ac h in lea r n i n g   m o d els       4 . 2 .     Dis cus s io n   T h e   r e s u l ts   i n d i c a t e   t h at   t h is   m o d e l   i s   a b l e   t o   c l as s i f y   c o r r e c t l y   b e t w e e n   t h r e e   d i f f e r e n t   t y p e s   o f   p n e u m o n i a s   u s i n g   C XR s " v i r a l   p n e u m o n i a , "   " n o r m a l , "   a n d   " b a c t e r i al   p n e u m o n i a .   T h is   a c c u r a c y   i s   e v i d e n t h r o u g h   i t s   h i g h   r e c a l l ,   o v e r a l l   h i g h   R OC - A UC   v a l u e s ,   ac c u r a c y ,   a n d   p r e c i s i o n .   T h i s   r e s u l t   s h o ws   g o o d   e x t r a c t i o n   a n d   c l as s i f i c at i o n   o f   f e a t u r e s ,   w h ic h   c a n   b e   a t t r i b u t e d   t o   t h e   c o m p l e x   s t r u ct u r e   o f   t h e   c o n v o l u t i o n a l a y e r s .   C o n v o l u t i o n a l a y e r s   p e r f o r m   v e r y   w e l o n   d e t e ct i n g   m i n u t e   d et a i ls   i n   i m a g es   t o   d i f f e r e n t i a t b e tw e e n   i m a g e s   s u c h   a s   t h o s e   o f   X - r a y s ,   h e n c e   c a p a b l e   o f   d i f f e r e n t i at in g   b e t w e e n   d i f f e r e n t   t y p es   o f   p n e u m o n i a s .   T h g r ap h   s h o ws  th ca lcu latio n   o f   th R OC   cu r v es  f o r   m o d el  d etec tin g   p n e u m o n ias.  E ac h   g r ap h   r ep r esen ts   u n iq u e   ty p e:   n o r m al,   v ir al,   an d   b ac ter ial.   T h x - co o r d in ate  r ep r esen ts   f alse  p o s itiv r ates  ( FP R ) ,   wh ile  th y - c o o r d i n ate  r ep r esen ts   tr u p o s itiv r ates.  T h d ia g o n al  lin e   s h o ws  th at  it  is   im p o s s ib le  to   d o   b etter   th an   a   r an d o m   g u ess .   T h e   AUC  s h o ws  p er f o r m an ce   o n   th at  s p ec if ic  class .   All  class es  h av v er y   lo v alu es,   s h o win g   th at   it  p e r f o r m s   p o o r ly   o n   all   class es,  h en ce   n o b ein g   a b le  to   class if y   b etwe e n   d if f er en t   ty p es  o f   p n eu m o n ias.  Sp ec if ically ,   it  p er f o r m s   p o o r ly   i n   d is tin g u is h in g   b etwe en   n o r m al   an d   th o s e   th at  h av e   co n tr ac ted   p n eu m o n ias,  as  well  as  b et wee n   th o s th at   h av e   co n t r ac ted   v ir al  a n d   th at  wh ich   co n tr ac ted   b ac ter ial  p n eu m o n ias  [ 2 4 ] .   Ad d itio n all y ,   a   m o d el  wh ich   p er f o r m s   v er y   well   wh en   co m m o n   s itu atio n s   p r e v ail  b u p er f o r m s   b ad ly   in   s itu atio n s   t h at  r ar ely   p r e v ail  o r   in   s itu ati o n s   th at  d o   n o n ee d   o r   h av b ee n   g iv e n   ad eq u ate  atten tio n   m ig h t   b t h r esu lts   o f   t h is   d is p ar ity ,   a n o th er   f la in   th is   p ar a d ig m   s h if t,   an d   th is   m o d el  lac k s   in ter p r etab ilit y .   "Bl ac k   b o x es s u ch   as  C NNs  p er f o r m   v er y   p o o r ly   i n   b ein g   ca p a b le  to   in ter p r et  r esu lts   to   p r o v id e   v alid   r ea s o n in g   o n   w h y   a   ce r tain   ju d g m e n was  ca r r ied   o u t.  Fo r   it  to   b m o s ef f ec tiv e,   th is   m o d el  r eq u ir es  h ig h - q u ality   im ag es  p r o f ess io n ally   p r e - p r o ce s s ed o th er wis e,   it  r esu lts   in   in ac cu r ate  r esu lts ,   h en ce   th er is   n ee d   f o r   s tan d a r d   im ag es to   b u s ed   u n iv er s ally   in   h ea lth ca r to   th is   ef f ec [ 2 5 ] ,   [ 2 6 ] .   On im p o r tan t   asp ec to   b co n s id er e d   h er i s   th at  th is   m o d el  p er f o r m s   s u b - o p tim ally   u n d er   r ea s itu atio n s .   Po o r   im ag es  o r   o v er lap p i n g   s y m p to m s   b etwe en   d if f er en class es  p o s g r e at  th r ea to   its   ac cu r ac y .   Su ch   ev en ts   p o s th r ea ts   o f   m is class if icatio n s   o r   m is in ter p r etatio n s ,   h en ce   im p o r t an to   en s u r h ig h - q u ality   i m ag es  in   m ed ical   co n tex ts .   T h e   s u s ce p tib ilit y   to   m is in ter p r etatio n s   wh e n   p r esen tin g   o v er lap p in g   s y m p to m s   ca lls   f o r   p r ep r o ce s s in g   s tag es.  Ho wev er ,   f u r th er   p r o ce s s in g   m ay   b e   r eq u ir ed   to   d ea with   th ese  i s s u es,  wh ich   wo u ld   en s u r th e   r esu lts   ar e   o p tim a f o r   th e   p ar ticu lar   s itu atio n   with in   h ea lth ca r e n v ir o n m en [ 2 7 ] ,   [ 2 8 ] .   I n   co n clu s io n ,   th ad d itio n   o f   o u r   C NN  p n eu m o n ia  d etec tio n   s y s tem   to   ex is tin g   h ea lth ca r s y s tem s   co u ld   p r o v id a n   o p tim al  s o lu tio n   f o r   f ast  an d   ac cu r ate  d iag n o s es.  As   h ea lth ca r s y s tem s   e x p an d   to   m ee th e   d em an d s   f o r   e f f icien d ia g n o s es,  p o wer f u l   m ac h in e   lear n in g   s y s tem s   s u ch   as  th is   will  p lay   an   in teg r al  r o le  in   o v er co m i n g   th ese  is s u es  to   p r o v id e   an   o p tim al  s o lu tio n   f o r   p atien ts   wo r l d wid e.   T h e   NN+ SVM  h as  an   ac cu r ac y   o f   9 7 . 4 6 %.       5.   CO NCLU SI O N   I n   th is   p a p er ,   we  in co r p o r ate   C NNs  f o r   an aly zi n g   C XR   im ag es,  s u g g esti n g   th at  it  h el p ed   an al y ze   p n eu m o n ia  m o r ac c u r ately   co m p a r ed   to   th e   ex is tin g   m eth o d s .   Ou r   p r o p o s ed   ap p r o ac h ,   n am ed     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 1 3 4 9 - 1 3 6 1   1358   NN - SVM,   with   h ig h   ac c u r a cy   o f   9 7 . 5 %,  class if ies  th X - r ay   co r r ec tl y   am o n g   n o r m al,   b ac ter ial  p n eu m o n ia,   v ir al  p n eu m o n ia ,   b ased   o n   h i g h   p er f o r m a n ce   m etr ics  s u ch   as  p r ec is io n ,   r ec all,   a n d   R OC - AUC  v alu e.   T h is   will  h ig h ly   aid   th h ea lth ca r in d u s tr y .   I will  h elp   r ad i o g r ap h er s   to   an aly ze   X - r a y s   im m ed iately ,   th u s   r esu ltin g   in   a   tim e - s av in g   ad v an tag e.   I will  also   wo r k   as  s ec o n d   o p i n io n ,   s p ec if ically   h elp f u in   b u s y   h ea lth ca r ce n ter   o r   d is tan r eg io n .   I will  h elp   d o cto r s   to   d etec d is ea s e s   m o r ac cu r ately ,   th u s   lead in g   to   q u ick er   d iag n o s is   with   h ig h er   co n f id en ce ,   f in ally   h av in g   p o s itiv ef f ec o n   th p atien t.  H o wev er ,   th er e   ar f ew  d if f icu lties   in   th e   ap p r o ac h .   W p r o p o s n ew  ap p r o ac h   ca lled   NN - SVM,   a   s m aller ,   co m b in ed   ap p r o ac h   to   3 - class   p n e u m o n ia   d etec tio n   in   C XR   im ag es  th at  co m b in es  C NN   with   an   R B F - SVM  class if ier .   I attain s   a n   ac cu r ac y   o f   9 7 . 4 6 with   g r ea p e r f o r m an ce   m etr ics.  T h tech n i q u is   ea s ily   r ep r o d u cib le,   s ca lab le,   th u s   m ak in g   it a   f ea s ib le  s o lu tio n   f o r   r ad i o lo g y   ass is tan ce .       6.   L I M I T AT I O NS   AN F UT U RE   WO RK S   Ho wev er ,   d esp ite  its   ef f icien c y ,   th er ex is s ev er al  m ajo r   c o n s   in   th m o d el.   T h p r esen ce   o f   d ata   b iases   is   s er io u s   co n   b ec a u s it  m ig h t n o b e   ab le  t o   r e p r esen ap p r o p r iately   well  th d i v e r s ity   o f   p n eu m o n ia   in f ec tio n s   in   h ea lth ca r e   p r ac tical  ap p licatio n s   o r   s ettin g s .   T h ef f icie n cy   o f   its   o p er ati o n s   m ig h t   g et   d is tu r b ed   an d   its   p er f o r m an ce s   co u l d   b e   r ed u ce d   b ec a u s o f   im b alan c es  in   d ata  r elate d   to   d if f er en k in d s   o f   p n e u m o n ia   in f ec tio n s ,   f o r   ex am p le,   t h er co u ld   b a n   im b alan ce   i n   im a g es  o f   p atien ts   with   eith er   b ac ter ial  p n eu m o n ia  o r   v ir al  in f ec tio n s ,   m ea n in g   m o r e   im ag es o f   th o s with   b ac ter ial  in f ec tio n s   th an   t h o s with   v ir al  in f ec tio n s .   T h ef f icien cy   o f   its   o p er atio n s   m ig h g et  d is tu r b ed   an d   its   p er f o r m a n ce s   co u ld   b r ed u c ed   b ec au s it  co u ld   b a b le  to   p er f o r m   w ell  o n   c o m m o n   k i n d s   o r   cir cu m s tan ce s   b u m ig h f ail  to   p e r f o r m   well  wh en   it   in v o lv es  u n co m m o n   a n d   n o t   as  well - r ep r esen ted   k in d s   o r   cir cu m s tan ce s .   A n o th er   co n   is   r elate d   to   its   in ter p r etab ilit y   b ec a u s an o t h er   s er io u s   co n   is   r elate d   to   its   in ter p r etab ilit y   b ec au s C NNs,  wh ich   b elo n g   to   d ee p   lear n in g   an d   p er f o r m   ex ce llen tly   well  in   h ea lth ca r ap p licatio n s ,   wo r k   in   an   i n ef f ec t iv way   b ec au s o f   its   d eg r ee   o f   o b s cu r ity   b ec au s it c o u ld   ac t a s   a   ' b lack   b o x '   b ec au s its   o p er atio n s   an d   p er f o r m an ce s   m ig h t n o t   b in ter p r etab le  i n   a n   ef f ec tiv way   b ec au s e   it  co u l d   lack   clea r   tr a n s p ar en c y   r e g ar d in g   its   o p er atio n s   an d   p er f o r m an ce s .   T o   b a b le  to   p er f o r m   its   o p er atio n s   in   an   ef f ec tiv way   b ec au s it  r eq u ir es  q u ality   an d   well - p r o ce s s ed   im ag es  o f   p atien ts '   lu n g s   b ec au s it  m ig h g et  d is tu r b ed   b ec a u s o f   q u ality - r elate d   p r o b lem s H en ce ,   it  is   s er io u s   co n   b e ca u s its   ap p licatio n s   wo u ld   b lim ited   b ec au s it  m ig h f ail  to   p er f o r m   well  b ec au s h ea lth ca r e   ap p licatio n s   r eg ar d i n g   h ea lth ca r a n d   r elate d   s ec to r s   wo u ld   b lim it ed   b ec au s it  m ig h n o b ab le  to   p er f o r m   in   a n   e f f ec tiv way   b ec au s its   ap p licatio n s   m ig h b lim ited   b ec a u s it  m ig h f ail  to   p er f o r m   in   an   e f f ec tiv wa y   b ec au s its   o p er atio n s   m i g h g et  d is tu r b e d   b ec a u s it  m ig h lack   clea r   tr an s p ar en cy   r eg ar d in g   its   o p er atio n s   b ec au s its   o p er atio n s   an d   p er f o r m an ce s   m i g h n o b in ter p r etab le  i n   an   ef f ec tiv e   way   b ec au s it  c o u ld   ac as  ' b lack   b o x '   b ec au s its   d eg r ee   o f   o b s cu r ity   m ig h b e   in cr ea s ed   b ec au s its   o p er atio n s   an d   p er f o r m an ce s   co u ld   b in e f f ec tiv b ec au s it c o u ld   lack   clea r   tr an s p ar en cy   b ec au s it  co u ld   b s er io u s   b ec au s it  m ig h f ail  to   p er f o r m   in   an   ef f ec tiv way   b ec au s its   ap p licatio n s   wo u ld   b lim ited   b ec au s it  m ig h f ail  to   b e   ab le  to   p e r f o r m   its   o p e r atio n s   b ec au s it   m ig h t   lack   q u ality   an d   well - p r o ce s s in g   b ec au s it m ig h t la ck   clea r   tr an s p ar e n cy .   Mo r eo v er ,   an o th e r   co n   is   r ela ted   to   its   ef f ec ts   o n   h ea lth ca r ap p licatio n s .   H en ce ,   its   q u a lity   m ig h t   g et  d is tu r b e d   b ec a u s it  m ig h f ail  to   p er f o r m   in   a n   e f f ec tiv way   b ec au s d is ea s es  o r   i n f ec tio n s   r elate d   to   lu n g s   m ig h b s er io u s   b ec a u s it  co u ld   b ab le  to   d eter m in b ec au s its   ap p licatio n s   wo u ld   b lim ited   b ec au s it  m i g h f ail  to   p er f o r m   in   an   ef f ec tiv e   way   b ec au s its   o p er atio n s   m ig h t   g et   d i s tu r b ed   b ec au s it   m ig h lack   clea r   tr an s p ar en c y   b ec au s it  co u ld   b s er io u s   b e ca u s it  m ig h t   ac as  a   b ar r ier   b ec au s it  co u ld   b e   f u n ctio n in g   b e ca u s it  m ig h f ail  to   p er f o r m   in   an   ef f ec ti v way   b ec au s its   q u ality   m ig h g et  d is tu r b ed H en ce ,   an o th er   c o n   is   th at  its   q u ality   m ig h g et  d is tu r b ed   b e ca u s it  m ig h f ail  to   p er f o r m   in   an   ef f ec tiv wa y   b ec au s it  co u ld   b a b le  to   d eter m in b ec a u s it  co u ld   b f u n ctio n in g   b ec a u s its   o p er atio n s   m ig h g et   d is tu r b ed   b ec au s it  m ig h t   lack   clea r   tr a n s p ar en cy   b ec au s i co u ld   b s er io u s   b ec au s it  c o u ld   ac as  a   b ar r ie r   b ec au s it  m ig h f ail  to   p er f o r m   in   an   ef f ec tiv way   b ec au s it  m ig h lack   q u ality   an d   well - p r o ce s s in g .   Ho wev er ,   d esp ite  its   s ev er al  c o n s ,   it h as sev er al  p r o s ,   an d   th o s p r o s   m ig h t.   W ith   th ad v e n o f   tr an s f e r   l ea r n in g   s tr ateg ies,  f u r t h er   p r o g r ess   m ay b e   ac h iev e d .   Me d ical  im ag ca teg o r izatio n   h as  m ad e   u s e   o f   m o d els  lik e   Den s eNe an d   R esNet,   wh ich   wer e   p r e - tr ain ed   o n   m ass iv e   d atasets   lik I m ag eNe t.  R esea r ch   h as  d em o n s tr ated   th at  th e s p r e - tr ain ed   m o d els  ca n   b r ef in ed   o n   m ed ical  p ictu r es  to   g et  g r ea p er f o r m an ce   with   co m p a r ativ ely   s m a ller   d atasets :   i)   p atien t - wis t em p o r al  m o d elin g   ac r o s s   s er ial  C X R s ,   ii)  m u lti - m o d al  in teg r atio n   with   clin ic al  m etad ata,   iii)  d o m ain   ad ap tatio n   f o r   cr o s s - s ite   r o b u s tn ess ,   an d   iv )   ca lib r ated   r is k   s tr atif icatio n   f o r   tr iag e .       ACK NO WL E DG M E N T S   We   w o u l d   l ik to   t h a n k   Da y a n an d a   Sa g ar   U n i v e r s it y   f o r   s u p p o r t   i n   c o m p l eti n g   th is   r es ea r c h   wo r k .   Evaluation Warning : The document was created with Spire.PDF for Python.