I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  1 4 ,   No .   1 A p r il   20 2 5 ,   p p .   9 1 ~ 10 1   I SS N:  2252 - 8 7 7 6 DOI 1 0 . 1 1 5 9 1 /iji ct . v 1 4 i 1 . pp 91 - 10 1           91       J o ur na l ho m ep a g e h ttp : //ij ict. ia esco r e. co m   Explain a ble ze ro - sho lea rning  and  t ra nsfer  learning  f o r re a time India h ea lt hca re       Swa t i Sa ig a o nk a r ,   Va ibh a v   Na ra wa de   D e p a r t me n t   o f   C o mp u t e r   E n g i n e e r i n g ,   R a mr a o   A d i k   I n st i t u t e   o f   Te c h n o l o g y ,   D   Y   P a t i l   D e e me d   t o   b e   U n i v e r si t y ,   N e r u l ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   2 8 ,   2 0 2 4   R ev is ed   Oct  1 5 ,   2 0 2 4   Acc ep ted   No v   1 9 ,   2 0 2 4       Cli n ica n o te  re se a rc h   is  g lo b a ll y   re c o g n ize d ,   b u wo r k   o n   re a l - ti m e   d a ta,  p a rti c u larly   fro m   I n d ia,  is  st il l   lag g i n g .   T h is  st u d y   i n it iate d   b y   trai n in g   m o d e ls  o n   m e d ica in fo rm a ti o n   m a rt  fo in ten siv e   c a re   (M IM IC)  c li n ica n o tes ,   fo c u sin g   o n   c o n d it i o n s l ik e   c h ro n ic  k id n e y   d ise a se   (CKD ),   m y o c a rd ial  in fa rc ti o n   (M I),   a n d   a sth m a   u sin g   th e   str u c tu re d   m e d ica d o m a in   b id irec ti o n a l   e n c o d e re p re se n t a ti o n s   fro m   tran sfo rm e rs   ( S M DBERT )   m o d e l.   S u b se q u e n tl y ,   th e se   m o d e ls  we re   a p p li e d   to   a n   In d ia n   d a tas e o b tai n e d   fr o m   tw o   h o s p it a ls.   Th e   k e y   d iffere n c e   b e twe e n   p u b li c l y   a v a il a b le   d a tas e ts  a n d   re a l - ti m e   d a ta  li e in   t h e   p re v a len c e   o f   c e rtain   d ise a se s.  F o e x a m p le,  in   a   re a l - ti m e   se tt in g ,   tu b e rc u l o sis  m a y   e x ist,   b u t   th e   M IM IC   d a tas e lac k c o rre sp o n d in g   c li n ica n o tes .   T h u s,  a n   in n o v a ti v e   a p p r o a c h   wa d e v e lo p e d   b y   c o m b i n in g   a   fin e - t u n e d   S M DBERT   m o d e wit h   a   c u sto m ize d   z e ro - sh o lea rn i n g   m e th o d   to   e ffe c ti v e ly   a n a l y z e   tu b e rc u l o sis - re late d   c li n ica l   n o tes .   A n o t h e re se a rc h   g a p   is   th e   lac k   o e x p lain a b il it y   b e c a u se   d e e p   lea rn in g   (D L)  m o d e ls  a re   in h e r e n tl y   b lac k - b o x .   T o   fu rt h e stre n g t h e n   th e   re li a b il it y   o t h e   m o d e ls,  lo c a in terp re tab le   m o d e l - a g n o st ic  e x p lan a ti o n s   (LI M E)  a n d   sh a p ley   a d d it i v e   e x p lan a ti o n (S HA P e x p lan a ti o n we re   p ro jec ted   a lo n g   with   n a rra ti v e   e x p lan a ti o n w h ich   g e n e ra ted   e x p lan a ti o n i n   a   n a tu ra lan g u a g e   f o rm a t.   Th u s,  th e   re se a rc h   p r o v i d e a   sig n ifi c a n t   c o n tri b u ti o n   wi th   e n se m b le  tec h n iq u e   o f   z e ro - sh o t   lea rn in g   a n d   S M DBERT  m o d e wit h   a n   a c c u ra c y   o f   0 . 9 2   a a g a in st   th e   sp e c ialize d   m o d e ls  li k e   s c ien ti fic  BERT   ( S CIBERT ) b i o m e d ica BERT   ( BIOBERT )   a n d   c li n ica Bio BERT .   K ey w o r d s :   Dis til B E R T   E x p lain ab ilit y   I n d ian   c lin ical  n o tes   T r an s f er   lear n i n g   Z er o - s h o t le ar n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Swati Saig ao n k ar     Dep ar tm en t   o f   C o m p u ter   E n g i n ee r in g ,   R am r a o   Ad ik   I n s titu te  o f   T ec h n o lo g y   D Y P a ti De e m e d   to   b e   Un i v e rsity   Ne ru l,   In d ia   E m ail:  sw a . sa i. rt2 1 @d y p a ti l . e d u       1.   I NT RO D UCT I O N   T h ad o p tio n   o f   elec tr o n ic  h ea lth   r ec o r d   ( E HR )   s y s tem s   is   in cr ea s in g   s ig n if ican tly   [ 1 ] .   Pu b licly   ac ce s s ib le  r eso u r ce s   s u ch   as  t h m ed ical  in f o r m atio n   m ar f o r   in ten s iv ca r ( MI MI C ) ,   an d   en h an ce d   cr itical   ca r u n it  ( eI C U )   co llab o r ativ e   r esear ch   d atab ases   p r o v id v alu ab le  in f o r m atio n   o n   cr itical ly   ill  I C p atien ts .   Sp ec if ically ,   th MI MI C   I I I   d atab ase  in clu d es  d ata  f r o m   o v er   5 0 , 0 0 0   I C ad m is s io n s   [ 2 ] ,   a n d   t h eI C d ataset  co v er s   n ea r ly   two   m illi o n   ad m is s io n s   [ 3 ] .   Acc o r d in g   to   [ 4 ] ,   wh ile  th ese  d atasets   ar wid ely   av ailab le,   th er is   n o tab le  lack   o f   d atasets   f r o m   I n d ian   p atien p o p u la tio n s .   C h r o n ic  d is ea s es  ar d ef in ed   a s   co n d itio n s   la s tin g   m o r e   th an   th r ee   m o n th s   [ 5 ] ,   an d   ea r ly   d etec tio n   is   cr u cial  f o r   im p r o v in g   d iag n o s is   an d   m an ag em en t.  Glo b all y ,   h ea r f ailu r af f ec ts   ap p r o x im ately   2 6   m illi o n   p eo p le   an n u ally ,   p o s in g   s ig n i f ican ch allen g es  f o r   s u r g eo n s ,   ca r d io lo g is ts ,   an d   clin ician s   in   p r ed ictin g   its     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  1 4 ,   No .   1 A p r il   20 2 5 :   91 - 10 1   92   s tar [ 6 ] .   Ast h m a,   id en tifie d   as  th m o s t   p r ev alen ch r o n ic  p u lm o n ar y   co n d itio n   wo r ld wid e,   f u r th e r   u n d er s co r es  th e   n ee d   f o r   ef f e ctiv m an ag em e n [ 7 ] .   C h r o n ic  k id n ey   d is ea s ( C KD) ,   p r o g r ess iv ailm en af f ec tin g   o v er   1 0 o f   th e   wo r ld ' s   p o p u latio n ,   af f ec tin g   o v er   8 0 0   m illi o n   i n d iv id u als  [ 8 ] .   Giv e n   th eir   h i g h   p r ev alen ce ,   th ese  th r ee   c o n d it io n s   ar th e   p r im ar y   f o cu s   o f   o u r   r esear c h .   Du r in g   o u r   an al y s is   o f   I n d ia n   d ata,   we  en co u n te r ed   ca s es  o f   tu b e r cu lo s is .   Ho wev er ,   wh e n   ap p l y in g   th e   s tr u ctu r ed   m ed ical  d o m ain   b i d ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m e r s   ( SMDBER T )   m o d el,   wh ic h   was  tr ain ed   o n   th MI MI C   d ataset   lack in g   tu b er c u lo s is   ca s es,  th ese  in s tan ce s   wer m i s clas s if i ed .   T h is   h ig h lig h ts   th ch alle n g o f   tr an s f er r in g   m o d els  ac r o s s   d atase ts   wi th   d if f er en d is tr ib u tio n s .   As  d em o n s tr ated   in   [ 9 ] ,   wh ile  m o d els  tr ain ed   o n   o n e   d ataset  o f ten   p er f o r m   well  o n   s im ilar   d atasets ,   ze r o - s h o lear n in g   tech n iq u es  ca n   b lev er ag ed   to   ad d r ess   th lim itatio n s   o f   d atasets   lack in g   s u f f icien t e x am p les.   Han d lin g   u n s tr u ct u r ed   d ata,   s u ch   as  m ed ical  n o tes,  p r esen t s   s ev er al  u n iq u d if f icu lties .   On o f   th m ain   d if f icu lties   ar is es  f r o m   t h d iv er s ity   an d   lack   o f   o r g a n izatio n   with in   th d ata  [ 1 0 ] ,   [ 1 1 ] .   C lin ical  n o tes  ar o f ten   wr itten   in   a   p h r ase - lik m an n er   with o u s t an d ar d ized   g r am m atica s tr u ct u r es,  wh ich   co m p licates   th eir   an aly s is .   I n   th ca s o f   I n d ian   d ata,   t h er is   an   ad d ed   c o m p lex ity   d u to   th p r ed o m i n an ce   o f   n o n - d ig ital  f o r m ats,  wh ich   m ak es  it  ch a llen g in g   to   in teg r ate  t h is   in f o r m atio n   s ea m less ly   in to   d ig ital  s y s tem s .   T h ese   clin ical  n o tes  wer n o o r ig in a lly   d ig ital,  in   co n tr ast  to   d atasets   th at  ar ac ce s s ib le  to   th e   p u b lic,   co m p licatin g   th eir   ac ce s s ib ilit y   an d   an aly s is .   T h p r ac tice  o f   tr a n s f er   lear n in g ,   wh ich   in v o lv es  u s in g   m o d el  cr ea ted   f o r   o n task   as  th f o u n d atio n   f o r   m o d el  o n   a   d if f er en task ,   h as  d em o n s tr ate d   p ar ticu lar l y   ef f ec tiv in   h ea l th ca r ap p licatio n s .   T r an s f o r m e r - b ased   m o d els,  s u ch   as  B E R T ,   h av r ev o lu tio n ized   n atu r al  lan g u ag p r o ce s s in g   ( NL P )   by  en ab lin g   m o d els  to   u n d er s tan d   co n tex m o r d ee p ly   th r o u g h   atten tio n   m ec h an is m s .   T h ese  m o d els  ex ce in   task s   in v o lv in g   u n s tr u ctu r e d   clin ical  d ata,   s u ch   as  ex tr ac ti n g   m ea n i n g f u i n s ig h ts   f r o m   E HR   an d   clin ical  n o tes,  m ak in g   th em   in v alu ab le   to o ls   f o r   a d v an cin g   p atien t c a r e.     T h in ter p r etab ilit y   o f   p r ed i ctiv m o d els  u s in g   u n s tr u ct u r ed   clin ical   d ata  h as  g r o w n   to   b an   im p o r tan f ield   o f   s tu d y   in   r ec en y ea r s .   As  m ac h in lea r n in g   ( ML )   a n d   NL tech n i q u es  c o n tin u to   ev o lv e ,   th eir   ap p licatio n   to   clin ical  n o tes,  r ich   s o u r ce   o f   u n s tr u ctu r ed   d ata,   p o s s ess es  th ab ilit y   to   tr an s f o r m   h ea lth ca r e.   Ho we v er ,   th c o m p lex ity   an d   o p ac ity   o f   th ese  m o d els,  o f ten   r e f er r e d   to   as  " b lack   b o x es,"  p o s s ig n if ican t c h allen g es in   clin ic al  s ettin g s   wh er tr an s p ar en cy   an d   u n d er s tan d i n g   ar p ar am o u n t.    T r an s f o r m e r - b ased   m o d els  ar e   in cr ea s in g ly   u s ed   i n   h ea lth ca r f o r   v ar io u s   p r ed ictiv task s ,   in clu d in g   f o r ec asti n g   m o r tality   r ates  [ 12 ] ,   p r ed ictin g   p atien r ea d m is s io n s   [ 13 ] ,   a n d   esti m atin g   h o s p ital  s tay   d u r atio n s   [ 14 ] .   T h ese  m o d els  h av als o   p r o v en   ef f ec tiv e   i n   task s   s u ch   as  ex tr ac tin g   en titi es  [ 1 5 ] ,   [ 1 6 ] ,   i d en tify in g   p h en o t y p ic  ch ar ac ter is tics   [1 7] ,   [ 1 8 ] ,   m o d elin g   p atien tr ajec to r ies,  an d   elu cid atin g   r e latio n s h ip s   am o n g   d if f er en t   m ed ical  e n titi es.  T h e   in teg r atio n   o f   tr an s f o r m er   m o d els  in to   h ea lth ca r e   r esear ch   d em o n s tr ates  th eir   ad ap tab ilit y   an d   ef f icac y   in   tack lin g   wid r an g e   o f   is s u es ,   ad v an cin g   clin ical  d ec is io n - m ak in g   s y s tem s ,   an d   en h an cin g   o u r   u n d er s tan d in g   o f   co m p lex   m ed ical  c o n d itio n s .   I n   h ea lth ca r d ata  a n aly s is ,   r an g e   o f   m eth o d o lo g ies  ar e   em p lo y e d ,   f r o m   r u le - b ased   s y s tem s   to   ad v an ce d   ML   an d   d ee p   lear n in g   ( DL )   tech n i q u es.  R u le - b ased   m eth o d s   d ep e n d   o n   es tab lis h ed   g u id elin es   d er iv ed   f r o m   s p ec ialized   k n o wled g e ,   b u th ese  s y s tem s   ca n   b e   in f lex ib le   wh en   f ac ed   with   n o v el  d ata,   o f te n   r eq u ir in g   u p d ates  o r   m o d if ica tio n s   to   h an d le  n ew  co n ce p ts ML   m eth o d s ,   o n   th o th er   h a n d ,   lear n   f r o m   d at a   d ir ec tly .   Su p er v is ed   lear n in g ,   f o r   ex am p le,   u s es  lab eled   d a tasets   to   p er f o r m   task s   lik class if icatio n ,   wh ile   u n s u p er v is ed   lear n in g   id en tifi es  p atter n s   in   u n lab eled   d ata.   ML   alg o r ith m s   s u ch   as  lo g is tic  r eg r ess io n   ( L R ) ,   s u p p o r t   v ec to r   m ac h i n es  ( SVM) ,   an d   r a n d o m   f o r ests   ar o f ten   ch allen g ed   b y   h ig h - d im e n s io n al,   m u ltim o d al   d atasets   DL   tech n iq u es,  in clu d in g   co n v o lu ti o n al  n eu r al  n etwo r k s   ( C NN s ) ,   r ec u r r en n eu r al  n etwo r k s   ( R NNs ) ,   an d   tr an s f o r m e r   m o d els  lik B E R T   an d   d is till ed   B E R T   ( Dis t ilB E R T ) ,   h av d e m o n s tr ated   s u p er i o r   p er f o r m an ce   in   e x tr ac tin g   f ea tu r es  f r o m   r aw  d ata  a n d   u n d e r s tan d in g   co n tex t.  B E R T   is   p ar ticu lar ly   ef f ec tiv e   f o r   g e n er atin g   p o wer f u r ep r e s en tatio n s   f r o m   u n lab ele d   d ata  d u to   its   ab ilit y   to   u n d e r s tan d   co n tex in   b o th   d ir ec tio n s ,   m a k in g   it  h ig h ly   s u itab le  f o r   v ar io u s   ML   task s ,   i n clu d in g   tex class if icatio n .   Dis tilB E R T ,   lig h ter   an d   m o r ef f icie n v er s io n   o f   B E R T ,   ac h iev es  s im ilar   p er f o r m an ce   le v els  wh ile  b ein g   c o m p u tatio n ally   less   d em an d in g   [ 19 ] .   I n   s p ec if ic  d o m ain s   s u ch   as  h ea lth ca r e,   d o m ain - a d ap ted   m o d els  lik e   SMDBE R T ,   wh ich   in co r p o r ate  s p ec ialized   m ed ical  k n o wled g e,   h a v s h o wn   to   o u tp er f o r m   m o r g en er al  m o d els  lik Di s til B E R T   d u to   th eir   en h a n ce d   ca p ab ilit y   to   lev er a g d o m ain - s p ec if ic  in f o r m atio n   [ 20 ]   R esear ch   o n   u s in g   ze r o - s h o lear n in g   m o d els  s p ec if ically   f o r   p r e d ictin g   tu b e r cu lo s is   ( T B )   is   r elativ ely   lim ited .   Mo s s tu d ies  f o cu s   o n   m o r tr ad itio n a ML   ap p r o ac h es  o r   DL   tech n iq u es  ap p lied   t o   m ed ical  im ag in g   d ata  lik c h est   X - r ay s .   W h ile  th er h a v b ee n   s o m e   p r o g r ess ,   th a p p licatio n   o f   th ese   m o d els  f o r   T B   p r ed ictio n   u s in g   clin ical   d ata   o r   n o tes  r em a in s   r elativ ely   u n ex p l o r ed   ar ea .   C ap ellan - Ma r tin   et  a l.   [ 2 1 ]   d is cu s s es  th u s o f   v is io n   tr a n s f o r m e r s   ( ViT )   i n   s elf - s u p er v is ed   lear n in g   p a r ad ig m   f o r   im p r o v ed   TB   d etec tio n   in   c h est  X - r ay s .   Z er o - s h o p ed iatr ic   T B   d etec tio n   is   m eth o d ,   wh ich   h as  s h o wn   ap p r ec iab le  g ain s   in   T B   d etec tio n   ef f icac y .   wh en   co m p a r ed   t o   f u lly - s u p er v is ed   m o d els.   T h e   wo r k   in   [ 2 2 ]   p r o p o s es  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         E xp la in a b le  z ero - s h o t le a r n in g   a n d   tr a n s fer lea r n in g   fo r   r ea l time   …  ( S w a ti S a ig a o n ka r )   93   g en er alize d   ze r o - s h o lea r n in g   ( GZ SL)   m eth o d   u s in g   s elf - s u p er v is ed   lear n in g   ( SS L )   f o r   m ed ical  im a g class if icatio n .   I f o cu s es  o n   tr ain in g   f ea tu r g en er at o r   an d   ch o o s in g   an ch o r   v ec to r s   f r o m   v ar io u s   d is ea s class es.   T h wo r k   in   [ 2 3 ]   in tr o d u ce s   m u lti - lab el  GZ SL  n etwo r k   th at  u s es  ch est   X - r ay   im ag es  to   s im u ltan eo u s ly   p r e d ict  s ev er a d is ea s es,  b o th   s ee n   an d   u n s ee n .   I u s es  v is u al  r ep r esen tatio n   g u i d ed   b y   s em an tics   tak en   f r o m   a   s u b s tan tial c o r p u s   o f   m ed ical  liter atu r e.     T h er ar e   s o m wo r k s   u s in g   p r o m p t - b ased   lar g la n g u a g m o d els  ( LLMs ) Z h u   et  a l.   [ 2 4 ]   lo o k s   in to   th f lex ib ilit y   o f   L L Ms  lik e   GPT - 4   to   E HR   d ata  f o r   ze r o - s h o clin ical   p r ed ictio n .   I n   cr u cial   task s   lik m o r tality ,   len g th - of - s tay ,   an d   3 0 - d ay   r ea d m is s io n ,   it  e x h ib its   en h an ce d   p r ed ictio n   p er f o r m an ce .   Similar ly ,   Hea lth Pro m p t   [ 2 5 ] ,   u tili ze s   p r o m p t - b ased   lear n in g ,   allo win g   p r e - tr ain e d   lan g u ag m o d el s   th at  d o n ' r eq u ir m o r tr ain in g   d ata  to   ad ju s to   n ew  task s .   T h s tu d y   d em o n s tr ates  th at  Hea lth Pro m p ca n   f u n ctio n   ef f ec tiv ely   an d   ef f icien tly   in   ca p tu r in g   th co n tex o f   clin ical  tex ts   in   v ar io u s   clin ical  NL task s ,   s h o wca s in g   th Z SL' s   p o ten tial to   im p r o v clin ical  j u d g m e n t   an d   r ed u ce   d ep en d en cy   o n   lar g an n o tated   d atasets .     T h is   o v er v iew  h ig h lig h ts   th e   u n tap p ed   p o te n tial  o f   ze r o - s h o lear n in g   f o r   T B   p r e d ictio n   u s in g   clin ical  d ata,   s u g g esti n g   a   p r o m is in g   d ir ec tio n   f o r   f u tu r r es ea r ch   b e y o n d   th m o r c o m m o n ly   ex p lo r e d   ar ea s   o f   m ed ical  im ag in g   a n d   E HR - b ased   p r ed ictio n s .   Pre d ictiv m o d els  u s in g   clin ical  n o tes  f ac u n iq u e   ch allen g es  d u to   th e   n atu r o f   th d ata.   Sev e r al  s tu d i es  h av h ig h lig h ted   t h i m p o r tan ce   o f   m o d el   in ter p r etab ilit y   in   h ea lth ca r e.   T h in ter p r etab ilit y   o f   ML   m o d els  is   cr itical  asp ec t   o f   h ea lth ca r e,   as  u n d er s tan d i n g   t h r atio n ale  b eh in d   m o d el   p r e d ictio n s   is   ess en tial  f o r   e n s u r in g   tr u s a n d   im p r o v in g   p atien t   ca r e.   T wo   p r o m in e n tech n iq u es  f o r   in ter p r etin g   c o m p lex   m o d els  ar lo ca in ter p r eta b le  m o d el - a g n o s tic   ex p lan atio n s   ( L I ME )   an d   s h ap ley   ad d itiv ex p lan atio n s   ( SH AP) .   T h e   wo r k   in   [ 2 6 ]   h ig h lig h ts   th ap p licatio n   o f   L I ME   an d   SHAP  in   d etec t in g   a lzh eim er 's  d is ea s e,   d em o n s tr atin g   h o th es m eth o d s   ca n   in cr ea s th tr an s p ar en cy   an d   r eliab ilit y   o f   ar tific i al  in tellig en ce   ( AI ) - b ased   p r ed ictio n s .   T h r e v ie em p h asizes  th at  alth o u g h   L I ME   an d   SHAP  p r o v id s ig n if ican in s ig h ts   in to   m o d el  d ec is io n s ,   th ey   also   h av lim itatio n s ,   o n b ein g   th e   n ee d   f o r   tailo r in g   to   s p ec if i m ed ical  co n tex ts .   A n o th er   s tu d y   [ 2 7 ]   in v esti g ates  th u s o f   L I ME   a n d   SHA f o r   a u to n o m o u s   d is ea s p r e d ictio n ,   n o tin g   t h at   wh ile  th ese  tech n iq u es  e x ce in   g en er atin g   lo ca l   ex p lan ati o n s ,   th ey   f ac c h allen g es  wh en   ap p lied   to   m o r e   co m p lex   m o d els  o r   lar g e r   d ata s ets.  T h r esear ch   u n d er s co r es   th i m p o r tan ce   o f   th ese  in ter p r etab ilit y   m eth o d s   in   m ak in g   AI - d r iv en   d ec is io n s   m o r e   u n d er s tan d ab le,   b u t   also   p o in ts   o u th e   d if f icu lties   in   s ca lin g   th ese   ex p lan atio n s   ef f ec tiv ely .   As  r esu lt,  o u r   r esear ch   is   m o tiv ated   b y   t h n ee d   t o   s im p lify   ex p lai n ab ilit y   b y   u s in g   clea r   an d   ac ce s s ib le  lan g u ag e.   Ad d itio n ally ,   we  aim   to   ad d r ess   th e   g ap s   ca u s ed   b y   v ar y in g   d is ea s ch ar ac ter is tics   ac r o s s   d if f er en c o u n tr ies,  en s u r in g   th at  th m o d els  co u ld   b ef f ec tiv ely   ap p lied   u s in g   tr an s f er   lear n in g .   Ob jectiv es o f   th p a p er :   1)   Dev elo p m en o f   en s em b le  ap p r o ac h   u s in g   SMDBER T   an d   z er o   s h o m o d el  f o r   tu b er cu lo s is   class if icatio n .   2)   Dev elo p m en o f   s im p le  y et  ef f ec tiv n ar r ativ b ased   in ter p r etab ilit y   m o d e f o r   tr an s f o r m er   b ased   m o d els.       2.   RE S E ARCH   M E T H O D     2 . 1 .     Da t a   p re - pro ce s s ing   T h d is ea s es   tar g eted   wer Ast h m a,   m y o ca r d ial  in f ar ctio n   ( MI )   a n d   C KD  with   I C D - 9   co d es   4 9 3 2 0 ,   5 8 4 9 ,   4 1 0 0 1 ,   4 1 0 1 1 ,   a n d   4 1 0 2 1 ,   r esp ec tiv e ly ,   wh er th co d es  ' 4 1 0 0 1 ' ,   '4 1 0 1 1 ' ,   an d   ' 4 1 0 2 1 '   wer g r o u p ed   to g eth e r   u n d er   MI .   T h d ata   u s ed   f o r   g en er atin g   th b ase  m o d el  was  MI MI C   [ 2 ] .   I n itially ,   1 7 0 , 4 4 6   s am p les  wer co llect ed   an d   th en   r ef in e d ,   n a r r o win g   th d ataset  d o wn   to   5 , 2 3 4   s am p les  s p ec if ically   f o cu s ed   o n   d is ch ar g s u m m ar ies  f o r   an al y s is .   SMDBE R T   m o d el  was  f in e - tu n ed   u s in g   th ese  clin ical  n o tes,   ex tr ac ted   f r o m   th NOT E VE NT tab le  o f   th MI MI C   d ataset,   alo n g   with   o th er   s tr u ctu r ed   d ata.   B asic  p r ep r o ce s s in g   was  ap p lied   b e f o r m o d el  tr ain in g ,   in cl u d in g   co n v er tin g   te x to   lo wer ca s e,   r em o v i n g   s p ec ial   ch ar ac ter s ,   UR L s ,   an d   n o n - alp h an u m er ic  elem en ts .     Af ter   th e   in itial  p h ase,   th e   m o d els  wer u s ed   o n   clin ical   n o t es  f r o m   two   n u r s in g   h o m es  o f   Mu m b ai,   I n d ia.   T h n o tes  wer g ath er e d   d u r i n g   two   p er i o d s J an u ar y   to   Ap r il  2 0 2 3   a n d   Octo b er   t o   No v em b er   2 0 2 2 .     to tal  o f   1 4 5   clin ical  n o tes,  s p ec if ically   r elate d   to   th d is ea s es  u s ed   f o r   tr ain in g   an d   TB ,   wer s elec ted   f o r   an aly s is .   Fig u r es 1   an d   2   s h o s am p les o f   clin ical  n o tes   b ef o r an d   af ter   b asic p r e - pr o ce s s in g .   An   ex am p le  o f   an   an o n y m o u s   I n d ian   clin ical  n o te  is   s h o wn   in   F ig u r 3 .       2 . 2 .     Arc hite ct ure   As  th SMD B E R T   m o d el  g av b etter   p er f o r m an ce   t h an   Dis tilB E R T ,   it  wa s   ch o s en   as  b ase  m o d el.   Af ter   tr ain in g   th m o d el,   th m o d el  was  th en   ap p lied   o n   r e al  tim I n d ian   d ata  co llected   f r o m   2   h o s p itals   o f   Mu m b ai,   I n d ia  u s in g   tr a n s f er   lear n in g .   Ov er all,   m o r th an   1 , 5 0 0   clin ical  n o tes,  esp ec ially   d is ch ar g e   s u m m ar ies  wer co llected ,   o u o f   w h ich   1 4 5   n o tes  wer u s ed .   T h e   d is ea s es  tar g eted   wer th s am e   as  th o s Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  1 4 ,   No .   1 A p r il   20 2 5 :   91 - 10 1   94   u s ed   f o r   t r ain in g ,   with   th ad d itio n   o f   TB ,   wh ich   is   p r ev al en in   I n d ia  b u n o tab ly   ab s en f r o m   th e   p u b licly   av ailab le  d ataset,   wh ich   p r ed o m in an tly   r ep r esen ts   th Un ited   States .   T h is   h ig h lig h ts   th r eg io n al  v ar iatio n   in   d is ea s p r ev alen ce   ac r o s s   d if f er en co u n tr ies.  Fig u r e   4   d ep i cts  th ar ch itectu r e   o f   ap p lica tio n   o f   SMDBER T   m o d el  o n   th I n d ian   d ataset.           Fig u r 1.   C lin ical  n o te  f r o m   MI MI C     2 . 3   M et ho d   T h SMDBER T   m o d el  was  s elec ted   f o r   its   s u p er io r   p e r f o r m an ce   co m p ar ed   t o   o th e r   tr a n s f o r m er - b ased   m o d els.  SMDBER T   in co r p o r ates  ad d itio n al  k n o wled g b y   in teg r atin g   s y m p to m   an d   d is ea s e   in f o r m atio n .   T h m o d el   was  f in e - tu n e d   o n   d ata  f r o m   th e   MI MI C   d atab ase  an d   th en   a p p lied   to   r ea l - tim e   I n d ian   d ata  th r o u g h   tr an s f er   le ar n in g .   Sin ce   TB   was  n o in clu d ed   in   th tr ain i n g   s et  d u to   lack   o f   av ailab le   d ata,   ze r o - s h o m o d el  wa s   em p lo y ed   f o r   its   class if ic atio n .   T h e   ar ch itectu r e   o f   e n s em b le  m o d el   o f   SMDBE R T   an d   cu s to m is ed   Z er o   s h o t m o d el  was c o n s tr u cte d   as g iv en   in   F ig u r 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         E xp la in a b le  z ero - s h o t le a r n in g   a n d   tr a n s fer lea r n in g   fo r   r ea l time   …  ( S w a ti S a ig a o n ka r )   95       Fig u r e   2.   Pre - p r o cc ess ed   clin i ca l n o te  f r o m   MI MI C           Fig u r e   3.   Sy m p to m   e x tr ac ted   clin ical  n o te  o f   I n d ian   d ataset   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  1 4 ,   No .   1 A p r il   20 2 5 :   91 - 10 1   96       Fig u r 4 .   Ar c h itectu r e           Fig u r e   5 .   E n s em b le  a r ch itectu r e       T h m o d el  ca n   b e x p r ess ed   m ath em atica lly   as :   L et  S s et  o f   in p u t sen ten ce s   ( c lin ical  n o tes).   D s et  o f   d is ea s lab els,  wh er D = {0 , 1 , 2 , 3 }   SMD pred ( s ) p r o b ab ilit y   d is tr ib u tio n   o v er   th d is ea s lab els  p r ed icted   b y   th e   SM - DB E R T   m o d el  f o r   in p u s en ten ce   s .         E H R   D a t a s e t   ( M I M I C )   C oh or t   S e l e c t i o n   D a t a   P r e p r oc e s s i n g   S M D B E R T   m od e l       Cli n ical  No t S tructur ed  C li n ical  D ata   CL S   D ata   M ask   D ata   SEP   D IS TIL BE RT   D ense,  Fu ll y  c o n n ec te d   L ay er   D ro p   o u L a y er   Outp u L a y er  f o Classi ficat io n   In p u Id s +  Att entio n  M as Ext r a E m b edd in g   Ext erna Kno wledg e   D i s e a s e   S pe c i f i c   d o m a i k no w l e d g e   F i ne   t un i ng   o f   S M D B E R T   f o r   s pe c i f i c   d i s e a s e s             I n d i a n   E H R   D a t a         A s t h m a   MI   C K D   T ub e r c ul os i s   F i ne - t u ne d   m od e l     P r e d i c t i on                                                                                                                                                                   E H R   D a t a s e t   ( I nd i a n   R e a l   t i m e   D a t a )   S M D B E R T   m od e l       Cli n ical  No t S tructur ed  C li n ical  D ata   CL S   D ata   M ask   D ata   SEP   D IS TIL BE RT   D ense,  Fu ll y  c o n n ec te d   L ay er   D ro p   o u L a y er   Outp u L a y er  f o Classi ficat io n   In p u Id s +  Att entio n  M as Ext r a E m b edd in g   Ext erna Kno wledg e     T ub e r c ul os i s   C l i ni c a l   N ot e     Z e r o   S h ot   C l a s s i f i e r     C on d i t i on   D e s c r i p t i on   S M D B E R T   D i s e a s e   Sc ore s   Z e r o   S h ot   D i s e a s e   Sc ore s   W e i g ht e d   Av e r a g D i s e a s e   Sc ore s   D i s e a s e   P r e d i c t i on   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         E xp la in a b le  z ero - s h o t le a r n in g   a n d   tr a n s fer lea r n in g   fo r   r ea l time   …  ( S w a ti S a ig a o n ka r )   97   ZS p r ed ( s ) :   p r o b a b i li t y   d is t r i b u t io n   o v e r   t h e   d i s e a s e   l a b e ls   p r e d ic t e d   b y   t h e   z e r o - s h o t   m o d e l   f o r   i n p u t   s e n t e n c e   s   α,   β:   w eig h ts   ass ig n ed   to   SM - DB E R T   an d   ze r o - s h o t p r e d ictio n s ,   r esp ec tiv ely ,   wh e r α +β= 1 .   C o m b in ed pred ( s ) f in al  co m b in ed   p r ed ictio n   s co r f o r   ea ch   d i s ea s lab el  d     D   f o r   s en ten ce   s   Fin alPr ed ( s ) t h f in al  p r e d icted   lab el  f o r   s en ten ce   s .   Step s :     SMDBE R T   p r ed ictio n:        ( ) =   {  ( )     }       w h er e    ( )   is   th p r o b ab ilit y   ass ig n ed   b y   th SMDBER T   m o d el  to   d is ea s   f o r   s en ten ce   s .   Z er o - s h o t p r ed ictio n :     ( ) = {  ( )     }       w h er  ( )   is   th p r o b ab ilit y   ass ig n ed   b y   th ze r o   s h o m o d el  to   d is ea s   f o r   s en ten ce   s .   C o m b in ed   p r ed ictio n :      ( ) = {  ( ) +  ( )     }       Her e,   α   an d   β  r ep r esen th r elativ im p o r tan ce   o r   weig h o f   th SMDBE R T   an d   ze r o - s h o p r ed ictio n s ,   r esp ec tiv ely .   Fin al  p r ed ictio n :     ( ) = a r g     ( )       T h f in al  p r ed icted   lab el  is   th e   o n with   th h ig h est co m b in e d   p r ed ictio n   s co r e.       3.   RE SU L T S AN D I SCU SS I O N     T ab le   1   s h o ws  th p er f o r m a n ce   o f   d if f er e n m o d els  o n   th I n d ian   d ata.   Mo d els,  n am ely   B E R T ,   Dis til B E R T   an d   SMDBE R T   wer in itially   f in tu n ed   o n   MI MI C   n o tes.  Fo llo win g   th e   tr ain in g   p h ase,   th e   m o d els  u n d er wen p r ac tical  ap p licatio n   u s in g   I n d ian   clin ical  r ec o r d s   o b tain ed   f r o m   h o s p itals   s i tu ated   in   Mu m b ai,   I n d ia.   A   to tal  o f   1 45   clin ical  n o tes  wer e   m eticu l o u s ly   s elec ted ,   co n ce n tr atin g   ex clu s iv ely   o n   th e   tar g eted   d is ea s es T h tr an s cr i p tio n   o f   clin ical   n o tes  was  c o n d u cted   m an u ally   d u t o   th e   p r o v is io n   o f   s ca n n ed   co p ies   b y   th h o s p itals .   I is   wo r th   n o tin g   th at  tr ea tm en t   s p ec if ics  wer in ten tio n ally   ex clu d ed   f r o m   t h d ataset  to   alig n   with   th r esea r ch ' s   f o cu s   o n   ca p tu r in g   s y m p to m s .   Sp ec ialized   m o d els  wer also   test ed   o n   th I n d ian   d ata  co llected .   SMDBER T   g av b etter   r esu lts   as  co m p ar ed   to   o th e r   m o d els  as  it  tak es,  s y m p to m   d is ea s in f o r m atio n   as  an   a d d itio n al  em b e d d in g .   As  it  ca n   b s ee n   o u r   m eth o d   wi th   an   en s em b le  o f   SMDBE R T   an d   ze r o   s h o t le ar n in g   g a v b etter   r esu lts   with   an   ac cu r ac y   o f   0 . 9 2 4 .         T ab le  1 .   Per f o r m an ce   m etr ics o f   f in e - t u n ed   m o d els o n   I n d ian   d ata   T y p e   o f   M o d e l   M o d e l s   A c c u r a c y   P r e c i si o n   R e c a l l   F1 - s c o r e   F i n e - t u n e d   B ER T   0 . 5 5   0 . 5   0 . 5 5   0 . 5 2   D i st i l B ER T   0 . 6 4   0 . 6 5   0 . 6 4   0 . 6 2   S M D B E R T   0 . 7 5   0 . 6 9   0 . 7 5   0 . 7 2   S p e c i a l i s e d   S C I B ER T   0 . 7 6   0 . 8 3   0 . 7 6   0 . 7 2   B I O B ER T   0 . 6 2   0 . 5 2   0 . 6 2   0 . 5 4   C l i n i c a l   B i o B ER T   0 . 6 1   0 . 5 1   0 . 6 1   0 . 5 3     P r o p o se d   E n s e mb l e   a p p r o a c h   0 . 9 2 4   0 . 9 2 7   0 . 9 2 4   0 . 9 2 5       In   ( 1 ) ,   ( 2 ) ,   a n d   ( 3 )   d escr ib e s   th co m p u tatio n al  f o r m u latio n s   f o r   p r ec is io n ,   r ec all,   a n d   th e   F1 - s co r e,   r esp ec tiv ely .        =         +        ( 1 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  1 4 ,   No .   1 A p r il   20 2 5 :   91 - 10 1   98    =         +        ( 2 )     1  = 2    +    ( 3 )     Fig u r 6   d is p lay s   th m o d els'   p er f o r m an ce   g r ap h ically   with   F ig u r 6 ( a)   s h o win g   m o d el  p e r f o r m a n ce   with   r esp ec to   th e   s p ec ialized   m o d els   an d   Fi g u r e   6 ( b )   s h o wi n g   th e   p r o p o s ed   m o d el   p er f o r m an ce   with   r esp ec to   f in e - tu n e d   m o d els .   As  s h o wn   in   th d iag r am s   th e n s em b le  ap p r o ac h   o f   SMDBER T   an d   z er o   s h o h as  g iv en   b etter   r esu lts   th an   o th er   f in e - tu n ed   m o d els  o r   s p ec ialized   m o d els.  T h e   s p ec ialized   m o d els  co n s id er ed   ar s cien tific   B E R T   ( S C I B E R T ) ,   b io m ed ical  B E R T   ( B I O B E R T )   an d   B io _ C lin ical B E R T ,   wh ile  f in e - tu n e d   m o d els ar B E R T   an d   Dis tilB E R T .   T h co n f u s io n   m atr i x   d em o n s tr ate d   in   Fig u r 7 ,   s h o ws   th at  th m o d el  ef f ec tiv ely   class if ies   a   m ajo r ity   o f   in s tan ce s   co r r ec tly ,   in d icatin g   s tr o n g   p er f o r m an ce   an d   r eliab le  p r ed icti v ac cu r ac y   ac r o s s   m u ltip le  class es Fig u r 8   s h o w s   th o u tp u o f   L I ME w h ich   ex p lain s   p r e d ictio n s   m ad b y   th en s em b le  ap p r o ac h   b y   h ig h lig h tin g   th co n tr ib u tio n s   o f   d if f er e n in p u f ea tu r es Pre d ictio n   p r o b ab il ities   s ec tio n   s h o ws   th p r ed icted   p r o b ab ilit ies  f o r   ea ch   class T h m o d el  p r e d ict s   th is   class   with   p r o b ab ilit y   o f   0 . 8 0 .   T h m i d d le  s ec tio n   s h o ws  th f ea tu r es  th at  co n tr ib u te  to   th p r e d ictio n   o f   th class .   T h r ig h s id o f   th d iag r am   s h o th s p ec if ic  wo r d s   o r   p h r ases ,   wh ich   a r h ig h li g h ted ,   r e f le ctin g   th eir   im p o r ta n ce   in   th e   m o d el' s   d ec is io n - m ak in g   p r o ce s s .   Fig u r 9   s h o ws  th clin ical  n o te  g iv en   as  in p u t ,   it  in clu d es  v ar io u s   attr ib u tes  lik ag e,   g en d er ,   f i n al   d iag n o s is ,   co m p lain ts   o n   ad m is s io n   p ast  m ed ical  h i s to r y ,   v ital  s ig n s ,   an d   o th er   r elev an clin ical  in f o r m atio n T h h o r izo n tal   b ar   at  th e   to p   r ep r esen t s   th SHAP  v alu e   f o r   th e   h ig h lig h ted   o u tp u wh ic h   is   Ou tp u 0 .   T h e   v alu es  o n   th b ar   r an g f r o m   0 . 0   to   1 . 0 ,   in d icatin g   th p r o b ab ilit y   o r   co n f id e n ce   o f   th m o d el' s   p r ed ictio n   f o r   ea ch   o u tp u t.             ( a)   ( b )     Fig u r 6 Gr a p h   d is p lay i n g   p e r f o r m a n ce   co m p ar is o n   o f   p r o p o s ed   ap p r o ac h   ( a )   with   s p ec ialiaze d   m o d els  ( b )   with   f in e - tu n e d   m o d els           Fig u r 7 .   C o n f u s io n   m atr i x   o f   th p r o p o s ed   ap p r o ac h   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         E xp la in a b le  z ero - s h o t le a r n in g   a n d   tr a n s fer lea r n in g   fo r   r ea l time   …  ( S w a ti S a ig a o n ka r )   99       Fig u r 8 .   L I ME   e x p la n atio n       Fig u r 1 0   s h o ws  th co m b i n ed   in ter p r eta b ilit y   tech n iq u wh er ein   Fig u r 1 0 ( a )   p r esen t s   n ar r ativ ex p lan atio n s ,   w h ile  F ig u r e   1 0 ( b )   p r o v i d es  co r r esp o n d i n g   L I ME   ex p lan atio n s .   T h ese  L I ME   ju s tific atio n s   ar e   p r o d u ce d   alo n g s id th n ar r ativ es  to   f ac ilit ate   clea r er   u n d e r s tan d in g   o f   th m o d el s   p r ed ictio n s .   T h n ar r ativ es  o f f er   wr itten   s u m m ar y ,   d etailin g   h o w   s p ec if ic  wo r d s   o r   f ea tu r es  h av a   m ajo r   im p a ct  o n   th e   m o d el ’s   d ec is io n s .   B y   p r esen tin g   b o th   n ar r ativ es  an d   v is u al  ex p lan atio n s   to g eth e r ,   u s er s   ca n   m o r ea s ily   in ter p r et  th m ai n   elem en ts   th at  th m o d el  c o n s id er s   wh en   m ak in g   its   p r e d ictio n s .           Fig u r e   9 .   SHAP  e x p lan atio n         ( a)       ( b )     Fig u r 1 0 .   C o m b in ed   i n ter p r et ab ilit y   tech n iq u e   ( a)   n a r r ativ es   f o r   im p o r tan t w o r d s   ( b )   L I M E   ex p lan atio n   g en er ated   alo n g   with   n ar r ativ e s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  1 4 ,   No .   1 A p r il   20 2 5 :   91 - 10 1   100   4.   CO NCLU SI O N     I n   th is   s tu d y ,   we   ad d r ess ed   th c h allen g es  o f   a p p ly in g   ML   m o d els  to   r ea l - tim e   clin ical  d ata,   p ar ticu lar ly   in   th I n d ia n   co n tex t.  B y   u tili zin g   th SMD B E R T   m o d el  f in e - tu n ed   o n   p u b licly   a v ailab le  d atasets MI MI C ,   th p o ten tial  o f   tr an s f o r m er - b ased   m o d els   f o r   th class if icatio n   o f   ch r o n ic  d is ea s es  s u ch   as   Ast h m a,   MI ,   a n d   C KD   was  d em o n s tr ated .   H o wev er ,   th e   lim itatio n s   o f   th ese  m o d els  wer ev id en t   wh en   th ey   wer ap p lied   to   I n d ia n   clin ica d ata,   wh er d is ea s es  lik tu b er cu lo s is   ar m o r p r ev alen b u n o r ep r esen ted   in   th tr ain in g   d atasets .   T o   o v er co m th is ,   an   in n o v ativ e n s em b le  ap p r o ac h   th at  co m b i n es  th s tr en g th s   o f   th SMDBE R T   m o d el  an d   cu s to m ized   ze r o - s h o lear n in g   m eth o d   was   d ev el o p ed ,   en ab lin g   ef f ec ti v class if icatio n   o f   tu b e r cu lo s is   c ases   d esp ite  th lack   o f   co r r esp o n d in g   ex a m p les in   th tr ain i n g   d ata.   Ad d itio n ally ,   th is s u o f   m o d el  in ter p r etab ilit y   was  tack led ,   wh ich   is   cr itical  f o r   clin ica ad o p tio n .   T h e   r esear ch   in t r o d u ce d   n a r r ativ e - b ased   in ter p r etab ilit y   t ec h n iq u e,   alo n g   with   L I ME   in ter p r ea tb ilit y   to   p r o v id n atu r al   lan g u ag ex p lan atio n s   o f   th m o d el' s   d ec is io n - m ak in g   p r o ce s s .   T h is   ap p r o ac h   n o o n ly   en h an ce s   th tr an s p ar e n cy   o f   p r ed ictio n s   b u also   h elp s   h ea lth ca r p r o f ess io n als  in   u n d er s tan d i n g   th e   r atio n ale  b eh in d   th m o d el' s   o u tp u ts ,   m ak in g   th ese  to o ls   m o r r eliab le  an d   tr u s two r th y   i n   clin ical  p r ac tice.   Ou r   r esear ch ' s   f in d in g s   h ig h lig h th e   s ig n if ican ce   o f   cu s to m izin g   m ac h in lear n in g   m o d els  to   th e   u n iq u r e q u ir em en ts   o f   v a r io u s   d em o g r ap h ics  an d   th n ee d   o f   cr ea tin g   s t r o n g   in ter p r etab il ity   f r am ewo r k s   f o r   in tr icate   m o d els.   B y   in te g r ati n g   an   en s em b le  o f   ze r o - s h o t   lear n in g   with   SMD - B E R T ,   o u r   ap p r o ac h   ac h iev ed   an   ac cu r ac y   o f   0 . 9 2 ,   o u t p er f o r m in g   s p ec ialized   m o d els  lik SC I B E R T ,   B I O B E R T ,   an d   c lin ical  B io B E R T .   T h is   r esear ch   co n tr i b u tes   s ig n if ican tly   to   th f ield   b y   d em o n s tr atin g   h o a d v an ce d   NL tech n iq u es  ca n   b e   ad ap ted   f o r   d iv er s h ea lth ca r e   en v ir o n m e n ts   an d   b y   p r o p o s i n g   n ew  d ir ec tio n   f o r   th in ter p r etab ilit y   o f   AI   m o d els  in   clin ical  s u r r o u n d in g s .   Mo v in g   f o r war d ,   ex p a n d in g   t h s co p e   o f   r ea l - tim e   d atasets   an d   f u r th er   r ef in in g   i n ter p r etab ilit y   m et h o d s   will b cr u cial  f o r   ad v a n cin g   AI ' s   r o le  in   h ea lth ca r e .       ACK NO WL E DG E M E NT   T h au th o r s   ar e   th an k f u t o   th Dep ar tm en t   o f   C o m p u ter   E n g in ee r in g ,   R am r ao   Ad ik   I n s t itu te,   Patil De em ed   to   b Un iv er s ity ,   to   p r o v id e   f ac ilit ies an d   s u p p o r t to   ca r r y   o u t th r esear ch   wo r k .       RE F E R E NC E S   [ 1 ]   J.  H e n r y ,   Y .   P y l y p c h u k ,   T.   S e a r c y ,   a n d   V .   P a t e l ,   A d o p t i o n   o f   e l e c t r o n i c   h e a l t h   r e c o r d   s y st e ms a m o n g   U . S .   n o n - f e d e r a l   a c u t e   c a r e   h o s p i t a l s:   2 0 0 8 - 2 0 1 5 ,   O N C   D a t a   Br i e f ,   v o l .   5 ,   n o .   3 5 ,   2 0 1 6 .   [ 2 ]   A .   E .   W .   J o h n s o n   e t   a l . ,   M I M I C - I I I ,   a   f r e e l y   a c c e ss i b l e   c r i t i c a l   c a r e   d a t a b a s e ,   S c i e n t i f i c   D a t a ,   v o l .   3 ,   n o .   1 ,   p .   1 6 0 0 3 5 ,   M a y   2 0 1 6 ,   d o i :   1 0 . 1 0 3 8 / sd a t a . 2 0 1 6 . 3 5 .   [ 3 ]   T.   J.   P o l l a r d ,   A .   E.   W .   J o h n s o n ,   J.   D .   R a f f a ,   L.   A .   C e l i ,   R .   G .   M a r k ,   a n d   O .   B a d a w i ,   Th e   e I C U   c o l l a b o r a t i v e   r e s e a r c h   d a t a b a s e ,   a   f r e e l y   a v a i l a b l e   mu l t i - c e n t e r   d a t a b a s e   f o r   c r i t i c a l   c a r e   r e se a r c h ,   S c i e n t i f i c   D a t a ,   v o l .   5 ,   n o .   1 ,   p .   1 8 0 1 7 8 ,   S e p .   2 0 1 8 ,   d o i :   1 0 . 1 0 3 8 / s d a t a . 2 0 1 8 . 1 7 8 .   [ 4 ]   J.  Y a n g   e t   a l . ,   B r i e f   i n t r o d u c t i o n   o f   med i c a l   d a t a b a se  a n d   d a t a   m i n i n g   t e c h n o l o g y   i n   b i g   d a t a   e r a ,   J o u rn a l   o f   Ev i d e n c e - Ba s e d   Me d i c i n e ,   v o l .   1 3 ,   n o .   1 ,   p p .   5 7 6 9 ,   F e b .   2 0 2 0 ,   d o i :   1 0 . 1 1 1 1 / j e b m. 1 2 3 7 3 .   [ 5 ]   R .   A l a n a z i ,   I d e n t i f i c a t i o n   a n d   p r e d i c t i o n   o f   c h r o n i c   d i sea ses  u si n g   mac h i n e   l e a r n i n g   a p p r o a c h ,   J o u r n a l   o f   H e a l t h c a re   En g i n e e ri n g ,   v o l .   2 0 2 2 ,   p p .   1 9 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 2 / 2 8 2 6 1 2 7 .   [ 6 ]   S .   A h me d   e t   a l . ,   P r e d i c t i o n   o f   c a r d i o v a sc u l a r   d i sea se   o n   se l f - a u g m e n t e d   d a t a se t s   o f   h e a r t   p a t i e n t s   u si n g   mu l t i p l e   ma c h i n e   l e a r n i n g   m o d e l s ,   J o u r n a l   o f   S e n so rs ,   v o l .   2 0 2 2 ,   p p .   1 2 1 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 2 / 3 7 3 0 3 0 3 .   [ 7 ]   L.   J.  S p e n c e r ,   A .   D e d u ,   H .   A .   K a l k i d a n ,   M .   A .   S o l o m o n ,   A .   C r i st i a n a ,   a n d   N o o s h i n   A b b a s i ,   G l o b a l ,   r e g i o n a l ,   a n d   n a t i o n a l   i n c i d e n c e ,   p r e v a l e n c e ,   a n d   y e a r s   l i v e d   w i t h   d i s a b i l i t y   f o r   3 5 4   d i s e a ses   a n d   i n j u r i e f o r   1 9 5   c o u n t r i e s   a n d   t e r r i t o r i e s,   1 9 9 0 2 0 1 7 :     a   sy st e mat i c   a n a l y s i s f o r   t h e   G l o b a l   B u r d e n   o f   D i se a se  S t u d y   2 0 1 7 . ,   T h e   L a n c e t ,   v o l .   3 9 2 ,   p p .   1 7 8 9 1 8 5 8 ,   2 0 1 8 .   [ 8 ]   C .   P .   K o v e s d y ,   Ep i d e m i o l o g y   o f   c h r o n i c   k i d n e y   d i s e a s e :   a n   u p d a t e   2 0 2 2 ,   K i d n e y   I n t e rn a t i o n a l   S u p p l e m e n t s ,   v o l .   1 2 ,   n o .   1 ,     p p .   7 1 1 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . k i su . 2 0 2 1 . 1 1 . 0 0 3 .   [ 9 ]   S .   S a i g a o n k a r   a n d   V .   N a r a w a d e ,   D o mai n   a d a p t a t i o n   o f   t r a n sf o r mer - b a se d   n e u r a l   n e t w o r k   mo d e l   f o r   c l i n i c a l   n o t e   c l a s si f i c a t i o n   i n   I n d i a n   h e a l t h c a r e ,   I n t e rn a t i o n a l   J o u r n a l   o f   I n f o rm a t i o n   T e c h n o l o g y   ( S i n g a p o r e ) ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 4 1 8 7 0 - 0 2 4 - 0 2 0 5 3 - z.   [ 1 0 ]   B .   S h i c k e l ,   P .   J.  T i g h e ,   A .   B i h o r a c ,   a n d   P .   R a s h i d i ,   D e e p   EH R :   a   s u r v e y   o f   r e c e n t   a d v a n c e i n   d e e p   l e a r n i n g   t e c h n i q u e f o r   e l e c t r o n i c   h e a l t h   r e c o r d   ( EH R )   a n a l y si s,”   I EEE   J o u rn a l   o f   Bi o m e d i c a l   a n d   H e a l t h   I n f o rm a t i c s ,   v o l .   2 2 ,   n o .   5 ,   p p .   1 5 8 9 1 6 0 4 ,   2 0 1 8 ,   d o i :   1 0 . 1 1 0 9 / JB H I . 2 0 1 7 . 2 7 6 7 0 6 3 .   [ 1 1 ]   Y .   M e n g ,   W .   S p e i e r ,   M .   O n g ,   a n d   C .   W .   A r n o l d ,   H C ET:   h i e r a r c h i c a l   c l i n i c a l   e m b e d d i n g   w i t h   t o p i c   mo d e l i n g   o n   e l e c t r o n i c   h e a l t h   r e c o r d f o r   p r e d i c t i n g   f u t u r e   d e p r e ss i o n ,   I EE J o u rn a l   o f   B i o m e d i c a l   a n d   H e a l t h   I n f o rm a t i c s ,   v o l .   2 5 ,   n o .   4 ,     p p .   1 2 6 5 1 2 7 2 ,   A p r .   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / JB H I . 2 0 2 0 . 3 0 0 4 0 7 2 .   [ 1 2 ]   J.  Y e ,   L.   Y a o ,   J .   S h e n ,   R .   J a n a r t h a n a m,  a n d   Y .   L u o ,   P r e d i c t i n g   m o r t a l i t y   i n   c r i t i c a l l y   i l l   p a t i e n t w i t h   d i a b e t e u si n g   m a c h i n e   l e a r n i n g   a n d   c l i n i c a l   n o t e s ,   BM C   Me d i c a l   I n f o rm a t i c a n d   D e c i s i o n   Ma k i n g ,   v o l .   2 0 ,   n o .   S 1 1 ,   p .   2 9 5 ,   D e c .   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s 1 2 9 1 1 - 0 2 0 - 0 1 3 1 8 - 4.   [ 1 3 ]   K .   H u a n g ,   J.   A l t o sa a r ,   a n d   R .   R a n g a n a t h ,   C l i n i c a l B E R T:   m o d e l i n g   c l i n i c a l   n o t e a n d   p r e d i c t i n g   h o s p i t a l   r e a d mi ss i o n ,   a rX i v   p re p ri n t   a rXi v : 1 9 0 4 . 0 5 3 4 2 ,   2 0 1 9 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 1 9 0 4 . 0 5 3 4 2 .   [ 1 4 ]   J.  W u ,   Y .   Li n ,   P .   Li ,   Y .   H u ,   L.   Z h a n g ,   a n d   G .   K o n g ,   P r e d i c t i n g   p r o l o n g e d   l e n g t h   o f   I C U   st a y   t h r o u g h   m a c h i n e   l e a r n i n g ,   D i a g n o s t i c s ,   v o l .   1 1 ,   n o .   1 2 ,   p .   2 2 4 2 ,   N o v .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / d i a g n o s t i c s1 1 1 2 2 2 4 2 .   [ 1 5 ]   S .   A .   M o q u r r a b ,   U .   A y u b ,   A .   A n j u m,  S .   A sg h a r ,   a n d   G .   S r i v a s t a v a ,   A n   a c c u r a t e   d e e p   l e a r n i n g   m o d e l   f o r   c l i n i c a l   e n t i t y   r e c o g n i t i o n   f r o m   c l i n i c a l   n o t e s,”   I EE J o u rn a l   o f   B i o m e d i c a l   a n d   H e a l t h   I n f o rm a t i c s ,   v o l .   2 5 ,   n o .   1 0 ,   p p .   3 8 0 4 3 8 1 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / JB H I . 2 0 2 1 . 3 0 9 9 7 5 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.