I AE S   I nte rna t io na l   J o urna l   of   Art if icia l   I nte llig ence   ( I J - AI )   Vo l.   14 ,   No .   3 ,   J u n e   20 25 ,   pp.   2167 ~ 2 1 7 5   I SS N:   2252 - 8938 ,   DOI :   1 0 . 1 1 5 9 1 /i j ai. v 14 .i 3 . p p 2 1 6 7 - 2 1 7 5          2167     J o ur na l   ho m ep a g e :   h ttp : //ij a i . i a esco r e. co m   Se m a n tic   ba sed   m edi ca l   v isua l   qu estio n   a nsw ering   w ith   ex pla ina ble   a rtif i cia l   intelligenc e       Sh ee rin   S it a ra   No o r   M o ha m ed,   K a v it ha   Srini v a s a n,   Ra g hu ra m a n   G o pa l s a m y   D e p a r t me n t   of   C o mp u t e r   S c i e n c e   a n d   En g i n e e r i n g ,   Sri   S i v a s u b r a ma n i y a   N a d a r   C o l l e g e   of   En g i n e e r i n g ,   C h e n n a i ,   I n d i a       Art icle   I nfo     AB ST RAC T   A r ticle   his to r y:   R ec eiv ed   A p r   26 ,   2 0 2 4   R ev i s ed   Feb   10 ,   2 0 2 5   A cc ep ted   Mar   15 ,   2 0 2 5       T h e   m e d ica l   v isu a l   q u e stio n   a n sw e rin g   (M V QA )   s y ste m   ta k e s   th e   a d v a n tag e   of   b o th   c o m p u ter   v isio n   (CV)   a n d   n a t u ra l   lan g u a g e   p ro c e ss in g   (NL P )   to   a c c e p t   th e   m e d ica l   i m a g e   a n d   c o r re sp o n d in g   q u e sti o n   as   in p u t   a n d   g e n e ra tes   th e   re sp e c ti v e   a n s w e r   as   o u tp u t.   On e   ste p   f u rth e r,   th e   M V QA   s y st e m   c a p a b le   of   g e n e ra ti n g   th e   a n sw e r   b a se d   on   t h e   se m a n ti c s   h a s   a   d isti n c t   p lac e   a n d   h e n c e   se m a n ti c   b a s ed   m e d ica l   v isu a l   q u e stio n   a n sw e rin g   (S M V QA )   s y ste m   is   p ro p o se d   in   th is   re se a rc h .   In   S M V QA ,   th e   se m a n ti c s   f o r   in p u t   i m a g e   a n d   q u e stio n   a re   g e n e ra ted   u sin g   lay e r w ise   r e lev a n c e   p ro p a g a ti o n   e x p lain a b le   a rti f icia l   in telli g e n c e   ( L RP   X A I)   tec h n iq u e   a n d   t h e   a n sw e r   is   d e ri v e d   u sin g   d e d u c ti v e   re a so n in g   m e th o d .   F o r   th is,   se v e n   M V Q A   d a tas e ts   a re   u se d   f o r   m o d e l   c re a ti o n ,   tes ti n g   a n d   v a li d a ti o n .   T h e   train in g   p h a se   of   th e   S M V QA   s y ste m   is   i m p le m e n ted   u sin g   V GG Ne t,   lo n g   sh o rt - term   m e m o ry   ( L S T M ),   L RP   X A I,   Re sN e t   a n d   b id i re c ti o n a l   e n c o d e r   re p re se n tati o n s   f ro m   tran sf o r m e rs   (BER T )   to   g e n e ra te   a   m o d e l   f il e .   T h e n   th e   in f e re n c e   is   d e riv e d   in   t h e   tes ti n g   p h a se   b a se d   on   th e   g e n e ra ted   m o d e l   f il e   f o r   th e   tes t   se t.   F in a ll y ,   th e   a n sw e r   is   d e riv e d   f ro m   th e   in f e re n c e   u sin g   n a tu ra l   lan g u a g e   to o lk it   (NLT K)   li b ra r y ,   ter m   f re q u e n c y - in v e rse   d o c u m e n t   f r e q u e n c y   (T F - IDF),   c o sin e   sim il a rit y ,   b e st   m a tch 2 5   (BM 2 5 )   tec h n i q u e s   a lo n g   w it h   d e d u c ti v e   re a so n in g .   As   a   re su lt ,   th e   p r o p o se d   S M V QA   s y ste m   g iv e s   im p ro v e d   p e rf o r m a n c e   th e n   th e   e x isti n g   M V QA   sy ste m   e sp e c iall y   f o r   a b n o rm a li t y   ty p e   sa m p le s.     K ey w o r d s :   De d u c ti v e   re a so n in g   L RP   X A I   M e d ica l   d o m a in   S e m a n ti c s   S M V QA   V isu a l   q u e sti o n   a n sw e rin g   T h is   is   an   o p e n   a c c e ss   a rticle   u n d e r   th e   CC   BY - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sh ee r i n   Sit ar a   No o r   Mo h a m ed   Dep ar t m en t   of   C o m p u ter   Scie n ce   an d   E n g i n ee r in g Sri   Si v a s u b r a m a n i y a   Nad ar   C o lleg e   of   E n g i n ee r in g   C h e n n ai,   T am il   Nad u ,   I n d ia   E m ail:   s h ee r i n s itar a n @ s s n . ed u . in       1.   I NT RO D UCT I O N   T h e   r ec en t   d ev elo p m e nt   in   t ec h n o lo g ical   ad v a n ce m en t s   o v er   th e   p as t   f e w   y ea r s   h a s   b ee n   ai m ed   to w ar d s   s i m p li f y in g   tas k s   at   ev er y   lev el.   T h e   m ed ical   f i eld   is   no   ex ce p tio n ;   th r o u g h   th e   in te g r atio n   of   au to m at io n   an d   s ec o n d ar y   to o ls ,   h ea lth ca r e   p r o f es s io n al s   can   allo ca te   th eir   ti m e   m o r e   ef f icien tl y   to   o th e r   p r o d u ctiv e   tas k s ,   w h ile   p atie n ts   g ai n   a   c lear   u n d er s ta n d in g   of   t h eir   h ea lt h   co n d it io n s   [ 1 ] .   T h is   p r o g r ess   h as   b ee n   f ac ilit ated   by   th e   ev o l u t io n   of   ar tif icial   i n telli g en ce   ( A I )   in   h ea lt h ca r e   n a m ed   m ed ical   v is u al   q u esti o n   an s w er i n g   ( MV Q A ) .   T h e   MV QA   ai m s   to   b r id g e   th e   g ap   b et w ee n   t h e   v i s u a l   co n t en t   of   m ed ical   i m a g es   an d   t h e   lin g u i s t ic   co n tex t   of   q u esti o n s   a s k ed   by   h ea lt h ca r e   p r o f es s io n al s   or   u s er s .   To   attain   t h is ,   t h e   M VQ A   s y s te m   ta k es   th e   m ed ical   i m a g e   a n d   q u es tio n   w it h   r e s p ec t   to   d if f er e n t   o r g a n ,   p lan e,   m o d alit y   or   ab n o r m alit y   as   i n p u t   an d   g en er ate s   r esp ec tiv e   a n s w er   as   o u tp u t.   T h e   g e n er alize d   M VQ A   s y s te m   ab le   to   an s w er   all   t y p es   of   s a m p le s   ( esp ec iall y   ab n o r m ali t y   t y p e   b ec au s e   it   is   d if f ic u lt   as   co m p ar ed   to   o th er   ty p es)   h as   h u g e   s co p e   an d   h en ce   p r o p o s ed   w o r k   co n ce n tr ates   on   d ev elo p in g   s e m a n tic   b ase d   m ed ical  v i s u al  q u est io n   a n s w er in g   ( SMVQ A )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   I n t   J   A r ti f   I n tell ,   Vo l.   14 ,   No .   3 ,   J u n e   20 25 :   2 1 6 7 - 2175   2168   s y s te m .   B ec au s e   it   u n d er s tan d s   th e   in ter w o r k i n g   of   th e   m o d el   an d   an al y s e s   th e   r ea s o n   b eh in d   t h e   p r ed icted   an s w er .   To   im p le m en t   t h e   S MV Q A   s y s te m ,   a   co m b in at io n   of   t w o   tech n iq u e s   n a m el y   l a y er w is e   r elev a n ce   p r o p ag atio n   ex p lai n ab le   ar ti f i cial   i n telli g e n ce   ( L R P   X A I )   [ 2 ]   an d   d ed u cti v e   r ea s o n in g   [ 3 ]   ar e   ch o s en .   L R P   XA I   tec h n iq u e   h i g h li g h t s   t h e   s ig n i f ica n t   r e g io n   in   t h e   i n p u t   th at   co n tr ib u te s   to   a n s w er   p r ed ictio n   a n d ,   d ed u ctiv e   r ea s o n i n g   s h o w s   t h e   tr an s f o r m a tio n   of   t h e   i n p u t   by   s o l v i n g   s u b - s tate m e n ts   in   th e   i n f er en c e   lo g icall y   to w ar d s   d er iv in g   t h e   an s w er .   As   d ed u cti v e   r ea s o n i n g   w i th   r esp ec t   to   MV Q A   is   a   n e w   id ea   to   ap p ly   in   th i s   d o m ai n ,   th e   s u b s eq u e n t   p ar ag r ap h s   d is cu s s es   o n l y   t h e   co llab o r ativ e   ef f o r ts   of   d if f e r en t   r esear ch er s   in   d ev elo p in g   MV Q A   m o d els   al o n g   w it h   X A I   tec h n iq u es.   T h e   m o d el   in ter p r etab ilit y   ac h iev ed   t h r o u g h   X A I   tec h n iq u es   h elp s   in   v i s u al izin g   t h e   s ig n i f ica n t   r eg io n s   th at   co n tr ib u te   to w ar d s   an s w er   p r ed ictio n .   Var io u s   XA I   tec h n iq u e s ,   as   o u tl in ed   by   B en n eto t   et   al .   [ 4 ] ,   in cl u d e   S h ap le y   ad d iti v e   e x p l an atio n s   ( SH A P ) ,   d iv er s e   co u n ter f ac tu a l   e x p lan atio n   ( DiC E ) ,   tr an s f o r m er   in ter p r et   ( T I ) ,   lo g ic   ten s o r   n et w o r k s ,   a n d   te m p late   s y s te m   f o r   n at u r al   la n g u a g e   ex p l an atio n   ( T S4 NL E ) ,   g r ad ien t - w ei g h ted   class   ac ti v a tio n   m ap p i n g   ( Gr ad - C A M) ,   a n d   L R P   XA I .   C o n s eq u en tl y ,   J o s h i   et   al .   [ 5 ]   u s ed   Gr ad - C A M   to   id en ti f y   th e   r eg io n s   t h at   co n tr ib u te   to   g e n er atin g   an s w er s   f o r   th e   v i s u a q u esti o n   an s w er in g   m ed ical  ( VQ A - ME D)   2020   d ataset.   Si m ilar l y ,   t h e   au t h o r s   i n   [ 6 ] ,   [ 7 ]   u tili ze d   Gr ad - C A M   f o r   th e   VQ A - MED   2019,   VQA - R A D,   a n d   P ath - VQ A   d atasets   d u e   to   its   a b ilit y   to   e x tr ac t   r ic h   te x t u al   in f o r m atio n   a n d   d em o n s tr ate   its   v is u al   r ea s o n i n g   ca p ab ilit ie s .   T h e   X A I   f o r   m ed ical   VQ A   w as   d ev e l o p ed   by   C a n ep a   et   al .   [ 8 ]   f o r   VQA - MED   2019   d ataset   but   it   f ail s   f o r   t w o   clo s el y   r elat ed   d is o r d e r s .   T h is   u n d er s co r es   th e   s ig n i f ica n ce   of   XA I - b ased   v is u aliza t io n s   in   i d en tify i n g   r ea s o n s   b e h in d   in c o r r ec t   p r ed ictio n s .   Au g m en t i n g   t h is ,   lev er a g in g   ex ter n al   k n o w led g e   b ase   ( E KB )   can   m iti g ate   th is   c h allen g e.   T h u s ,   Hu a n g   et   al .   [ 9 ]   d ev elo p ed   th e   m ed ica l   k n o w led g e - b a s ed   VQA   n et w o r k   ( MK B N)   f o r   an s w er i n g   q u esti o n s   b ased   on   i m a g e s   in   t h e   P atien t - o r ien ted   VQ A   d ataset.   C o n cu r r en tl y ,   Mo h a m ed   a n d   Srin i v asa n   in   2023   [ 1 0 ]   d ev is ed   an   E KB   d er iv ed   f r o m   m ed ical   an d   lin g u is tic   ter m s   f r o m   I m a g eC L E F   a n d   lin g u is tic   w eb s it es   to   in f er   an s w er s   b ased   on   s e m an tic   r u le s   f o r   th e   n atu r al  la n g u a g i n f er e n ce   f o r   clin ical  tr ial  ( N L I 4 C T )   d ataset.   Fro m   th e   liter at u r e   r ev ie w ,   it ' s   ev id en t   t h at   MV Q A   m o d el   g en er atio n   co u p led   w ith   Gr ad - C A M   X AI   v is u aliza t io n   p r i m ar il y   h ig h li g h t s   t h e   s i g n if ican t   i m a g e   i n f o r m at io n   b u t   L R P   XA I   h i g h l i g h t s   t h e   s i g n if ican t   i m a g e   an d   te x t   i n f o r m atio n   to g eth er .   He n ce ,   in   th e   p r o p o s ed   w o r k ,   L R P   X A I   is   p r ef er r e d .   A lo n g   w it h   t h is ,   d ee p   lear n in g   tech n iq u e s   a n d   d ed u ctiv e   r ea s o n i n g   ar e   u s ed   b ec au s e   t h e   L R P   X A I   h i g h li g h ts   t h e   s ig n i f ica n t   r eg io n s   in   t h e   i n p u t,   d ee p   lea r n in g   tec h n iq u e s   g en er ate s   t h e   in f er en ce   b ased   on   t h e   s i g n if ica n t   r e g io n   a n d   d ed u ctiv e   r ea s o n i n g   d er iv es   t h e   a n s w er   by   r etr ie v i n g   t h e   s u b - s tate m e n t   of   t h e   in f er en c e   th at   m atc h es   th e   r u les.   T h r o u g h   t h is ,   th e   p r o p o s ed   SMVQ A   s y s te m   i m p r o v es   t h e   p er f o r m an ce   of   th e   m o d el   g e n er ated   f r o m   s a m p les   of   t h e   ab n o r m alit y   c ateg o r y   in   t h e   d ataset s .   As   th e   ab n o r m alit y   r eg i on   is   s m all   or   co r r esp o n d s   to   m u ltip le   r eg io n s ,   h ig h li g h ti n g   th e   s i g n if ican t   r e g io n   a n d   d er iv in g   t h e   an s w er   th r o u g h   g en er ated   in f er en ce s   i m p r o v es   t h e   o v er all   p er f o r m a n ce .   T h e   r est   of   t h e   pa p er   is   o r g a n ized   as   f o llo w s :   Sectio n   2   g iv e s   a   b r ie f   d escr ip tio n   ab o u t   e x is t in g   MV Q A   d atasets ,   d esi g n   of   t h e   p r o p o s ed   SMVQA   s y s te m   b ased   on   in f er en ce   o b tain ed   f r o m   t h e   liter at u r e   s u r v e y .   Sectio n   3   e x p lain s   t h e   ex p er i m e n tal   s et u p   r eq u ir ed ,   d escr ib es   th e   i m p le m en tatio n   as   a   s eq u e n ce   of   p r o ce s s es   w i th   sa m p le   in p u t,   d is cu s s es   t h e   r esu lt s   of   co r r ec tl y   an d   w r o n g l y   cla s s i f ied   s a m p les   an d   v a lid ates   th e   r es u lt s   of   t h e   p r o p o s ed   S MV Q A   s y s te m   u s i n g   q u a n ti ta tiv e   m etr ic s .   F in al l y ,   co n cl u s i o n   an d   f u t u r e   w o r k   ar e   s u m m ar ized   in   s ec tio n   4.       2.   M E T H O D   T h e   s ch e m atic   r ep r esen tatio n   of   t he   p r o p o s ed   SMVQA   s y s te m   f o r   MV QA   d ataset s   is   s h o w n   in   Fig u r e   1.   In   t h e   p r o p o s ed   w o r k ,   s e v e n   MV Q A   d atase ts   ar e   u s ed   to   d e v elo p   t h e   SM VQ A   s y s te m   u s i n g   d ee p   lear n in g   tec h n iq u es   a n d   d ed u cti v e   r ea s o n i n g   m e th o d .   E v en   t h o u g h   all   d atase ts   h av e   ab n o r m alit y   t y p e   s a m p les,   VQ A - MED   2020   an d   2021   d atasets   co m p letel y   b e lo n g s   to   ab n o r m alit y   t y p e   s a m p les.   T h ese   MV Q A   d atasets   ar e   p ar titi o n ed   i n to   tr ain i n g ,   v al id atio n   a n d   te s t   s ets   as   m e n tio n ed   in   T ab le   1.   T h e   tr ain i n g   an d   v alid atio n   s et   ar e   co m b i n ed   to   d ev elo p   SMVQ A   m o d el   in   th e   tr a in i n g   p h ase,   te s t   s et   is   u s ed   to   g e n er ate   in f er en ce   u s i n g   g en er ated   SM VQ A   m o d el   in   t h e   test in g   p h a s e   an d   th e n   an s w er   is   d er iv ed   f r o m   t h e   in f er en c e   u s i n g   d ed u ctiv e   r ea s o n i n g   m et h o d   in   th e   v alid atio n   p h ase.   T h e   p r o p o s ed   SMVQA   s y s te m   is   i m p le m en ted   as   t h r ee   p h ases :   T r ain in g ,   test i n g   an d   v al id atio n .   In   th e   tr ain i n g   p h ase,   s eq u e n ce   of   s tep s   is   e x ec u ted   u s i n g   d ee p   lear n in g   tech n iq u e s   n a m el y ,   VGGNet   [ 1 1 ] ,   lo n g   s h o r t - ter m   m e m o r y   ( L ST M )   [ 1 2 ] ,   L R P   X A I ,   R e s Net   [ 1 3 ] ,   an d   b id ir ec tio n al   en co d er   r e p r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T )   [ 1 4 ] ,   as   s h o w n   in   Fi g u r e   1.   I n i tiall y .   t he   i m ag e   an d   te x t   f ea t u r es   ar e   ex tr ac ted   f r o m   t h e   tr ain i n g   s et   u s i n g   VG GNe t   an d   L ST M.   Fo r   th e   ex tr ac ted   f ea tu r es   f r o m   i m a g e   an d   tex t,   L R P   XA I   tech n iq u e   is   ap p lied   to   h ig h li g h t   th e   s i g n i f ican t   r eg io n   in   t h e   i m a g e   an d   tex t,   n a m ed   as   s u p er   i m p o s e d   im ag e   ( SII )   an d   s u p er   i m p o s ed   QA - P air s   ( SI QA P )   r esp ec tiv el y .   T h en   th e   r elev an t   f ea t u r es   ar e   e x tr ac t ed   f r o m   t h e   s u p er   i m p o s ed   i m a g e   a n d   QA   p air s   u s i n g   R e s Net   a n d   B E R T   tech n iq u es   a n d   th e   f ea t u r es   ar e   co n ca ten ated   as   a   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   A r ti f   I n tell     I SS N:   2252 - 8938       S ema n tic  b a s ed   me d ica l v is u a l q u esti o n   a n s w erin g   w ith   ex p la in a b le  …  ( S h ee r in   S ita r a   N o o r   Mo h a med )   2169   s in g le   v ec to r   f o r   each   s a m p le.   Fin a ll y ,   co n ca te n ated   i m ag e   an d   tex t   f ea tu r e s   ar e   u s ed   to   g en er ate   a   SM VQ A   m o d el   u s i n g   L ST M.   T h is   m o d el   f ile   is   u s ed   f o r   test in g   p h a s e   u s i n g   te x t   d ataset.             Fig u r e   1.   SMVQ A   s y s te m   u s i n g   d ee p   lear n i n g   tec h n iq u e s   an d   d ed u ctiv e   r ea s o n in g       T ab le   1.   Data s ets   u s ed   D a t a se t s   T r a i n i n g   se t   V a l i d a t i o n   se t   T e st   se t   I mag e s   QA - P a i r s   I mag e s   QA - P a i r s   I mag e s   QA - P a i r s   VQA - M ED   2 0 1 8   [ 1 5 ]   2 , 2 7 8   5 , 4 1 3   3 2 4   5 0 0   2 6 4   5 0 0   VQA - M ED   2 0 1 9   [ 1 6 ]   3 , 2 0 0   12 , 792   5 0 0   2 , 0 0 0   5 0 0   5 0 0   VQA - M ED   2 0 2 0   [ 1 7 ]   4 , 0 0 0   4 , 0 0 0   5 0 0   5 0 0   5 0 0   5 0 0   VQA - M ED   2 0 2 1   [ 1 8 ]   4 , 5 0 0   4 , 5 0 0   5 0 0   5 0 0   5 0 0   5 0 0   VQA - M ED   2 0 2 3   [ 1 9 ]   2 , 0 0 0   36 , 000   -   -   1 , 9 4 9   35 , 082   VQA - R A D   [ 2 0 ]   2 7 5   3 , 1 1 5   -   -   40   4 0 0   P a t h - VQA   [ 2 1 ]     3 , 9 9 8   2 6 , 239   -   -   1 , 0 0 0   6 , 5 6 0       T h e   d ev elo p ed   SMVQA   m o d el   g e n er ates   i n f er e n ce s   f o r   th e   tes t   s et   as   s h o w n   in   Fig u r e   1.   T h e   i n f er en ce s   co n s i s t   of   n at u r al   lan g u a g e   s tate m en t s   t h at   r ep r esen t   th e   i n p u t   i m ag e   with   r esp ec t   to   t h e   q u esti o n .   T h e   n u m b er   of   w o r d s   in   t h e   s tate m en t s   g en er ated   f o r   each   s a m p le   d ep en d s   on   th e   t y p e   of   i m a g e   an d   q u esti o n .   i.e .   v ar iab le   s ize.   In   o u r   o b s er v atio n ,   f o r   ab n o r m alit y   ca te g o r y ,   th e   n u m b er   of   w o r d s   is   b et w ee n     4   to   21   an d   f o r   o r g an ,   p la n e   an d   m o d alit y   ca te g o r ies,   t h e   n u m b er   of   w o r d s   is   b et w ee n   1   to   5   w o r d s .   T h is   g en er ated   i n f er e n ce s   is   u s ed   as   an   i n p u t   in   th e   v alid atio n   p h ase.   T h e   v alid atio n   p h ase   of   SM VQ A   s y s te m   is   ca r r ied   o u t   u s in g   th e   i n f er en ce s   g en er ated   f o r   test   s et   alo n g   w it h   d ed u cti v e   r ea s o n i n g   m et h o d .   T h e   s u itab le   lib r ar y   a n d   tech n iq u e s   u s ed   in   t h i s   p h ase   ar e:   N L T K   [ 2 2 ] ,   ter m   f r eq u e n c y   in v er s d o cu m e n f r eq u en c y   ( T F - I DF)   [ 2 3 ] ,   co s in e   s i m ilar it y   [ 2 4 ] ,   B M 2 5   [ 2 5 ]   tech n iq u es   a n d   d ed u cti v e   r ea s o n i n g   m et h o d .   T h e   s eq u en c e   of   s tep s   f o r   d er iv i n g   o n e   f i n al   an s w er   is   as   f o llo w s :   i)   t he   in f er en ce s   o b tain ed   f r o m   th e   tes t   s et   w ith   v o ca b u lar y   lis t   ar e   g i v en   as   i n p u t   to   NL T K   lib r ar y   f o r   p r ep r o ce s s in g   an d   to   g en e r ate   N - eq u i v alen t   in f er en ce   ( NE I )   s tate m en ts .   T h e   p r ep r o c ess i n g   m et h o d s   u s ed   ar e   tag g in g ,   s te m m i n g ,   le m m atiza tio n ,   a n d   to k e n izatio n .   ii)   f r o m   th e   g e n er ated   NE I   s tate m e n ts   a n d   d ef i n ed   r u les,   t h e   s u i tab le   M - in f er en ce   s tate m en ts   t h at   m atc h e s   t h e   m ax i m u m   n u m b er   of   s u b - s tate m en ts   ar e   id en ti f ied   u s i n g   TF - I DF   tec h n iq u e.   ii i)   f or   th e   M - i n f er en ce   s tate m e n ts ,   th e   co s i n e   s i m ilar it y   a n d   B M2 5   tech n iq u es   ar e   ap p lied   f o r   r an k i n g   th e   s tate m en ts   a n d   t h e   to p   r an k ed   s tat e m en t   is   s elec ted .   i v )   t h e n   t h e   an s w er   is   d er iv ed   u s i n g   d ef in ed   r u les   t h r o u g h   d ed u ctiv e   r ea s o n i n g   f r o m   t h e   to p   r an k ed   s tate m e n t.   T h e   d ed u ctiv e   r ea s o n i n g   r u les   [ 2 6 ]   p r o p o s ed   an d   ap p li ed   in   th is   r esear ch   ar e:   m o d u s   p o n en s ,   co n j u n ctio n ,   an d   h y p o th etica l   s y llo g is m .   Fin all y ,   t h e   r es u lt s   o b tain ed   ar e   v alid ated   u s i n g   ap p r o p r iate   q u an t itati v e   m etr ics   n a m el y   ac c u r ac y   a n d   b ilin g u al  e v al u atio n   u n d er s t u d y   ( B L E U )   s co r e.         3.   RE SU L T S   AND   D I SCU SS I O N     T h e   h ar d w ar e   a n d   s o f t w ar e   u s ed   f o r   i m p le m en tin g   t h e   S MV Q A   s y s te m   in cl u d es:   i)   an   I n te l   i5   p r o ce s s o r   w it h   NVI DI A   Ge Fo r ce   Ti   4 8 0 0 ,   o p er atin g   at   4 . 3   GHz   clo ck   s p ee d ,   16   GB   R A M,   g r ap h ical   p r o ce s s in g   u n i t ,   an d   2   TB   d is k   s p ac e,   an d   ii)   L in u x   -   Ub u n tu   2 0 . 0 4   op er atin g   s y s te m ,   P y t h o n   3 . 7   p ac k ag e   w it h   n ec ess ar y   lib r ar ies   s u c h   as   T en s o r Flo w ,   T o r ch ,   Scik it - lear n ,   NL T K,   P ick le,   an d   P an d as.   In   th is   s ec tio n ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   I n t   J   A r ti f   I n tell ,   Vo l.   14 ,   No .   3 ,   J u n e   20 25 :   2 1 6 7 - 2175   2170   t he   i m p le m en tat io n   s tep s   of   t h e   p r o p o s ed   SMVQA   s y s te m   is   ex p lain ed   in   F ig u r e   2   as   a   p r o ce s s   f lo w   d iag r a m   an d   th e   o u tp u t   g en er ated   at   in ter m ed iate   s tag e s   ar e   s h o wn   in   Fi g u r e   3,   f o r   th e   test   s a m p les.   A ls o ,   th e   p er f o r m a n ce   of   t h e   p r o p o s ed   SMVQ A   s y s te m   is   an a l y s e d   u s i n g   q u a n ti tati v e   m etr ics   an d   t h e   r es u lt s   ar e   co m p ar ed   w it h   ex i s ti n g   w o r k   an d   MV Q A ,   tab u lated   in   T ab l e s   2   an d   3   r esp ec tiv el y .             Fig u r e   2.   P r o ce s s   f lo w   of   d er i v in g   a n s w er   f o r   a   test   s a m p le   u s i n g   SMVQ A   s y s te m   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   A r ti f   I n tell     I SS N:   2252 - 8938       S ema n tic  b a s ed   me d ica l v is u a l q u esti o n   a n s w erin g   w ith   ex p la in a b le  …  ( S h ee r in   S ita r a   N o o r   Mo h a med )   2171   T h e   s eq u en ce   of   s tep s   i n v o l v ed   in   d er iv in g   t h e   an s w er   f o r   a   test   s a m p le   is   s h o w n   in   Fi g u r e   2   f o r   clea r   u n d er s ta n d in g .   T h e   s a m p le   test   i m a g e   is   a   CT   i m a ge   w it h   t h e   q u est io n   as   W h at   is   m o r e   alar m i n g   ab o u t   th is   CT   s ca n ? ”.   Fo r   th i s   s a m p le,   t h e   S MV Q A   tr ain i n g   m o d el   g e n er ates   o n e   in f er en ce   as   T h e   ir r eg u la r   s tr u ct u r e   f o u n d   ab o v e   th e   u p p er   r eg io n   of   th e   ab d o m e n   esp ec iall y   ab o v e   k id n e y ”.   W ith   th i s   in f er en ce   s ta te m en t,   v o ca b u lar y   li s t   is   c o m b i n ed   f o r   N L T K   p r ep r o ce s s in g   a n d   it   g e n er ates   94   NE I   s tate m e n ts .   B ased   on   th e   co n te n t   of   NE I   s ta te m e n t s ,   7   r u les   ar e   s elec ted   f r o m   th e   d ef i n ed   32   r u les T h e   32   r u les   u s ed   in   t h e   p r o p o s ed   SMVQA   s y s te m   is   li s ted   as f o llo w s :   R 1 .   A d r en al  g la n d : S m a ll o r g a n   &   Up p er   r eg io n   o f   ab d o m e n   &   T o p   o f   k id n e y   R 2 .   L u n g : M u co u s   g la n d   &   I n s id ch est ca v it y   R 3 .   T u m o r : So lid   m a s s   &   A b n o r m al  g r o u p   o f   ce lls   R 4 .   T u m o r :   A b n o r m al  s tr u ctu r e   R 5 .   C an ce r :   T u m o r   R 6 .   Ost eo :   B o n e   R 7 .   P u l m o n ar y :   L u n g   R 8 .   C y s t :   I r r eg u lar   &   P r o j ec ti o n   R 9 .   L u m p :   R ed   &   S w al lo n   R 1 0 .   E m b o lis m : B lo o d   v ess el  &   B lo ck ag e   R 1 1 .   Kid n e y :   B elo w   r ib   ca g &   B eh i n d   s p in e   R 1 2 .   A s y m m etr ic  ca r tilag le s io n :   Un eq u al  lesi o n   d is tr ib u t io n   &   Size  an d   lo ca tio n   v ar iatio n   R 1 3 .   Gr an u lo m ato u s   co lit is :   I n f la m m at io n   &   Mu co s a   R 1 4 .   Villo u s   ad en o m a :   P o ly p   &   C o lo n   R 1 5 .   B ilater al  clef t p alate :   C le f t lip   &   T o p   o f   m o u t h   R 1 6 .   E s o p h ag u s :   T u b co n n ec m o u t h   t h r o at  an d   m o u th   R 1 7 .   Stro m a :   C o n n ec ti v tis s u e   R 1 8 .   L y m p h o c y tic  le u k e m ia :   B o n m ar r o w   &   C a n ce r   R 1 9 .   Gastro in test i n a s tr o m al  t u m o r :   C a n ce r   &   Stro m a   R 2 0 .   E s o p h ag ea l v ar ice s :   E n la r g ed   v ein   &   E s o p h a g u s   R 2 1 .   E n ch o n d r o m ato s i s :   M u lt ip le  en ch o n d r o m a s   &   As y m e t r ic  ca r tilag lesi o n   R 2 2 .   Ov ar ian   to r s io n :   Fallo p ian   tu b &   T is s u d ea th   &   T w i s t in   th t is s u e   R 2 3 .   Ov ar ian   to r s io n :   Ov ar y   &   T w is t i n   t h tis s u e   R 2 4 .   A z y b o s   lo b e :   R i g h t lu n g   &   Up p er   r eg io n   &   Sli g h t d e f o r m atio n   R 2 5 .   A p p en d itis :   L o w er   A b d o m en   &   E x tr tis s u e   R 2 6 .   Ho r s esh o Kid n e y :   Kid n e y   &   Fu s io n   &   L o w er   e n d   R 2 7 .   Ost eo s ar co m a :   B o n &   C an ce r   R 2 8 .   C h o n d r o ca lcin o s i s : K n ee   j o in &   C alci u m   d ep o s it   R 2 9 .   P u l m o n ar y   E m b o lis m :   L u n g   &   E m b o lis m   R 3 0 .   Sar co id o s is :   L u n g   &   L u m p   R 3 1 .   P h eo ch r o m o c y to m a :   A d r en al  g la n d   &   T u m o r   R 3 2 .   A d en o ca r cin o m a :   M u co u s   g lan d   &   C a n ce r   T h en   th e   TF - I DF   tec h n iq u e   is   ap p lied   to   s elec t   M - in f er en ce   s tate m e n t s   f r o m   th e   94   NE I   s tate m e n ts   u s i n g   th e   s elec ted   r u le s .   Fo r   t h is   te s t   s a m p le,   s ix   M - i n f er en ce   s tate m en t s   ( S4 ,   S2 3 ,   S3 3 ,   S5 7 ,   S7 6 ,   an d   S9 4 )   ar e   s elec ted   b ased   on   7   r u les.   T h e   co u n t   of   NE I   s tate m en ts ,   M - i n f er e n ce   s tate m e n ts   an d   r u les   ar e   n o t   u n iq u e   ac r o s s   test   s a m p le s .   T h e   s ele cted   M - in f er e n ce   s tate m e n ts   ar e   r an k ed   as   S3 3 ,   S7 6 ,   S4 ,   S2 3 ,   S5 7 ,   an d   S9 4   b ased   on   th e   s i m ilar it y   s co r e   ca lcu lated   by   co s in e   s i m ilar it y .   Fro m   t h e   s o r ted   M - i n f er e n c e   s tate m en t s ,   S3 3   is   s elec ted   by   B M2 5   b ec au s e   it   is   to p - r an k ed   as   co m p ar ed   to   o th er   M - in f er e n ce   s tate m en t s .   Fin all y ,   d ed u cti v e   r ea s o n in g   m et h o d   ar e   ap p lied   to   to p   r an k ed   s tate m e n t   w i th   r esp ec t   to   th e   r u les   to   g en er a te   th e   s u b - an s w er s   T u m o r   an d   “A d r en al   g la n d s ”.   Fro m   t h ese   s u b - an s w er s ,   f in al   an s w er   is   d er iv ed   as   P h eo c h r o m o c y to m a” .   T h e   pr o ce s s   of   d er iv i n g   a n s wer s   f o r   t w o   d i f f er en t   test   s a m p les   f r o m   t h e   VQA - MED   2021   d ataset,   alo n g   w it h   th r ee   i n ter m ed iate   s tag e s ,   is   illu s tr ated   in   Fi g u r e   3   as   t w o   s u b f ig u r es.   T h ese   s u b f ig u r es   d ep ict   th e   s tag e - w i s e   r es u lt s   t h at   h elp   e x p lain   t h e   r ea s o n in g   b eh i n d   t h e   d er iv ed   an s w er s .   T h e   t h r ee   in ter m ed iate   s ta g e s   s u c h   as   SII   an d   SIQ A P ,   in f er en ce ,   an d   to p - r an k ed   s tate m en t   p la y   a   cr u cial   r o le   in   an s w er   p r ed ictio n .   B ec au s e,   i)   t he   SII   a n d   SIQ A P   h ig h li g h t   t h e   m o s t   s ig n i f i ca n t   r eg io n s   of   t h e   i m a g e   a n d   th e   q u e s tio n   th a t   co n tr ib u tes   to   an s w er   p r ed icti o n ,   u s in g   b l u e   a n d   p in k   co lo r s ,   r esp ec tiv el y ;   ii)   t he   in f er e n ce   is   g en er ated   b ased   s o lel y   on   f ea tu r e s   ex tr ac ted   f r o m   t h ese   s ig n i f ica n t   r eg io n s an d   iii)   t he   to p - r an k ed   s tate m en t   is   s elec ted   f r o m   th e   g e n er ated   in f er e n ce s   b as e d   on   th e   h ig h est   s i m ilar it y   s co r e   ac co r d in g   to   d ef in ed   r u les.   T h is   s elec tio n   d ir ec tl y   lead s   to   d er iv in g   t h e   f in al   an s w er .   Fo r   ex a m p le,   in   Fig u r e   3 ( a) ,   th e   SII   an d   SIQ AP   co r r ec tly   id e n ti f y   an   ab n o r m alit y   in   t h e   ad r en al   g la n d   r eg io n ,   lead in g   to   th e   co r r ec t   i n f er e n ce   a n d   to p - r an k ed   s tate m e n t,   as   a   r esu lt   th e   a n s w er   is   d er i v ed   as   P h eo c h r o m o c y to m a,   f o r   th e   CT   s ca n   i m a g e.   Ho w e v er ,   in   Fig u r e   3 ( b ) ,   w h ile   th e   r ad io lo g y   i m a g e   p r esen t s   an   ab n o r m ali t y   in   t h e   k n ee   b o n e   ( Ost eo ch o n d r o m a’ ) ,   t h e   SII   an d   SIQ A P   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   I n t   J   A r ti f   I n tell ,   Vo l.   14 ,   No .   3 ,   J u n e   20 25 :   2 1 6 7 - 2175   2172   in co r r ec tl y   id en t if ies   it   as   i n f la m m atio n   in   t h e   p er io s teu m   (a   tis s u e   in   th e   t h i g h   b o n e) ,   r es u l tin g   in   an   i n co r r ec t   d er iv ed   an s w er .         ( a)       ( b )     Fig u r e   3.   I n ter m ed iate   r es u lts   f o r   co r r ec tly   a n d   w r o n g l y   clas s if ied   s a m p les   f r o m   te s t   s et     ( a)   C o r r ec tly   clas s i f ied   s a m p le   an d   ( b )   W r o n g l y   cla s s i f ied   s a m p le       T h e   p er f o r m a n ce   of   th e   p r o p o s ed   w o r k   is   co m p ar ed   w i th   ex i s ti n g   w o r k   in   ter m s   of   q u an t itati v e   m etr ics   lik e   ac cu r ac y   an d   B L E U   s co r e   f o r   s e v en   MV Q A   d atasets   ar e   g i v en   in   T ab le   2.   T h e   SMV Q A   s y s te m   ac h iev e s   an   ac c u r ac y   an d   B L E U   s co r e   r an g in g   f r o m   4 0 . 1 %   to   6 2 . 2 %   an d   3 6 . 9 %   to   6 5 . 8 %,   r esp ec tiv el y .   No tab ly ,   th e   ac cu r ac y   f o r   VQA - MED   2019,   2 0 2 3 ,   an d   P ath - VQ A   d atasets   ex ce ed s   6 0 . 0 %,   b ec au s e   of   p r o m i n en t   i m a g es,   a   s u f f ic ien t   n u m b er   of   an s w er s ,   an d   a   r ea s o n ab le   n u m b er   of   s a m p les   p e r   an s w er   ca teg o r y .   Fu r t h er m o r e,   th e   SMVQ A   s y s te m   o u tp er f o r m s   ex i s ti n g   s y s te m s   f o r   VQ A - MED   2 0 1 9 ,   2 0 2 0 ,   2 0 2 1 ,   an d     P ath - VQ A   d ata s ets   by   th e   r a n g e   of   1 . 4 %,   7 . 0 %,   7 . 6 %,   an d   4 . 5 %,   r esp ec tiv el y .   T h is   i m p r o v e m en t   is   d u e   to   th e   ap p r o ac h   of   d er iv i n g   a n s wer s   th r o u g h   d ed u ct iv e   r ea s o n i n g   m eth o d   b ased   on   r u les/ co n d itio n s ,   r at h er   t h a n   p r ed ictin g / g en er ati n g   a n s w er s .   Ho w e v er ,   t h e   p r o p o s ed   w o r k   lac k s   f o r   VQ A - MED   2023   an d   VQ A - R A D   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   A r ti f   I n tell     I SS N:   2252 - 8938       S ema n tic  b a s ed   me d ica l v is u a l q u esti o n   a n s w erin g   w ith   ex p la in a b le  …  ( S h ee r in   S ita r a   N o o r   Mo h a med )   2173   d atasets   b ec au s e   o n e - th ir d   of   th e   s a m p le s   r eq u ir es   co lo u r   or   n u m er ic   o r ien ted   a n s w er s .   C o m p ar i n g   all   s e v e n   d atasets ,   t h e   p er f o r m a n ce   of   t h e   m o d el   g e n er ated   f r o m   ab n o r m al it y   t y p e   d ataset s   n a m el y ,   VQ A - MED   2020   an d   VQ A - MED   2021   d ataset   ar e   i m p r o v ed   by   7 . 0 %   an d   7 . 6 %   r esp ec tiv el y   as   co m p ar ed   w it h   e x is t in g   w o r k .   B ec au s e   t h e   SMV Q A   s y s te m   m ai n l y   f o cu s e s   on   im p r o v i n g   t h e   p er f o r m a n ce   of   ab n o r m alit y   t y p e   s a m p le s   u s i n g   L R P   XA I   a n d   d ed u ctiv e   r ea s o n in g .   Fro m   T ab le   3,   it   h as   b ee n   i n f er r ed   th at   SMVQ A   s y s te m   i m p r o v es   t h e   o v er all   p er f o r m a n ce   f o r   al l   MV Q A   d ataset s   as   co m p ar ed   w ith   MV Q A   s y s te m .   Mo s t   i m p o r ta n tl y ,   t h e   p r o p o s ed   SMVQ A   s y s te m   g i v e s   i m p r o v ed   ac cu r ac y   of   1 1 . 9 %   an d   1 5 . 5 %   f o r   VQA - MED   2020   an d   2 0 2 1   d atasets   w h ic h   h as   m o r e   ab n o r m ali t y   r elate d   s am p le s .   Fro m   th i s ,   it   h as   b ee n   ev id en ce d   th at   t h e   p r o p o s ed   SMVQA   s y s te m   p er f o r m s   b etter   th a n   MV Q A   s y s te m   a n d ,   SMV Q A   s y s te m   is   m o r e   s u itab le   f o r   ab n o r m alit y   t y p e   d ataset   or   d ata s et   co n tai n i n g   m o r e   n u m b er   of   ab n o r m alit y   t y p e   s a m p les.   In   ad d itio n ,   f o r   VQ A - MED   2018   d ataset,   th e   p er f o r m an ce   is   i n cr ea s ed   by   1 2 . 0 %   u s i n g   SMV Q A   b ec au s e   d er iv i n g   an   a n s w er   f r o m   t h e   in f er en ce   o v er co m e s   th e   d is ad v an tag e   of   w id e   co m b i n atio n   of   d is ti n ct   s a m p l es.       T ab le   2.   E x is tin g   w o r k   Vs   p r o p o s ed   w o r k   u s in g   q u a n titat iv e   m etr ics   D a t a se t s   A u t h o r   a n d   Y e a r   T e c h n i q u e s   Ex i st i n g   w o r k   P r o p o se d   w o r k   ( S M V Q A )   A c c u r a c y   B L EU   sco r e   A c c u r a c y   B L EU   sco r e   VQA - M ED   2 0 1 8   P e n g   et   a l .   2 0 1 8   [ 2 7 ]   R e sN e t   1 5 2   a n d   G R U   -   0 . 1 8 8   0 . 4 0 1   0 . 3 6 9   VQA - M ED   2 0 1 9   Al - S a d i   et   a l . ,   2 0 2 1   [ 2 8 ]   V G G N e t   a n d   d a t a   a u g me n t a t i o n   0 . 6 0 8   0 . 6 3 4   0 . 6 2 2   0 . 6 5 8   VQA - M ED   2 0 2 0   Jo sh i   et   a l . ,   2 0 2 3   [ 5 ]   M u l t i - mo d a l   m u l t i - h e a d   se l f - a t t e n t i o n   b a se d   M e d V Q A   0 . 3 6 1   0 . 4 0 9   0 . 4 3 1   0 . 4 1 1   VQA - M ED   2 0 2 1   G o n g   et   a l . ,   2 0 2 1   [ 2 9 ]   M i x u p   a n d   e n se mb l e   of   8   p r e - t r a i n e d   mo d e l   0 . 3 8 2   0 . 4 1 6   0 . 4 5 8   0 . 4 9 8   VQA - M ED   2 0 2 3   W a n g   et   a l . ,   2 0 2 3   [ 3 0 ]   B L I P     2 ( V i T - G   a n d   L L M )   0 . 7 3 9   -   0 . 6 2 0   0 . 6 1 4   VQA - R A D   W a n g   et   a l . ,   2 0 2 3   [ 3 0 ]   M u l t i - t a sk   p r e - t r a i n e d   mo d e l   a n d   L S T M   0 . 7 4 1   -   0 . 5 1 1   0 . 6 3 1   P a t h - VQA   N a se e m   et   a l . ,   2 0 2 3   [ 2 1 ]   S t a c k e d   a t t e n t i o n   n e t w o r k   0 . 5 7 4   0 . 6 2 1   0 . 6 1 9   0 . 6 4 0       T ab le   3.   C o m p ar is o n   a n d   an al y s i s   of   MV Q A   Vs   SMV Q A   u s in g   q u a n titat iv e   m etr ics   D a t a se t s   M V Q A   S y st e m   S M V Q A   S y st e m   A c c u r a c y   B L EU   sco r e   A c c u r a c y   B L EU   sco r e   VQA - M ED   2 0 1 8   0 . 2 8 1   0 . 3 4 1   0 . 4 0 1   0 . 3 6 9   VQA - M ED   2 0 1 9   0 . 5 7 9   0 . 6 1 6   0 . 6 2 2   0 . 6 5 8   VQA - M ED   2 0 2 0   0 . 3 1 2   0 . 3 4 3   0 . 4 3 1   0 . 4 1 1   VQA - M ED   2 0 2 1   0 . 3 0 3   0 . 3 0 4   0 . 4 5 8   0 . 4 9 8   VQA - M ED   2 0 2 3   0 . 5 8 6   0 . 5 9 4   0 . 6 2 0   0 . 6 1 4   VQA - R A D   0 . 4 9 8   0 . 6 0 3   0 . 5 1 1   0. 6 3 1   P a t h - VQA   0 . 5 6 9   0 . 6 1 1   0 . 6 1 9   0 . 6 4 0       4.   CO NCLU SI O N   T h e   p r o p o s ed   SMVQ A   s y s te m   is   d ev elo p ed   to   a n s w er   q u e s tio n s   b ased   on   th e   s e m a n tics   of   t h e   i n p u t   u s i n g   L R P   XA I   an d   d ed u cti v e   r ea s o n in g .   T h e   p er f o r m a n ce   of   th e   SMVQ A   s y s te m   in   ter m s   of   B L E U   s co r e   is   in cr ea s e d   in   t h e   r a n g e   of   0 . 2 %   to   1 8 . 1 %   w h e n   co m p ar ed   w it h   e x is t in g   w o r k s .   Als o ,   ac cu r a c y   of   t h e   SM VQ A   s y s te m   is   i n cr ea s ed   in   t h e   r an g e   of   1 . 3 %   to   1 5 . 5 %   th an   t h e   MV Q A   s y s te m   f o r   all   d atasets .   B ec au s e   t h e   SMVQ A   s y s te m   r ed u ce s   th e   m is c lass if ica tio n   er r o r   on   ab n o r m al it y   t y p e   s a m p le s   by   co n s id er in g   m o r e   t h a n   o n e   in f o r m at io n   to   a n s w er   t h e   q u esti o n s   li k e   a f f ec ted   o r g a n ,   s h ap e,   co lo r ,   s ize   an d   p o s i tio n .   In   t h e   f u tu r e   w o r k ,   t h e   p er f o r m an ce   of   th e   SMVQ A   s y s te m   can   be   f u r th er   en h a n ce d   b y :   i)   ex p lo r in g   d i f f er e n t   X A I   tech n iq u e s   f o r   m ed ical   d ataset s ,   ii)   e x p an d i n g   t h e   s ize   of   E KB   by   u p d atin g   t h e   v o ca b u lar y   li s t   a n d   r u le s ,   an d   iii)   in co r p o r atin g   d iv er s e   r ea s o n in g   tech n iq u es.       ACK NO WL E D G E M E NT   T h e   au th o r s   w o u ld   lik e   to   e x p r ess   t h eir   s i n ce r e   g r ati tu d e   to   th e   Hi g h   P er f o r m a n ce   C o m p u t i n g   L ab o r ato r y ,   Dep ar t m en t   of   C o m p u ter   Scie n ce   an d   E n g i n ee r in g ,   Sri   Siv a s u b r a m an i y a   Nad ar   C o lleg e   of   E n g i n ee r i n g ,   f o r   p r o v id in g   ac ce s s   to   th e   GP U   s er v er   an d   co m p u tatio n al   r eso u r ce s   th at   s i g n if ican tl y   co n tr ib u ted   to   th e   s u cc es s f u l   c o m p let io n   of   t h is   r esear c h.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   I n t   J   A r ti f   I n tell ,   Vo l.   14 ,   No .   3 ,   J u n e   20 25 :   2 1 6 7 - 2175   2174   F UNDIN G   I NF O RM AT I O N   T h is   r esear ch   r ec eiv ed   no   s p ec if ic   g r an t   f r o m   an y   f u n d i n g   a g en c y   or   co m m er cial   s ec to r s .       AUTHO CO NT RIB UT I O NS ST A T E M E NT   T h is   jo u r n al  u s e s   th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   t o   r ec o g n ize  in d i v id u al  au t h o r   co n tr ib u tio n s ,   r ed u ce   a u t h o r s h ip   d is p u tes,  an d   f ac ilit ate  co lla b o r atio n .     Na m e   of   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Sh ee r i n   Sit ar a   No o r   Mo h a m ed                               Kav it h a   Sri n iv a s an                               R ag h u r a m a n   Go p alsa m y                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y si s   I     I n v e st i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i si o n   P     P r o j e c t   a d mi n i st r a t i on   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h e   au th o r s   d ec lar e   th at   t h er e   is   no   co n f lict   of   i n ter es t.       I NF O RM E D   CO NSE N T   T h is   w o r k   d id   n o t   i n v o l v e   h u m an   p ar ticip a n ts .       DATA   AV AI L AB I L I T Y   T h e   m ed ical   d ataset s   u s ed   ar e   o p en   s o u r ce   an d   co llected   f r o m   I m a g eC L E F.       RE F E R E NC E S   [ 1 ]   P .   S z o l o v i t s,  R .   S .   P a t i l ,   a n d   W .   B .   S c h w a r t z ,   A r t i f i c i a l   i n t e l l i g e n c e   i n   me d i c a l   d i a g n o s i s,”   A n n a l s o f   I n t e rn a l   Me d i c i n e ,   v o l .   1 0 8 ,   n o .   1 ,   p p .   8 0 8 7 ,   1 9 8 8 ,   d o i :   1 0 . 7 3 2 6 / 0 0 0 3 - 4 8 1 9 - 1 0 8 - 1 - 8 0 .   [ 2 ]   L .   W e b e r ,   S .   L a p u sch k i n ,   A .   B i n d e r ,   a n d   W .   S a me k ,   B e y o n d   e x p l a i n i n g :   o p p o r t u n i t i e a n d   c h a l l e n g e o f   X A I - b a se d   mo d e l   i mp r o v e me n t ,   I n f o rm a t i o n   Fu s i o n ,   v o l .   9 2 ,   p p .   1 5 4 1 7 6 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i n f f u s . 2 0 2 2 . 1 1 . 0 1 3 .   [ 3 ]   P .   N .   Jo h n so n - L a i r d ,   D e d u c t i v e   r e a so n i n g ,   A n n u a l   Re v i e w   o f   Ps y c h o l o g y ,   v o l .   5 0 ,   p p .   1 0 9 1 3 5 ,   1 9 9 9 ,     d o i :   1 0 . 1 1 4 6 / a n n u r e v . p sy c h . 5 0 . 1 . 1 0 9 .   [ 4 ]   A .   B e n n e t o t   e t   a l . ,   A   p r a c t i c a l   g u i d e   o n   e x p l a i n a b l e   A I   t e c h n i q u e s a p p l i e d   o n   b i o me d i c a l   u se   c a se   a p p l i c a t i o n s,”   S S RN   El e c t ro n i c   J o u rn a l ,   2 0 2 2 ,   d o i :   1 0 . 2 1 3 9 / ssr n . 4 2 2 9 6 2 4 .   [ 5 ]   V .   Jo sh i ,   P .   M i t r a ,   a n d   S .   B o se ,   M u l t i - mo d a l   mu l t i - h e a d   se l f - a t t e n t i o n   f o r   me d i c a l   V Q A ,   Mu l t i m e d i a   T o o l a n d   Ap p l i c a t i o n s v o l .   8 3 ,   n o .   1 4 ,   p p .   4 2 5 8 5 4 2 6 0 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 1 0 4 2 - 0 2 3 - 1 7 1 6 2 - 3.   [ 6 ]   P .   L i ,   G .   L i u ,   J .   H e ,   Z .   Z h a o ,   a n d   S .   Z h o n g ,   M a s k e d   v i si o n   a n d   l a n g u a g e   p r e - t r a i n i n g   w i t h   u n i mo d a l   a n d   m u l t i mo d a l   c o n t r a s t i v e   l o sse f o r   me d i c a l   v i s u a l   q u e st i o n   a n sw e r i n g ,   M e d i c a l   I m a g e   C o m p u t i n g   a n d   C o m p u t e A ssi s t e d   I n t e r v e n t i o n     MI C C AI   2 0 2 3 p p .   3 7 4 3 8 3 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 1 - 4 3 9 0 7 - 0 _ 3 6 .   [ 7 ]   X .   H u a n g   a n d   H .   G o n g ,   A   d u a l - a t t e n t i o n   l e a r n i n g   n e t w o r k   w i t h   w o r d   a n d   se n t e n c e   e mb e d d i n g   f o r   me d i c a l   v i su a l   q u e st i o n   a n sw e r i n g ,   I EE T r a n s a c t i o n o n   M e d i c a l   I m a g i n g ,   v o l .   4 3 ,   n o .   2 ,   p p .   8 3 2 8 4 5 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / T M I . 2 0 2 3 . 3 3 2 2 8 6 8 .   [ 8 ]   L .   C a n e p a ,   S .   S i n g h ,   a n d   A .   S o w my a ,   V i s u a l   q u e s t i o n   a n sw e r i n g   i n   t h e   me d i c a l   d o m a i n ,   2 0 2 3   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D i g i t a l   I m a g e   C o m p u t i n g :   T e c h n i q u e s   a n d   A p p l i c a t i o n s,   D I C T 2 0 2 3 ,   p p .   3 7 9 3 8 6 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / D I C T A 6 0 4 0 7 . 2 0 2 3 . 0 0 0 5 9 .   [ 9 ]   J.  H u a n g   e t   a l . ,   M e d i c a l   k n o w l e d g e - b a se d   n e t w o r k   f o r   p a t i e n t - o r i e n t e d   v i su a l   q u e st i o n   a n sw e r i n g ,   I n f o rm a t i o n   Pr o c e ssi n g   a n d   Ma n a g e m e n t ,   v o l .   6 0 ,   n o .   2 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i p m. 2 0 2 2 . 1 0 3 2 4 1 .   [ 1 0 ]   S .   S .   N .   M o h a me d   a n d   K .   S r i n i v a s a n ,   S S N S h e e r i n K a v i t h a   a t   S e mEv a l - 2 0 2 3   t a s k   7 :   se man t i c   r u l e   b a se d   l a b e l   p r e d i c t i o n   u s i n g   TF - I D F   a n d   B M 2 5   t e c h n i q u e s,”   1 7 t h   I n t e r n a t i o n a l   Wo r k sh o p   o n   S e m a n t i c   E v a l u a t i o n ,   S e m E v a l   2 0 2 3 - Pr o c e e d i n g s   o f   t h e   Wo r k sh o p ,   p p .   9 5 0 9 5 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 3 . se me v a l - 1 . 1 3 1 .   [ 1 1 ]   K .   S i mo n y a n   a n d   A .   Z i sse r man ,   V e r y   d e e p   c o n v o l u t i o n a l   n e t w o r k f o r   l a r g e - sca l e   i mag e   r e c o g n i t i o n ,   3 rd   I n t e r n a t i o n a l   C o n f e re n c e   o n   L e a rn i n g   Re p res e n t a t i o n s ,   I C L 2 0 1 5 - C o n f e r e n c e   T r a c k   Pr o c e e d i n g s ,   2 0 1 5 .   [ 1 2 ]   S .   H o c h r e i t e r   a n d   J.  S c h m i d h u b e r ,   L o n g   sh o r t - t e r me mo r y ,   N e u ra l   C o m p u t a t i o n ,   v o l .   9 ,   n o .   8 ,   p p .   1 7 3 5 1 7 8 0 ,   1 9 9 7 ,     d o i :   1 0 . 1 1 6 2 / n e c o . 1 9 9 7 . 9 . 8 . 1 7 3 5 .   [ 1 3 ]   B .   K o o n c e ,   R e s N e t   5 0 ,   C o n v o l u t i o n a l   N e u r a l   N e t w o r k s   w i t h   S w i f t   f o r   T e n s o r f l o w ,   p p .   6 3 7 2 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4842 - 6 1 6 8 - 2_6.   [ 1 4 ]   M .   V .   K o r o t e e v ,   B ER T :   a   r e v i e w   o f   a p p l i c a t i o n i n   n a t u r a l   l a n g u a g e   p r o c e ssi n g   a n d   u n d e r st a n d i n g ,   a rX i v - C o m p u t e S c i e n c e ,   p p .   1 - 1 8 ,   2 0 2 1 .   [ 1 5 ]   S .   A .   H a san ,   Y .   L i n g ,   O .   F a r r i ,   J.   L i u ,   H .   M ü l l e r ,   a n d   M .   L u n g r e n ,   O v e r v i e w   o f   I mag e C L E F   2 0 1 8   me d i c a l   d o mai n   v i su a l   q u e st i o n   a n sw e r i n g   t a sk ,   i n   C EU W o rks h o p   Pro c e e d i n g s ,   v o l .   2 1 2 5 ,   p p .   1 7 ,   2 0 1 8 .   [ 1 6 ]   A .   B .   A b a c h a ,   S .   A .   H a san ,   V .   V .   D a t l a ,   J.  L i u ,   D .   D e mn e r - F u sh ma n ,   a n d   H .   M ü l l e r ,   V Q A - M ED :   o v e r v i e w   o f   t h e   me d i c a l   v i s u a l   q u e st i o n   a n sw e r i n g   t a sk   a t   I mag e C l e f   2 0 1 9 ,   i n   C EU W o rks h o p   Pro c e e d i n g s ,   v o l .   2 3 8 0 ,   p p .   1 11 2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   A r ti f   I n tell     I SS N:   2252 - 8938       S ema n tic  b a s ed   me d ica l v is u a l q u esti o n   a n s w erin g   w ith   ex p la in a b le  …  ( S h ee r in   S ita r a   N o o r   Mo h a med )   2175   [ 1 7 ]   A .   B .   A b a c h a ,   V .   V .   D a t l a ,   S .   A .   H a san ,   D .   D e mn e r - F u sh man ,   a n d   H .   M ü l l e r ,   O v e r v i e w   o f   t h e   V Q A - M e d   t a sk   a t   I mag e C L E F   2 0 2 0 :   v i s u a l   q u e s t i o n   a n s w e r i n g   a n d   g e n e r a t i o n   i n   t h e   m e d i c a l   d o m a i n ,   i n   C E U R   W o r k s h o p   P r o c e e d i n g s ,   v o l .   2 6 9 6 ,   p p .   1 9 ,   2 0 2 0 .   [ 1 8 ]   A .   B .   A b a c h a ,   V .   V .   D a t l a ,   S .   A .   H a sa n ,   D .   D e m n e r - F u s h ma n ,   a n d   H .   M ü l l e r ,   O v e r v i e w   o f   t h e   V Q A - M e d   t a s k   a t   I mag e C L EF   2 0 2 1 :   v i s u a l   q u e s t i o n   a n sw e r i n g   a n d   g e n e r a t i o n   i n   t h e   me d i c a l   d o m a i n ,   i n   C EU W o r k s h o p   Pr o c e e d i n g s ,   v o l .   2 6 9 6 ,   p p .   1 8 ,   2 0 2 1 .   [ 1 9 ]   S .   H i c k s,  A .   S t o r å s,  P .   H a l v o r se n ,   M .   R i e g l e r ,   a n d   V .   T h a m b a w i t a ,   O v e r v i e w   o f   I mag e C L E F m e d i c a l   2 0 2 4 - me d i c a l   v i su a l   q u e st i o n   a n sw e r i n g   f o r   g a st r o i n t e st i n a l   t r a c t ,   i n   C EU Wo r k sh o p   Pr o c e e d i n g s ,   v o l .   3 7 4 0 ,   p p .   1 4 2 9 1 4 3 6 ,   2 0 2 4 .   [ 2 0 ]   J.  J.  L a u ,   S .   G a y e n ,   A .   B e n   A b a c h a ,   a n d   D .   D e mn e r - F u sh ma n ,   A   d a t a se t   o f   c l i n i c a l l y   g e n e r a t e d   v i su a l   q u e st i o n a n d   a n sw e r a b o u t   r a d i o l o g y   i mag e s,”   S c i e n t i f i c   D a t a ,   v o l .   5 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 3 8 / s d a t a . 2 0 1 8 . 2 5 1 .   [ 2 1 ]   U .   N a se e m,  M .   K h u sh i ,   A .   G .   D u n n ,   a n d   J.  K i m,  K - P a t h V Q A :   k n o w l e d g e - a w a r e   mu l t i mo d a l   r e p r e s e n t a t i o n   f o r   p a t h o l o g y   v i su a l   q u e st i o n   a n sw e r i n g ,   I EEE  J o u r n a l   o f   Bi o m e d i c a l   a n d   H e a l t h   I n f o rm a t i c s ,   v o l .   2 8 ,   n o .   4 ,   p p .   1 8 8 6 1 8 9 5 ,   2 0 2 4 ,     d o i :   1 0 . 1 1 0 9 / J B H I . 2 0 2 3 . 3 2 9 4 2 4 9 .   [ 2 2 ]   P .   M a d d i g a n   a n d   T .   S u s n j a k ,   C h a t 2 V I S :   g e n e r a t i n g   d a t a   v i su a l i z a t i o n v i a   n a t u r a l   l a n g u a g e   u si n g   C h a t G P T ,   c o d e x   a n d   G P T - l a r g e   l a n g u a g e   mo d e l s,”   I EEE  A c c e ss ,   v o l .   1 1 ,   p p .   4 5 1 8 1 4 5 1 9 3 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 2 7 4 1 9 9 .   [ 2 3 ]   S .   V .   B a l sh e t w a r ,   A .   R s,  a n d   D .   J.  R ,   C o r r e c t i o n   t o :   f a k e   n e w d e t e c t i o n   i n   so c i a l   me d i a   b a se d   o n   se n t i me n t   a n a l y si u si n g   c l a ssi f i e r   t e c h n i q u e s,”   M u l t i m e d i a   T o o l s   a n d   A p p l i c a t i o n s ,   v o l .   8 2 ,   n o .   2 3 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s1 1 0 4 2 - 0 2 3 - 1 5 8 0 1 - 3.   [ 2 4 ]   H .   S t e c k ,   C .   E k a n a d h a m ,   a n d   N .   K a l l u s,  I c o si n e - si mi l a r i t y   o f   e mb e d d i n g r e a l l y   a b o u t   si m i l a r i t y ? ,   WW 2 0 2 4     C o m p a n i o n - C o m p a n i o n   Pr o c e e d i n g o f   t h e   AC W e b   C o n f e re n c e ,   p p .   8 8 7 8 9 0 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 4 5 / 3 5 8 9 3 3 5 . 3 6 5 1 5 2 6 .   [ 2 5 ]   A .   A sk a r i ,   A .   A b o l g h a se mi ,   G .   P a si ,   W .   K r a a i j ,   a n d   S .   V e r b e r n e ,   I n j e c t i n g   t h e   B M 2 5   sco r e   a t e x t   i mp r o v e B ER T - b a se d     re - r a n k e r s,”   A d v a n c e s   i n   I n f o rm a t i o n   Re t r i e v a l ,   p p .   6 6 8 3 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 1 - 2 8 2 4 4 - 7 _ 5 .   [ 2 6 ]   U .   G o s w a mi ,   I n d u c t i v e   a n d   d e d u c t i v e   r e a so n i n g ,   T h e   Wi l e y - Bl a c k w e l l   H a n d b o o k   o f   C h i l d h o o d   C o g n i t i v e   D e v e l o p m e n t ,   S e c o n d   e d i t i o n ,   p p .   3 9 9 4 1 9 ,   2 0 1 0 ,   d o i :   1 0 . 1 0 0 2 / 9 7 8 1 4 4 4 3 2 5 4 8 5 . c h 1 5 .   [ 2 7 ]   Y .   P e n g ,   F .   L i u ,   a n d   M .   P .   R o se n ,   U M a ss  a t   I mag e C L E F   m e d i c a l   v i su a l   q u e st i o n   a n sw e r i n g   ( M e d - V Q A )   2 0 1 8   t a s k ,   i n   C EU R   Wo r k sh o p   Pr o c e e d i n g s ,   v o l .   2 1 2 5 ,   p p .   1 7 2 0 1 8 .   [ 2 8 ]   A .   A l - S a d i ,   M .   A l - A y y o u b ,   Y .   Jar a r w e h ,   a n d   F .   C o st e n ,   V i su a l   q u e st i o n   a n sw e r i n g   i n   t h e   me d i c a l   d o mai n   b a se d   o n   d e e p   l e a r n i n g   a p p r o a c h e s:   A   c o mp r e h e n si v e   st u d y ,   P a t t e r n   R e c o g n i t i o n   L e t t e rs ,   v o l .   1 5 0 ,   p p .   5 7 7 5 ,   2 0 2 1 ,     d o i :   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 2 1 . 0 7 . 0 0 2 .   [ 2 9 ]   H.   G o n g ,   R .   H u a n g ,   G .   C h e n ,   a n d   G .   L i ,   S Y S U - H C P   a t   V Q A - M e d   2 0 2 1 :   a   d a t a - c e n t r i c   mo d e l   w i t h   e f f i c i e n t   t r a i n i n g   me t h o d o l o g y   f o r   me d i c a l   v i su a l   q u e st i o n   a n sw e r i n g ,   i n   C EU W o r k sh o p   Pro c e e d i n g s ,   v o l .   2 9 3 6 ,   p p .   1 2 1 8 1 2 2 8 ,   2 0 2 1 .   [ 3 0 ]   S .   W a n g   e t   a l . ,   A d a p t i n g   p r e - t r a i n e d   v i s u a l   a n d   l a n g u a g e   mo d e l f o r   me d i c a l   i m a g e   q u e st i o n   a n sw e r i n g ,   i n   C EU Wo r k s h o p   Pro c e e d i n g s ,   v o l .   3 4 9 7 ,   p p .   1 7 4 4 1 7 5 3 2 0 2 3 .       B I O G RAP H I E S   OF   AUTH O RS       M s.   S h e e r in   S ita r a   No o r   M o h a m e d         is   c u rre n tl y   p u rsu in g   h e r   P h . D.   in   th e   De p a rtme n t   of   Co m p u ter   S c ien c e   a n d   En g in e e rin g   at   S ri   S iv a su b ra m a n i y a   Na d a r   Co ll e g e   of   En g in e e rin g   (S S NCE)   in   C h e n n a i.   As   a   re se a rc h   a ss istan t ,   sh e   b e g a n   h e r   re se a rc h   jo u rn e y   at   S S NCE   in   In d ia   in   2 0 1 9 .   F r o m   2020   to   2 0 2 3 ,   sh e   w a s   a   Ju n io r   R e se a rc h   F e ll o w   (JRF)   at   th e   sa m e   in stit u ti o n   a n d   h a s   p u b li sh e d   15+   p a p e rs   in   re p u ta b le   in ter n a ti o n a l   jo u r n a ls.   S h e   h o l d s   m e m b e rsh ip   in   I EE E.   He r   re se a rc h   f o c u se s   on   m e d ica l   ima g e   p ro c e ss in g ,   n a tu ra l   la n g u a g e   p ro c e ss in g ,   m a c h in e   lea rn in g ,   a n d   d e e p   lea rn in g .   S h e   can   be   c o n tac ted   at   e m a il :   sh e e rin s it a ra n @s sn . e d u . in         Dr .   K a v ith a   S r i n iv a sa n           is   an   a ss o c iate   p ro f e ss o r   in   th e   De p a rt m e n t   of   Co m p u te r   S c ien c e   a n d   E n g in e e rin g   at   S r i   S iv a su b ra m a n i y a   Na d a r   Co ll e g e   of   En g in e e rin g ,   Ch e n n a i.   S h e   h a s   25   y e a rs   of   te a c h in g   e x p e ri e n c e   in c lu d i n g   13   y e a r s   of   re s e a rc h   e x p e rien c e   in   d if f e r e n t   f ield s   n a m e l y   b io in f o rm a ti c s ,   d a ta   m in in g ,   m a c h in e   lea rn in g ,   a n d   so f t   c o m p u ti n g .   S h e   h o ld s   m e m b e rsh ip   in   IEE E,   A CM   a n d   th e   M a c h i n e   L e a rn in g   Re se a rc h   G ro u p   of   S S N,   a lo n g   w it h   li f e ti m e   m e m b e rsh ip   in   th e   C o m p u ter   S o c iety   of   In d ia   (CS I)   a n d   th e   I n d ia n   S o c iety   f o r   T e c h n ica l   Ed u c a ti o n   (IS T E).   S h e   h a s   p u b li s h e d   m o re   th a n   70   p u b l ica ti o n s   in   re f e rre d   jo u rn a ls   a n d   c o n f e re n c e s.   S h e   can   be   c o n t a c ted   at   e m a il :   k a v it h a s@ ss n . e d u . in .           Dr .   Ra g h u r a m a n   G o p a lsa m y         is   an   a ss o c ia te   p ro f e ss o r   in   th e   De p a rtme n t   of   Co m p u ter   S c ien c e   a n d   En g in e e rin g   at   S ri   S iv a su b ra m a n i y a   Na d a r   Co ll e g e   of   En g in e e rin g ,   Ch e n n a i.   He   h a s   15   y e a rs   of   te a c h in g   e x p e rien c e   in c lu d i n g   4 . 5   y e a rs   of   r e se a r c h   e x p e rien c e   in   im a g e   p ro c e ss in g ,   m u lt i   a g e n t   s y ste m s a n d   c lo u d   c o m p u ti n g .   He   h a s   p u b li sh e d   m o re   th a n   25   re se a rc h   p u b li c a ti o n s   in   re f e rre d   jo u rn a ls   a n d   c o n f e re n c e s.   He   h o l d s   m e m b e r sh ip   in   t h e   Co m p u ter   S o c iety   of   In d ia   (CS I),   In d ia n   S o c iety   f o r   T e c h n ica l   Ed u c a ti o n   (IS T E)   a n d   IEE E.   He   can   be   c o n tac ted   at   e m a il :   ra g h u ra m a n g @s sn . e d u . in .     Evaluation Warning : The document was created with Spire.PDF for Python.