I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   40 ,   N o .   2 N o v e m b e r   2025 ,   pp.   1 14 1 ~ 1 1 48   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 40 .i 2 . pp1 14 1 - 1 148             1141     Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   E f f i c i e n t   l u n g   d i se a se   d e t e c t i o n   u si n g   a   h y b r i d   v i si o n   t r a n s f o r m e r   a n d   Y O L f r a m e w o r k   w i t h   t r a n sf e r   l e a r n i n g       K as h af  K h an ,   A b d u l   A l e e m   S c h o o l   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   G a l g o t i a s   U n i v e r s i t y ,   G r e a t e r   N o i d a ,   In d i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e J un   3 202 5   R e v i s e J ul   2 3 202 5   A c c e pt e O c t   15 2 025       L ung   di s e a s e s   a r e   a m o ng   t he   m o s t   i m po r t a n t   c a us e s   o f   m o r bi di t y   a nd   m o r t a l i t y   w o r l dw i de ;   i t   r e qu i r e   p r o m pt   a nd  a c c ur a t e   di a g no s i s   m e t ho ds .     A   nov e l   hy br i d   de e l e a r n i ng   f r a m e w o r f o r   i n t e g r a t i ng   y o o nl y   l o o o n c e   v e r s i o 8   ( Y O L O v 8 ) ,   c o ns i d e r i ng   r e a l - t i m e   de t e c t i o a n v i s i o t r a ns f o r m e r   ( V i T - B / 1 6)   f o r   g l o ba l   c o nt e xt - b a s e d   c l a s s i f i c a t i o n   o f   l u ng   d i s e a s e s   i n   c he s t   X - r a y   i m a g e s ,   i s   p r e s e nt e d .   B a s e o t r a ns f e r   l e a r ni ng   a nd   a   t w o - s t a g e   de t e c t i o n - c l a s s i f i c a t i o p i pe l i ne ,   t hi s   pr o po s e m o de l   i s   a pp l i c a bl e   t o   de a l i ng   w i t h   i n t e r - i m a g e   v a r i a b i l i t y ,   ov e r l a p pe d   di s e a s e   f e a t ur e s   a nd   l a c o f   a nno t a t e d   m e d i c a l   e x a m pl e s .   O u r   de v e l o pe d   hy br i m o de l   a c hi e v e s   t h e   hi g he s t   c l a s s i f i c a t i o a c c ur a c y   of   96. 8%   a nd  0. 98   A U C - R O C   o t he   N a t i o na l   I ns t i t u t e s   o f   H e a l t h   ( N I H )   C h e s t   X - r a y   da t a s e t ,   w hi c h   c o ns i s t s   o f   o v e r   112, 0 00   i m a g e s   c o v e r i ng   14   di s e a s e s ,   a nd  o u t pe r f o r m s   i t s   s e v e r a l   c ur r e n t   s t a t e - of - t he - a r t   m o de l s .   I a dd i t i o n,   a t t e n t i o h e a t m a p s   a nd   bo undi ng   bo v i s ua l i z a t i o ns   h i g hl y   c o r r e l a t e   w i t h   c l i ni c a l   v a r i a b l e s   a nd   e nh a nc e   i nt e r pr e t a bi l i t y .   T hi s   pa pe r   d e m o ns t r a t e s   t h e   p r a c t i c a bi l i t y   of   h y br i v i s i o n - dr i v e n   a r c hi t e c t ur e s   f o r   be t t e r   m e di c a l   i m a g e   a na l y s i s   a nd   s h o w s   t he i r   i nt e g r a t i o i n t o   c l i n i c a l   de c i s i o n - s up po r t   s y s t e m s .   Ke y w or d s :   Ch e s t   X - r a y   a n a l y s i s   D e e l e a rni n g   H y b r i m o de l   L un g   di s e a s e   de t e c t i o n   T r a n s f e r   l e a rni n g   V i s i o n   t ra n s f o r m e r   Y O L O   f r a m e w o r k   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   A b dul   A l e e m   S c h o o l   of   Co m put e S c i e n c e   a nd  E n g i n e e r i ng,   G a l go t i a s   U n i v e r s i t y   G r e a t e N o i da ,   I ndi a   E m a i l :   e r. a l e e m @ g m a i l . c o m       1.   I N TR O D U C TI O N   S o m e   of   t h e   de a d l y   c h r o ni c   l u ng  d i s e a s e s   i n c l ude   p n e um o n i a ,   c hr o ni c   o b s t r uc t i v e   pul m o na r y   di s e a s e   ( CO P D ) t ub e r c ul o s i s ,   a n d   c a n c e r ,   a m o n g   o t h e r s ,   i t h e   w orl d,   a n d   t h i s   m e a n s   t ha t   d i a g n o s i s   i s   e s s e n t i a l   i c a s e s   of   e a rl y   de t e c t i o n   [1] .   C h e s t   X - ra y s   a r e   c h e a p   a n d   ub i qui t o us ,   y e t   h a r d   t o   r e a o w i n t o   i de nt i c a l   a ppe a ra n c e   c ha r a c t e r i s t i c s   (e . g . ,   p n e u m o n i a   v s   pul m o n a r y   o e de m a   [2] ),   b a r e s o l ut i o n   [3 ],   a n d   a   w o r l dw i de   l a c o f   ra di o l o gi s t s   [ 4 ].   T h e   p r o m i s i ng  s o l ut i o n s   a r e   a ut o m a t e t o o l s   b a s e o n   a r t i f i c i a l   i nt e l l i ge n c e   ( AI ) m a i n l y   c o n vo l ut i o n a l   n e u ra l   n e t w o r ks   ( CN N s )   [ 5],   y o o n l y   l o o o n c e   ( Y O L O )   [6],   a nd  v i s i o t ra n s f o r m e r s   (V i T s [7 ].   A l t h o ug h   t h e   pe r f o r m a n c e   of   V i T s   i s   e f fe c t i ve   i n   n a t u ra l   i m a ge   t a s ks ,   t h e   s a m e   s t i l l   a w a i t s   i m e di c a l   i m a ge s   [ 8].   I t hi s   pa pe r,   we   i n t r o duc e a   ge n e ri c   h y b r i d   Y O L O - V i T   m o de l   t h a t   i de n t i f i e s   a nd  c l a s s i f i e s   l u n d i s e a s e s   b a s e o n   t h e   N a t i o n a l   I n s t i t ut e s   o f   H e a l t h   ( N IH )   C h e s t   X - r a y   da t a s e t   [9] ,   w i t t ra n s f e r   l e a rn i ng  e m p l oy e t o   a ugm e n t   ge n e ra l i z a t i o n   a n d   a d d r e s s   c l a s s   i m b a l a n c e .   B r e a kt hr o ug h s   i de e l e a rni n ha v e   pr o f o un dl y   a ffe c t e m e di c a l   i m a g i n g,   e s pe c i a l l y   i n   de t e c t i n g   di s e a s e s ,   s e gm e nt a t i o n,   a n c l a s s i f i c a t i o n   o f   di s e a s e s .   A nn o t a t e d a t a s e t s   a n d   po t e n t   c o m put a t i o n   t o o l s   ha v e   f a c i l i t a t e t h e   i m pl e m e nt a t i o n   o f   t h e   m o s t   up - to - da t e   m o de l s ,   s uc h   a s   Y O L O   a n V i T s .   T h i s   p a r t   di s c us s e s   s i g n i f i c a n t   de v e l o pm e n t s   a nd  r e s e a r c h   g a ps   t ha t   p r o m pt e t h i s   r e s e a r c h .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 1 14 1 - 1 14 8   1142   a)   A r t i f i c i a l   n e u r a l   n e t w o r ks   a n d   m e di c a l   i m a g i n g   CN N s   s uc h   a s   D e n s e N e t   a n d   R e s N e t   h a v e   b e e n   s uc c e s s f ul   i n   a r t i f i c i a l   n e u ra l   n e t w o r ks ,   w i t h i g h   a c c ur a c y   i n   d i a g n o s i n d i s e a s e s   s uc h   a s   p n e u m o n i a .   H ow e v e r ,   t h e y   r e l y   o n   l a r ge   a nn o t a t e d a t a s e t s ,   w h i c a r e   us ua l l y   u n a v a i l a b l e   i m e di c a l   f i e l ds .   T hi s   s h o r t c o m i n g   ha s   l e t o   t h e   s ugge s t i o o f   s e m i - s upe r v i s e a n d   ge n e ra t i v e   m o de l s   [9] [10] .   M o r e ov e r ,   CN N - b a s e s e gm e nt a t i o n e t w o r ks   h a v e   a l s o   a c h i e v e r e m a r k a b l e   s uc c e s s   i n   m e d i c a l   i m a gi ng.   T h e   U - N e t   a r c h i t e c t u r e   [11]  a n i t s   i m p r o v e n e s t e v a r i a nt   U N e t + +   [12]  ha v e   b e e n   p a r t i c ul a rl y   i n f l ue n t i a l ,   e na b l i n g   p r e c i s e   l o c a l i z a t i o n   a nd  s e gm e nt a t i o n   o f   b i o m e di c a l   s t r uc t u r e s .   b)   Y O L O   m e di c a l   i m a g i n g   B e c a us e   of   i t s   s pe e a n p r e c i s i o n ,   Y O L O   f i n ds   e xt e n s i v e   ut i l i t y   i n   r e a l - t i m e   o b j e c t   r e c o gn i t i o i m e di c a l   di a g n o s i s .   It   h a s   b e e n   us e i t a s ks   l i ke   l u ng  n o dul e s   a n b r e a s t   t um o r   de t e c t i o n,   a nd  i m o r e   r e c e n t   t i m e s ,   a na l y s i s   o f   c h e s t   X - ra y s   be c a us e   of   t h e   de t e c t i o n   a n d   c l a s s i f i c a t i o n   c a p a c i t y   [13],   [14 ].   c)   V i s i o n   t ra n s f o r m e r s   f o r   l e a n e r   i m a ge   c l a s s i f i c a t i o n   V i T s   f o l l ow   a n   a pp r o a c h   w h e r e   i m a ge s   a r e   p r o c e s s e i n t o   pa t c h e s ,   a s   t o ke ni z e d   e nt i t i e s ,   a n d   s e l f - a t t e n t i o n   i s   us e t o   c a pt u r e   c o n t e xt .   T h e y   h a v e   s uc c e s s f ul l y   s e gm e n t e t h e   b ra i n   t u m o r ,   c l a s s i fy i n s k i l e s i o n s   a n c h e s t   X - ra y s .   S i n g h   e t   a l .   [1 5 w e r e   s t r o n g   e v e n   o n   m a s s i v e   da t a s e t s ,   w h e r e a s   T a a n d   L e   [1 6 de m o n s t r a t e t h e i r   s e n s i t i v i t y   t o   c l i ni c a l l y   i n t e r e s t i ng  r e g i o n s   i i m b a l a n c e da t a s e t s .   d)   H y b r i f r a m e w o r ks   fo r   m e di c a l   i m a gi n g   H y b r i de s i g n s   e m b ra c e   t h e   c a p a b i l i t i e s   o f   o t h e de s i g n s .   F o e xa m pl e ,   CN N s   a n Y O L O   ha v e   s e e n   a ppl i c a t i o i l i v e r   t um o r   de t e c t i o n   t hr o ug h   Y O L O   l o c a l i z i ng   a n d   CN N   c l a s s i fy i n g   t h e   t u m o r   [1 7 ] .   T r a n s f o r m e r s   a l s o   a dv a n c e   h y b r i m o de l s ,   w h i c h   i n c r e a s e   a c c ur a c y   a n e xp l a i n a b i l i t y ,   a s   de m o n s t r a t e by   K i m   e t   al .   [1 8 ] .   F u r t h e r ,   t h e   t r a n s f e l e a rni n g   t e c hn i que s ,   w h e r e   l e a rn i ng  i s   i n t e g ra t e d   b e t w e e n   de e a nd   c o n v e n t i o n a l   m a c hi n e   l e a rni n g ,   m a y   h e l s o l v e   da t a   s c a r c i t y   [19 ].   e)   R e c e n t   a dv a n c e s   (202 2 2024 )   T r a n s f o r m e m u l t i m o da l   m o de l s   h a v e   i m p r o v e t h e   de t e c t i o n   o f   l u n g   di s e a s e s   r e l a t e t o   m e di c a l   i m a gi n g   i t h e   r e c e n t   p a s t .   S i n g e t   a l .   [1 5 ]   e m pl o y e d   v i s i o t ra n s f o r m e r s   a n d   G ra d - CA M   t o   de t e c t   pn e u m o n i a ,   a n d   Z ha n e t   al .   [14 e m pl o y e s w i n   t ra n s f o r m e r s   t o   a c c ur a t e l y   de t e c t   t h e   n o dul e s .   T h e   l o w - w e i ght   (M o b i l e V i T   [20 a nd  T i n y V i T   [21 ])   m o de l   a l l o w s   on - e dge   c o m put i ng  i n   r e a l - t i m e .   Y O L O   w a s   a l s c o m b i n e d   w i t I n c e pt i o n - V 3   by   S h o a i b   a n d   S a y e [17 t o   s e gm e n t   b r a i t u m o r s ,   a n d   B e n o udni n e   e t   a l .   [1 9 a ppl i e CN N - t ra n s f o r m e r s   w i t s e m i - s upe r v i s e l e a rn i ng  i n   t h e   n e o n a t a l   s e i z u r e   de t e c t i o c o n t e xt .   T h o s e   e xpe r i m e nt s   s h o w   t e n de n c i e s   i n   t h e   e xpl a i na b i l i t y ,   r e a l - t i m e   pe r f o r m a n c e ,   a n e f f i c i e n t   t ra i ni n g .   T a b l e   s h o w s   t h e   l i m i t a t i o n s   a n d   g a ps .       T a b l e   1 .   L i t e ra t u r e   r e v i e w   i nt e g r a t i n g   b o t h   l i m i t a t i o n s   a nd  r e s e a r c h   g a ps   i m o de l s / pa pe r s   S t u d y   M e t h o d o l o g y   D a t a s e t   S t r e n g t h s   G a p s / l i m i t a t i o n s   S i n g h   e t   a l .   [1 5 ]   V i s i o n   t ra n s fo r m e r s   ( V i T   +   G ra d -   C A M )   Ch e s t   X - ra y   ( p n e u m o n i a )   H i g h   a c c u ra c y ,   i n t e r p r e t a b l e   a t t e n t i o n   m a p s   Co m p u t a t i o n a l l y   i n t e n s i v e   Z h a n g   e t   a l .   [1 4 ]   S w i n   t ra n s f o rm e r   +   P y ra m i d   N e t -   w o rk   P u l m o n a ry   n o d u l e   d e t e c t i o n   Im p ro v e d   l o c a l i z a t i o n   a n d   c l a s s i f i c a t i o n   Re q u i r e s   l a r g e - s c a l e   t ra i n i n g   d a t a   S h o a i b   a n d   S a y e d   [1 7 ]   Y O L O +   In c e p t i o n - V3   Bra i n   t u m o ( M RI)   H y b r i d   i m p ro v e s   S e g m e n t a t i o n   a n d   s p e e d   D o m a i n - s p e c i f i c ,   n o t   g e n e ra l i z e d   t o   c h e s t   X - ra y   Be n o u d n i n e     e t   a l .   [1 9 ]   CN N + t ra n s fo r m e r + M L   e n s e m b l e   E E G   a n d   m e d i c a l   i m a g i n g   Re d u c e s   l a b e l   d e p e n d e n c y ,   h a n d l e s   s i g n a l   n o i s e   L i m i t e d   t o   n e o n a t a l   d a t a s e t s   K i m   e t   a l .   [1 8 ]   T ra n s fe l e a r n i n g   r e v i e w   M u l t i - o r g a n   i m a g i n a t i o n   re v i e w   Id e n t i f i e s   o p t i m a l   T L   s t ra t e g i e s   fo m e d i c a l   A I   L a c k s   e x p e ri m e n t a l   i m p l e m e n t a t i o n   M e ra j   e t   a l .   [2 2 ]   V G G 1 6   / V G G 1 9   /   R e s N e t 5 0   /   G o o g L e N e t   M o n t g o m e r y   c o u n t y   (M C)  a n d   S h e n z h e n   (S H )   Co m p a r e d   t h e   s t a t e   o t h e   a rt   CN N   f o m e d i c a l   i m a g e s   a n a l y s i s   N o   r e g i o n   d e t e c t i o n   c a p a b i l i t y   a m o n g   t h e   t e c h n i q u e s   e x p l o r e d   Z u n a i e t   a l .   [2 3 ]   Cu s t o m   CN N   ( w i t h   t ra n s fo r m e r s   s u b s e t   s l i c e   s e l e c t i o n   (S S S   Im a g e   CL E F   T u b e rc u l o s i s 2 0 1 9   T a k e s   a d v a n t a g e   o f   3 D   CT   s c a n .   E x p l o re d   v a ri o u s   t ra n s fo r m a t i o n s .   Co m p u t a t i o n   i n t e n s i v e   a s   i t   re q u i re s   p r e p r o c e s s i n g   o f   3 D   CT   s c a n   d a t a       T o   i m p ro v e   t h e   d i a g n o s i s   o f   l u ng   d i s e a s e s   [ 24 ]   a nd   de t e c t   t h o s e ,   t hi s   p a pe s u g ge s t s   t ha t   t he   h y b ri d   m o de l   o f   Y O L O v 8   ( l e s i o de t e c t i o n)   a nd   V i T - B / 16   ( d i s e a s e   c l a s s i f i c a t i o n)   b e   u s e d .   T ra ns f e l e a rni ng ,   t ho u g h,   s o l v e s   t h e   p ro b l e m   o f   s c a rc e   l a b e l l e d a t a   a nd ,   t hus ,   m a ke s   t ra i ni ng   m o re   e f f i c i e nt   a nd  e f f e c t i v e .   A s s e s s e o t h e   N IH   C he s t   X - ra y   d a t a s e t ,   t he   m o de l   ha s   a c hi e v e d   b e t t e a c c u ra c y   a nd   i nt e rp re t a b i l i t y   t ha t he   c u rre nt   m e t h o ds   a nd   b o u nd i ng   b o xe s   a nd   a t t e nt i o m a p s   a re   us e t o   f a c i l i t a t e   c l i ni c a l   t rus t .   O u m o de l   Y O L O v +   V i T - B / 1 6   i m p r o v e s   o CN N s   [ 2 5 ] ,   a dd re s s i ng   i nt e rp re t a b i l i t y ,   f a i nt   i m a ge   de t e c t i o n,   a nd   r e a l - t i m e   c l a s s i f i c a t i o n.   T h e   s y s t e m   w o rks   q u i c k l y ,   e f f e c t i v e l y ,   a nd   i s   e x p l a i na b l e   i r e a l   l i f e .   T h e   a rt i c l e   i s   o r g a ni z e d   i nt o   c ha p t e r s   o f   r e l a t e d   w o rk ,   m e t ho do l o gy ,   re s ul t s ,   c o n c l us i o n s   a nd   f ut u re   w ork .       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E f f i c i e n t   l ung   d i s e as e   d e t e c t i on   us i n a   h y br i d   v i s i on   t r ans f o r m e r   and   Y O L O   f r am e w or k     ( Kas haf   Kh an )   1143   2.   M A TER I A LS   A N D   M E TH O D S   2. 1 .     D atas e t   d e s c r i p ti o n   T h e   N IH   C he s t   X - ra y   d a t a s e t   c o nt a i ns   m o r e   t ha n   1 1 2 , 0 00   f r o nt a l   X - ra y s   o f   30 , 8 05   p a t i e nt s   l a b e l l e d   w i t 14   l u ng   d i s e a s e s   a nd   m e t a d a t a   o f   t he   p a t i e nt s ,   s uc a s   a g e   a nd   s e x .   F i g u r e   1   s h o w s   s a m p l e   f r o m   N IH   C he s t   X - R a y   d a t a s e t .   I m a ge   p r e p r o c e s s i ng   i n c l ude s   n o rm a l i z i ng   i m a ge s ,   hi s t o g ra m   e qu a l i z a t i o n,   a nd   r e s i z i ng   (4 16   41 6   i Y O L O ,   22 4   22 4   i V i T ) .   D a t a   a u g m e nt a t i o w a s   do ne   us i ng   ra nd o m   r o t a t i o ns ,   f l i p s ,   a nd   b ri g ht ne s s   v a ri a t i o n,   w h i c h e l pe d   m a ke   t h e   m o de l   m o r e   r o b us t   t o   re f l e c t i o n s   a nd   s i g ni f i c a nt   c ha ng e s   i b ri g ht ne s s .           F i gu r e   1.   S a m pl e   i m a ge s   f r o m   da t a s e t       2. 2 .     P r o p o s e d   fr am e w o r k   T h e   p r o po s e s y s t e m   i s   de s i g n e i a   t w o - pa r t   h y b r i d   s y s t e m ,   a s   s h o w n   i F i gu r e   2,   w h e r e   t h e   Y O L O v de t e r m i n e s   t h e   r e gi o n s   o f   i n t e r e s t   (R O I),   a nd  V i T - B / 16  i de n t i f i e s   t h e   l u n d i s e a s e s   b a s e o n   t h e   c h e s t   X - r a y s .   F i n e t u n e d   o n   t h e   N IH   da t a s e t ,   t h e   Y O L O v m o de l   r e l i a b l y   de t e c t s   a b n o r m a l i t i e s   e v e n   i n   l o w - c o n t ra s t   i m a ge s   p r e - t r a i n e o n   CO CO .   T h e   m o s t   c ri t i c a l   h y p e r pa ra m e t e r s ,   s uc h   a s   a n c h o r   b o s i z e   a n N M S   t hr e s h o l ds ,   w e r e   o pt i m i z e d .   V i T - B / 16  r e c e i v e s   R O Is ,   w h i c a r e   di v i de i nt o   1616  p a t c h e s ,   a nd  f i na l l y ,   s e l f - a t t e n t i o i s   a ppl i e f o r   f e a t ur e   e xt ra c t i o n .   V i T - B / 16  i s   p r e - t ra i n e o Im a ge N e t   a nd  f i n e t u n e us i ng  d r o po ut   a n u n l o c ki n l a y e r s   t o   a s c e rt a i t h e   a u t h e n t i c i t y   of   r e a l - t i m e   di a g n o s i s   i a l l   i t s   i n t e r p r e t a b i l i t y .           F i gu re   2.   W o r kf l o w   a nd   a r c h i t e c t u r e   di a g r a m   for   t h e   h y b r i d   Y O L O   a n d   v i s i o n   t r a n s f o r m e r   f ra m e w o r k   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 1 14 1 - 1 14 8   1144   3.   EX P ER I M EN TA L   D ET A I LS   3 . 1 .     D a ta   p r e - p r o c e s s i n g   Co m pr e h e n s i v e   p r e pr o c e s s i n g   w a s   i m pl e m e n t e d   to   s t a n d a r d i z e   a n d   e nha n c e   t h e   d a t a s e t   t hro u g t he   f o l l o w i ng   m e t h o do l o g i e s :     R e s i z i n g :   a l l   t h e   i m a ge s   us e i t h e   a na l y s i s   w e r e   r e s c a l e d   t o   m a t c h   t h e   i nput   s i z e s   o f   Y O L O ,   416  by   416   a nd  v i s i o t ra n s f o r m e r ,   224   by   224.     N o r m a l i z a t i o n :   pi xe l   i n t e n s i t i e s   w e r e   p r i m a ri l y   s t a n d a r di z e d   by   s c a l i ng   to   v a l ue s   r a ngi n g   b e t w e e n   0   a n d   1   s o   a s   n o t   t o   c o n f l i c t   w i t h   s o m e   o f   t h e   e x i s t i ng  m o de l   c o n f i gura t i o n s .     A ugm e n t a t i o n :   o t h e r   d a t a   a ug m e nt a t i o n   m e t h o ds   us e d   i n c l ude d   r o t a t i o n   of   i m a ge s   up   to   15° h o ri z o n t a l   f l i ppi ng,   a nd  a l t e ra t i o n s   o f   i m a ge   b ri g ht n e s s .     D a t a s e t   s pl i t t i n g :   t h e   e n t i r e   d a t a s e t   w a s   d i v i de i nt o   t hr e e   s e t s   na m e l y ,   t ra i ni n g   s e t   ( 70%) ,   v a l i d a t i o s e t   (20 %)   a nd   t e s t   s e t   (10% ).   I o r de t o   b a l a n c e   o ut   t h e   di s t r i b ut i o o f   t h e   c l a s s e s   o f   di s e a s e ,   c a r e   w a s   t a ke n   t o   di v i de   t h e   da t a   i nt o   t h e   s p l i t s .     T ra ns f e r   l e a r ni ng :   t ra ns f e r   l e a rni ng   w a s   e m p l o y e d   to   m i t i g a t e   t h e   c ha l l e nge s   of   l i m i t e d   a nno t a t e d   d a t a   a nd   c o m p u t a t i o na l   c o s t s .     Y O L O   pr e - t ra i n e d   w e i ght s :   b e f o r e   t h e   s t a r t   of   t h e   Y O L O v 8   m o de l ,   t h e   w e i g h t s   w e r e   t r a i n e d   on   t h e   CO CO   d a t a s e t .   T h e s e   w e i gh t s   s e r v e a s   a   go o s t a r t i n g   po i nt   i t h e   m o de l   f o r   c a t e go ri z i n g   de t e c t a b l e   ke y   po i n t s   o f   c h e s t   x - ra y s .     V i s i o t ra ns f o rm e p re - t ra i ne w e i g ht s :   l i ke   t he   p re v i o us   m o de l s ,   t h e   v i s i o t ra ns f o rm e w a s   t ra i ne d   w i t t h e   w e i g ht s   f r o m   t he   I m a ge N e t   d a t a s e t .   T h e s e   w e i g ht s   w e r e   t r a i n e d   o t he   N IH   C he s t   X - ra y   d a t a   s e t   a f t e r e d uc i ng   t he   l e a rni ng   ra t e   f o f i ne - t u ni ng   i o rde t o   re t a i ge n e ra l   f e a t u re s   b e s i de s   do m a i s pe c i f i c   o n e s .     F i n e - t u n i ng   s t ra t e gy :   w e i ght s   of   bo t h   Y O L O   a nd   v i s i o n   t r a n s f o r m e r   c o m po n e nt s   w e r e   o pt i m i z e d   pr o g r e s s i v e l y   by   ‘un f r e e z i ng’   l a y e r s   for   l e a rn i ng   f r o m   t h e   de e pe r   l a y e r s   of   t h e   da t a s e t .   T h e   l e a rn i ng   ra t e   w a s   r e duc e s t e w i s e l y   by   us i n c o s i n e   a nn e a l i n g   f u n c t i o n.     3. 2 .     Tr ai n i n g   p i p e l i n e   T h e   t ra i ni n g   p i pe l i n e   w a s   de s i g n e d   to   e n s u r e   e f f i c i e n t   a n d   a c c ura t e   o pt i m i z a t i o n   of   t h e   h y b r i d   m o de l .     3 . 2 . 1 .   Lo s s   fu n c t i o n s   Y O L O   e m pl oy e d   t h e   l o c a l i z a t i o n   l o s s   r e l a t i n g   to   t h e   b o un di n g   box   r e g r e s s i o n,   c o n f i de n c e   l o s s   a n d   t h e   c l a s s i f i c a t i o n   l o s s .   T h e   V i s i o n   T r a n s f o r m e r   us e d   c a t e gori c a l   c r o s s - e n t r o py   fo r   m ul t i - c l a s s   c l a s s i f i c a t i o n   p r o b l e m .     3 . 2 . 2 .   O p ti m i z e r s   T h e   A d a m   o pt i m i z e r   w a s   us e d   for   b o t h   Y O L O   a nd   v i s i o n   t ra n s f o r m e r   c o m po n e n t s ,   w i t h   an   i n i t i a l   l e a rn i ng  ra t e   o f   0. 001   f o r   Y O L O   a nd  0 . 00 01  f o r   t h e   t ra n s f o r m e r.     3. 2 . 3.   L e ar n i n r ate   s c h e d u l e r   To   i m p r o v e   t h e   c o n v e r ge n c e ,   a   c o s i n e   a nn e a l i n g   s c h e dul e r   w a s   us e d   fo r   t h e   l e a rn i ng   ra t e   p r o b e .     3. 2 . 4 .   Ba tc h   s i z e   an d   e p o c h s   Y O L O   w a s   s c h e dul e t o   t ra i us i ng  a   b a t c h   s i z e   o f   32  t o   i m p r o v e   s pe e d,   w h e r e a s   V i T   w a s   l i m i t e t o   16.   E a c m o de l   w a s   t ra i n e d   w i t 50   e po c h s   a nd   e a r l y   s t o ppi n g   b a s e o v a l i d a t i o n.   T h e   t ra i n i n g   w a s   pe r f o r m e o n   T e n s o r F l o w   a n d   P y T o r c o N V ID IA   A 100   G P U s   w i t J upy t e r   N o t e b oo ks   a n d   p i pe l i n e s .   T h i s   i s   b e c a us e   t h e   h i g h   ra t e   o f   a c c ur a c y   a n e f f i c i e n c y   i n   d i a g n o s i n l u n g   di s e a s e   i s   gua ra nt e e w i t t h e   a ppl i c a t i o n   o f   t h e   o pe n - s o ur c e   h y b r i f ra m e w o r k.     3. 3 .     P r o p o s e d   ar c h i t e c tu r al   e n h an c e m e n t   T h e s e   a ug m e nt a t i o ns   pu rpo rt   to   f i l l   a   s e m a nt i c   g a p   b e t w e e n   d e t e c t i o n   a nd   c l a s s i f i c a t i o n   t a s ks ,   r e s u l t i ng   i n   i n c r e a s e a c c ura c y   a n d   t h e   m o de l ’s   i nt e r p r e t a b i l i t y     A da pt i v e   R O I   r e s i z i n g :   i n s t e a d   of   r e s i z i n g   u n i f o r m l y   to   22 4x224   pi xe l s ,   t h e   a s pe c t   ra t i o   is   m a i n t a i n e d ,   a n a c c o r di n g l y ,   pa ddi ng  i s   a dde t o   p r e v e n t   d i s t o rt i o n s   o f   di s e a s e   a ppe a r a n c e .     S ur p ri s e - b a s e R O s e l e c t i o n :   o nl y   R O Is   s c o r i n g   a b o ve   0. c o n f i de n c e   a r e   p a s s e o n   t o   t h e   c l a s s i f i e r,   r e duc i n g   f a l s e   po s i t i v e s .     R O a ggr e g a t i o n :   i n   a   m ul t i - d i s e a s e   s c e n a ri o ,   t h e   o v e r l a p pi n o r   t h e   a dj a c e n t   R O Is   a r e   c o m b i n e t o   a v e r t   t h e   r e a p pe a r a n c e   o f   c l a s s i f i c a t i o r e d u n da n c y .     A t t e nt i o n   m a p   i nt e gra t i o n:   o pt i o n a l l y ,   G r a d - CA M   is   a pp l i e d   on   V i T   to   di s pl a y   c l a s s i f i c a t i o n   fo c us ,   e nh a n c i ng  e xp l a i n a b i l i t y .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E f f i c i e n t   l ung   d i s e as e   d e t e c t i on   us i n a   h y br i d   v i s i on   t r ans f o r m e r   and   Y O L O   f r am e w or k     ( Kas haf   Kh an )   1145   4.   R ES U LTS   A N D   D I S C U S S I O N   4. 1 .     Q u an ti tat i v e   r e s u l ts   T h e   n e w   Y O L O - V i T   c o m b i na t i o n   s h o w e be t t e r e s ul t s   t ha n   s t a nd - a l o n e   s y s t e m s   i a l l   l e a di n g   i n di c a t o r s .   T h e   r e s ul t s   a r e   s um m a r i z e i T a b l e   2 .   Y O L O - V i T   o b t a i n e d   t h e   b e s t   m A P   o f   96. 8   %   v e r s us   87 . 5   (Y O L O ),   90 . (V i T ) ,   w i t h   a n   A U C - R O of   0. 98,   m e a ni n a   go o di s e a s e   c l a s s i f i c a t i o n   d i f f e r e n t i a t i o n.   It   i s   a c c ura t e ,   p r e c i s e ,   a n d   s pe c i f i c ,   e m p ha s i z i n g   i t s   r e l i a b i l i t y   i r e duc i n g   f a l s e   po s i t i v e s   a n d   n e ga t i v e s ,   w h i c i s   e s s e n t i a l   i c l i n i c a l   s e t t i ngs .   F i gu r e   3   s h o w s   t h e   g ra p h i c a l   r e p r e s e n t a t i o o f   pe r f o r m a n c e   m e t ri c s ,   a l o n g   w i t h   R O c ur v e s   a n d   t ra i ni n g / v a l i d a t i o l o s s   o ve r   e po c h s .       T a b l e   2.   P e r f o r m a n c e   m e a s u r e   in   t h e   h y b r i d   m o de l   vs   o t h e r   m o de l   M o d e l   A c c u ra c y   (% )   P re c i s i o n   ( % )   Re c a l l   (% )   F1 - S c o re   (% )   A U C - RO C   S t a n d a l o n e   Y O L O   8 7 . 5   8 5 . 3   8 2 . 1   8 3 . 6   0 . 8 9   V i s i o n   t ra n s fo rm e r   9 0 . 2   8 8 . 7   8 6 . 5   8 7 . 6   0 . 9 1   H y b ri d   (Y O L O   +   V i T )   9 6 . 8   9 5 . 4   9 4 . 2   9 4 . 8   0 . 9 8   Ba s e l i n e   C N N   (Re s N e t )   8 4 . 3   8 1 . 5   7 9 . 8   8 0 . 6   0 . 8 5           F i gu r e   3.   P e r f o r m a n c e   m e t r i c s   of   t h e   p r o po s e d   h y b r i d   f ra m e w o rk ,   R O C   c u r v e s   a c c ura c y / l os s   c ur v e s       4 . 2 .     Q u a l i t at i v e   r e s u l t s   T h e   qu a l i t a t i v e   o ut c o m e s   of   t h e   r e s e a r c h   c o n f i rm   t h e   e f f i c i e n c y   of   t h e   h y b r i d   m o de l .   F i gu r e   4   r e v e a l s   t h a t   t h e   a b n o r m a l   l e s i o n,   s uc a s   a   n o dul e ,   c a n   b e   a c c ura t e l y   de t e c t e w i t h   l o c a l i z a t i o n   b y   Y O L O .   V i t   a c hi e v e s   t h e   c o rr e c t   c l a s s i f i c a t i o n   o f   s uc h   a   l e s i o n,   a n d   t h e   a t t e nt i o m a ps   m a t c h   c l i ni c a l   e xpe c t a t i o n s .   M i s c l a s s i f i c a t i o i s   n o t   ra r e ,   s o   F i gu r e   4   a l s o   m e nt i o n s   t he   c o n f us i o n   m a t ri x   b e t w e e n   p n e um o ni a   a n d   t h e   a ppe a ra n c e   of   pl e ur a l   e f f us i o n   a s   a e xa m pl e .   T h e   l o w e r   a c c ur a c y   w a s   ob s e r v e w i t h   t h o s e   di s e a s e s   t h a t   do   n o t   o c c u r   s o   f r e que n t l y ,   s uc h   a s   h e rni a   o pl e u ra l   t hi c ke n i n g,   i m pl y i n g   t h e   n e c e s s i t y   of   f ut ur e   pe r f o r m a n c e   e nh a n c e m e n t   o f   r a r e   o r   c o m pl i c a t e i n s t a n c e s .           F i gu r e   4 .   M i s c l a s s i f i c a t i o n   a na l y s i s   s h ow i n g   t h e   f r e que n c y   of   e rro r s   a nd  c o n f us i o n   m a t ri x   for   d i s e a s e   c l a s s i f i c a t i on       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 1 14 1 - 1 14 8   1146   4 . 2 . 1 .   A b l at i o n   s tu d y   F o r   a   qu a n t i t a t i v e   a s s e s s m e n t   of   a l l   t h e   s ub - m o dul e s   as   w e l l   as   t h e i r   c o n f i gu r a t i o n ,   an   a b l a t i o n   a n a l y s i s   w a s   pe r f o r m e o n   t h e   p ri m a r y   e l e m e n t s :   Y O L O ,   V i s i o T ra n s f o r m e r ,   a nd  c o m b i na t i o n s   o f   t h e   pr o po s e h y b r i f ra m e w o r k.   D a t a   a r e ,   t h e r e f o r e ,   pr e s e nt e i n   T a b l e   3.   T he   f i nd i ngs   i nd i c a t e   t ha t   t ra ns f e l e a rni ng   d ra m a t i c a l l y   i m p r o v e   pe r f o rm a nc e   e s pe c i a l l y   w h e d a t a   i s   l i m i t e d   or   u n b a l a n c e d.   O t h e r   i m a ge   t r a n s f o r m a t i o n   s t r a t e gi e s   l i ke   r o t a t i o n   a nd   f l i ppi ng   a l s o   e nha n c e d   ge n e ra l i t y .   T h e   b r o ug h t - up  d a t a   c o m pa r e d   t o   t h e   m o de l ’s   o r i gi na l   v e r s i o u nde rl i n e   t h e   c o m pl e m e n t a ri t y   of   Y O L O ’s   ob j e c t   de t e c t i o n   w i t h   t h e   V i s i o T r a n s f o r m e r ’s   c l a s s i f i c a t i o n.   F i g u r e   s h o w s   t h e   g r a p hi c a l   r e p r e s e nt a t i o n   o f   a c c ur a c y   f o r   t h e   di f f e r e n t   c o m b i na t i o n s   o f   h y b r i f ra m e w o r k.       T a b l e   3.   D i f f e r e n t   c o n f i gura t i o n s   of   t h e   h y b r i d   f ra m e w o r k   Co n f i g u ra t i o n   A c c u ra c y   ( % )   P re c i s i o n   ( % )   Re c a l l   (% )   F1 - S c o r e   (% )   A U C - RO C   Y O L O   O n l y   8 7 . 5   8 5 . 3   8 2 . 1   8 3 . 6   0 . 8 9   V i s i o n   t ra n s fo r m e o n l y   9 0 . 2   8 8 . 7   8 6 . 5   8 7 . 6   0 . 9 1   Y O L O   +   V i T   ( w i t h o u t   t ra n s fe l e a r n i n g )   9 2 . 3   9 0 . 1   8 8 . 4   8 9 . 2   0 . 9 3   H y b r i d   (Y O L O   +   V i T   +   t ra n s fe l e a r n i n g )   9 6 . 8   9 5 . 4   9 4 . 2   9 4 . 8   0 . 9 8           F i gu r e   5 .   S t udy   s h ow i n g   a c c ura c y   i m pr o v e m e n t s   for   d i f f e r e n t   c o n f i gura t i o n s   of   t h e   f ra m e w o rk       4. 2 . 2.   C l i n i c al   i n te r p r e tab i l i t w i th   att e n ti o n   m ap s   W e   us e t h e   G r a d - CA M   v i s ua l i z a t i o n s   a l o n gs i de   V i T - B / 16  s e l f - a t t e nt i o m a ps   t o   p r o v i de   i n t e r p r e t a b l e   A I - p r e d i c t i o n s   c o n s i s t e n t   w i t h   t h e   ra di o l o g y   c ha r a c t e r i s t i c s   t o   b ui l d   c l i ni c a l   t r us t .   Ca s e   S t udy   1:   i n   t h e   c a s e   o f   pn e um o ni a ,   t h e   m o de l   pi npo i nt e t h e   l o w e r   r i g ht   l o b e ,   w h i c h   c o n f o r m e t o   t h e   c l i n i c a l   m a ni f e s t a t i o n s   o f   l ob a r   p n e um o ni a   a s   s h o w n   i F i gu r e   6.   Ca s e   S t udy   2:   th e   m o de l   a p pe a r e p r e c i s e   i s h o w i n g   s ub t l e   a b n o r m a l i t i e s   b e c a us e   a   pu l m o n a r y   n o dul e   w a s   de t e c t e i t h e   s h a r p   l o c a l i z a t i o n   o f   t h e   l e s i o i t h e   l e f t   upp e r   l u n g .   Ca s e   S t udy   3:   a i n c o rr e c t   f i n d i n g   o f   pl e ur a l   e f f us i o n   w a s   m a de   b e c a us e   of   t h e   s i m i l a ri t i e s   i n   a ppe a ra n c e   w i t c a r di o m e ga l y ,   a n i t   i s   a dv i s a b l e   t o   c o n s i de r   a dd i n g   m o r e   d a t a   a b o ut   t h e   p a t i e n t   t o   a c hi e v e   a   b e t t e r   di s t i n c t i o n.     4. 3 .     C o m p ar i s o n   w i th   r e c e n t   ap p r o ac h e s   W e   c o m pa r e d   o ur  h y b r i Y O L O v +   V i T - B / 16   w i t t h e   n e w   ge n e r a t i o o f   s t a t e - of - t h e - a rt   a r c hi t e c t u r e s ,   s uc a s   s w i n   t r a n s f o r m e r ,   Co n v N e X t ,   E f f i c i e nt N e t V 2,   a nd   M o b i l e V i T .   A l t h o ug i t   i s   n o t   t h e   s m a l l e s t   m o de l ,   o u a p p r o a c di s p l a y e gr e a t e a c c ur a c y   a nd  a F 1   s c o r e   i t h e   c l a s s i f i c a t i o p r o c e s s .   T h e   e ff i c i e n c y   of   Y O L O v a n t h e   p a t c h - w i s e   pr o c e s s i n o f   V i T - B / 16  a r e   po w e r f ul   i n f e r e n c e   t o o l s ,   w h i c m e a n s   t h a t   t h e   m o de l   c a b e   us e i r e a l i s t i c   p r a c t i c e   i n   m e di c i n e .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E f f i c i e n t   l ung   d i s e as e   d e t e c t i on   us i n a   h y br i d   v i s i on   t r ans f o r m e r   and   Y O L O   f r am e w or k     ( Kas haf   Kh an )   1147       F i gu r e   6.   P n e um o ni a   de t e c t i o n ,   n o dul e   l o c a l i z a t i o n   a nd   f a l s e   po s i t i v e -   c a r di o m e ga l y   vs   e f f us i o n       4 . 4 .     C h a l l e n g e s   an d   l i m i ta t i o n s   T h e   h y b r i m o de l   h a s   l i m i t a t i o n s ,   e v e n   t h o ug h   i t   i s   a dv a n t a ge o us .   It s   l e v e l   of   c o m pl e xi t y   i c o m put a t i o n   c a n   b e   pr o b l e m a t i c   fo r   l o w - r e s o ur c e   de v i c e s .   It   i s   a l s o   g r e a t l y   de p e n de nt   o n   p r e - l e a rn e m o de l s   a n b e c o m e s   a da pt i v e   w i t n e w   s pe c i f i c   di s e a s e   pa t t e rn s   i t h e   d a t a .   M o r e o v e r ,   s uc h   c o n f o un d i n d i s e a s e s   a s   pn e u m o n i a   a n d   h e a r t   f a i l u r e   a r e   s t i l l   l i ke l y   t o   b e   m i s c l a s s i f i e b e c a us e   of   t h e   s ub t l e   a n s i m i l a r   f e a t u r e s   o X - ra y s .       5.   C O N C LU S I O N   A N D   F U TU R E   W O R K   In  t hi s   p a pe r ,   w e   us e   a   h y b r i de e l e a rni n f ra m e w o r t ha t   i n c o r po ra t e s   b o t Y O L O v 8,   w h i c h   c a n   b e   us e t o   r e c o gn i z e   l u n g   a b n o r m a l i t i e s   i r e a l - t i m e   a nd  V i T - B / 16,   w h i c c a n   c l a s s i fy   c h e s t   X - r a y s   gl o b a l l y .   T h e   m o de l   w a s   t ra i n e v i a   t ra n s f e r   l e a rn i ng  a n i m a ge   a ug m e nt a t i o o t h e   N IH   C h e s t   X - ra y   da t a b a s e ,   t o   r e a c h   a a c c ura c y   o f   96. pe r   c e nt   a n d   A U C - R O 0. 98 .   B o un di n g   b o xe s   a n d   a t t e n t i o m a ps   p r o m o t e   t h e   i n t e r p r e t a b i l i t y   a n d   c l i n i c a l   s i g ni f i c a n c e .   O u m e t h o o ut pe r f o r m s   t h e   di a g n o s t i c   pe r f o r m a n c e   o f   S w i n   T r a n s f o r m e a n d   M o b i l e V i T   m o de l s .   Co n s i de ra t i o n s   a r e   i t s   g r e a t   c o m put a t i o na l   r e qui r e m e nt s   a n d   i s s ue s   o i n t e r s e c t i o n   b e t w e e n   s t a t e s .   F u rt h e r e s e a r c w i l l   i n v o l v e   s i m pl i fy i n t h e   m o de l ,   s e m i - s upe r v i s e l e a rni n g,   m ul t i m o da l   c o m b i n a t i o a nd   de a l i n g   w i t o t h e t y pe s   o f   i m a g i n g   s uc a s   C T   a nd   M R I.   T h e   u n d e r l y i n g   i nn o v a t i o n   i s   t o   b ri n t h e   t w o   c o m po n e nt s   o f   de t e c t i o n   a n c l a s s i f i c a t i o t o ge t h e i a   dy n a m i c ,   e xpl a i na b l e   a n c l i n i c a l l y   w o r ka b l e   w a y .       F U N D I N G   I N F O R M A TI O N     A ut h o r s   s t a t e   n o   f un d i n g   i n v o l v e d.       C O N F LI C O F   I N T ER ES S TA T EM EN T   A ut h o r s   s t a t e   n o   c o n f l i c t   o f   i nt e r e s t .       D A TA   A V A I LA B I LI T Y   D a t a   a v a i l a b i l i t y   i s   n o t   a ppl i c a b l e   t o   t hi s   pa pe a s   n o   n e w   d a t a   w e r e   c r e a t e d   o a n a l y z e i t hi s   s t udy .       R EF ER EN C ES   [1 ]   W .   H .   O r g a n i z a t i o n ,   T h e   g l o b a l   i m p a c t   o f   r e s p i r a t o r y   d i s e a s e s .   2 0 2 0 .   [2 ]   Y .   L e c u n ,   Y .   B e n g i o ,   a n d   G .   H i n t o n ,   D e e p   l e a rn i n g ,   Na t u r e ,   v o l .   5 2 1 ,   n o .   7 5 5 3 ,   p p .   4 3 6 4 4 4 ,   M a y   2 0 1 5 ,   d o i :   1 0 . 1 0 3 8 / n a t u re 1 4 5 3 9 .   [3 ]   P .   Ra j p u rk a e t   a l . ,   C h e x n e t :   Ra d i o l o g i s t - l e v e l   p n e u m o n i a   d e t e c t i o n   o n   c h e s t   x - ra y s   w i t h   d e e p   l e a rn i n g ,   Co R R ,   2 0 1 7 ,   [O n l i n e ].   A v a i l a b l e :   h t t p : / / a rx i v . o r g / a b s / 1 7 1 1 . 0 5 2 2 5 .   [4 ]   K .   S i m o n y a n   a n d   A .   Z i s s e r m a n ,   V e r y   d e e p   c o n v o l u t i o n a l   n e t w o rk s   fo r   l a rg e - s c a l e   i m a g e   r e c o g n i t i o n ,   3 r d   In t e r n a t i o n a l   Co n f e r e n c e   o n   L e a r n i n g   R e p r e s e n t a t i o n s ,   ICL R   2 0 1 5 ,   S a n   D i e g o ,   CA ,   U S A ,   2 0 1 5 ,   [O n l i n e ].   A v a i l a b l e :   h t t p : / / a rx i v . o r g / a b s / 1 4 0 9 . 1 5 5 6 .   [5 ]   J .   R e d m o n ,   S .   D i v v a l a ,   R.   G i r s h i c k ,   a n d   A .   F a r h a d i ,   Y o u   o n l y   l o o k   o n c e :   u n i f i e d ,   r e a l - t i m e   o b j e c t   d e t e c t i o n ,   i n   P r o c e e d i n g s   o f   t h e   IE E E   Co m p u t e r   S o c i e t y   Co n f e r e n c e   o n   Co m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n ,   J u n .   2 0 1 6 ,   v o l .   2 0 1 6 - D e c e m b e r,   p p .   7 7 9 7 8 8 ,   d o i :   1 0 . 1 1 0 9 / CV P R . 2 0 1 6 . 9 1 .   [6 ]   A .   D o s o v i t s k i y   e t   a l . ,   A n   i m a g e   i s   w o r t h   1 6 x 1 6   w o r d s :   t ra n s fo r m e r s   f o r   i m a g e   r e c o g n i t i o n   a t   s c a l e ,   Co R R ,   2 0 2 0 ,   [O n l i n e ].   A v a i l a b l e :   h t t p s : / / a rx i v . o r g / a b s / 2 0 1 0 . 1 1 9 2 9 .   [7 ]   T. - Y .   L i n ,   P .   G o y a l ,   R .   G i r s h i c k ,   K .   H e ,   a n d   P .   D o l l a r,   F o c a l   l o s s   fo r   d e n s e   o b j e c t   d e t e c t i o n ,   O c t .   2 0 1 7 ,   d o i :   1 0 . 1 1 0 9 / i c c v . 2 0 1 7 . 3 2 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   40 ,   N o .   2 ,   N o v e m be r   20 25 1 14 1 - 1 14 8   1148   [8 ]   X .   W a n g ,   Y .   P e n g ,   L .   L u ,   Z .   L u ,   M .   Ba g h e ri ,   a n d   R.   M .   S u m m e r s ,   C h e s t X - ra y 8 :   h o s p i t a l - s c a l e   c h e s t   X - ra y   d a t a b a s e   a n d   b e n c h m a rk s   o n   w e a k l y - s u p e r v i s e d   c l a s s i f i c a t i o n   a n d   l o c a l i z a t i o n   o c o m m o n   t h o ra x   d i s e a s e s ,   i n   P r o c e e d i n g s   -   3 0 t h   I E E E   Co n f e r e n c e   o n   Co m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n ,   CV P R   2 0 1 7 ,   J u l .   2 0 1 7 ,   v o l .   2 0 1 7 - J a n u a ,   p p .   3462 3 4 7 1 ,   d o i :   1 0 . 1 1 0 9 / CV P R. 2 0 1 7 . 3 6 9 .   [9 ]   B.   J e n a ,   P .   T h a k a r,   V .   N a y a k ,   G .   K .   N a y a k ,   a n d   S .   S a x e n a ,   M a l a ri a   p a r a s i t e s   d e t e c t i o n   u s i n g   d e e p   n e u ra l   n e t w o rk ,   i n   D e e p   L e a r n i n g   A p p l i c a t i o n s   i n   M e d i c a l   Im a g i n g ,   IG G l o b a l ,   2 0 2 1 ,   p p .   2 0 9 222.   [1 0 ]   Z .   Y o u ,   Y .   Z h o n g ,   F .   Ba o ,   J .   S u n ,   C.   L i ,   a n d   J .   Z h u ,   D i ff u s i o n   m o d e l s   a n d   s e m i - s u p e r v i s e d   l e a r n e r s   b e n e f i t   m u t u a l l y   w i t h   fe w   l a b e l s ,   2 0 2 3 ,   [O n l i n e ] .   A v a i l a b l e :   h t t p s : / / a rx i v . o r g / a b s / 2 3 0 2 . 1 0 5 8 6 .   [1 1 ]   O .   R o n n e b e r g e r,   P .   F i s c h e r,   a n d   T .   Br o x ,   U - N e t :   c o n v o l u t i o n a l   n e t w o rk s   fo b i o m e d i c a l   i m a g e   s e g m e n t a t i o n ,   M ICCA I ,   2 0 1 5 .   [1 2 ]   Z .   Z h o u   e t   a l . ,   U N e t + + :   A   n e s t e d   U - N e t   a r c h i t e c t u re   fo m e d i c a l   i m a g e   s e g m e n t a t i o n ,   D e e p   L e a r n i n g   i n   M e d i c a l   Im a g e   A n a l y s i s ,   S p ri n g e r ,   2 0 1 8 .   [1 3 ]   J .   R e d m o n   a n d   S .   D i v v a l a ,   Y o l o v 3   i n   m e d i c a l   d i a g n o s t i c s ,   J o u r n a l   o f   Im a g e   P r o c e s s i n g ,   v o l .   1 4 ,   n o .   4 ,   p p .   3 2 1 3 3 0 ,   2 0 2 1 .   [1 4 ]   H .   Z h a n g ,   S .   Z h a n g ,   L .   X i n g ,   Q .   W a n g ,   a n d   R.   F a n ,   E x p r e s s i v e   fe a t u r e   r e p re s e n t a t i o n   p y ra m i d   n e t w o rk   fo p u l m o n a ry   n o d u l e   d e t e c t i o n ,   M u l t i m e d i a   S y s t e m s ,   v o l .   3 0 ,   n o .   6 ,   O c t .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 024 - 01532 - 4.   [1 5 ]   S .   S i n g h ,   M .   K u m a r,   A .   K u m a r ,   B .   K .   V e rm a ,   K .   A b h i s h e k ,   a n d   S .   S e l v a ra j a n ,   E ffi c i e n t   p n e u m o n i a   d e t e c t i o n   u s i n g   V i s i o n   T ra n s fo r m e r s   o n   c h e s t   X - ra y s ,   S c i e n t i f i c   R e p o r t s ,   v o l .   1 4 ,   n o .   1 ,   J a n .   2 0 2 4 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 5 9 8 - 024 - 52703 - 2.   [1 6 ]   M .   T a n   a n d   Q .   L e ,   H y b ri d   f ra m e w o rk s   fo r   v i s i o n   t ra n s fo r m e r s ,   P r o c e e d i n g s   o f   C V P R ,   2 0 2 2 .   [1 7 ]   M .   S h o a i b   a n d   N .   S a y e d ,   Y O L O   o b j e c t   d e t e c t o a n d   i n c e p t i o n - V 3   c o n v o l u t i o n a l   n e u ra l   n e t w o rk   fo i m p r o v e d   b ra i n   t u m o r   s e g m e n t a t i o n ,   T r a i t e m e n t   d u   S i g n a l ,   v o l .   3 9 ,   n o .   1 ,   p p .   3 7 1 3 8 0 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 8 2 8 0 / t s . 3 9 0 1 3 9 .   [1 8 ]   H .   E .   K i m ,   A .   Co s a - L i n a n ,   N .   S a n t h a n a m ,   M .   J a n n e s a ri ,   M .   E .   M a ro s ,   a n d   T .   G a n s l a n d t ,   T ra n s fe r   l e a rn i n g   fo m e d i c a l   i m a g e   c l a s s i f i c a t i o n :   a   l i t e ra t u r e   r e v i e w ,   B M M e d i c a l   Im a g i n g ,   v o l .   2 2 ,   n o .   1 ,   A p r.   2 0 2 2 ,   d o i :   1 0 . 1 1 8 6 / s 1 2 8 8 0 - 022 - 0 0 7 9 3 - 7.   [1 9 ]   H .   B e n o u d n i n e ,   P .   Ra v i e r ,   M .   D a o u d ,   a n d   A .   A d d a ,   A   n o v e l   h y b ri d   s y s t e m   f o r   d e t e c t i n g   e p i l e p t i c   s e i z u r e   i n   n e o n a t e   a n d   a d u l t   p a t i e n t s ,   In t e r n a t i o n a l   J o u r n a l   o f   B i o m e d i c a l   E n g i n e e r i n g   a n d   T e c h n o l o g y ,   v o l .   4 2 ,   n o .   2 ,   p p .   2 0 5 2 2 3 ,   2 0 2 3 ,   d o i :   1 0 . 1 5 0 4 / i j b e t . 2 0 2 3 . 1 0 0 5 7 2 9 5 .   [2 0 ]   S .   M e h t a   a n d   M .   Ra s t e g a r i ,   M o b i l e v i t :   L i g h t - w e i g h t ,   g e n e ra l - p u rp o s e ,   a n d   m o b i l e - f ri e n d l y   v i s i o n   t ra n s fo r m e r,   2 0 2 2 ,   [O n l i n e ].   A v a i l a b l e :   h t t p s : / / a rx i v . o r g / a b s / 2 1 1 0 . 0 2 1 7 8 .   [2 1 ]   K .   W u   e t   a l . ,   T i n y V i T :   f a s t   p r e t ra i n i n g   d i s t i l l a t i o n   fo s m a l l   v i s i o n   t ra n s f o r m e r s ,   i n   Co m p u t e r   V i s i o n     E CC V   2 0 2 2 ,   S p ri n g e r   N a t u re   S w i t z e rl a n d ,   2 0 2 2 ,   p p .   6 8 85.   [2 2 ]   S .   S .   M e ra j ,   R .   Y a a k o b ,   A .   A z m a n ,   S .   N .   M .   Ru m ,   A .   S .   A .   N a z ri ,   a n d   N .   F .   Z a k a ri a ,   D e t e c t i o n   o p u l m o n a r y   t u b e r c u l o s i s   m a n i fe s t a t i o n   i n   c h e s t   X - Ra y s   u s i n g   d i ffe r e n t   c o n v o l u t i o n a l   n e u ra l   n e t w o rk   (CN N m o d e l s ,   In t e r n a t i o n a l   J o u r n a l   o f   E n g i n e e r i n g   a n d   A d v a n c e d   T e c h n o l o g y ,   v o l .   9 ,   n o .   1 ,   p p .   2 2 7 0 2 2 7 5 ,   O c t .   2 0 1 9 ,   d o i :   1 0 . 3 5 9 4 0 / i j e a t . a 2 6 3 2 . 1 0 9 1 1 9 .   [2 3 ]   H .   Z u n a i r ,   A .   Ra h m a n ,   N .   M o h a m m e d ,   a n d   J .   P .   Co h e n ,   U n i f o r m i z i n g   T e c h n i q u e s   t o   P r o c e s s   CT   S c a n s   w i t h   3 D   CN N s   fo r   T u b e rc u l o s i s   P r e d i c t i o n ,   i n   P r e d i c t i v e   In t e l l i g e n c e   i n   M e d i c i n e ,   S p r i n g e I n t e r n a t i o n a l   P u b l i s h i n g ,   2 0 2 0 ,   p p .   1 5 6 168.   [2 4 ]   W .   H .   O r g a n i z a t i o n ,   T h e   t o p   1 0   c a u s e s   o f   d e a t h .   [2 5 ]   Y .   L e Cu n ,   L .   B o t t o u ,   Y .   B e n g i o ,   a n d   P .   H a ffn e r,   G ra d i e n t - b a s e d   l e a r n i n g   a p p l i e d   t o   d o c u m e n t   r e c o g n i t i o n ,   P r o c e e d i n g s   o f   t h e   IE E E ,   v o l .   8 6 ,   n o .   1 1 ,   p p .   2 2 7 8 2 3 2 3 ,   1 9 9 8 ,   d o i :   1 0 . 1 1 0 9 / 5 . 7 2 6 7 9 1 .       B I O G R A P H I ES   OF   A U T H O R S       E r .   K as h af   K h an           is   a   P h . D .   c a nd i da t e   in   c o m put e r   s c i e nc e   a nd   e ng i n e e r i ng   at   G a l g o t i a s   U ni v e r s i t y ,   r e s e a r c hi ng   de e p   l e a r ni ng   f o r   l ung   di s e a s e   de t e c t i o n .   A n   M . T e c h   t o ppe r   a nd   f i r s t - c l a s s   g r a dua t e ,   he   s pe c i a l i z e s   in   A I / M L ,   b l o c kc ha i n ,   I o T ,   a nd   q ua n t um   c o m put i ng ,   w i t h   c e r t i f i c a t i o ns   f r o m   G o o g l e ,   I B M ,   A W S ,   a n d   N I T s .   He   h a s   p r e s e n t e d   r e s e a r c h   at   n a t i o na l   c o n f e r e nc e s   a nd   a c t i v e l y   c o nt r i bu t e s   t o   a c a de m i a   as   an   i nv i t e d   s pe a k e r   at   s c ho o l s .   H i s   t e c hni c a l   pr o f i c i e nc y   s pa ns   P y t ho n,   c l o ud   s y s t e m s ,   a n d   V L S I   de s i g n.   C o m m i t t e d   to   t e c hno l o g i c a l   i nno v a t i o n   a nd   e duc a t i o n,   he   h a s   o r g a n i z e d   a c a d e m i c   w e bi n a r s   a n d   c ul t ur a l   e v e n t s .   He   ho l ds   I B M   Q ua nt um   c e r t i f i c a t i o ns   a nd   a i m s   to   dr i v e   a dv a nc e m e nt s   i n   e t h i c a l   A I   a nd  he a l t hc a r e   t e c hno l o gy .   H e   c a b e   c o nt a c t e a t   e m a i l :   kha nk a s h a f 78678 6@g m a i l . c o m .         D r .   A b d u l   A l e e m           i s   a   P r o f e s s o r   a n H e a d   o f   C o m put i ng   S c i e nc e   a nd   E ng i ne e r i ng   D e p a r t m e n t ,   a t   G a l g o t i a s   U n i v e r s i t y .   H e   ha s   do ne   h i s   B .   T e c h.   ( C S E )   f r o m   U . P .   T e c hni c a l   U ni v e r s i t y ,   L uc kno w .   H e   ha s   do ne   h i s   M .   T e c h.   ( S o f t w a r e   E ng i n e e r i ng )   f r o m   M N N I T   A l l a ha b a d .   H e   w a s   be s t o w e d   G o l d   M e d a l   f o r   be i ng   t he   t o ppe r   o f   h i s   b a t c h   i n   t he   m a s t e r ' s   pr o g r a m .   H e   h a s   o bt a i ne d   P h . D .   ( C S E )   f r o m   M N N I T   A l l a ha b a d   i n   t he   a r e a   o f   da t a   m i ni ng ,   m a c h i ne   l e a r n i ng ,   a n e duc a t i o na l   s y s t e m s .   H e   ha s   be e n   t hr i c e   a w a r de d   a s   B e s t / E x e m pl a r y   F a c ul t y ,   f i v e   t i m e s   c o nf e r r e t he   be s t   pa p e r   a w a r d ,   a nd  t w o   t i m e s   a w a r de f o r   c o di ng   e xc e l l e nc e .   H e   po s s e s s e s   13+   y e a r s   o f   b l e nd e d   e xpe r i e nc e   i nc l ud i ng   6+   y e a r s   i n   t o s o f t w a r e   i ndu s t r i e s   a nd   7+   y e a r s   i n   pr e m i um   e duc a t i o na l   i n s t i t u t i o ns   a s   a   v a l ue - a d de d   a c a de m i c i a n,   s o f t w a r e   d e v e l o pe r ,   l e a e ng i n e e r ,   r e s e a r c he r ,   a dm i ni s t r a t o r ,   a n i n t e l l e c t ua l   pr o f e s s i o na l .   H i s   r e s e a r c i nt e r e s t s   i nc l ud e   di g i t a l   i m a g e   pr o c e s s i n g ,   o pt i m i z a t i o t e c hn i que s ,   m a c hi ne   l e a r n i ng   a n a r t i f i c i a l   i nt e l l i g e nc e .   H e   ha s   pu bl i s h e m o r e   t ha 30   r e s e a r c p a pe r s   i n   r e pu t e d   c o nf e r e nc e s   a nd   j o ur n a l s   o f   di s t i ng ui s he d   i n de x i ng .   H e   c a b e   c o nt a c t e d   a t   e m a i l :   e r . a l e e m @g m a i l . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.