I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  15 ,   No .   1 M   ar ch   20 26 ,   p p .   414 ~ 427   I SS N:  2252 - 8 7 7 6 DOI 1 0 . 1 1 5 9 1 /iji ct . v15 i 1 . p p 4 1 4 - 4 2 7          414       J o ur na l ho m ep a g e h ttp : //ij ict. ia esco r e. co m   Lig htweight d eep  lea rning  appro a ch  for re tinal   O CT  ima g cla ss ificatio n:  A   CNN  with  hy brid  poo ling  and o pti mized  lea rning       P a rt h R.   Da v e 1 .2 ,   Nik un j   H .   Do m a diy a 2   1 D e p a r t me n t   o f   C o m p u t e r   En g i n e e r i n g ,   G u j a r a t   T e c h n o l o g i c a l   U n i v e r si t y - A h me d a b a d ,   G u j a r a t ,   I n d i a   2 D e p a r t me n t   o f   C o m p u t e r   En g i n e e r i n g ,   L. D C o l l e g e   o f   E n g i n e e r i n g ,   A h m e d a b a d ,   G u j a r a t ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   1 6 ,   2 0 2 5   R ev is ed   Oct  1 6 ,   2 0 2 5   Acc ep ted   No v   5 ,   2 0 2 5       Op ti c a c o h e re n c e   to m o g ra p h y   (OCT)  is  a   n o n - in v a siv e   tec h n i q u e   th ro u g h   wh ich   a   re ti n a   sp e c ialist  c a n   se e   th e   stru c tu re   b e h i n d   t h e   e y e .   T h is  tec h n o l   o g y   o ffe rs  a   k e y   r o le  to   id e n ti fy   v a rio u a b n o rm a li ti e in   th e   re ti n a Dru se n ,   d iab e ti c   m a c u lar  e d e m a   (DME a n d   c h o ro i d a n e o v a sc u lariz a ti o n   (CNV ).   Ho we v e r,   m a n u a l   a n a ly sis   o f   OC sc a n c a n   b e   ti m e - c o n su m in g   a n d   p ro n e   to   v a riab il it y   a m o n g   c li n icia n s.   To   a d d re ss   th is  c h a ll e n g e ,   we   p re se n a   li g h twe i g h a n d   e x p lain a b le  d e e p   lea rn in g - b a se d   a p p ro a c h   f o a u to m a ti c   cl a ss ifi c a ti o n   o re ti n a OCT  ima g e s.  Th e   p rima ry   g o a o f   th is  re s e a rc h   is  a   m o d e t h a d e li v e rs   h i g h   d iag n o s ti c   a c c u ra c y .   A   c o m p u ter - a id e d   s u g g e sti v e   m e th o d   c a n   h e l p   re ti n a d o c t o rs  a u to m a ti c a ll y   c las sify   th e   a n o m a li e with   m o re   c o n fi d e n c e   a n d   p re c isio n .   I n   t h is  p a p e r,   we   p r o p o se d   a   n o v e l   a p p r o a c h   b a se d   o n   d e e p   lea rn in g a   si x - l a y e c o n v o l u ti o n a n e u ra n e tw o rk   (CNN i n t e g r a t e d   w i t h   h y b r i d   p o o l i n g   f o r   e f fe c t i v e   f e a t u r e   e x t r a c t io n .   D a t a   a u g m e n t a t i o n   a n d   e x p o n e n t i a l   l e a r n i n g   r a t e   i s   i m p l e m e n t e d   t o   h a n d l e   d a t a   i m b a l a n c e   b e t w e e n   c l a s s e s   a n d   f o r   s t a b i l i z e d   l e a r n i n g   c o n s e c u t i v e l y .   O u r   p r o p o s e d   a p p r o a c h   a c h i e v e d   9 8 . 7 5 %   o f   a c c u r a c y   w h i l e   t e s t i n g   o n   t h e   d a t a se t .   T o   f u r t h e r   e n h a n c e   t h e   i n t e r p r e t a b i l i t y   o f   t h e   m o d e l ,   w e   a l s o   i n t e g r a t e   e x p l a i n a b l e   A I   ( X A I)   u s i n g   c l a s s   a c t i v a t i o n   m a p p i n g   ( C A M )   t o   v i s u a l i z e   t h e   c r i t i c a l   r e g i o n s   i n   t h e   r e t i n a   t h a t   c o n t r i b u t e   t o   t h e   c l a s s i f i c a t i o n   d e c i s io n s .     K ey w o r d s :   Ar tific ial  in tellig en ce   C o n v o lu tio n al  n eu r al  n etwo r k   Ma ch in lear n in g   Op tical  co h er en ce   to m o g r ap h y   Dee p   lear n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Nik u n j H .   Do m ad i y   Dep ar tm en t o f   C o m p u ter   E n g i n ee r in g ,   L . D.   C o l leg o f   E n g i n ee r in g   Ah m ed ab ad ,   Gu jar at,   I n d ia   E m ail: d o m ad iy a n ik u n j0 0 2 @ g m ail. co m ,   n ik u n j d o m ad i y a. c e@ ld ce . ac . in       1.   I NT RO D UCT I O N   R etin al  o p tical  co h er en ce   to m o g r ap h y   ( OC T )   im ag in g   p lay s   v ital  r o le  in   an aly zin g   th lay er s   o f   th r etin with o u an y   s u r g ical  tr ea tm en in   th e   ey e.   I h elp s   id en tify   d if f e r en a n o m alies  an d   th eir   p r o g r ess io n ,   i f   an y .   I n   o p h th alm o lo g y ,   th u s o f   r etin al   OC T   im ag in g   p lay s   cr u ci al  r o le  in   s h ap i n g   tr ea tm en d ec is io n s   an d   k ee p i n g   watc h   o n   th s u cc ess   o f   th er ap ies  s u ch   as  laser   tr ea tm en t,  ey in jectio n s ,   an d   s u r g er ies.  C lass if y in g   r et in al  OC T   im ag es  with   th h elp   o f   m o d er n   c o m p u ter ized   tech n iq u es  ca n   b e   lev er ag ed   i n   ter m s   o f   s u g g esti v s y s tem s   to   th r etin s p ec ialis t.  T h ab ilit y   o f   au to m ated   im a g e   ca teg o r izatio n   is   to   p r o v id r e liab le  an d   im p ar tial  ev alu atio n s   o f   r etin al  i m ag es,  m in im izi n g   h u m an   e r r o r   an d   d iag n o s tic  in co n s is ten cies.   C o n v en tio n al   m ac h in e   lear n i n g   alg o r ith m s   ta k th e   tex tu r f ea tu r es  o f   th e   im ag es  as   an   i n p u t   th r o u g h   wh ich   lo ca o r   g lo b al  in f o r m atio n   o f   th im a g ca n   b r ep r esen ted .   On ce   th f ea tu r v ec to r   is   im p lem en ted   b y   d if f er en t f ea t u r ex tr ac tio n   tech n i q u es: L o ca b in ar y   p atter n   ( L B P)  [ 1 ] ,   h i s to g r am   o f   o r ien te d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Lig h tw eig h t d ee p   lea r n in g   a p p r o a ch   fo r   r etin a l O C T ima g cla s s ifica tio n :   A   C N N   w ith     ( P a r th   R .   Da ve )   415   g r ad ien ts   ( HOG )   [ 2 ] ,   g r ay - le v el  co - o cc u r r en ce   m atr ix   ( GL C M)   [ 3 ] ,   ed g e   d etec tio n ,   a n d   s h ap d etec tio n ,   th e   v ec to r   is   p r o v id e d   to   an   ar ti f icial  n eu r al  n etwo r k   ( ANN) ,   s u p p o r v ec t o r   m ac h in ( SVM)   [ 4 ]   o r   o th er   s u p er v is ed   alg o r ith m   wh ich   ev en tu ally   class if y   th i m a g in   th r e q u ir e d   class .   T h lag g i n g   p ar o f   co n v en tio n al  m ac h in lear n in g   alg o r ith m s   is   th at  th im ag es  ar d escr ib ed   b y   s o m f e atu r an d   it  is   n o lear n in g   th e   f ea tu r es  its elf ,   h e n ce   m ay   lea d   to   lo s s y   in f o r m a tio n   r ep r esen tatio n   an d   en d   u p   with   less   ac cu r ac y   o f   th alg o r ith m .   Dee p   lear n in g   h as  attr ac ted   s i g n if ican in ter est  f r o m   r esear ch er s   in   co m p u ter   v is io n   b ec au s o f   its   ca p ab ilit y   to   i n d ep e n d en tly   lear n   in tr icate   d etails  an d   f ea tu r es  f r o m   in p u im ag es.   C NN  h as  ch an g ed   th e   m o d u s   o p er an d i o f   s h allo an d   co n v e n tio n al  n etwo r k s ,   an d   it  ex ce ed s   th eir   p er f o r m an c o v er   th em   in   p o ts   o f   asp ec ts .   Dee p   lear n in g   is n t c o n f in ed   to   ju s t c lass if icatio n   task s it e x ten d s   its   ap p licatio n s   to   wid r an g o f   ar ea s ,   in clu d in g   o b ject  d etec tio n ,   m e d ical  im ag in g ,   v id eo   an aly s is ,   s p ee ch   r ec o g n itio n ,   n atu r al  lan g u ag e   p r o ce s s in g ,   an d   b ey o n d .   I n   r ec en tim e,   f o r   th f ield   o f   co m p u ter   v is io n ,   m an y   p r etr a in ed   m o d els:   Alex Net  [ 5 ] ,   V GG1 6   [ 6 ] ,   VGG1 9   [ 6 ] ,   R esn et5 0   [ 7 ] ,   a n d   Go o g leNe [ 8 ] .   a r a v ailab l e ,   wh ich   ar e   ac tu ally   tr ain ed   o n   v er y   lar g e   im a g d atasets   to   lear n   th d i v er s ity .   T h ese  m o d els  o f ten   c o n tain   lar g a n d   d iv er s s et  o f   tr ain ab le  p ar am ete r s ,   wh ich   ca n   b u tili ze d   f o r   f e atu r ex tr ac tio n   f r o m   s p ec i f ic  im ag d ataset  b y   elim in a tin g   th f in al  f u lly   co n n ec ted   la y er ( s ) .   C NN  lear n s   th s p a tial  in f o r m atio n   f r o m   in p u im ag e   o r   d ata  with   th h elp   o f   lay er ed   co n v o l u tio n al  an d   p o o lin g   ar c h itectu r wh ich   th en   f i n ally   g ets  co n n ec ted   to   th d en s lay er   f o r   th en d   p o i n class if icatio n .   T h d en s s ec tio n   m ay   co n s is o f   o n o r   m o r f u lly   co n n ec ted   h id d en   u n its   p r ec e d in g   th e   f in al   o u tp u co m p o n en t.  T h is   o u tp u co m p o n en co n tain s   n eu r o n s   co r r esp o n d in g   to   t h n u m b er   o f   class es  in   th e   d ataset,   en ab lin g   class if icatio n .   T h e r ar m an y   ac tiv ati o n   f u n ctio n s ,   p ar a m eter s ,   h y p er p ar am eter s   an d   m ec h an is m s   av aila b le  to   h an d le  th u n d er f itti n g   o r   o v er f itti n g   o f   th m o d el  an d   m ak it  m o r g en er alis e d   to war d s   th test   d ataset.   T o   f u r th er   en h an ce   th in ter p r etab ilit y   o f   th p r o p o s ed   C NN  m o d el  th r o u g h   ex p lain ab le  AI ,   class   ac tiv atio n   m ap p in g   ( C AM )   [ 9 ]   was  em p lo y ed .   T h i s   m eth o d   en ab les  v is u aliza tio n   o f   th e   r eg io n s   with in   r etin al   OC T   im ag es  th at   co n tr ib u te   m o s s ig n if ican tly   to   class if icatio n   o u tco m es.   B y   g en er atin g   C AM s   at  d if f er e n co n v o l u tio n al  lay e r s ,   th e   f ea tu r lear n in g   p r o ce s s   o f   th e   m o d el  ca n   b a n aly ze d   in   clin ically   m ea n in g f u l m a n n er .   T h is   p ap er   is   d iv id ed   in t o   f iv e   s ec tio n s .   Sectio n   2   co v er s   th e   R elate d   W o r k .   T h Pro p o s ed   Ap p r o ac h   is   co v er ed   in   s ec tio n   3 .   Sectio n   4   co n tain s   E x p er im en tal  Setu p   an d   R esu lts   an d   f in ally   th last   s ec tio n   co v er s   th C o n clu s io n   an d   F u tu r W o r k .       2.   R E L AT E WO RK   Me d ical  im ag p r o ce s s in g   h as  b ec o m a   v er y   g o o d   s u g g esti v s y s tem   in   r ec en t   er a   d u t o   its   ca p ac ity   to   g en er ate  m o r ac c u r ate  an d   less   er r o r   p r u n r es u lts .   Ov er   tim e,   v ar iety   o f   tr ad itio n al  as  well  a s   cu ttin g - ed g e   m eth o d s   h av b e en   ap p lied   f o r   t h class if icatio n   o f   r eti n al  OC T   im ag es.   Srin iv asan   et  a l.   [ 1 0 ]   a p p lie d   im ag d en o is in g ,   r etin al  c u r v atu r c o r r ec tio n ,   an d   r e g i o n - f o c u s ed   cr o p p in g   b ef o r ex tr ac tin g   f e atu r v ec to r s   u s in g   HOG   d escr ip to r s   [ 2 ]   f o r   r etin al  OC T   im ag es.  E ac h   b lo c k s   d escr ip to r   v ec to r   n o r m alize d   as  with   a   s m all   co n s tan t.  T h v alu es  o f   th v ec to r s   wer ca p p ed   an d   r en o r m alize d .   T h f in al  f ea tu r v ec to r   co m p r is ed   n o r m alize d   h is to g r am s   f r o m   all  th b lo ck s .   Fo r   m u lti  class   class if icatio n ,   th ey   h av u s ed   S VM   [ 4 ]   class if ier   in   o n v s   o n m eth o d .   I co n s is ts   o f   s u ch   th r ee   lin ea r   SVMs  as  th d ataset  co n tain s   th r ee   class es:  AM D,   DM E   an d   No r m al.   T h r etin al  im ag d ataset  f o r   th s aid   p u r p o s e   was c r ea ted   lo ca lly   b y   ta k in g   t h im ag es o f   v ar io u s   p atien ts   with   r etin al  d is o r d er s .   L iu   et  a l.   [ 1 1 ]   p r o p o s ed   an o th er   class ical  m ac h in lear n in g   m eth o d   to   d iag n o s m ac u lar   p ath o lo g ies  in   r etin al  OC T   im ag es.  T h ey   u s ed   im ag alig n m en a n d   co n s tr u ctio n   o f   g l o b al  an d   lo ca f ea tu r es  o f   t h e   im ag es.  T h g lo b al  d escr ip to r   u tili ze s   m u ltis ca le  s p atial  p y r am id   [ 1 2 ] ,   wh ile  t h lo ca d e s cr ip to r   em p lo y s   PC A - b ased   r ed u ce d   L B P   h is to g r am   [ 1 ] .   T h ey   r ec o r d ed   g o o d   ac cu r ac y   with   th h elp   o f   SVM   an d   lo ca lly   cr ea ted   d ataset  f o r   a n o m alies:  MH ,   m ac u lar   ed em a   ( ME )   a n d   AM D.   Als aih   et  a l.   [ 1 3 ] ,   d ev el o p ed   y et  an o th er   co n v en ti o n al  ap p r o ac h   u s in g   f ea tu r ex tr ac tio n   t ec h n iq u es:  HOG  [ 2 ]   an d   L B [ 1 ] .   T o   r ed u ce   th d im en s io n ality   o f   t h f ea tu r v ec to r ,   p r in cip al  c o m p o n en an aly s is   ( PC A)   was a p p lied   an d   af ter   t h at  SVM  [ 4 ]   was a p p lied   f o r   e n d   class if icatio n   o n   lo ca d ataset.   On   th o th er   s id e,   m a n y   cu ttin g - ed g e   tech n i q u es  h a v b ee n   im p lem en ted   to   class if y   t h r et in al  OC T   im ag es.  Hu an g   et  a l.   [ 1 4 ]   im p lem en ted   lay er - g u id e d   co n v o lu tio n al  n e u r al  n etwo r k   ( C NN) .   T h ey   p r o p o s ed   d if f er en n etwo r k s   to   ex tr ac t h in f o r m atio n   f r o m   th r etin al  lay er s   an d   th en   it  is   p r o v id ed   to   th f in al  d ee p   lear n in g   n etwo r k   to   class if y   th im ag es.  B y   co n ce n tr atin g   o n   th r etin al  lay er - s p ec if ic   in f o r m atio n   with   th e   h elp   o f   s o m tr a n s f er   lear n in g   ap p r o ac h ,   th ey   ac h iev e d   b e tter   ac cu r ac y   o n   OC T 2 0 1 7   [ 1 5 ]   an d   HUCM  [ 1 4 ]   r etin al  im ag d atasets   with   f o u r   class es:  C NV,   DM E ,   DR U S E N ,   an d   n o r m al.   An o th er   a p p r o ac h   with   d e ep   l ea r n in g   was  im p lem e n ted   b y   Kim   an d   T r a n   [ 1 6 ] ,   wh ich   p r o p o s es  th im p lem en tatio n   o f   two   b in ar y   m o d els.  B ef o r a p p ly i n g   th e   ac tu al  class if icatio n ,   th ey   p er f o r m ed   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   1 Ma r ch   20 26 4 1 4 - 4 2 7   416   p r ep r o ce s s in g ,   ar ea   o f   in ter est  s eg m en tatio n   u s in g   U - n et ,   an d   r o tatio n   v ia  h is to g r am   o r ien t atio n   to   ex tr ac th e   d ee p   in f o r m atio n   f r o m   t h im ag es  o f   OC T 2 0 1 7   [ 1 5 ]   d ataset.   T h ey   ac h iev e d   b etter   ac cu r a cy   co m p ar ed   to   th e   ap p r o ac h   d er i v ed   [ 1 4 ] .   Diao   et  a l.   [ 1 7 ]   p r o p o s ed   d e ep   lear n in g   m o d els  to   class if y   AM f r o m   r etin al  OC T   i m ag es.  T h is   ap p r o ac h   en co m p ass es  two   n o v el  m o d els:   C M - C NN  an d   C AM - Un et.   C M - C NN  im p r o v es  th class if icatio n   p r o ce s s   b y   p er f o r m in g   s eg m e n tatio n   v ia   s o m m ea ns ,   an d   C AM - UNe en h an ce s   th s eg m en tatio n   task   b y   in teg r atin g   class   ac tiv atio n   m a p s .   T h ap p r o ac h   ac h iev ed   g o o d   ac cu r ac y   f o r   th tar g eted   w o r k .   Hass an   et  a l.   [ 1 8 ]   im p lem e n ted   b len d e d   a p p r o ac h   o f   d ee p   lear n in g   an d   class ical  m ac h in lear n in g   to   p er f o r m   au to m ate d   class if icatio n   o f   r etin al  OC T   im ag es  u s in g   OC T 2 0 1 7   [ 1 5 ]   d ata s et.   T h en h an ce d   o p tical  co h er e n ce   to m o g r a p h y   ( E OC T )   m o d el   p r esen ted   in   t h is   s tu d y   d em o n s tr ates  s ig n i f ican ad v a n ce m en t   b y   co m b i n in g   d ee p   lear n in g   ( R esNet - 5 0   [ 7 ] )   with   m ac h in e   lear n in g   ( R an d o m   Fo r est)  an d   o p tim izin g   with   d u al  SGD  an d   Ad am   o p tim ize r s .   T h is   m o d el  ac h ie v es st ate - of - th e - a r t a cc u r ac y .   Pau l   et  a l.   [ 1 9 ] ,   th r esear c h er s   in tr o d u ce d   m o d el  ca lled   OC T x   to   class if y   r etin al  OC T   im ag es  in to   f o u r   ca teg o r ies:   d iab etic  m ac u lar   ed e m (D ME ) ,   c h o r o id al   n eo v ascu lar izatio n   ( C NV) ,   Dr u s en ,   an d   N o r m al  R etin a.   T h eir   ap p r o ac h   was  an   en h an ce d   en s em b le  m o d el  wh ich   is   co m b in in g   m u l tip le  d ee p   lear n in g   tech n iq u es  to   im p r o v class if icatio n   ac cu r ac y .   H o wev er ,   s in ce   th m o d el   was  d ev elo p ed   an d   ev alu ated   in   a   s p ec if ic  o r   lim ited   d ataset,   it s   p er f o r m an ce   m ay   n o b ef f ec tiv ely   ca r r ied   o v er   to   r ea l - w o r ld   clin ical  s ettin g s .   T h is   lim itatio n   in   g en er aliza ti o n   co u l d   af f ec t its   d ep e n d ab ili ty   wh en   u s ed   o n   d iv er s d atasets .   Yan g   et  a l.   [ 2 0 ] ,   r esear ch er s   b u ilt  C NN - b ased   m o d el  to   class if y   ag e - r elate d   m ac u lar   d e g en er atio ( AM D) ,   DM E ,   an d   No r m al  R etin u s in g   an   O C T   d ataset.   B y   in co r p o r atin g   p r e - tr ain ed   I m ag eNe weig h ts ,   th ey   s ig n if ican tly   im p r o v ed   th m o d el’ s   ac cu r ac y   s ig n if i ca n tly   f r o m   6 8 . 1 7 to   9 2 . 8 9 %.  T h eir   m eth o d   u tili ze d   an   en s em b le  o f   th r ee   d is tin ct  C N m o d els,  ea ch   e n h an ce d   with   p r e - tr ai n ed   weig h ts   an d   f in e - tu n e d   p ar am eter s ,   en s u r in g   m o r p r e cise c lass if icatio n   o f   r etin al  im ag es in to   th eir   r esp ec tiv ca te g o r ies.   Stan o jev i   et  a l.   [ 2 1 ] ,   th e   r esear ch er s   p r o p o s ed   d ee p   lear n in g - b ased   class if icatio n   o f   r etin al  d is ea s es   u s in g   OC T   im ag es.  I ev alu at es  C NN  ar ch itectu r es  wh ich   in clu d es  Alex Net,   VGG,   I n ce p tio n ,   an d   R esNet.   T h I n ce p tio n 1   m o d el   th at  tr a in ed   with   R MSp r o p   o p tim izer ,   ac h iev e d   th e   h i g h est  ac cu r ac y   o f   9 5 . 5 3 %,  a lo n g   with   an   F1 - s co r o f   0 . 9 3 6 8 7 .   T h s tu d y   s h o ws  th at  I n ce p tio n - b ased   m o d els  o u tp er f o r m   o th er s   in   ac cu r ately   class if y in g   th im ag es.  T h c o m p r eh e n s iv co m p a r is io n   o f   th m ac h in lear n in g   b ased   an d   d ee p   lear n in g   b ased   ap p r o ac h es f o r   th OC T   im ag class if ic atio n   is   d ep icted   in   T ab le  1 .         T ab le  1 .   Su m m a r y   o f   r etin al  O C T   im ag class if icatio n   tech n iq u es   A u t h o r ( s)   M e t h o d   t y p e   D a t a s e t   A p p r o a c h e s   D r a w b a c k   Li u   e t   a l .   [ 11 ]   C l a s si c a l   M L   Lo c a l   S V M   w i t h   g l o b a l   +   l o c a l   f e a t u r e s   S e n s i t i v e   t o   f e a t u r e   e x t r a c t i o n   a n d   a l i g n me n t   e r r o r s   A l sai h   e t   a l .   [1 3 ]   C l a s si c a l   M L   Lo c a l   H O G ,   LB P ,   P C A   w i t h   S V M   D e p e n d e n c e   o n   ma n u a l   f e a t u r e   e n g i n e e r i n g   H u a n g   e t   a l .   [ 14 ]   D e e p   Le a r n i n g   O C T2 0 1 7 ,   H U C M   La y e r - g u i d e d   C N N   w i t h   t r a n sf e r   l e a r n i n g   R e q u i r e p r e - se g m e n t a t i o n   o f   r e t i n a l   l a y e r s   K i m   a n d   Tr a n   [ 16 ]   D e e p   Le a r n i n g   O C T2 0 1 7   U - N e t   c o m b i n e d   w i t h   i ma g e   r o t a t i o n   a n d   b i n a r y   c l a ss i f i e r s   H i g h   c o m p u t a t i o n a l   c o s t ,   c o m p l e x   p r e - p r o c e ssi n g   D i a o   e t   a l .   [ 17 ]   D e e p   Le a r n i n g   N o t   s p e c i f i e d   CM - C N N   a n d   C A M - U n e t   a r c h i t e c t u r e s   S e p a r a t e   m o d e l s   f o r   s e g m e n t a t i o n   a n d   c l a ss i f i c a t i o n   H a ssan   e t   a l .   [ 18 ]   H y b r i d   ( D L   +   M L)   O C T2 0 1 7   R e sN e t - 5 0   f e a t u r e s   +   R a n d o m   F o r e st   ( EO C T   a p p r o a c h   C o m p l e x   h y b r i d   f r a m e w o r k ,   h i g h e r   t r a i n i n g   c o m p l e x i t y   P a u l   e t   a l .   [1 9 ]   En se mb l e   D L   O C Tx ,   O C T2 0 1 7   ( l i mi t e d )   M u l t i p l e   D m o d e l s;   g o o d   b u t   l i m i t e d   g e n e r a l i z a t i o n   Li mi t e d   g e n e r a l i z a - t i o n   d u e   t o   smal l   d a t a se t   Y a n g   e t   a l .   [ 20 ]   C N N   En se mb l e   O C T2 0 1 7   A c c u r a c y   b o o st i n g   t h r o u g h   e n s e mb l e   l e a r n i n g   H i g h   m e mo r y   a n d   c o m p u t a t i o n a l   re - q u i r e m e n t s   S t a n o j e v i ć   e t   a l .   [ 21 ]   D e e p   Le a r n i n g   O C T2 0 1 7   I n c e p t i o n 1   m o d e l   p e r f o r m e d   b e s t   a m o n g   t e st e d   mo d e l s   C o m p u t a t i o n a l l y   i n t e n si v e ,   l e ss  su i t e d   f o r   r e a l - t i me  d e p l o y me n t       W e   p r o p o s e d   a   l i g h t we i g h t   C N N   m o d e l   d e s i g n e d   t o   b a l a n ce   d i a g n o s t i c   a c c u r ac y   w i t h   c o m p u t a t i o n al  e f f i c i e n c y   i n   r e t i n a l   O C T   cl a s s i f i c at i o n .   U n l i k e   t r a d i t i o n a l   m e t h o d s   t h a t   r e l y   o n   m a n u a l   f e a t u r e   e x t r a c t i o n ,   o u r   e n d - to - e n d   t r a i n a b l e   m o d e l   l e a r n s   i m p o r t a n t   p a t t e r n s   d i r e c tl y   f r o m   r a w   i m a g e s ,   r e d u c i n g   h u m a n   b i a s .   T h e   a r c h i t e c t u r e   u s es   j u s t   s i x   l a y e r s   a n d   i n c o r p o r a t e s   h y b r i d   p o o l i n g - m a x   p o o l i n g   t o   c a p t u r e   k e y   f e a t u r e s   a n d   a v e r a g e   p o o l i n g   t o   r e t ai n   s p ati a l   d e t ai ls - r e s u lt i n g   i n   a   c o m p a c t   y e t   p o we r f u l   m o d e l .   T o   im p r o v e   t r a i n i n g ,   w e   a p p l i e d   e x p o n e n t i a l   l e a r n i n g   r at e   d e c a y ,   w h i c h   a l l o ws   f as t e r   co n v e r g e n c e   a n d   f i n e r   t u n i n g ,   u n l i k e   f i x e d   l e a r n i n g   r a t e s .   Da t a   a u g m e n t a ti o n   f u r t h e r   e n h a n c e s   m o d e l   p e r f o r m a n c e   b y   a d d r e s s i n g   c l as s   i m b a l a n c e   a n d   r e d u c i n g   o v e r f i t t i n g .   W i t h o u t   r e l y i n g   o n   c o m p l e x   p r e p r o c e s s i n g   o r   h e a v y   t r a n s f e r   l e a r n i n g ,   o u r   a p p r o a c h   o f f e r s   s t r o ng  g e n e r a l i z a ti o n   a c r o s s   v a r i e d   i m a g i n g   c o n d i t i o n s .   T h is   m a k es   i w e l l - s u i t e d   f o r   p r a c ti c a l   cl i n i ca l   u s e ,   es p e c ia l l y   in   l o w - r e s o u r c e   s e t ti n g s   o r   m o b i le   d i a g n o s t i c   t o o l s ,   w h e r e   s p e e d ,   e f f i c i e n c y ,   a n d   a c c u r a c y   a r e   es s e n t i a l .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Lig h tw eig h t d ee p   lea r n in g   a p p r o a ch   fo r   r etin a l O C T ima g cla s s ifica tio n :   A   C N N   w ith     ( P a r th   R .   Da ve )   417   3.   P RO P O SE WO RK   T h p r o p o s ed   a p p r o ac h   e x p l o r es  d ata  au g m en tatio n ,   ex p o n en tial  lear n in g   r ate  d ec ay   an d   C NN  tech n iq u es.  T h u s o f   ex p o n e n tial  lear n in g   r ate  d ec ay   h elp s   in   m ak in g   th lear n in g   f aster   in   th in itial  s tag e s   wh ile  in   th later   s tag es   h elp s   to   g et  n ea r   m in im b y   tak in g   s m all  s tep s   o r   ju m p s .   I m ag ex p an s io n   tech n iq u es  allo s in g le  im a g to   b e   r ep r esen ted   in   v ar io u s   f o r m s   b y   m o d if y in g   attr ib u tes  lik o r ie n tatio n ,   s h ea r   r an g e,   a n d   z o o m   r a t i o .   I t   h e l p s   t o   g e t   g r e a t e r   d e t a il s   f o r   t h e   t r a i n i n g   p u r p o s e   a s   t h e   t r ai n i n g   d a t as e t   g e t s   e v o l v e d   b y   i t .   T h au g m en tatio n   m ay   also   h elp   to   id en tify   an d   d if f er en tiate  s o m o v er lap p in g   f ea tu r es  o f   th e   im ag es  o f   d if f er e n class es;  p o ten tially   in cr ea s in g   th e   ac cu r a cy   o f   th m o d el.   T h e x p an d e d   d ataset  is   f ed   i n to   th C NN  f o r   tr ain in g ,   allo win g   it  to   ca p tu r f in e - tu n ed   im a g f ea tu r es  th r o u g h   its   co n v o l u tio n al  lay er s .   T h e   f in al  s tag o f   t h m o d el  i n clu d es  d e n s lay er   co n tain in g   1 , 0 2 4   n e u r o n s ,   wh ich   f u n ctio n s   as  h id d en   u n it,  wh ich   is   u ltima tely   lin k ed   to   4   o u tp u n e u r o n s   co r r esp o n d in g   to   th f o u r   d is tin ct  class e s   in   th OC T 2 0 1 7   [ 1 5 ]   d ataset.   T h co m p lete  wo r k f lo o f   th p r o p o s ed   r etin al  OC T   class if icatio n   m o d el  is   o u tlin ed   in   Alg o r ith m   1 .   d etailed   in ter p r etatio n   o f   e ac h   s tep   o f   Alg o r ith m   1   is   ex p lain ed   in   t h s u b s eq u e n s ec tio n s   to   e n s u r t h e   co m p lete  an d   clea r   u n d er s tan d in g   o f   o u r   m eth o d o lo g y .     Alg o r ith m   1 : Pr o p o s ed   C NN  m o d el  f o r   r etin al  OC T   class if icatio n   Require:   OCT2017 dataset with four retinal classes   Ensure:   Classified disease label   Step 1: Data Preprocessing     Resize  images to 200 × 200, normalize pixel values     Step 2: Data Augmentation       Perform shear, zoom, and horizontal flip transformations     Step 3: CNN Model Training     Initialize convolutional layers with hybrid pooling     Use ReLU activation and dropout to prevent over   fitting     Optimize model using Adam with exponential learning rate decay     Step 4: Model Evaluation     Test on unseen images and compute accuracy, confusion matrix     Generate ROC curves for performance validation   Step 5: Deployment     Save lightweight model for  real - time clinical usage     3 . 1 .     Da t a   prepa ra t i o n   T h OC T 2 0 1 7   d ataset  [ 1 5 ]   c o n s is ts   o f   4   d if f er en class es:   C NV,   DM E ,   Dr u s en   an d   No r m al.   T h e   tr ain in g   d ataset  co n tain s   8 3 , 4 8 4   im ag es  d iv id ed   s u ch   t h at  C NV  co n tain s   3 7 , 2 0 5   im a g es,  DM E   h as  1 1 , 3 4 8 ,   Dr u s en   h as  8 , 6 1 6   an d   f in ally   No r m al  co n tain s   2 6 , 3 1 5   im ag es.  T h im ag es  in   th tr ain in g   d ataset  ar h av in g   v ar y in g   p i x el  d im e n s io n ality   a n d   also   co n tain   s o m e   n o is e   as we ll.  T h DPI   ( d o ts   p er   in c h )   o f   all   th im a g es  is   9 6 .   On   t h o th er   h an d ,   th te s d ataset  co n tain s   a   to tal  o f   9 6 8   im a g es,  2 4 2   im ag es  ea ch   p er   class .   Fo r   th e   v alid atio n   p u r p o s e,   to tal  o f   3 2   im ag es,  8   e ac h   p er   class   i s   g iv en .   T h Fig u r e   1   r ep r esen ts   th s am p le  im ag es   f o r   ea ch   class   in   th d ataset.           Fig u r 1 .   Sam p le  OC T   im ag es   f r o m   OC T 2 0 1 7   d ataset       3 . 2 .     Da t a   a ug m ent a t io n   Data   au g m en tatio n   is   tec h n iq u th r o u g h   wh ic h   n ew   im a g es  ca n   b g e n er ated   b y   ap p l y in g   s o m e   attr ib u tes  to   th tr ain i n g   d ataset  im ag es.  T h o v er lap p in g   f e atu r es  o f   d if f er en t   class es  m u s b lear n b y   th e   C NN  m o d el  an d   th at  ca n   b e   e n h an ce d   u p   to   s o m lev el   b y   th d ata  a u g m e n tatio n   m ec h a n is m   as  it  p r o v id es  m o r in f o r m atio n   in   d if f er e n way s .   T h er ef o r e,   t h d ata  a u g m en tatio n   is   ap p lied   to   all  t h im ag es  in to   t h e   tr ain in g   d ataset.   As  m en tio n ed   b y   Dav an d   Pan d y a   [ 2 2 ] ,   d ata  au g m en tatio n   ca n   lead   to   im p r o v ed   ac cu r ac y   o f   th m o d el.   T h attr ib u tes  wh ich   ar u s ed   f o r   d ata  au g m en tatio n   in   th p r o p o s ed   ap p r o ac h   ar d escr ib ed   in   T ab le  2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   1 Ma r ch   20 26 4 1 4 - 4 2 7   418   Me d ical  im ag es  o f ten   h a v class   im b alan ce s   an d   lim ited   v ar iatio n   in   o r ien tatio n ,   b r i g h tn ess ,   o r   s tr u ctu r e - f ac to r s   cr itical  f o r   ac cu r ate  class if icatio n .   T ec h n iq u es  lik s h ea r in g ,   zo o m in g ,   an d   f lip p in g   in tr o d u ce   s y n t h etic  d iv er s ity ,   h elp in g   th m o d el  r ec o g n iz k ey   f ea tu r es,  esp ec ially   in   u n d er r e p r esen ted   class es   lik Dr u s en .   T h is   r ed u ce s   o v er f itti n g   an d   b o o s ts   th m o d el’ s   r o b u s tn ess   wh en   ap p lied   to   r ea l - wo r ld   clin ical  d ata.   Au g m en tatio n   en s u r es  th m o d el   lear n s   f r o m   b r o a d er   r an g e   o f   e x am p les,  im p r o v in g   its   r eliab ilit y   an d   d ia g n o s tic  p er f o r m an ce .       T ab le  2 .   Data   au g m en tatio n   attr ib u tes   A t t r i b u t e   n a me   A t t r i b u t e   v a l u e   r e sca l e   1 . / 2 5 5   sh e a r   r a n g e   0 . 3   z o o m ra n g e   0 . 3   h o r i z o n t a l   f l i p   Tr u e   Ta r g e t   S i z e   ( p x )   2 0 0 x 2 0 0       3. 3   E x po nentia lea rning   ra t deca y   L ea r n in g   r ate  is   cr u cial  h y p er - p ar am eter   i n   d ee p   lear n in g   o r   m ac h in lear n in g .   I h an d le s   h o f ast   o r   g r ad u al  lear n in g   h ap p en s   wh ile  tr ain in g .   I n   m ath em atica ter m s   it  d er iv es  th s ize  o f   th e   ju m p   o n   th er r o r   s u r f ac to   b e   tak en   to   r ea c h   u p   to   th e   m in im a.   T h er ca n   b tr ad o f f   if   we  p u th lea r n in g   r ate  s o   h ig h ;   lead in g   to   f ast  lear n in g   in   t h e   in itial  s tag es  wh ile  g r ea te r   o s cillatio n   in   later   o n   s tag es  g e n er atin g   c h an ce s   to   m is s   th ac tu al  m in im a.   On   t h o th er   h an d ,   if   we  p u th e   lear n in g   r ate   v er y   s m all  th en   v er y   g r ad u al  s tep s   wo u ld   b ca r r ied   o u t to war d s   m in im o n   t h er r o r   s u r f ac e;  i n cr ea s in g   th tim o f   lear n i n g   at  g r ea ter   s p ac e.               =              ×   (      ) (    /       )   ( 1 )     T o   co m b at  th is   s itu atio n ,   th e   p r o p o s ed   wo r k   h as  u s ed   ex p o n en tial  lear n in g   r ate   d ec ay   wh ich   u s es   lar g er   ju m p s   in   th i n itial  s et  o f   tr ain in g   an d   th e n   g r ad u ally   d ec r ea s in g   th e   s ize  o f   th ju m p   to war d s   th ac t u al  m in im a,   m ak in g   v er y   s tab le  u p d ates  in   later   s t ag es   o f   lear n in g .   T h m ath em atica in ter p o l atio n   o f   th s am is   g iv en   b y   ( 1 ) .   T h is   im p lem en ta tio n   u ltima tely   h elp s   in   f aster   lear n in g   in   in itial  s tag es  an d   av o id s   o v er s h o o tin g   an d   o s cillatio n s   ar o u n d   ac tu al  m in im o f   th e   er r o r   s u r f ac e.   T ab le  3   lis ts   th p ar a m eter s   u s ed   f o r   th e   ex p o n e n tial  d ec r ea s in   th le ar n in g   r ate.   B ased   o n   th ese  v a lu es  an d   ( 1 ) ,   T a b le  4   s h o ws  h o th lear n i n g   r ate   ch an g es st ep   b y   s tep   d u r in g   tr ain in g .       T ab le  3 .   Par am eter   v alu es f o r   ex p o n e n tial le ar n in g   r ate  d ec ay   P a r a me t e r   n a m e   P a r a me t e r   v a l u e   i n i t i a l   l e a r n i n g   r a t e   0 . 0 0 1   d e c a y   st e p s   1 0 0 0 0   d e c a y   r a t e   0 . 9     T ab le  4 .   Up d ates in   lear n in g   r ate  u s in g   p ar am eter s   o f   T ab le  3   S t e p s   Eq u a t i o n   N e w   V a l u e   o f   LR   1 0 0 0 0   LR = 0 . 0 0 1 x ( 0 . 9 ) 1   0 . 0 0 0 9   2 0 0 0 0   LR = 0 . 0 0 1 x ( 0 . 9 ) 2   0 . 0 0 0 8 1   3 0 0 0 0   LR = 0 . 0 0 1 x ( 0 . 9 ) 3   0 . 0 0 0 7 2 9         3. 4   Co nv o lutio na neura l net wo rk   s t ruct ure   T h s tr u ctu r o f   th C NN  m o d el  u s ed   in   o u r   ap p r o ac h   is   d escr ib ed   in   Fig u r e   2 .   T h m o d el  co m p r is es   th co m b in atio n   o f   m ax   an d   av er ag p o o lin g   b y   wh ic h   r o b u s f ea tu r es  o f   th im ag es  ca n   b ex tr ac ted .   T h e   f ir s co n v o lu tio n al  lay er   ap p li es  3 2   f ilter s   o f   3 ×3   s ize  o n   th e   o r ig in al  in p u im a g o f   s ize  2 0 0 ×2 0 0   p ix els  with   r ec tifie d   lin ea r   u n it  ( R eL U)   [ 2 3 ]   as  a n   ac tiv atio n   f u n ctio n .   T h f ir s lay er   u s es  th m ax   p o o lin g   o f   s ize  2 × 2   to   g r ab   th m a x im u m   p ix el  v a lu an d   to   r e d u ce   th f ea t u r m ap   s ize.   T h s ec o n d   lay e r   co n s is ts   o f   1 6   f ilter s   o f   s ize  3 ×3   a n d   a v er ag e   p o o lin g   o f   s ize  2 × 2 .   Av er ag e   p o o lin g   g ath er s   th e   av er a g p ix el  v al u o f   its   s u r r o u n d in g   to   n o m is s   d etailed   in f o r m ati o n .   T h ess en ce   o f   m ax im u m   an d   av er ag p o o lin g   is   r ep r e s en ted   in   Fig u r e   2 .   T h s ec o n d ,   th ir d ,   f o u r th ,   a n d   f if th   lay er s   co n tain   3 2 ,   6 4 ,   6 4 ,   an d   1 2 8   k er n els,  r esp ec tiv e ly ,   ea ch   with   a   s ize  o f   3 ×3 .   T h ese  ar f o llo wed   b y   p o o li n g   o p er atio n s   in   t h o r d er av er a g ( 2 ×2 ) ,   m ax   ( 2 × 2 ) ,   m ax   ( 2 ×2 ) ,   an d   av er ag ( 2 ×2 ) .       ( ) =    (  )   1 , 1     ( 2 )       ( ) = 1 2  = 1 = 1     ( 3 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Lig h tw eig h t d ee p   lea r n in g   a p p r o a ch   fo r   r etin a l O C T ima g cla s s ifica tio n :   A   C N N   w ith     ( P a r th   R .   Da ve )   419   T h m ath em atica in ter p o latio n   f o r   th m a x im u m   an d   av er a g p o o lin g   is   d escr ib ed   b y   ( 2 )   an d   ( 3 ) ,   r esp ec tiv ely ,   wh er x ij   r ep r ese n ts   th v alu es  o f   th in p u f ea tu r m ap   with in   th p o o lin g   win d o an d   is   th e   s ize  o f   th p o o lin g   win d o w.   H y b r id   p o o lin g   b alan ce s   s p ec if i city   ( b y   m a x   p o o lin g )   an d   r o b u s tn ess   ( b y   av er ag e   p o o lin g ) ,   en s u r i n g   th at  th m o d el  ca p tu r es  b o th   d is cr im in ativ f ea tu r es  an d   s tr u ctu r a co h er en ce .   I n   th e   p r o p o s ed   C NN  m o d el,   co m b in atio n   o f   h y b r i d   p o o lin g   is   u tili ze d   to   en h an ce   p er f o r m a n ce .   Ma th em ati ca lly ,   h y b r id   p o o lin g   co m b i n es  m ax - p o o lin g   an d   av e r ag e - p o o lin g   o u tp u ts   as  ( 4 ) ,   wh er α [ 0 , 1 ]   co n tr o ls   th tr ad e - o f f   b etwe en   f ea tu r s h ar p n ess   an d   s m o o th in g .   T h is   m ec h an is m   p r eser v es  s alien f ea tu r es   wh ile  m ain tain in g   g lo b al  co n tex t,  o f f er in g   m o r b alan ce d   f ea t u r r e p r esen tatio n   th an   in d iv id u al  p o o lin g   tec h n iq u es.       ( )   =     ×     ( )   +   ( 1     )   ×     ( )     ( 4 )     T h C NN  s tr u ctu r u tili ze s   t h R eL [ 2 3 ]   ac tiv atio n   f u n c tio n   ac r o s s   all  f ea tu r ex t r ac tio n   lay er s .   R eL [ 2 3 ]   h as  th p r o p e r ties   o f   n o b ein g   s atu r ated   o v e r   th in p u d ata  p o in ts   an d   is   ac tiv ated   o n   p o s itiv e   s et  o f   in p u ts   o r   n eu r o n s .   I n   ad d itio n   to   t h ese  p r o p er ties ,   R eL [ 2 3 ]   also   h elp s   s o lv e   th p r o b lem   o f   v a n is h in g   g r ad ien ts   at  lar g e.   T h f u n ctio n   c an   b e   d escr ib ed   b y   ( 5 ) ,   w h er x   d en o tes  in p u d ata  t o   th e   f u n ctio n .   R esear ch   an d   r esu lts   h av s h o w n   th at  R eL g en er ates f aster   o u t p u t in   lar g an d   co m p le x   n etwo r k s .           Fig u r 2 .   I ll u s tr atio n   o f   2 x 2   m ax   an d   a v er ag p o o lin g       T h s ec o n d ,   th ir d ,   f o u r t h ,   an d   f if th   lay er s   co n tain   3 2 ,   6 4 ,   6 4 ,   an d   1 2 8   k e r n els,  r esp ec t iv ely ,   ea c h   with   s ize  o f   3 x 3 .   T h ese  ar e   f o llo wed   b y   p o o lin g   o p e r atio n s   in   th o r d e r av er a g ( 2 x 2 ) ,   m a x   ( 2 x 2 ) ,   m ax   ( 2 x 2 ) ,   an d   av er a g ( 2 x 2 ) .   T h C NN  s tr u ctu r u tili ze s   th R eL [ 2 2 ]   ac t iv atio n   f u n ctio n   ac r o s s   all  f ea tu r ex tr ac tio n   lay er s .   R elu   [ 2 2 ]   h as  th p r o p er ties   o f   n o b ei n g   s atu r ated   o v e r   th in p u d ata  p o in ts   an d   is   ac tiv ated   o n   p o s itiv s et  o f   in p u ts   o r   n eu r o n s .   I n   a d d itio n   t o   th ese  p r o p er ties ,   R elu   [ 2 2 ]   a ls o   h elp s   s o lv th e   p r o b lem   o f   v a n is h in g   g r ad ien t s   at  lar g e.   T h e   f u n ctio n   ca n   b d escr ib ed   b y   ( 2 ) ,   w h er x   d en o tes  in p u t   d ata   to   th f u n ctio n .   R esear ch   a n d   r esu lts   h av s h o wn   th at   R elu   g en er ates  f aster   o u tp u in   l ar g an d   co m p lex   n etwo r k s .     ( )   =    ( , 0 )   ( 5 )     T h last   p o o lin g   lay er   in   t h e   s tr u ctu r is   an   av er ag p o o l in g   o f   2 × 2   o n   1 2 8   f ilter s   o f   th 3 ×3   co n v o l u tio n al  lay er .   He n ce ,   p er f o r m in g   th f latten in g   o f   th f ea tu r es  at  th is   s tag wo u ld   h av 1 ×1 ×1 2 8   f ea tu r es  wh ich   ar c o n n ec te d   to   th e   1 0 2 4   d en s n eu r o n s .   T h is   d en s u n it  ac ts   as  h id d en   u n it  p lace d   ju s b ef o r e   th f i n al  o u tp u s tag e.   T o   h elp   p r ev en t   o v e r f itti n g   an d   im p r o v e   th m o d el’ s   a b ilit y   to   g e n er alize ,   a   d r o p o u r ate  o f   0 . 3   is   ap p lied .   Fin ally ,   th o u tp u lay er   in cl u d es  4   n eu r o n s ,   ea ch   co r r esp o n d in g   to   o n o f   th e   f o u r   class es  in   th d ataset.   T o   class if y   th im ag es  in to   p r o p e r   class es,  th last   lay er   u s es  th s o f tm ax   f u n ctio n ,   wh ich   wo r k s   o n   p r o b ab ilit y   d is tr ib u tio n .   C ateg o r ical - cr o s s - en tr o p y   is   u s ed   with   Ad am   o p tim izer   an d   ex p o n e n tial  lear n in g   r ate  d ec a y   to   illu s tr ate  m u lticlas s   clas s i f icatio n .   T h p r o p o s ed   C NN  ar ch itectu r ca n   b e   v is u alize d   b y   Fig u r e   3 .   ( ) =   ( ) ( ) = 1   ( 6 )     T h s o f tm ax   f u n ctio n   is   m ath em atica lly   r ep r esen ted   b y   ( 6 ) ,   with   it s   g r ap h i ca in ter p r etatio n   s h o wn   in   Fig u r e   4 T h is   f u n cti o n   s ca les  th o u tp u t   v alu es  b etwe en   0   an d   1 ,   en s u r in g   th at   th t o tal  s u m   o f   all  class   p r o b a b ilit ies  eq u als  1 .   I n   ( 6 ) ,   Z   r ep r esen ts   th in p u t   v ec to r   t o   th e   o u t p u la y er ,   an d   th e   in d ex   j   r ef er s   to   ea c h   o u tp u u n it,  wh er j =   1 ,   2 ,   . . . ,   K.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   1 Ma r ch   20 26 4 1 4 - 4 2 7   420       Fig u r 3 .   Pro p o s ed   C NN  ar ch i tectu r e           Fig u r 4 .   So f tm a x   o u tp u t a s   cl ass   p r o b ab ilit y   d is tr ib u tio n       4.   E XP E R I M E N T A L   SE T UP   AND  RE SUL T S   T h im p lem e n tatio n   was  ca r r ied   o u t   o n   lo ca s y s tem   eq u i p p ed   with   an   AM R y ze n   7   5 7 0 0 G   6 4 - b it  p r o ce s s o r ,   R ad eo n   Gr a p h i cs  at  3 . 8 0   GHz ,   an d   1 6 GB   o f   R AM .   T h p r o p o s ed   ap p r o ac h   was  d ev elo p ed   in   Py th o n ,   u tili zin g   lib r ar ies  s u ch   as  Ker as,  T en s o r Flo w,   s cik it - lear n ,   an d   Ma tp lo tlib .   T h ap p r o ac h   u s es  ca llb ac k   as  th e   ea r ly   s to p p in g   m ec h an is m   f o r   th C NN  tr ai n in g   b ased   o n   v al id atio n   u p d a te  lo s s   v alu es  an d   a   p atien ce   v alu k ep at  5 .   W s to r th b est  weig h ts   f o r   t h m o d el  th at  h as  b ee n   tr ain e d   o v er   1 1   ep o c h s .   As  m en tio n ed   in   th p r e v io u s   s e ctio n ,   to tal  o f   8 3 , 4 8 4   in p u t   in s tan ce s   wer u s ed   f o r   tr ai n in g ,   3 2   in s tan ce s   s er v ed   as  th v alid atio n   s et,   an d   9 6 8   in s tan ce s   wer allo ca ted   f o r   test in g .     4. 1   E v a lua t i o n o f   pro po s ed  a pp ro a ch   T h p r o p o s ed   d ee p   n eu r al  n et wo r k   ar c h itectu r was  ca r ef u lly   tr ain ed   an d   test ed   u s in g   t h OC T 2 0 1 7   im ag d ataset  to   en s u r r eliab le  an d   co m p r eh e n s iv ev alu a tio n   o f   its   p er f o r m an ce .   T r ai n in g   was  co n d u cted   o v er   1 1   e p o ch s ,   u tili zin g   an   ea r ly   s to p p in g   m ec h an is m   to   p r ev en o v er f itti n g   an d   o p ti m ize  g en er aliza tio n .   T h en tire   tr ain in g   p r o ce s s   to o k   a p p r o x im ately   1 7 0   m in u te s ,   wh ile  test in g   r e q u ir ed   ju s 1 2 1   m illi s ec o n d s ,   d em o n s tr atin g   t h ef f icien c y   o f   o u r   lig h tweig h a p p r o ac h .   B y   in co r p o r atin g   d ata  au g m en tatio n   a n d   an   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Lig h tw eig h t d ee p   lea r n in g   a p p r o a ch   fo r   r etin a l O C T ima g cla s s ifica tio n :   A   C N N   w ith     ( P a r th   R .   Da ve )   421   ex p o n e n tial  lear n in g   r ate   d e ca y   s tr ateg y ,   th m o d el  s u c ce s s f u lly   lear n ed   i n tr icate   r e tin al  p atter n s   wh ile   m ain tain in g   s tab ilit y   d u r i n g   tr ain in g .   T h tr ain in g   a n d   v alid atio n   er r o r s   ch an g ed   o v er   1 1   ep o ch s   f o r   th p r o p o s ed   C NN  m o d el  is   d ep icted   b y   Fig u r 5 .   As th f ig u r illu s tr ates,  th tr ain in g   er r o r   co n s i s ten tly   g o es d o wn ,   wh ich   s u g g ests   th at  th m o d el  is   lear n in g   well   f r o m   th e   d ata.   T h is   s m o o th   an d   s tead y   tr en d   h ig h lig h ts   th e f f ec tiv en ess   o f   u s in g   ex p o n en tial   lear n in g   r ate  d ec ay   an d   d ata  a u g m en tatio n ,   b o th   o f   wh ich   h elp ed   th m o d el  t r ain   ef f icien t ly   an d   r eliab ly .   T h e   clo s m atch   b etwe en   th tr ain in g   an d   v alid atio n   cu r v es  s h o ws  th at  th m o d el  p er f o r m s   well  ev en   o n   u n s ee n   d ata,   d em o n s tr atin g   its   o v er all  r o b u s tn ess .   T h f o llo win g   eq u atio n s   r ep r esen co m m o n   m etr ics  s u ch   as  p r ec is io n ,   r ec all  an d   F1   s co r e,   u s ed   in   ev alu atio n   o f   class if ic atio n   m o d els:       =           +        ( 7 )       =           +        ( 8 )     1    = 2        +    ( 9)           Fig u r 5 .   Mo d el  er r o r   p r o g r ess io n   ac r o s s   ep o ch s   f o r   b o th   tr a in in g   an d   v alid atio n   s ets       T h co n f u s io n   m atr ix   s h o w n   in   Fig u r e   6   f u r th er   illu s tr ate s   th p r ec is io n   o f   th m o d el,   r ev ea lin g   m in im al  m is class if icat io n s   in   th f o u r   ca teg o r ies  o f   th r etin a:  C NV,   DM E ,   Dr u s en ,   an d   No r m al.   T h p r o f icien c y   o f   th e   m o d el   in   cl ass if y in g   Dr u s en   a n d   DM E ,   t wo   co n d itio n s   th at  o f ten   s h a r e   o v er la p p in g   v is u al  f ea tu r es,  is   p ar ticu lar ly   n o tab l e.   T h h ig h   p r ec is io n ,   r ec all,   an d   F1   s co r v alu es  d ep icted   in   T ab le  5   r ea f f ir m   th r eliab ilit y   o f   th m o d el.   I n   f ac t,   it  ac h iev ed   an   F1   s c o r o f   1 . 0 0   f o r   th No r m al  a n d   Dr u s en   class es,  in d icatin g   f lawless   class if icati o n   in   th o s ca s es.   Desp ite  class   im b alan ce ,   esp ec ially   with   Dr u s en   h av i n g   f ewe r   s am p les,  au g m en tatio n   tech n iq u es  wer ap p lied   u n if o r m ly   to   all  class es,   in cr ea s in g   s am p le  d iv er s ity .   E ac h   s am p le,   ( x ,   y ) ,   was  tr an s f o r m ed   in to   ( T ( x ) ,   y ) ,   wh er T   r ep r esen t s   r an d o m   tr an s f o r m atio n s   lik s h ea r in g   an d   f lip p in g .   T h is   led   to   im p r o v e d   Dr u s en   class   p er f o r m an ce   with   an   F 1 - s co r o f   0 . 9 9   an d   r ec all  o f   0 . 9 8 ,   h ig h lig h tin g   th au g m en tatio n s   r o le  in   ad d r ess in g   im b alan ce   an d   e n h an cin g   m o d el  g e n er aliza tio n .   T h ese  f ig u r es   an d   tab les  co r r esp o n d   to   th e   n u m er ical  lab els 0 ,   1 ,   2 ,   an d   3 ,   r ep r esen tin g   t h f o u r   class es: C NV,   DM E ,   Dr u s en ,   an d   No r m al,   r esp ec tiv ely .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   1 Ma r ch   20 26 4 1 4 - 4 2 7   422       Fig u r 6 .   C o n f u s io n   m atr i x   ev alu atio n   o n   p r o p o s ed   m o d el  f o r   th test   d ataset       T ab le  5 .   Per f o r m an ce   m etr ics o f   th p r o p o s ed   m o d el  o n   test   d ataset     P r e c i s i o n   R e c a l l   F1 - sc o r e   S u p p o r t   C l a s s           C N V   0 . 9 7   0 . 9 9   0 . 9 8   2 4 2   D M E   0 . 9 9   0 . 9 9   0 . 9 9   2 4 2   D r u sen   1 . 0 0   0 . 9 8   0 . 9 9   2 4 2   N o r mal   1 . 0 0   1 . 0 0   1 . 0 0   2 4 2   A c c u r a c y       0 . 9 9   9 6 8   M a c r o   A v g   0 . 9 9   0 . 9 9   0 . 9 9   9 6 8   W e i g h t e d   A v g   0 . 9 9   0 . 9 9   0 . 9 9   9 6 8       T o   f u r th er   v alid ate  its   r o b u s t n ess ,   th r ec eiv er   o p er atin g   c h ar ac ter is tic  ( R O C )   cu r v o f   th m o d el  s h o wn   in   Fig u r e   7   was  p lo tte d ,   r ev ea lin g   a n   AUC  clo s to   1 ,   wh ich   in d icate s   s tr o n g   p r e d ictiv ca p ac ity   an d   co n f id en ce   in   i ts   class if icatio n s .   C o m p ar ed   to   p r ev io u s   m eth o d s ,   in clu d in g   L a y er - Gu id e d   C NN,   B in ar y   C NN,   an d   E OC T   m o d els,  o u r   ap p r o ac h   co n s is ten tly   o u tp e r f o r m e d   th em   in   te r m s   o f   ac c u r ac y .   T h co m p a r is o n   o f   th ex is tin g   ap p r o ac h es with   o u r   p r o p o s ed   a p p r o ac h   is   s h o w n   in   T a b le  6 .   T h co m p a r ativ o v er v iew  o f   f o u r   p r o g r ess iv ely   r ef in ed   C NN  ar ch itectu r es  d ev elo p ed   f o r   r etin al  OC T   im ag class if icatio n   is   d ep icted   in   T ab le   7 .   T h in itial  m o d el  with   s am n u m b er   o f   c o n v o lu ti o n al  lay er s   d ep icted   b y   Fig u r e   4   ( M o d el   A)   u s es  m a x   p o o lin g   af ter   e ac h   co n v o lu tio n al  lay er ,   a   f ix ed   lear n in g   r ate  o f   0 . 0 0 1 ,   an d   was  tr ain ed   f o r   1 1   ep o ch s .   I g ain ed   a n   ac cu r ac y   o f   9 4 . 3 %,  b u s tr u g g le d   to   ac cu r ately   class if y   m in o r ity   class es  s u ch   as  Dr u s en .   I n   Mo d el  B ,   th ap p licatio n   o f   d ata  a u g m en tatio n   s ig n if i ca n tly   e n h an ce d   th e   m o d el’ s   ab ilit y   to   g en er alize   ac r o s s   v ar io u s   s am p les  th at  i m p r o v i n g   o v e r all  class   b alan ce   an d   in cr ea s in g   th ac cu r ac y   to   9 6 . 1 2 %.  Mo d el  C   in tr o d u ce d   h y b r id   p o o lin g   as   th p r o p o s ed   m o d el  ( a   co m b in atio n   o f   Ma x   an d   Av er ag p o o lin g ) ,   wh ich   allo wed   f o r   m o r ef f ec tiv r eten ti o n   o f   s p atial  an d   tex tu r al  d eta ils ,   th er eb y   g ain in g   th ac cu r ac y   to   9 7 . 3 %.  B u ild in g   o n   th ese  im p r o v em e n ts ,   th p r o p o s ed   M o d el  b r o u g h t o g eth er   all  p r e v io u s   en h an ce m e n ts   an d   in tr o d u ce d   an   ex p o n e n tial  lear n in g   r ate  d ec ay ,   wh ich   h el p ed   t h m o d el   lear n   m o r s tead ily   an d   co n v er g e   m o r e   s m o o th ly   d u r in g   tr ain in g   an d   f in ally   ac h iev in g   th b en ch m a r k   ac c u r ac y   o f   9 8 . 7 5 %.     4. 2 .     E x pla ina bil it y   a na ly s is   us ing   CA M   T o   g et  clea r er   p ictu r o f   h o o u r   C NN  “wo r k s ”,   C AM   [ 9 ]   is   im p o s ed   as  a n   ex p lain a b le  AI   to o l   ( XAI )   to   p ee k   i n s id its   lay er s .   C AM   tu r n s   ea ch   co n v o lu tio n al  lay er s   f ea tu r m a p s   in to   h ea tm ap s ,   s h o win g   ex ac tly   wh ich   p a r ts   o f   an   OC T   im ag e,   th m o d el  is   f o cu s in g   o n   at  th at  d ep th .   W h ile   co m p ar in g   C AM s   o u tp u t   f r o m   th f i r s t,  m id d le,   an d   d e ep e s lay er s ,   s m o o th   p r o g r e s s io n   is   s ee n ea r ly   o n   th e   n etwo r k   s p o ts   s im p l e   ed g es  an d   tex tu r es,  th en   it  h o m es  in   o n   th in d icativ s ig n s   o f   d is ea s e - lik f lu id   p o ck ets  o r   s tr u ctu r al  b r ea k s ,   b ef o r m ak in g   its   f in al  ca ll.    Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Lig h tw eig h t d ee p   lea r n in g   a p p r o a ch   fo r   r etin a l O C T ima g cla s s ifica tio n :   A   C N N   w ith     ( P a r th   R .   Da ve )   423       Fig u r e   7 .   R OC   cu r v f o r   th p r o p o s ed   a p p r o ac h       T ab le  6 .   C o m p a r is o n   with   ex i s tin g   ap p r o ac h es   Y e a r   R e f e r e n c e s   M e t h o d   D a t a s e t   A c c   2 0 1 9   D i a z   e t   a l .   [ 24 ]   C N N   O C T2 0 1 7   93   2 0 1 9   H u a n g   e t   a l .   [1 4 ]   La y e r G u i d e d   C N N   O C T2 0 1 7   8 8 . 4   2 0 2 0   S a r a i v a   e t   a l .   [ 25 ]   C N N   O C T2 0 1 7   9 3 . 3   2 0 2 1   K i m   a n d   Tr a n   [ 16 ]   B i n a r y   C N N   M o d e l   1   /   M o d e l   2   ( H e a v y   mo d e l s)   O C T2 0 1 7   9 8 . 1 / 9 8 . 7   2 0 2 3   H a ssan   e t   a l .   [ 1 8 ]   EO C M o d e l   O C T2 0 1 7   9 7 . 4 7   2 0 2 3   D i a o   e t   a l .   [ 17 ]   C N N   O C T2 0 1 7   9 6 . 9 3   2 0 2 3   O p o k u   e t   a l .   [ 26 ]   C a p su l e   n e t w o r k   w i t h   c o n t r a st   l i mi t e d   a d a p t i v e   h i s t o g r a m   e q u a l i z a t i o n   O C T2 0 1 7   9 7 . 7   2 0 2 4   S t a n o j e v i ´ c   e t   a l .   [ 21 ]   D e e p   C N N   O C T2 0 1 7   9 5 . 5 5   2 0 2 4   Y a n g   e t   a l .   [ 20 ]   En se mb l e   M o d e l   b a se d   o n   C N N ,   Ef f i c i e n t n e t   v 2   a n d   R e s n e t   O C T2 0 1 7   9 7 . 8 9   2 0 2 5   Pr o p o sed   a p p r o a c h   C N N   + D a t a   A u g m e n t a t i o n   +   E x p o n e n t i a l   L e a r n i n g   R a t e   D e c a y   mi x t u r e   o f   ma x   a n d   a v e r a g e   p o o l i n g   OC T 2 0 1 7   9 8 . 7 5       Ta b le  7 .   Ab latio n   s tu d y   o f   th p r o p o s ed   ap p r o ac h       C AM   p r o v id es  v is u al  in s ig h t s   in to   th r eg io n s   o f   th e   r eti n al  OC T   im ag es  th at  m o s s ig n if ican tly   co n tr ib u te   to   th e   class if icatio n   d ec is io n s   m a d b y   th C NN  m o d el.   T h is   v is u aliza tio n   h elp s   en s u r th at   th e   m o d el  is   f o cu s in g   o n   clin ically   m ea n in g f u r eg io n s ,   th u s   p r o m o tin g   tr a n s p ar en cy ,   tr u s t,  an d   p o ten tial  clin ical   ap p licab ilit y .   Ma th em atica lly ,   f o r   g i v en   class   c,   th C AM   h ea tm ap   M c ( x ,   y )   is   d ef in e d   b y   ( 1 0 ) .   M o d e l   D a t a   a u g me n t a t i o n   P o o l i n g   Le a r n i n g   r a t e   A c c   O b serv a t i o n   M o d e l   A   ( B a s e l i n e   C N N )   NO   M a x   P o o l i n g   F i x e d   LR   9 4 . 3 %   S i mp l e   C N N   w i t h   st a n d a r d   p o o l i n g   a n d   f i x e d   LR   sh o w l i m i t e d   l e a r n i n g ,   e s p e c i a l l y   o n   mi n o r i t y   c l a sses   l i k e   D r u s e n   M o d e l   B   Y e s   M a x   P o o l i n g   F i x e d   LR   9 6 . 1 2 %   A u g m e n t a t i o n   i mp r o v e g e n e r a l i z a t i o n   a n d   c l a ss   b a l a n c e ,   e s p e c i a l l y   f o r   u n d e r r e p r e s e n t e d   c l a sses.   M o d e l   C   Y e s   H y b r i d   P o o l i n g   ( M a x   +   A v g )   F i x e d   LR   9 7 . 3 %   A d d i t i o n   o f   h y b r i d   p o o l i n g   b o o st p e r f o r m a n c e   b y   b e t t e r   p r e ser v i n g   sp a t i a l   a n d   e d g e   d e t a i l s.   M o d e l   D   ( Pr o p o sed  M o d e l )   Y e s   Hy b r i d   Po o l i n g   ( M a x   + A v g )   E x p o n e n t i a l   LR   9 8 . 7 5 %   Fi n a l   mo d e l ;   e x p o n e n t i a l   L R   d e c a y   st a b i l i z e l e a r n i n g ,   l e a d i n g   t o   o p t i m a l   c o n v e r g e n c e   a n d   b e st   a c c u r a c y .   Evaluation Warning : The document was created with Spire.PDF for Python.