T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  24 ,   No .   2 A p r il   20 26 ,   p p .   663 ~ 675   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 24 i 2 . 27619          663     J o ur na l ho m ep a ge h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Dy na m ic  po o ling  using  av erag e - thr esho lding  t o  i m pr o v e i m a g cla ss ificatio n per f o r m a nce       P a j ri  Aprilio ,   T j o ng   Wa n Sen   M a s t e r   o f   S c i e n c e   i n   I n f o r mat i o n   T e c h n o l o g y F a c u l t y   o f   C o mp u t e r   S c i e n c e ,   P r e si d e n t   U n i v e r si t y ,   B e k a si ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   O ct   20 2025   R ev i s ed   J an   14 2 0 2 6   A cc ep ted   J an   3 0 2 0 2 6       P o o l in g   lay e rs  a r e   e ss e n ti a in   c o n v o l u ti o n a n e u ra n e tw o rk (CNN s)  f o r   re d u c in g   d a ta  siz e   w h il e   p re se rv in g   k e y   f e a tu re s.  T ra d it io n a m e th o d su c h   a M a x   a n d   A v e r a g e   p o o li n g   h a v e   li m it a ti o n s.  M a x   p o o l in g   is   se n siti v e   to   n o ise ,   w h il e   Av e ra g e   p o o l in g   trea ts  a ll   a c ti v a ti o n e q u a ll y .   A lt h o u g h   T - M ax - A v g   p o o li n g   a d d re ss e th e se   li m it a ti o n th ro u g h   a d a p ti v e   to p - k   se lec ti o n ,   it rig i d e c isio n   ru le  re q u ires   m u lt ip le  th re sh o ld   c o m p a riso n a n d   li m it e ff icie n c y ,   m o ti v a ti n g   a   si m p ler  d e c isio n   m e c h a n ism .   T h is  stu d y   in tro d u c e s   a v e ra g e - th re sh o l d i n g   p o o li n g   (A T P ),   a   sim p li f ied   a d a p ti v e   m e th o d   t h a t   re p lac e s   m u lt ip le  th re sh o l d   c o m p a riso n w it h   a   sin g le   d e c isio n   b a se d   o n   t h e   a v e ra g e   o th e   to p - k   a c ti v a ti o n s.   T h is  d e si g n   im p ro v e c o m p u tatio n a e f f i c ien c y   a n d   re d u c e se n siti v it y   to   o u t li e rs.  E x p e rime n ts  o n   t h e   S T L - 1 0   d a tas e u sin g   a   L e N e t - 5   a rc h it e c tu re   sh o w   th a th e   p ro p o se d   m e th o d   a c h iev e a c c u r a c y   c o m p a ra b le  to   T - M ax - A vg  p o o li n g   (~ 5 5 . 5 % w h il e   c o n siste n tl y   im p ro v in g   b o t h   trai n in g   e f f icie n c y   a n d   in f e re n c e   sp e e d .   T h e se   re su lt in d ica te  th a A T P   p ro v id e a   li g h tw e ig h a n d   p r a c ti c a a lt e rn a ti v e   f o CNN - b a se d   im a g e   c las si f ica ti o n ,   o f f e rin g   a n   i m p ro v e d   b a lan c e   b e tw e e n   c las sif ica ti o n   p e rf o r m a n c e   a n d   c o m p u tatio n a e ff icie n c y .   K ey w o r d s :   A d ap tiv p o o lin g   Av er ag e - t h r es h o ld in g   p o o lin g   C o n v o lu tio n al  n e u r al  n e t w o r k s     P o o lin g   la y er   T - M ax - A v g   p o o lin g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   P a j r i A p r ilio   Ma s ter   o f   Scie n ce   in   I n f o r m ati o n   T ec h n o lo g y Fac u lt y   o f   C o m p u ter   Scie n ce   P r esid en Un i v er s it y   J l.  Ki  Haj ar   De w an tar a,   Ko ta  J ab ab ek a,   C ik ar an g   B ar u ,   B ek asi 1 7 5 5 0 ,   I n d o n esia     E m ail:  ap r ilio . p a j r i@ g m a il.c o m       1.   I NT RO D UCT I O   Dee p   lear n in g   is   t y p o f   m ac h in lear n i n g   t h at  u s e s   ar tific ia n eu r al  n et w o r k s   to   ex tr ac p at ter n s   f r o m   lar g d atasets   [ 1 ] ,   [ 2 ] .   C o n v o lu tio n al  n eu r al  n et w o r k s   ( C NN s )   h av d e m o n s tr ated   o u ts tan d in g   p er f o r m an ce   i n   o b j ec t seg m e n t atio n   an d   i m a g class i f icatio n .   T h ese  ca p ab ilit ies h a v en ab led   ef f ec ti v s o l u tio n s   to   n u m er o u s   co m p u ter   v i s io n   p r o b le m s   a n d   s u cc es s f u r ea l - w o r ld   ap p licatio n s   [ 3 ] [ 6 ] .   I ts   ar ch itectu r t y p ica ll y   co n s i s ts   o f   co n v o lu tio n ,   p o o lin g ,   a n d   f u ll y   co n n ec ted   la y er s   as  t h p r i m ar y   co m p o n en t s   [ 3 ] ,   [ 7 ] ,   [ 8 ] .   Po o lin g   la y er   r ed u ce s   th s ize  o f   f ea t u r m ap s   b ef o r s en d in g   th e m   to   th n e x l a y er ,   th er eb y   lo w er in g   t h co m p u tat io n al  co s o f   s u b s eq u en t c o n v o l u tio n al  la y e r s   [ 6 ] ,   [ 9 ] [ 1 1 ]   T h m o s co m m o n l y   u s ed   p o o lin g   m et h o d s   ar m ax   p o o lin g   an d   av er ag p o o lin g .   M ax   p o o lin g   r ed u ce s   d i m e n s i o n a lit y   b y   s el ec tin g   th h ig h es ac tiv at io n   v alu w i th in   p o o lin g   w i n d o w ,   r ep r esen ti n g   th e   s tr o n g e s s i g n al  [ 9 ] ,   [ 1 2 ] .   I n   co n tr ast,  a v er a g p o o lin g   r ed u ce s   d i m en s io n ali t y   b y   co m p u tin g   th m ea n   o f   v al u e s   in   ea ch   p o o lin g   w i n d o w   [ 9 ] ,   [ 1 3 ] .   Ho w e v er ,   b o th   m et h o d s   h av d r a w b ac k s .   Ma x   p o o lin g   i s   h i g h l y   s en s iti v t o   n o is a n d   m a y   lead   to   o v er f itti n g   in   s o m e   ca s es,  w h ile  av er ag p o o lin g   m a y   b l u r   i m p o r ta n f ea tu r es  a n d   w ea k e n   s tr o n g   s i g n als  b y   tr ea tin g   all  v alu e s   eq u all y   [ 3 ] ,   [ 1 1 ] ,   [ 1 4 ] .   T h ese  li m itat io n s   m o t iv ate  t h d ev elo p m en o f   ad ap tiv p o o lin g   s tr ate g ies t h a t b alan ce   r o b u s tn e s s   a n d   f ea t u r p r eser v atio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 6 6 3 - 675   664   Desp ite  th e m er g en ce   o f   ad a p tiv p o o lin g   s tr ate g ies,  ex i s ti n g   m et h o d s   s till   f ac cr itica tr ad e - o f f   b et w ee n   r o b u s t n es s   a n d   ef f icie n c y .   I n   p ar ticu lar ,   ad ap tiv p o o lin g   ap p r o ac h es  s u ch   as  T - M ax - A v g   r el y   o n   r ig i d   d ec is io n   r u les  a n d   m u ltip le  t h r es h o ld   co m p ar is o n s ,   w h ich   in cr ea s co m p u ta tio n al  co s t   an d   m ak p o o lin g   d ec is io n s   s e n s iti v to   in d iv id u al  o u tlier s .   On n o tab le  ad ap tiv m e th o d   is   T - M ax - A v g   p o o lin g   p r o p o s ed   b y   Z h ao   an d   Z h an g   [ 1 5 ] .   W h ile  th is   ap p r o ac h   im p r o v es  r o b u s tn e s s   c o m p ar ed   to   s tan d ar d   m ax   an d   av er ag p o o lin g ,   its   d ec is io n   m ec h a n is m   in tr o d u ce s   n e w   li m ita tio n s .   T h is   m et h o d   s elec ts   th to p - k   s tr o n g es v al u es  in   ea ch   r eg io n   an d   ap p lies   to   a   s tr ict   d ec is io n   r u le.   I f   all  v al u es  ex c ee d   th r esh o ld ,   th o u tp u is   th m a x i m u m o th er w is e,   it  i s   th av er ag o f   th e   to p - k   v al u es  ( T KV) .   C o m p ar ed   to   s tan d ar d   m a x   p o o lin g ,   th is   r ed u ce s   s en s iti v it y   to   n o is y   s in g le  v alu e s ,   an d   co m p ar ed   to   Av er ag p o o lin g ,   it g iv e s   m o r w ei g h t to   s tr o n g   ac tiv atio n s .     Ho w e v er ,   th is   r ig id   d ec is io n   r u le  m a k es  T - M ax - A v g   s en s iti v to   o u tlier s   an d   co m p u tat io n all y   m o r e   d em a n d i n g   d u to   m u ltip le  th r esh o ld   co m p ar is o n s   p er   p o o lin g   w i n d o w   [ 1 5 ] .   A   s in g le  lo w   ac tiv a tio n   a m o n g   th T KV  ca n   f o r ce   t h p o o lin g   o p er atio n   to   s w itc h   f r o m   s e lectin g   t h m a x i m u m   to   co m p u tin g   t h av er a g e,   ev en   w h e n   m o s ac t iv a tio n s   a r s tr o n g .   A l t h o u g h   ad ap ti v p o o lin g   s tr ate g ies  s u c h   as  T - Max - A v g   i m p r o v e   f ea t u r s elec tio n   co m p ar ed   to   co n v en tio n al  m e th o d s ,   th e ir   r elian ce   o n   m u ltip le  co m p ar is o n s   in cr ea s e s   co m p u tatio n al  co s t.  I h i g h li g h ts   th e   n ee d   f o r   m o r e f f icie n y et  e f f ec ti v p o o lin g   ap p r o ac h ,   p ar ticu lar l y   f o r   lig h t w ei g h t CNN s   an d   r eso u r c e - co n s tr ain ed   d ep lo y m e n t sce n ar io s .   T h is   s tu d y   i n tr o d u ce s   a v er ag e - t h r esh o ld i n g   p o o lin g   ( A T P ) ,   w h ic h   co m p ar es  th m ea n   o f   t h T KV  to   th r es h o ld .   T h is   d esi g n   s i m p li f ies   d ec is io n - m a k in g ,   e n h a n ce s   r o b u s t n es s ,   an d   m ai n tai n s   co m p e titi v ac c u r ac y   w h ile  m a k in g   t h p o o lin g   d ec is io n   les s   s e n s iti v to   o u tlier s .   T h o b j ec tiv o f   th i s   r esear ch   is   to   ev alu ate  w h et h er   th p r o p o s ed   m et h o d   ca n   ac h i ev co m p ar ab le  p r ed ictiv p er f o r m a n ce   w it h   lo w er   co m p u ta t io n al  o v er h ea d .   T h co n tr ib u tio n s   o f   th i s   s tu d y   ar as  f o llo w s :   ( i)   t h is   s tu d y   p r o p o s es  A T P   w i th   a   s i m p li f ie d   ad ap tiv p o o lin g   s tr ate g y   t h at  r ed u ce s   t h d ec is io n   co m p le x it y   o f   T - Max - A v g   f r o m   ( )   to   ( 1 )   p er   p o o lin g   w i n d o w ( ii)   th eo r etica e x p lan atio n   is   p r o p o s ed   to   s h o w   t h at  t h p r o p o s ed   d ec is io n   r u le  i s   le s s   s en s iti v to   i n d iv id u al   o u tlier s   b y   r el y i n g   o n   th m e an   o f   T KV  ac tiv atio n s   r at h er   th an   s tr ict  p er - v al u th r es h o l d in g ,   an d   ( iii)  i is   d em o n s tr ated   t h at  t h p r o p o s e d   m e th o d   ac h ie v es  ac c u r ac y   c o m p ar ab le  to   T - Max - A v g   w h i le  i m p r o v i n g   b o t h   tr ain i n g   a n d   in f er en ce   e f f icien c y .         2.   M E T H O   T h is   w o r k   co m p ar es  p o o lin g   d ec is io n   r u les   u n d er   id en tical   p ar a m eter   s ett in g s ,   r at h er   t h an   p er f o r m i n g   ex ten s i v h y p er p ar a m e ter   o p tim izatio n .   T h p r o p o s ed   A T P   m et h o d   is   ev al u ated   as  d r o p - i n   r ep lace m en f o r   T - Max - Av g ,   allo w in g   d if f er e n ce s   i n   p o o lin g   b eh a v io r   to   b an al y ze d   w it h o u co n f o u n d in g   e f f ec ts   f r o m   p ar am eter   t u n in g .   A n al y s is   o f   p ar am eter   s e n s iti v it y   i s   b e y o n d   th s co p o f   th is   s tu d y   a n d   is   lef f o r   f u t u r w o r k .   T h p e r f o r m an ce   o f   A T P   is   ev alu a ted   ag ai n s t h r ee   b aselin p o o lin g   m et h o d s m a x   p o o lin g ,   a v er ag e   p o o lin g ,   an d   T - Max - A v g .   A ll  m et h o d s   ar i m p le m e n ted   u s i n g   t h s a m L eNe t - 5   ar ch itect u r to   en s u r f air   co m p ar is o n .   Fig u r 1   s u m m ar izes  th o v er all  r esear ch   w o r k f lo w ,   in cl u d in g   d ataset  s elec ti o n ,   p r ep r o ce s s in g ,   p o o lin g   m et h o d   i m p le m e n tati o n ,   m o d el  tr ain i n g ,   a n d   ev al u a tio n .     T h ex p er im e n tal  p r o ce d u r o f   th is   s t u d y   ca n   b s u m m ar ize d   as f o llo w s :   a.   I n p u t i m a g e s   ar n o r m alize d   u s in g   Mi n - Ma x   n o r m aliza t io n .   b.   A   L eNe t - C NN   i s   co n f i g u r ed   as th b aseli n m o d el.   c.   T h p o o lin g   la y er s   ar r ep lace d   w it h   d if f er en t p o o lin g   s tr ate g ies,  i n cl u d in g   th p r o p o s ed   AT P   m et h o d .   d.   Mo d el  p er f o r m an ce   i s   ev al u a ted   u s in g   clas s i f icatio n   ac c u r ac y ,   tr ain i n g   d u r at io n   p er   ep o ch ,   m e m o r y   co n s u m p tio n ,   an d   in f er en ce   la ten c y   p er   s a m p le.   T h ex p er im e n ts   w er co n d u cted   u s i n g   P y t h o n   i n   th Go o g le  C o lab   en v ir o n m en to   en s u r e   ac ce s s ib ilit y   a n d   r ep r o d u cib ilit y .   Go o g le  C o lab   p r o v id es  clo u d - b ased   p lat f o r m   w it h   co n s is t en co m p u tatio n a l   r eso u r ce s ,   w h ich   h elp s   r ed u ce   v ar iab ilit y   i n   ex p er i m e n tal  r es u lts .   T h co m p lete  C o lab   n o te b o o k   is   av a ilab le  at   h ttp s :/ /co lab . r esear ch . g o o g le. c o m /d r iv e/1 4 SF i3 U s q lKi7 lZ 3 7 Z o I I L r W FrU d SI6 A 1   e n ab lin g   in d ep en d e n t   v er if ica tio n   a n d   r ep licatio n   o f   th ex p er i m en ts .     2 . 1 .     Da t a   c o llect io n   T h ex p e r i m en ts   w er co n d u cted   o n   th e   ST L - 1 0   d ataset,   w h ic h   co n ta in s   5 , 0 0 0   tr ain in g   an d   8 , 0 0 0   test i n g   i m a g es  ac r o s s   1 0   o b ject  ca teg o r ies  ( e. g . ,   air p lan e,   b ir d ,   ca r ,   ca t)   [ 1 6 ] .   T h d at aset  is   d esi g n ed   f o r   ev alu a tin g   i m a g cla s s i f icatio n   alg o r it h m s   an d   p r o v id es  b alan ce d   r ep r esen tatio n   o f   v ar io u s   o b j ec class es.   A ll   i m ag e s   ar co lo r   i m a g es  w it h   f i x ed   r eso lu t io n   o f   9 6 ×9 6   p ix els,  m a k i n g   th d ata s e s u i tab le  f o r   C NN b ased   m o d els.  F ig u r 2   s h o w s   s a m p le  i m a g es  f r o m   th d ata s et.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dyn a mic  p o o lin g   u s in g   a ve r a g e - th r esh o ld in g   t o   imp r o ve   ima g cla s s ifica tio n   p erfo r ma n c ( P a jr i A p r ilio )   665       Fig u r 1 .   Ov er v ie w   o f   th e x p er i m en tal  w o r k f lo w   u s ed   i n   th is   s t u d y           Fig u r 2 .   E x a m p le  i m ag e s   f r o m   th ST L - 1 0   d ataset  ac r o s s   d if f er en t o b j ec t c ateg o r ies       2 . 2 .     Da t a   prepro ce s s ing     Min - m a x   n o r m aliza tio n   w a s   ap p lied   to   im p r o v m o d el  co n v er g en ce   a n d   g en er aliza tio n   [ 1 7 ] ,   [ 1 8 ] T h is   tech n iq u s ca les  p ix el  v alu e s   f r o m   t h o r ig in al  r an g [ 0 . 2 5 5 ]   to   [ 0 . 1 ] ,   en s u r in g   co n s i s ten in p u t   d is tr ib u tio n s   ac r o s s   all  ex p er i m en ts   [ 1 9 ] ,   [ 2 0 ] .   N o r m aliz in g   th i n p u d ata  h elp s   s tab ili ze   g r ad ien u p d ates   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 6 6 3 - 675   666   d u r in g   tr ain i n g   a n d   r ed u ce s   s e n s it iv i t y   to   v ar iatio n s   i n   p ix el  i n ten s it y .   A s   r esu l t,  th e   lear n i n g   p r o ce s s   b ec o m es   m o r e f f icie n t a n d   les s   p r o n to   n u m er ical  in s tab ilit y .       2 . 3 .     Dev el o p m ent   o f   t h AT P   la y er   T h m ai n   m et h o d o lo g ical  co n tr ib u tio n   o f   th i s   w o r k   is   th p r o p o s ed   A T P   s tr ateg y .   A T P   c o m p u tes  th e   m ea n   o f   t h T KV  w it h i n   ea c h   p o o lin g   w i n d o w   an d   ap p lies   t o   s in g le  t h r es h o ld   co m p ar is o n   to   d eter m i n t h p o o lin g   o u tp u t.  T h is   d esig n   r ed u ce s   co m p u t at io n al  o v er h ea d   co m p ar ed   to   ex is tin g   ad ap tiv p o o lin g   m eth o d s   w h ile  p r eser v i n g   ad ap tiv f ea t u r s elec tio n   b e h av io r .   T h p r o p o s ed   m et h o d   b u ild s   o n   T - Max - Av g   [ 1 5 ]   an d   in t r o d u ce s   s i m p li f ied   a n d   m o r ef f icie n t   d ec is io n   r u le.   I n   T - Max - Av g ,   ea ch   o f   t h T KV  w i t h i n   p o o lin g   w i n d o w   is   co m p ar ed   i n d iv id u all y   to   t h r esh o ld   T .   I f   all  s elec ted   v al u es  s ati s f y   th t h r es h o ld   co n d iti o n ,   t h m a x i m u m   T KV  is   s elec ted .   Ot h er w i s e,   t h eir   av er a g e   is   r etu r n ed .   A lt h o u g h   th is   i m p r o v es  co n v e n tio n al  m ax   a n d   av er ag p o o lin g ,   th d ec is io n   r u le  r eq u ir es m u ltip le   co m p ar is o n s   a n d   is   s e n s i tiv t o   in d iv id u al  lo w - v al u ed   o u tlie r s .   I n   co n tr ast,  A T P   ev alu ates  o n l y   th m ea n   o f   t h T KV  an d   ap p lies   to   s in g le  t h r es h o ld   co m p ar is o n .   I f   th m ea n   ac ti v atio n   e x ce ed s   t h th r es h o ld ,   th m ax i m u m   T KV  is   s elec ted o th er w i s e,   th av er ag o f   t h T KV  is   r etu r n ed .   B y   r el y in g   o n   an   ag g r e g ated   d ec is io n   r ath er   th a n   p er - v al u co m p ar is o n s ,   A T P   r e d u ce s   d ec is io n   r ig id it y   w h ile  m ai n tai n i n g   ad ap tiv p o o lin g   b eh av io r .   I r ed u ce s   s en s iti v it y   to   in d i v id u al  o u tlier s   an d   i m p r o v es   b o th   r o b u s tn es s   an d   e f f icien c y .   T - Max - Av g   [ 1 5 ]   is   d ef i n ed   as  ( 1 ) :     _  _ ( ) = {  { } = 0 , 1 = 1 , <     ( 1 )     I n   ( 1 ) ,     d en o tes  th s et  o f   ac tiv atio n s   w ith in   p o o lin g   w in d o w ,   an d     r ep r esen ts   th - t h   lar g es t   v alu a m o n g   th T KV.   T h p ar a m eter     s p ec if ies  t h n u m b e r   o f   s elec ted   ac tiv atio n s ,   w h il [ 0 , 1 ]   is   th th r es h o ld .   T - Max - Av g   o u tp u t s   th e   m a x i m u m   o f   th T KV  o n l y   w h en   a ll  s elec ted   v al u es  s atis f y   t h t h r es h o ld   co n d itio n .   Oth er w i s e,   th e ir   av er ag is   r et u r n ed .     _   ( ) = {  { } = 0 , 1 = 1 1 = 1 , 1 < = 1     ( 2 )     T h p r o p o s ed   A T P   is   d ef in ed   in   ( 2 )   an d   f o llo w s   t h s a m n o tatio n   as  ( 1 ) .   I n s tead   o f   p er f o r m i n g     in d ep en d en t h r es h o ld   co m p ar is o n s ,   A T P   co m p u tes  t h m ea n   o f   th T KV  an d   ap p lies   f o r   s in g le  th r es h o ld   ch ec k .   T h is   m o d if icatio n   r ed u ce s   th n u m b er   o f   th r es h o ld   co m p ar is o n s   f r o m   ( )   to   ( 1 )   p er   p o o lin g   w i n d o w .   I t i m p r o v es c o m p u tat io n al  ef f icie n c y   w h i le  m ai n tai n in g   ad ap tiv p o o lin g   b eh a v io r .     T o   p r o v i d e   t h e o r e ti c a l   ju s t if i ca t i o n   f o r   t h e   p r o p o s e d   d e c i s i o n   r u l e   an d   i t s   c o m p u t a ti o n al   c o m p l e x ity ,   l e t   = { 1 , 2 , , }   d e n o te   th s e l e ct e d   T K V   a ct i v a t i o n s   w ith in   a   p o o l in g   w in d o w ,   w h e r e   o n v a l u e   0   is   s ig n if i c an t ly   s m al l e r   th an   th e   o t h e r s .   I n   T - Ma x - A v g   p o o l in g ,   e a c h   a ct iv a ti o n   y i   m u s t   in d e p e n d en t ly   s a ti s f y   th t h r esh o l d   c o n d it i o n ,   r e s u lt in g   in     s e p a r a t e   th r e s h o l d   c o m p a r is o n s .   C o n s e q u en tly ,   a   s in g l e   l o w - v al u e d   a c t iv a ti o n   i s   s u f f i c i en t   t o   f o r c e   th e   p o o l in g   o p e r a t i o n   t o   s w it ch   f r o m   s e le c t in g   th e   m ax im u m   t o   c o m p u t i n g   th e   av e r ag e .   I n   c o n t r as t ,   A T ev a lu a t es   o n ly   th e   m ea n   o f   th e   T K V   an d   p e r f o r m s   a   s in g l e   t h r esh o l d   c o m p ar i s o n .   B e c au s e   e a ch   a c t iv a ti o n   c o n t r i b u t es   p r o p o r t io n a l ly   t o   th m e an ,   th in f lu en c e   o f   an   in d iv i d u al   l o w   v a lu e   is   r e d u c e d   b y   a   f a c t o r   o f   1 / .   A s   a   r e s u lt ,   t h e   p o o l i n g   d e c i s i o n   r ef l e ct s   th e   c o ll e c ti v e   r e s p o n s e   o f   th e   f e at u r e   m a p   r a th e r   th an   b e in g   d o m in a t e d   b y   a   s in g l e   ex t r em e   v a lu e ,   p r o v i d in g   im p r o v e d   r o b u s tn e s s   w h il e   r e d u c in g   d e c is i o n   c o m p l ex ity .   T a b l e   1   s u m m a r i z e s   th e   k ey   w o r k f l o w   d if f e r e n c es   b e tw ee n   T - Max - A v g   an d   A T P,   h ig h l ig h t in g   t h r e d u c e d   n u m b e r   o f   th r es h o l d   c o m p a r is o n s   r e q u i r e d   b y   th e   p r o p o s e d   m e th o d .   A lth o u g h   b o th   m e th o d s   o p e r a te   o n   t h e   s am e   T K V   a ct iv a t i o n s ,   th e i r   d e ci s i o n   w o r k f l o w s   d if f e r   s u b s t an t i a lly .   T - M ax - A v g   r e l i e s   o n   p e r - v a lu t h r esh o l d in g ,   w h e r e as   A T a p p l i e s   a   s in g le   th r e s h o l d   t o   t h e   m ea n   o f   th e   T K V .   A s   a   r e s u l t ,   th e   tw o   m et h o d s   ex h i b it  d i f f e r e n t   s en s i ti v i t i es   t o   t h e   ch o i c e   o f   ,   w h i ch   ex p l ai n s   w h y   th ei r   o p t im a l     v a lu es   m ay   d if f e r   in   p r a c t i c e .       T ab le  1 .   C o m p ar is o n   o f   w o r k f lo w s   h i g h lig h ti n g   th r ed u ce d   th r es h o ld   co m p ar is o n s   o f   th p r o p o s ed   A T P   S t e p   T - M a x - A v g   p o o l i n g   A T P   1   S e l e c t   T K V   S e l e c t   T K V   2   C o mp a r e   e a c h   T K V   w i t h   t h r e sh o l d   C o mp u t e   me a n   o f   T K V   3   P e r f o r m K   t h r e sh o l d   c h e c k s   P e r f o r m 1   t h r e sh o l d   c h e c k   4   O u t p u t   m a x   i f   a l l   p a ss ;   e l se   a v e r a g e   O u t p u t   m a x   i f   me a n   p a sse s;   e l se   a v e r a g e   C o st   K   c o mp a r i so n s   1   c o m p a r i so n     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dyn a mic  p o o lin g   u s in g   a ve r a g e - th r esh o ld in g   t o   imp r o ve   ima g cla s s ifica tio n   p erfo r ma n c ( P a jr i A p r ilio )   667   Fig u r 3   ill u s tr ates   h o w   t h p r o p o s ed   A T P   o p er ates  o n   p o o li n g   w i n d o w .   W it h   K =3   an d   t h r esh o ld   = 0 . 7 ,   th to p - 3   v al u e s   ar f ir s s ele cted   f r o m   ea ch   r e g io n .   T h eir   a v er ag i s   t h en   co m p ar ed   w it h   th t h r esh o ld   to   d ec id th o u tp u t.  I n   th to p - l ef t r e g io n ,   t h e   s elec ted   v a lu e s   ar [ 0 . 9 ,   0 . 8 ,   0 . 7 ]   w ith   an   av er ag o f   0 . 8 ,   w h ich   is   g r ea ter   th a n   0 . 7 ,   s o   th m a x i m u m   v al u ( 0 . 9 )   is   ch o s en .   I n   co n tr ast,  i n   t h b o tto m - le f r e g io n   t h s elec ted   v al u e s   [ 0 . 3 4 ,   0 . 3 3 ,   0 . 3 2 ]   h av an   av er ag o f   0 . 3 3 ,   w h ich   i s   b elo w   t h th r esh o l d ,   s o   th eir   av er a g ( 0 . 3 2 )   is   u s ed   as  th e   o u tp u t.  T h p r o ce s s   is   ap p lied   ac r o s s   all  p o o lin g   w in d o w s ,   r esu lt in g   i n   t h f in al   p o o led   o u tp u s h o w n   o n   t h e   r ig h s id o f   Fi g u r 3 .           Fig u r 3 .   I llu s tr atio n   o f   th d e cisi o n   p r o ce s s   o f   t h p r o p o s ed   A T P ,   s h o w i n g   h o w   th m ea n   o f   th to p - k   ac tiv atio n s   d eter m i n es   t h p o o lin g   o u tp u t       I n   th is   s t u d y ,   th p o o lin g   m et h o d   w as i m p le m e n ted   in   P y th o n   u s i n g   th Ker as lib r ar y .   Ker as   s u p p o r ts   f ast   ex p er i m en ta tio n ,   ea s y   p r o to ty p i n g ,   an d   la y er   c u s to m iz atio n   [ 2 1 ] ,   [ 2 2 ] t f . k er as.la y e r s . L a y er   clas s   w as   u s ed   to   d ev e lo p   an   A T P   la y er   an d   r ep licate  T - Max - Av g   f r o m   p r ev io u s   r esear c h .   T h is   s t u d y   u s es   T 4   GP f r o m   Go o g le  C o lab   an d   Ker as  w o r k s   w e ll o n   C P an d   GP [ 2 2 ] ,   [ 2 3 ] .   I n   th is   s t u d y ,   t h th r es h o ld   v a l u w a s   f i x ed   at  0 . 7   to   r em ai n   co n s is ten w it h   th o r ig i n al  T - Max - A v g   p r o p o s ed   b y   Z h ao   a n d   Z h an g   [ 1 5 ] .   T h r ef er en ce   w o r k   ad o p ted   th is   v alu w it h o u d etailed   p ar a m eter   s en s iti v it y   an al y s is ,   an d   w in te n tio n all y   f o llo w ed   th s a m s etti n g   to   en s u r f air   an d   co n tr o lled   c o m p ar is o n   b et w ee n   p o o lin g   s tr ate g ies.  B y   k ee p in g   th th r e s h o ld   co n s tan t,  t h i m p ac t o f   th p r o p o s ed   d ec is io n   r u le  ca n   b is o lated   w it h o u t in tr o d u ci n g   co n f o u n d in g   e f f ec ts   f r o m   p ar a m eter   t u n i n g .       2 . 4 .     M o del  dev elo p m ent   T o   ev alu ate  th p er f o r m a n ce   o f   d if f er en p o o lin g   m e t h o d s ,   all  ex p er i m e n ts   w er co n d u cted   u s i n g   th e   s a m e   L e Net - 5   ar ch itect u r e.   L eNe t - 5   i s   C NN   o r ig i n all y   d ev elo p ed   b y   L e c u n   et  a l [ 2 4 ]   f o r   h a n d w r it ten   ch ar ac ter   i m ag cla s s i f icatio n   an d   h as  b ee n   w id el y   ad o p ted   d u to   its   s im p lic it y   a n d   ef f e ctiv e n ess   i n   i m a g class i f icatio n   task s   [ 1 5 ] ,   [ 2 5 ] ,   [ 2 6 ] .   T h n et w o r k   co n s i s ts   o f   t h r ee   co n v o lu t io n al  la y er s ,   t w o   p o o lin g   la y er s ,   an d   t w o   f u ll y   co n n ec ted   la y er s ,   f o r m i n g   li g h t w eig h a n d   w ell - e s tab lis h ed   b aselin ar ch itect u r [2 7 ] [2 9 ] Fo llo w i n g   th ex p er i m e n tal  d esig n   o f   T - Max - Av g   s tu d ie s ,   th s a m L eNe t - 5   ar ch itect u r w a s   r etain ed   to   is o late  th e f f ec t o f   th u p d ated   p o o lin g   s tr ate g y   w ith o u t c o n f o u n d in g   ar ch itec tu r al  ch a n g e s   [ 1 5 ] .   Un lik p r io r   p o o lin g   s tu d ie s   th at  f o c u s ed   o n   C I F AR   an d   MN I ST   d atasets ,   th is   w o r k   ev al u at es  t h p r o p o s ed   m et h o d   o n   ST L - 10   to   ass ess   its   b eh a v io r   u n d er   d if f er e n t i m ag r eso l u tio n   a n d   d is tr ib u tio n .     T h cr itical  v ar iatio n   ac r o s s   e x p er i m e n ts   lies   in   t h p o o lin g   la y er s .   P o o lin g   p la y s   a n   i m p o r tan r o le  i n   r ed u cin g   th s p atial  r eso l u tio n   o f   f ea t u r m ap s   w h ile  lo w er in g   co m p u tatio n a l c o s [ 30 ] ,   [ 3 1 ] .   I n   th is   s t u d y ,   t h e   p o o lin g   la y er s   f o llo w i n g   t h f i r s t a n d   s ec o n d   co n v o l u tio n a l la y er s   w er r ep lace d   w i th   o n o f   f o u r   alter n a tiv e s :   m ax   p o o lin g ,   av er ag p o o lin g ,   T - Max - Av g ,   o r   th p r o p o s e d   A T P .   A p ar f r o m   th i s   s u b s ti tu tio n ,   t h n et w o r k   ar ch itect u r e,   tr ain i n g   s et u p ,   an d   h y p er p ar a m eter s   w er k ep id en t ical  to   e n s u r f air   co m p ar i s o n .   F ig u r 4   illu s tr ates  t h L e Net - 5   ar c h ite ctu r u s ed   i n   t h is   s t u d y ,   w h i l T ab le  2   s u m m ar izes   th e   n e t w o r k   s tr u ctu r a n d   h ig h li g h ts   t h ap p lied   p o o lin g   s tr ateg ie s .             Fig u r 4 .   L eNe t - 5   ar ch it ec t u r e   u s ed   in   t h i s   s t u d y ,   w it h   d if f er en t p o o lin g   s tr ateg ie s   ap p lied   at  th p o o lin g   la y er s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 6 6 3 - 675   668   T ab le  2 .   L eNe t - 5   ar ch itect u r w it h   d i f f er e n t p o o lin g   m et h o d s   No   L a y e r   n a me   M a x   p o o l i n g   A v e r a g e   p o o l i n g   T - M a x - A v g   A T P   1   I n p u t   I n p u t   I n p u t   I n p u t   I n p u t   2   C o n v 1   C o n v 1   C o n v 1   C o n v 1   C o n v 1   3   P o o l 1   M a x   A v e r a g e   T - M a x - A v g   A T P   4   C o n v 2   C o n v 2   C o n v 2   C o n v 2   C o n v 2   5   P o o l 2   M a x   A v e r a g e   T - M a x - A v g   A T P   6   C o n v 3   C o n v 3   C o n v 3   C o n v 3   C o n v 3   7   F C 1   F C 1   F C 1   F C 1   F C 1   8   F C 2   F C 2   F C 2   F C 2   F C 2       2 . 5 .     H y perpa ra m et er   s et t in g s   a nd   s elec t io n str a t eg y   T h is   s t u d y   f o cu s es  o n   co m p a r in g   p o o lin g   d ec is io n   r u les  u n d er   co n tr o lled   an d   id en t ical  p ar am eter   s etti n g s   r ath er   th a n   p er f o r m i n g   e x ten s i v h y p er p ar a m eter   o p ti m izatio n .   T h g o al  i s   to   f o c u s   o n l y   o n   h o w   t h p o o lin g   d ec is io n   w o r k s ,   w h il av o id in g   co n f u s io n   f r o m   h ea v y   o r   ag g r ess iv p ar a m eter   tu n in g .   T o   en s u r e   r ep r o d u cib ilit y   a n d   f air   co m p ar is o n ,   all  p o o lin g   m et h o d s   wer ev alu ated   u s in g   p r ed ef in e d   p ar am eter   r an g e s   ad o p ted   f r o m   p r io r   p o o lin g   s t u d ies  [ 1 5 ] .   Fo r   b o th   s tan d ar d   an d   a d ap tiv p o o lin g   m eth o d s ,   p o o lin g   win d o w   s ize s   o f   ( 2 ×2 ) ,   ( 3 ×3 ) ,   a n d   ( 4 ×4 )   w er ev al u ated   to   en s u r co n s is ten c y   an d   f air   co m p ar is o n   a cr o s s   all  ex p er i m en t s .   Stan d ar d   p o o lin g   m et h o d s   ( m ax   p o o lin g   a n d   av er a g p o o lin g )   d ep en d   s o lel y   o n   th p o o lin g   w i n d o w   s ize  a n d   d o   n o in v o l v T KV  p ar am eter .   I n   co n tr ast,  ad ap tiv p o o lin g   m et h o d s   ( T - Max - Av g   an d   th p r o p o s ed   A T P )   a d d itio n all y   e m p lo y   a   T KV  s elec tio n   m ec h an is m ,   wh er th n u m b er   o f   s elec ted   ac tiv atio n s   K   w as e v alu a ted   w i th in   t h r an g o f   1   to   1 0 ,   w it h   t h v alid   v al u es  d e ter m i n ed   b y   t h p o o lin g   w i n d o w   s ize.   A ll  e v al u ated   p o o lin g   w i n d o w   a n d     co m b i n atio n s   ar s u m m ar ized   in   T ab le  3   to   s u p p o r t r ep r o d u c ib ilit y .       T ab le  3 .   Su m m ar y   o f   h y p er p ar a m eter s   u s ed   in   t h is   s tu d y     P o o l i n g   m e t h o d   P o o l   s i z e   K   T   A v e r a g e   (2 × 2 ) ,   ( 3 × 3 ) ,   ( 4 × 4)   -   -   M a x   (2 × 2 ) ,   ( 3 × 3 ) ,   ( 4 × 4)   -   -   T - M a x - A v g   (2 × 2)   1 - 3   0 . 7   (3 × 3)   2 - 6   0 . 7   (4 × 4)   2 - 10   0 . 7   A T P   (2 × 2)   1 - 3   0 . 7   (3 × 3)   2 - 6   0 . 7   (4 × 4)   2 - 10   0 . 7       T h th r esh o ld   p ar am eter   w as  f i x ed   at  = 0 . 7   f o r   all  ad ap tiv p o o lin g   e x p er i m e n ts .   T h is   v al u was   ad o p ted   f r o m   th o r ig i n al  T - Max - A v g   s t u d y   b y   Z h ao   an d   Z h an g   [ 1 5 ] ,   w h er it  w a s   u s e d   co n s is ten tl y   ac r o s s   m u ltip le  d ataset s .   A lt h o u g h   n o   f o r m a th r e s h o ld   s e n s iti v i t y   a n al y s is   w as  r ep o r ted   in   t h r ef er e n ce   w o r k ,   r etain i n g   th i s   v al u allo w s   f o r   co n tr o lled   ev al u atio n   an d   e n s u r es   th at   o b s er v ed   p er f o r m a n ce   d if f er en ce s   ar is e   f r o m   t h p o o lin g   d ec is io n   s tr at eg y   r at h er   th a n   th r e s h o ld   tu n i n g .   Fo r   ea ch   p o o lin g   m et h o d ,   all  v alid   p ar a m eter   co m b i n atio n s   w er ev a lu ated   u n d er   id en t ic al  tr ain i n g   an d   test in g   co n d itio n s .   T h co n f i g u r atio n   y ie ld in g   th h i g h e s m ea n   clas s i f icatio n   ac cu r ac y   ac r o s s   s i x   in d ep en d en t r u n s   w a s   s ele cted   as th r ep r ese n tati v r es u lt r e p o r ted   ea r lier .   T h is   s elec tio n   s tr ateg y   w as a p p lied   co n s is ten tl y   ac r o s s   all  p o o lin g   m eth o d s   to   m ain tain   f air n ess   an d   m et h o d o lo g ical  co n s i s te n c y .       2 . 6 .     M o del  t ra ini ng   a nd   ev a l ua t io   A ll m o d els w er tr ain ed   f o r   5 0   ep o ch s   w it h   b atch   s ize  o f   1 2 8 .   T h tr ain in g   w as  p er f o r m ed   u s i n g   t h e   s a m o p ti m izer ,   lear n in g   r ate,   an d   lo s s   f u n ctio n   ac r o s s   all  p o o li n g   m eth o d s   to   en s u r f air n es s .   Af ter   tr ai n in g ,   m o d el s   w er ev al u ated   o n   th ST L - 1 0   test   s et.   T o   ac c o u n f o r   v ar iab ilit y   in   tr a in i n g   o u tco m e s ,   ea ch   e x p er im en w as  r ep ea ted   s i x   ti m es,  a n d   th m ea n   ac cu r ac y   w as  r ep o r ted .   I n   ad d itio n   to   class if icatio n   ac cu r ac y ,   t w o   ef f icie n c y   m ea s u r es  w er also   r ec o r d e d tr ain i n g   ti m p er   ep o ch   an d   in f er en ce   s p ee d   p er   s am p le.   T h ese  m etr ics allo w   f o r   co m p r eh en s i v co m p ar is o n   o f   p o o lin g   s tr ate g ies,  h i g h l ig h t in g   t h eir   i m p ac t o n   b o th   ac cu r ac y   an d   co m p u tatio n al  e f f icie n c y .       3.   RE SU L T S AN D I SCU SS I O N   Fo r   ea ch   p o o lin g   m et h o d ,   m u l tip le  p ar am e ter   co n f ig u r atio n s   w er e v al u ated .   T h r esu lts   r ep o r ted   in   th is   s ec t io n   co r r esp o n d   to   th co n f ig u r atio n   t h at  ac h ie v ed   th h ig h est  av er a g class i f ic atio n   ac cu r ac y .   All   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dyn a mic  p o o lin g   u s in g   a ve r a g e - th r esh o ld in g   t o   imp r o ve   ima g cla s s ifica tio n   p erfo r ma n c ( P a jr i A p r ilio )   669   ev alu a tio n   m etr ics,  i n cl u d in g   class i f icatio n   ac cu r ac y ,   tr ain i n g   t i m e,   m e m o r y   u s a g e,   an d   in f er en ce   ti m e,   ar e   r ep o r ted   as  th m ea n   a n d   s ta n d ar d   d ev iatio n   o v er   s i x   i n d ep en d en r u n s .   T h is   s ec tio n   co m p ar es  th p r o p o s ed   A T P   m et h o d   w ith   Ma x   p o o lin g ,   Av er ag p o o lin g ,   an d   T - Max - Av g   p o o lin g .   T h an al y s i s   f o cu s es  o n   class i f icatio n   p er f o r m a n ce   an d   co m p u tatio n a l e f f icie n c y   u n d er   id en tical  ex p er i m e n tal  co n d itio n s .     3 . 1 .     Ac cura cy     A cc u r ac y   is   u s ed   as  th p r im a r y   m etr ic  to   ev alu ate  th ef f ec t iv en e s s   o f   d if f er en p o o lin g   m eth o d s   f o r   i m a g class i f icatio n .   T ab le   4   s u m m ar ize s   th h i g h est  clas s i f i ca tio n   ac cu r ac y   ac h ie v ed   b y   ea ch   p o o lin g   m et h o d   u n d er   its   ac c u r ac y - o p ti m al  co n f ig u r at io n ,   allo w i n g   d ir ec co m p ar is o n   b et w ee n   co n v en t io n al  an d   ad ap tiv p o o lin g   s tr ate g ies.  A ll  e x p er i m en ts   w er r ep ea te d   s ix   ti m e s ,   an d   th r ep o r ted   r esu lts   in c l u d ed   m ea n   ac c u r ac y   an d   s ta n d ar d   d ev iatio n   to   ca p t u r p er f o r m a n ce   v ar iab ilit y .   F ig u r 5   ill u s tr ates   t h r elati v ac cu r ac y   o f   tr en d s   ac r o s s   p o o lin g   m e th o d s .       T ab le  4 .   C lass if icatio n   ac c u r ac y   ac r o s s   p o o lin g   m et h o d s   u n d er   th eir   b est - p er f o r m i n g   co n f ig u r at io n s ,   illu s tr atin g   t h ad v a n tag o f   ad ap tiv p o o lin g   s tr ate g ies   P o o l i n g   m e t h o d   P o o l   s i z e   A c c u r a c y   ( %)   S t a n d a r d   d e v i a t i o n   ( %)   A v e r a g e   (4 . 4)   4 2 . 0 5   0 . 8 4   M a x   (4 . 4)   5 4 . 6 1   0 . 6 6   T - M a x - A v g   ( = = . )   (4 . 4)   5 5 . 8 9   0 . 2 6   A T P   ( = = . )   (4 . 4)   5 5 . 5 3   0 . 2 7           Fig u r 5 .   C lass if ica tio n   ac c u r ac y   co m p ar is o n   o f   p o o lin g   m et h o d s   o n   ST L - 10       T h r esu lts   in d ica te  t h at  co n v en t io n al  p o o lin g   m et h o d s   ex h ib it  li m i ted   class i f icatio n   ca p ab ilit y .   Av er ag p o o lin g   y ield s   t h l o w est  ac c u r ac y ,   w h ile  Ma x   p o o lin g   p r o v id es  n o ticea b l i m p r o v e m e n b u r e m ain s   i n f er io r   to   ad ap tiv p o o lin g   ap p r o ac h es.  I n   co n tr a s t ,   b o th   T - Max - Av g   a n d   th p r o p o s ed   A T P   ac h iev h ig h er   clas s i f icatio n   ac c u r ac y ,   ex ce ed in g   5 5 % u n d er   th e v a lu ated   s etti n g s .     A T P   ac h iev es   ac cu r ac y   co m p ar ab le  to   T - Max - Av g ,   w it h   o n l y   s m a ll  ab s o lu te  d if f er e n ce   o f   0 . 3 6 %.  T h is   d if f er e n ce   f all s   w ith in   o n s ta n d ar d   d ev iatio n   ac r o s s   r ep ea ted   r u n s ,   in d icatin g   t h at   th t w o   ad ap tiv e   p o o lin g   m et h o d s   ex h ib it  s i m il ar   class if ica tio n   p er f o r m a n ce   r ath er   th an   s tat is tical l y   m ea n in g f u s ep ar atio n .   T h ese  r esu lts   s u g g est  t h at  m o d if y i n g   t h p o o lin g   d ec is io n   r u le  in   A T d o es  n o t   s u b s tan t iall y   alter   th e   r ep r esen tatio n al  ca p ac it y   o f   t h n et w o r k .   Si n ce   A T P   an d   T - Max - A v g   o p er ate  o n   id en tical  in ter m ed iate  f ea t u r m ap s   an d   d if f er   o n l y   i n   h o w   p o o lin g   d ec is io n s   ar tr ig g er ed   w it h i n   ea ch   p o o lin g   w i n d o w   [ 1 5 ] ,   la r g ac cu r ac y   d if f er e n ce s   ar n o e x p ec ted .   C o n s eq u en tl y ,   th e   o b s er v ed   s i m ilar it y   i n   ac c u r ac y   r ef lect s   c o m p ar ab le  f ea t u r e   p r eser v atio n   b eh av io r .   T h im p licatio n s   o f   th i s   d esig n   ch o ice  in   ter m s   o f   co m p u tati o n al  ef f icien c y   ar e   ex a m in ed   in   t h s u b s eq u e n s ec tio n s   t h r o u g h   an al y s es  o f   tr ain i n g   ti m an d   i n f er e n ce   s p ee d .   P er - r u n   m o d e p er f o r m a n ce   ac r o s s   all  co n f i g u r atio n s   ar p r o v id ed   i n   th s u p p le m en tar y   m ater i als  ( av ai lab le  at:  h ttp s :/ /d o cs.g o o g le. co m / s p r ea d s h ee ts /d /1 b e2 7 R u 7 N m 1 Mi9 t J lq ef k q b r u w 6 M5 Q m UP E I K0 9 eP OleY/e d it? u s p = s h ar i n g ) .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 6 6 3 - 675   670   3 . 2 .     T ra ini ng   t i m   I n   ad d itio n   to   class i f icatio n   p e r f o r m an ce ,   tr ai n i n g   ti m is   co n s id er ed   an   in d icato r   o f   th c o m p u tatio n a l   co s ass o ciate d   w it h   d if f er en t   p o o lin g   s tr ate g ies.  T ab le  5   r ep o r ts   th av er ag ti m r eq u i r ed   to   co m p lete  5 0   tr ain i n g   ep o ch s   f o r   ea ch   p o o lin g   m eth o d   u n d er   th s a m ac cu r ac y - o p ti m al  co n f ig u r a tio n s   id en ti f ied   in     s ec tio n   3 . 1 .   T h r ep o r ted   v alu es  r ep r ese n t h m ea n   a n d   s tan d ar d   d ev iat io n   o v er   s i x   in d ep en d en r u n s .     Fig u r 6   p r o v id es a   v is u al  co m p ar i s o n   o f   tr ai n i n g   d u r atio n   ac r o s s   p o o lin g   m e th o d s .   T h r esu lts   s h o w   t h at  co n v e n t io n al  p o o lin g   m et h o d s   r eq u ir s h o r ter   tr ain in g   ti m e.   Av er ag p o o lin g   ac h ie v e s   t h lo w est  tr ai n i n g   d u r atio n ,   f o llo w ed   b y   Ma x   p o o lin g ,   r ef lecti n g   th e ir   lo w er   co m p u tatio n al   co m p le x it y .   Ho w ev er ,   t h is   e f f icien c y   is   ac co m p a n ied   b y   r ed u ce d   class i f icatio n   ac cu r ac y   w h e n   co m p ar ed   to   ad ap tiv p o o lin g   m eth o d s .   A d ap tiv p o o lin g   ap p r o ac h e s   in cu r   lo n g er   tr ain in g   ti m e s   d u to   a d d itio n al   o p er atio n s   in v o lv ed   i n   t h p o o l in g   d ec is io n   p r o ce s s .   Am o n g   th ese  m et h o d s ,   A T P   d em o n s tr ates  s lig h tl y   lo w er   tr ain i n g   t i m th a n   T - Max - Av g ,   w it h   d i f f er e n ce   o f   1 . 2 6   s .   T h is   d i f f er en ce   lie s   w it h i n   t h o b s er v ed   v ar i ab ilit y   ac r o s s   r ep ea ted   r u n s ,   as  in d ica ted   b y   th r ep o r ted   s tan d ar d   d e v iati o n s ,   s u g g esti n g   th at  t h tw o   ad ap tiv p o o lin g   m et h o d s   ex h ib it  co m p ar ab le  tr ain i n g   ef f icie n c y .   F u ll  p e r - r u n   tr ai n in g   t i m e   r esu lts   a cr o s s   all  e v al u ated   co n f i g u r atio n s   ar p r o v id ed   in   th s u p p le m e n tar y   m ater ials   ( av ai lab le  at  th f o llo w i n g   lin k :   h ttp s :/ /d o cs.g o o g le. co m / s p r ea d s h ee ts /d /1 b e2 7 R u 7 N m 1 M i9 t J lq ef k q b r u w 6 M5 Q m UP E I K0 9 eP OleY/e d it? g id = 1 3 0 0 4 9 0 7 3 8 # g id =1 3 0 0 4 9 0 7 3 8 ).       T ab le  5 .   T r ain in g   ti m co m p ar is o n   ac r o s s   p o o lin g   m et h o d s   u n d er   ac cu r ac y - o p ti m al  co n f i g u r atio n s ,   h ig h li g h ti n g   t h co m p u tatio n a l c o s t o f   ad ap tiv p o o lin g   P o o l i n g   m e t h o d   P o o l   s i z e   T r a i n i n g   t i me   ( s)   S t a n d a r d   d e v i a t i o n   ( s)   A v e r a g e   (4 . 4)   3 9 . 7 5   1 . 1 6   M a x   (4 . 4)   4 5 . 4 5   3 . 6 5   T - M a x - A v g   ( = = . )   (4 . 4)   6 1 . 9 0   2 . 0 1   A T P   ( = = . )   (4 . 4)   6 0 . 6 4   2 . 8 3           Fig u r 6   T r ain in g   ti m co m p a r is o n   ac r o s s   p o o lin g   m et h o d s       3 . 3 .     M e m o ry   us a g   Me m o r y   u s a g is   a n   i m p o r tan co n s id er atio n   w h en   d ep l o y i n g   C NN s ,   p ar ticu lar l y   o n   h ar d w ar e   p latf o r m s   w it h   li m ited   r eso u r ce s .   T ab le  6   r e p o r ts   th p ea k   m e m o r y   u s a g o b s er v ed   d u r i n g   tr ain i n g   f o r   ea c h   p o o lin g   m et h o d   u n d er   th s a m ac cu r ac y - o p ti m al  co n f i g u r atio n s .   Fi g u r 7   p r o v id es  v i s u al  co m p ar is o n   o f   m e m o r y   co n s u m p tio n   ac r o s s   p o o lin g   m et h o d s   u n d er   id en t i ca l e x p er i m e n tal  s et tin g s .   Sin ce   m e m o r y   allo ca tio n   is   d eter m in is tic  w h e n   th n et w o r k   ar ch i tectu r a n d   tr ain in g   p ar a m eter s   ar f ix ed ,   s ta n d ar d   d ev iatio n   is   n o t   r ep o r ted   f o r   th is   m etr ic.       T ab le  6 .   P ea k   m e m o r y   u s a g a cr o s s   p o o lin g   m e th o d s   u n d er   ac cu r ac y - o p ti m al  co n f i g u r atio n s   P o o l i n g   m e t h o d   P o o l   s i z e   M e mo r y   u sag e   ( M B )   A v e r a g e   (4 . 4)   8 8 0 . 1 5   M a x   (4 . 4)   8 8 0 . 1 5   T - M a x - A v g   ( = = . )   (4 . 4)   8 8 0 . 1 5   A T P   ( = = . )   (4 . 4)   8 8 0 . 1 5   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Dyn a mic  p o o lin g   u s in g   a ve r a g e - th r esh o ld in g   t o   imp r o ve   ima g cla s s ifica tio n   p erfo r ma n c ( P a jr i A p r ilio )   671       Fig u r 7 .   Me m o r y   co n s u m p tio n   co m p ar is o n   ac r o s s   p o o lin g   m et h o d s       T h r es u lts   i n d icate   t h at  p ea k   m e m o r y   co n s u m p tio n   r e m ai n s   id e n tical  ac r o s s   a ll  e v alu at ed   p o o lin g   m et h o d s   u n d er   th ac c u r ac y - o p ti m al  co n f i g u r at io n .   T h is   o u t co m is   e x p ec ted   b ec au s all  ex p er i m e n ts   u s t h e   s a m n et w o r k   ar ch itect u r e,   in p u r eso lu tio n ,   an d   b at ch   s i ze ,   an d   th p o o lin g   o p er atio n s   d o   n o in tr o d u ce   ad d itio n al  lear n ab le  p ar am ete r s .   A lt h o u g h   h ig h er   m e m o r y   u s a g is   o b s er v ed   f o r   s m aller   p o o lin g   w i n d o w s ,   p ar ticu lar l y   in   T - Max - Av g   d u to   in ter m ed iate  T KV  o p er atio n s ,   m e m o r y   co n s u m p tio n   b ec o m e s   eq u iv a len t   ac r o s s   p o o lin g   m et h o d s   w h e n   lar g er   p o o lin g   s ize s   ar u s ed .   C o n s eq u e n tl y ,   u n d er   p r ac tica ac cu r ac y - o p ti m al  s etti n g s ,   ad ap tiv p o o lin g   m e th o d s   s u ch   a s   th p r o p o s ed   A T P   d o   n o in cu r   ad d itio n al  m e m o r y   o v er h ea d   co m p ar ed   to   co n v e n tio n al   p o o lin g   s tr ateg ies.  T h ese   f i n d in g s   s u g g e s t h at  m e m o r y   u s a g i s   p r i m ar il y   d eter m in ed   b y   ar ch itect u r al  an d   p o o lin g   s ize  ch o ices  r ath er   th an   b y   th p o o lin g   d ec is io n   m ec h an i s m   it s el f .   Fu ll   ex p er i m e n tal  r es u lt s ,   in cl u d in g   p er - r u n   m e m o r y   u s ag ac r o s s   all  co n f i g u r atio n s   ( p o o s izes ,   th r esh o ld s ,   a n d   K   v alu e s ) ,   ar p r o v id ed   in   th s u p p le m e n tar y   m at er ials   ( av ailab le  at  th f o llo w i n g   lin k :   h ttp s :/ /d o c s . g o o g le . co m / s p r ea d s h ee ts /d /1 b e2 7 R u 7 N m 1 Mi9 t J lq ef k q b r u w 6 M5 Q m UP E I K0 9 eP OleY/e d it? g id = 1 4 8 4 6 4 3 5 3 5 # g id =1 4 8 4 6 4 3 5 3 5 ) .       3 . 4 .     I nfe re nce  s peed    I n f er e n ce   s p ee d   is   ev alu ated   as   th av er ag p r o ce s s i n g   ti m p er   test   s a m p le,   m ea s u r ed   in   m il lis ec o n d s .   T ab le  7   r ep o r ts   th m ea n   i n f er en ce   ti m an d   s tan d ar d   d ev iatio n   f o r   ea ch   p o o lin g   m et h o d   u n d er   th s a m e   ac cu r ac y - o p ti m al   co n f i g u r atio n s .   Fig u r 8   p r o v id es  a   v i s u a l   co m p ar is o n   o f   i n f er en ce   la te n c y   ac r o s s   p o o lin g   s tr ateg ie s ,   allo w in g   d if f er e n ce s   in   r u n ti m b eh a v io r   to   b ex a m i n ed .       T ab le  7 .   I n f er en ce   ti m p er   s a m p le  ac r o s s   p o o lin g   m et h o d s   u n d er   ac cu r ac y - o p ti m al  co n f i g u r atio n s ,   s h o w i n g   th ef f icie n c y   ad v a n tag o f   AT P   o v er   T - Max - Av g   P o o l i n g   m e t h o d   P o o l   s i z e   I n f e r e n c e   s p e e d   ( ms/sa m p l e )   S t a n d a r d   d e v i a t i o n   ( ms / sa mp l e )   A v e r a g e   (4 . 4)   4 3 8 . 6 8   3 9 . 2 6   M a x   (4 . 4)   4 1 8 . 7 5   3 5 . 6 8   T - M a x - A v g   ( = = . )   (4 . 4)   4 9 4 . 3 2   7 0 . 5 1   A T P   ( = = . )   (4 . 4)   4 8 2 . 5 2   6 5 . 2 5       T h r esu lts   s h o w   t h at  co n v e n t io n al  p o o lin g   m et h o d s   ac h ie v lo w er   in f er en ce   late n c y .   Ma x   p o o lin g   y ield s   th s h o r test   i n f er e n ce   ti m e,   f o llo w ed   b y   Av er ag e   p o o lin g ,   r ef lectin g   th eir   s i m p ler   co m p u tatio n al   o p er atio n s .   I n   co n tr ast,  ad ap tiv p o o lin g   m eth o d s   i n tr o d u ce   ad d itio n al  laten c y   d u to   m o r co m p le x   p o o lin g   d ec is io n   p r o ce s s es.   Am o n g   t h ad ap tiv ap p r o a ch es,  A T P   ex h ib its   s lig h tl y   lo w er   i n f er e n ce   ti m th a n   T - Ma x - Av g .   T h o b s er v ed   d if f er en ce   i n   in f er en ce   laten c y   b et w ee n   t h t w o   m eth o d s   f all s   w ith in   t h v ar iab ilit y   ac r o s s   r ep ea ted   r u n s ,   as  in d icate d   b y   t h r ep o r ted   s tan d ar d   d ev iatio n s ,   s u g g e s ti n g   co m p ar ab le  i n f er e n c ef f ic ien c y .   T h ese  r esu l t s   in d icate   t h at  s i m p li f y in g   t h p o o lin g   d ec is io n   r u l in   A T P   ca n   r ed u ce   r u n ti m o v er h ea d   w h ile   m ai n tai n in g   cla s s i f icat io n   p er f o r m a n ce .   F u ll  r es u lt s ,   i n clu d i n g   p er - r u n   i n f er en ce   s p ee d   ac r o s s   all  co n f ig u r atio n s   ( p o o s ize s ,   th r esh o ld s ,   an d   v alu e s ) ,   ar p r o v id ed   i n   th s u p p le m e n tar y   m ater i als  ( av ailab le  at:   h ttp s :/ /d o cs.g o o g le. co m / s p r ea d s h ee ts /d /1 b e2 7 R u 7 N m 1 Mi9 t J lq ef k q b r u w 6 M5 Q m UP E I K0 9 eP OleY/e d it? g id = 1 8 1 2 0 9 2 7 7 6 # g id =1 8 1 2 0 9 2 7 7 6 ).   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 6 6 3 - 675   672       Fig u r 8 .   I n f er en ce   ti m p er   s a m p le  ac r o s s   p o o lin g   m et h o d s       3 . 5 .     Q ua lita t iv f ea t ure  m a p   a na ly s is     T o   ex a m i n h o w   d if f er e n p o o lin g   d ec is io n   r u le s   af f ec i n t er m ed iate  r ep r esen tatio n s ,   f ea tu r m ap s   f r o m   t h C o n v 2   la y er   ar v i s u alize d   f o r   b o th   ad ap tiv p o o lin g   m et h o d s .   Fi g u r 9 ( a)   s h o w s   th C o n v 2   f ea tu r e   m ap s   o b tain ed   u s in g   T - Ma x - Av g   p o o lin g ,   w h ile  Fi g u r e   9 ( b )   p r esen ts   t h f ea tu r m ap s   g e n er ated   b y   th e   p r o p o s ed   A T P   m eth o d .   Ov er al l,  b o th   m et h o d s   p r o d u ce   h ig h l y   s i m ilar   ac tiv at io n   p atter n s ,   in c lu d in g   co m p ar ab le  ed g s tr u c tu r es   an d   te x t u r p atter n s .   T h is   s i m ilar it y   is   e x p ec t ed ,   as  b o th   p o o lin g   s tr ateg ie s   o p er a te  o n   id en tical   T KV  ac tiv atio n s   a n d   p r eser v th s a m co n v o lu tio n al  f ilter s .   T h er ef o r e,   th e   p r o p o s ed   A T P   d o es  n o alter   th e   f ea t u r ex tr ac tio n   p r o ce s s   b u o n l y   m o d i f ie s   th p o o lin g   d ec is io n   r u le.   Su b tle  d if f er en ce s   ca n   b o b s er v ed   in   ac tiv atio n   ch ar ac ter i s tics .   Featu r m ap s   g e n er ated   b y   T - Max - Av g   ten d   to   s h o w   s h ar p er   an d   m o r co n ce n tr ated   ac ti v a tio n s ,   w h er ea s   A T P   p r o d u ce s   s li g h t l y   s m o o t h er   an d   m o r u n if o r m l y   d is tr ib u ted   r e s p o n s es.  T h is   b e h av io r   is   co n s is ten w it h   t h eir   r esp ec tiv d e cisi o n   m ec h an i s m s :   T - Max - Av g   r elies  o n   s tr ict  p er - v al u th r e s h o ld   co m p ar is o n s ,   w h i le  A T P   b ases   its   d ec is io n   o n   th m ea n   o f   t h e   T KV  ac tiv atio n s ,   t h er eb y   r ed u cin g   t h i n f lu e n ce   o f   i s o lated   ex tr e m v al u es.   T h ese  v is u al  d i f f er en ce s   d o   n o lead   to   n o ticea b le  d i f f er e n c in   cla s s i f icat io n   ac c u r ac y ,   as   co n f ir m ed   b y   t h q u a n titat iv r es u lt s   p r esen ted   ea r lier .   I n s tead ,   th e   p r im ar y   ad v a n tag o f   A T lies   in   it s   r ed u ce d   co m p u tatio n al  co m p le x it y ,   w h ic h   lead s   to   f a s ter   in f e r en ce   w h i le  p r eser v i n g   d is cr i m i n ati v f ea t u r e   r ep r esen tatio n s   co m p ar ab le   to   T - Max - Av g .         ( a)     ( b )     Fig u r 9 .   C o m p ar is o n   o f   C o n v 2   f ea tu r m ap s   o b tain ed   u s i n g :   (a )   T - Max - Av g   an d   ( b )   A T P . C o n v 2   o u tp u t s   ar s h o w n   to   illu s tr ate  d o w n s tr ea m   ef f ec t s   o f   p o o lin g   d ec i s io n   r u les        Evaluation Warning : The document was created with Spire.PDF for Python.