I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in a n d   Com p u t e r   S c ience   Vo l .   3 9 ,   N o .   1 Ju ly   2025 ,   pp.   283 ~ 309   I S S N:  2502 - 4752,   DO I 10 . 11591/i j e e c s . v 3 9 .i 1 . pp 283 - 309             283     Jou r n al  h o m e page ht tp: // ij e e c s . iaes c or e . c om   PRDTinyML:  deep  learni ng - based  TinyML - based  pedestrian  detection  m odel  in  autonom ous  vehicles  f or  sm art  cities       Nor ah   N.   Al aj l an 1 ,   Abee r   I .   Al h u j ayl an 1 ,   Din a   M .   I b r ah im 1 , 2   1 D e pa r tm e nt   of  I n f or ma ti o T e c hn o l o g y , C ol le g e   of  C o mput e r ,  Q a s s im  U ni v e r s it y B ur a y da h, S a udi  A r a bi a   2 D e pa r tm e nt   of  C o mpu te r s  a nd C o nt r o E ngi ne e r in g, F a c u lt y   of  E ngi ne e r in g,  T a nt a  U ni v e r s it y T a nt a , E g y pt       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d   M a r   23 2024   R e vi s e F e b   19 2025   A c c e pt e M a r   1 2025       D e t ec t i n g   p e d e s t ri an s   a n d   c ars   i n   s m art   ci t i e s   i s   m aj o t as k   fo au t o n o m o u s   v eh i cl e s   (A V t o   p rev e n t   a cc i d e n t s .   O ccl u s i o n ,   d i s t o rt i o n ,   a n d   m u l t i - i n s t an ce  p i c t u r e s   m a k e   p e d e s t ri an   a n d   ri d e d e t ec t i o n   d i ff i cu l t .   Recen t l y ,   d ee p   l e ar n i n g   (D L s y s t em s   h av e   s h o w n   p ro m i s e   f o A V   p ed e s t ri an   i d en t i fi c at i o n .   T h e   r e s t ri c t ed   r e s o u r ce s   o i n t e r n e t   o t h i n g s   ( I o T d e v i ce s   h a v e   m ad i t   d i ffi cu l t   t o   i n t eg rat D L   w i t h   p ed e s t ri an   d e t ec t i o n .   T i n y   m ach i n e   l e arn i n g   (T i n y ML w as   u s e d   t o   r ec o g n i z e   p ed e s t ri an s   an d   cy cl i s t s   i n   t h e   E u r o Ci t y   p e rs o n s   (E CP d at as e t .   A ft e p re l i m i n ar y   t e s t i n g ,   w e   p ro p o s e   fi v mi c r o c o n t ro l l e r - d e p l o y ab l l i g h t w e i g h t   D L   mo d el s   i n   t h i s   s t u d y .   W e   ap p l i ed   Sq u ee z e N e t ,   A l e x N e t ,   an d   co n v o l u t i o n   n eu ral   n e t w o r k   (CN N D L   mo d el s .   W al s o   u s e   t w o   p r e - t rai n ed   m o d e l s ,   Mo b i l e N e t - V 2   an d   Mo b i l e N e t - V 3 ,   t o   d e t e r m i n e   t h e   o p t i m a l   s i z e   a n d   a cc u ra cy   m o d e l .   Q u an t i zat i o n   a w ar e   t rai n i n g   (Q A T ),   fu l l   i n t eg e q u an t i zat i o n   (F I Q ),   an d   d y n a m i ran g e   q u an t i zat i o n   (D RQ w e r u s e d .   T h e   C N N   m o d e l   h a d   t h s h o rt e s t   s i ze  w i t h   0 . 0 7   MB  u s i n g   t h e   D RQ   ap p ro ach ,   f o l l o w ed   b y   Sq u ee z e N e t ,   A l e x N e t ,   Mo b i l e N e t - V 2 ,   a n d   Mo b i l e N e t - V 2   w i t h   0 . 1 6 1   MB,   0 . 6 9   MB,   1 . 8 2 4   MB,   an d   1 . 9 5   MB,   re s p ec t i v el y .   T h Mo b i l e N e t - V 3   m o d e l ’s   D RQ   a cc u ra cy   aft e o p t i mi zat i o n   w as   9 9 . 6 0 %   fo d a y   p h o t o s   a n d   9 8 . 8 6 %   fo r   n i g h t   i mag e s ,   o u t p e rfo r mi n g   o t h e r   mo d el s .   T h Mo b i l e N e t - V 2   mo d el   f o l l o w ed   w i t h   D RQ   a cc u ra cy   o f   9 9 . 2 7 %   an d   9 8 . 2 4 %   fo d a y   a n d   n i g h t   i m ag e s .   K e y w o r d s :   De e l e a r ni ng   I oT   P e de s t r i a n   de t e c t i o n   S m a r t   c i t i e s   T i ny M L   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   D i n a   M .   I b r a hi m   De pa r t m e n t   o f   I nf o r m a t i o n   T e c hn o l o g y ,   C o l l e ge   o f   C o m put e r ,   Qa s s i m   U ni ve r s i t y   B ur a y da h   51452,   S a ud i   A r a bi a   E m a i l d. h u s s e i n@qu. e du. s a       1.   I NT RODU C T I ON   I n t e l l i g e n t   tr a n s po r t a t i o n   s y s t e m s   h a ve   b e e n   de v e lo pe d   i n   r e c e n t   y e a r s ,   e s pe c i a ll y   i n   s m a r t   c i t i e s ,   to  r e duc e   t h e   a m o un t   o f   t r a f f i c   i n   m e t r o p o l i t a n   a r e a s .   F ur t h e r m o r e i t   c a n   de c r e a s e   t h e   n u m be r   o f   a c c i de n t s ,   i n j ur i e s ,   a n de a t h s   t h a t   a r e   c a us e by   t h e m ,   l o we r i n t h e   a m o un t   o f   f ue l   t h a t   i s   c o n s u m e d,   l o we r i n t h e   a m o un t   o f   po l l ut i o n   t h a i s   i n t r o duc e i n t t h e   e nvi r o nm e n t ,   a n s o   o n .   Di f f e r e n t   t e c h n o l o g i e s ,   s uc h   a s   t h e   i n t e r n e t   o f   t hi n g s   ( I o T ) ,   m a c hi ne   l e a r ni ng  ( M L ) ,   de e l e a r ni ng  ( DL ) ,   a n i m a ge   pr o c e s s i n g,   a r e   u ti li z e by  t h e s e   s y s t e m s   to  pr o vi de   a   w i d e   r a n ge   o f   a pp li c a t i o n s   [ 1] .   On e   o f   t h e   m o s t   i m po r t a n t   f u n c t i o n s   f o r   a uto n o m o us   v e hi c l e s   ( A V)   i s   t h e   a bi li t y   t de t e c h u m a m o t i o n   i n   t h e i r   pa t h .   P e de s t r i a n   de t e c t i o n   i s   a   c om put e r   vi s i o n   ( C V)   t e c hni que   t h a i s   us e to  de t e c h u m a mo t i o n .   T hi s   i s   h e l p f u l   f o r   e ns ur i n t h e   s a f e t y   o f   pe o pl e ,   i de n t i f yi ng  a n pur s u i n a   pe r pe t r a tor   i n   a   c r o wd,   pr e v e n t i n a c c i de n t s ,   a n a v o i d i ng  m o vi ng  v e hi c l e s   a n o b s t a c l e s .   A   s o phi s t i c a t e a r r a y   o f   s e ns o r s ,   i n c l ud i ng   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i Vo l .   3 9 ,   N o .   1 ,   Ju ly   20 25 :   283 - 309   284   r a da r ,   c a m e r a s ,   a n li g h t   de t e c t i o n   a n r a n g i ng  ( L i D A R ) ,   c a n   c a r r y   o ut   s uc h   de t e c t i o n   dut i e s .   A   n e s y s t e m   t h a t   h e l ps   pr e v e n t   un e x pe c t e a c c i d e n t s   c a l l e a d v a n c e dr i vi ng  a s s i s t a n c e   s y s t e m   ( AD A S )   wa s   i nt r o duc e d   r e c e n t l y   [ 2] .   T h e   e v o l ut i o n   o f   A D A S   f r o m   a s s i s t e to   f u l ly   a ut o n o m o us   dr i vi ng  i s   a l r e a d y   t he   n o r m .   C ur r e n t l y ,   t h e   m a j o r i t y   o f   s e ns o r s   us e i n   AV s   r e ly   o n   r a da r s ,   L i D A R s ,   a n R GB   im a ge s .   I n   c o m pa r i s o n   to  s e l f - dr i vi ng  pr o vi de r s ,   i m a g e - b a s e s e ns o r s   h a ve   th e   a d v a n t a ge   o f   b e i ng  i n e x p e n s i ve ,   whi c h   a ll o ws   f o r   e a s y   c o n t r o l   o v e r   pr o duc t i o n   c o s t s .   I n   a dd i t i o n   to   i m pr o vi n a ut o n o m o us   dr i vi ng,   us i n im a ge   s e n s o r s   c a n   l o we r   a c c i d e n t   r a t e s .   Ab o v e   e ve r y t hi ng  e l s e ,   pe de s t r i a n   s a f e t y   i s   e s s e n t i a l   [ 3] .   DL   i s   a n   a d v a n c e b r a n c h   o f   M L   t h a t   f i nd s   c o m p lex   r e pr e s e n t a t i o ns   o f   s im p l e r   o n e s .   DL   a ppr o a c h e s   o f t e n   u s e   a r t i f i c i a l   n e ur a l   n e t wo r ks   wi t h   m u l t i p l e   hi dde n   l a y e r s   a n n o nli ne a r   pr o c e s s i ng  uni t s .   De e m e a ns   n u m e r o us   hi dde n   l a y e r s   ut i li z e to   a dj us t   da t a   di s p l a y .   E a c h   hi dde n   l a y e r   o f   ne ur a l   n e t wo r ks   de pi c t s   i t s   i nput   da t a   us i n f e a t ur e   l e a r ni ng.   T h e   l a y e r   a b s o r b s   m o r e   a b s t r a c t i o n   t h a n   t h e   pr e vi o us   l a y e r .   DL   a r c hi t e c tur e s   m a p   t h e   hi e r a r c hy   o f   f e a t ur e s   l e a r n t   a t   n u m e r o us   l e ve l s   to   M L   o u t pu t   i n   a   s i ng l e   f r a m e wo r k.   S i m il a r   to   M L   m e t h o ds ,   DL   a r c hi t e c t ur e   h a s   t w m a i c a t e go r i e s un s up e r vi s e a n s upe r vi s e l e a r ni ng,   i n c l ud in de e n e ur a l   ne t wor ks   [ 1] .   A   s m a r t r a n s po r t a t i o n   s y s t e m   t h a us e s   DL   to  i de n t i f y   p e de s t r i a n s   a n v e hi c l e   r i de r s   i s   j u s o n e   o f   s e v e r a l   a pp li c a t i o ns   t h a t   c o m bi ne   I o T   s e n s o r s   w i t DL .   T hi s   a pp li c a t i o n   w il l   e n c o un t e r   n e o b s t a c l e s   wh e n   i t   i nc o r por a t e s   DL   w i t h   I o T   de vi c e s .   T h e r e   a r e   a   l o t   o f   o b s t a c l e s   to   i n t e gr a t i n DL   w i t h   t h e   I o T   i n   i m a ge - b a s e d   pe de s t r i a n   a n ve hi c l e - r i de r   de t e c t i o n   s c e n a r i o s .   S e v e r a l   s t ud i e s   a n po l l s   o n   pe de s t r i a n   de t e c t i o s y s t e m s   h a v e   f o u n t h a t   t r a i ni n D L   m o de l s   a r e   t h e   bi g ge s t   o b s t a c l e   [ 1] [ 2 ] .   I n   c o n t r a s t ,   DL   m o de l s   r e qu i r e   a   s ubs t a n t i a l   a m o u n t   o f   t r a i ni ng  t i m e   be c a us e   o f   t h e i r   c o m p l e xi t y ,   po or   tr a i ni n s pe e d,   a n hi g h   c o m put a t i o c o s t.   T h e   s t ud y   i n   [ 1]   s ur v e y e t h e   s t a t e   o f   t h e   a r i n   AV   pe d e s t r i a n   de t e c t i n s y s t e m s   i gr e a t   de t a i l .   Al t h o ugh   t h e y   c l a i m e t h a DL   l e a r ni ng - b a s e m o de l s   h a v e   s o l v e m a ny   pr o bl e m s   w i t h   pe de s t r i a n   de t e c t i o n ,   t h e s e   m o de l s   a r e   pa i nf u ll y   s l o w,   h a v e   po o r   i n t e r o p e r a bil i t y ,   a n r e qu i r e   a n   e x c e s s i ve   a m o u n t   o f   t i m e   to   tr a i n .   T h e r e   wa s   a l s o   a   n e e f o r   a   s u b s t a n t i a l   a m o u n t   of   da t a   f o r   a c c ur a t e   f o r e c a s t i n g.   T t h a e n d,   a c c ur a c y   a n d   s pe e po s e   t h e   gr e a t e s c h a ll e n ge s   to  pe de s t r i a de t e c t i n s y s t e m s .   Ne ve r t h e l e s s ,   to   ke e p   a   hi g l e ve l   o f   a c c ur a c y ,   r e s e a r c h e r s   we r e   a dvi s e by   [ 4]   to   e m p l o y   l i g h t we i g h t   s e ns o r s   o r   to  a n a ly z e   bi o l o g i c a l   s i g n a ls   us i n vi de o   da t a .   Ne t e c h n o l o g y   k n o wn   a s   T i ny   m a c hi ne   l e a r ni n ( T i ny M L )   h a s   e m e r ge to   a ddr e s s   t h e s e   i s s u e s   a n o v e r c o m e   t h e   o b s t a c l e s   o f   DL   i n t e gr a t i o n   w i t I o T   de vi c e s .   O n e   de f i n i t i o n   o f   T i ny M L   i s   t h e   c o m bi na t i o o f   ML / DL   w i t h   I oT   de vi c e s .   W i t h   T i ny M L   t e c hn o l o g y ,   DL   m o de l s   m a y   b e   de p l o y e o n   m i c r o c o n t r o l l e r - po we r e de vi c e s   w i t h   li m i t e r e s o ur c e s .   T h e   a c c ur a c y   o f   t h e   c l a s s if i e r   i s   n o t   s a c r i f i c e by   t h e   l o w - c o s b o a r ds   f i t t e w i t h   m i c r o c o n t r o l l e r s ;   t h e y   h a v e   r e s t r i c t e pr o c e s s i n g,   e x t r e m e ly   l o po we r   ( m W   r a n ge   a n d   l e s s ) ,   a n s m a ll   m e m o r y   s i z e s   [ 5 ] - [ 7] .   T h e r e f o r e ,   t hi s   s t ud y   s e t   o u t   to   i m pr o v e   s m a r t   c i t y   t r a n s po r t a t i o n   by   us i ng  T i ny M L   t o   pe de s tr i a n   a n d   v e hi c l e - r i de r   o bj e c t s .   W e   us e t h r e e   o p t i m i z a t i o n   s t r a t e gi e s   to   i m p l e m e n t   f i ve   li g h t we i g h t   DL   m o de l s   i n   t h e   pr e s e n t   wor k.   T h e   t h r e e   DL s   t h a h a ve   b e e n   c o n s ider e a r e   c o n v o l ut i o n   n e ur a l   n e t wo r k   ( C NN )   de e m o de l s ,   Al e x Ne t ,   a n S que e z e Ne t .   I n   a dd i t i o n ,   we   us e t h e   M o bi l e Ne t - V2  a n M o bi l e Ne t - V3  de e m o de l s   t h a h a d   a l r e a d y   b e e n   t r a i n e d.   A   pa i r   o f   qua n t i z a t i o n   t e c hni que s ,   po s t - tr a i ni ng  qua n t i z a t i o n   ( P T Q)   a n qua n t i z a t i o a wa r e - t r a i ni ng  ( QA T ) ,   a r e   e m p l o y e t o   c a r r y   o ut   th e   o pt i mi z a t i o n   pr o c e dur e s .   F o l l o w i ng  t hi s ,   we   w il l   us e   t h e   I n t e r pr e t e r   to   a s s e s s   t h e   DL   m o de l s   a f t e r   t h e y   h a v e   b e e n   c o nv e r t e to  t h e   T e n s o r F l o L i t e   ( T F L i t e )   f o r m a t .   He r e   i s   t h e   o ut l i ne   f o r   t h e   r e m a i nde r   o f   t h e   pa pe r c o n t e n t.   I n   s e c t i o n   2,   we   t a ke   a   hi g h - l e v e l   l o o a T i ny M L ,   d i s c u s s i ng  i t s   d e f i n i t i o n   a n t h e   b e n e f i t s   i t   o f f e r s .   T h e   r e l e va n t   r e s e a r c h   o n   pe de s t r i a n   de t e c t i o n   is   r e vi e we i s e c t i o n   3.   W e   s h o o u r   m e t h o do l o g y   a ppr o a c h   to  t h e   r e s e a r c h   i n   s e c t i o n   4.   T h e   a pp l i c a t i o n   a n d   e v a l ua t i o n   o f   o ur   m e t h o ds   a r e   de t a i l e i n   s e c t i o 5.   T h e   r e s u l t s   a r e   di s c u s s e a n c o m pa r e i n   s e c t i o n   6.   F i na ll y ,   s e c t i o n   i ll us t r a t e s   t h e   f i na l   c o n c l u s i o n s .       2.   OVE RV I E W   OF   T I NY M L   T i ny M L   i s   a n   e m e r g i n f i e l t h a t   a c c e l e r a t e s   I o T   i nv e n t i o ns   i n   s m a r t   c i t i e s ,   s uc h   a s   s m a r t r a n s po r t a t i o n ,   a uto n o m o us   dr i vi ng,   s m a r t   a gr i c u l t ur e ,   a n s m a r t   e n vi r o nm e n t .   T i ny M L   i m p l e m e n t s   DL   t a s ks   l o c a ll y   o n   m a c hi ne s   u n de r   a   m il li wa t t   [ 8 ] [ 9] .   R e duc e s   c o m put a t i o n a l   po we r   a n da t a   to   i m pr o v e   DL   a l go r i t hm s   [ 9] .   T i ny M L   i s   a   t i ny   m a c hi ne   l e a r ni n - a wa r e   f r a m e wo r k,   a r c hi t e c t ur e s ,   too l s ,   t e c hni q ue s ,   a n d   a ppr o a c h e s   t h a t   c a n   pe r f o r m   o n - de vi c e   s t a t i s t i c a a n a ly s i s   f o r   a   w i d e   r a n g e   o f   s e n s i ng  m o da li t i e s   ( vi s i o n ,   a ud i o ,   s pe e c h ,   m o t i o n ,   c he m i c a l ,   p hy s i c a l ,   t e x t ua l ,   a n c o gni t i ve )   a t   M i ll iWa t t   or   b e l o w i t h   t a r ge t i n g   b a t t e r y - o pe r a t e e m b e dd e e dge   de vi c e s   [ 10] .   Ha r dwa r e ,   s o f t wa r e ,   a n a l go r i t hm s   m a ke   up  T i ny M L .   Ha r dwa r e   c a n   i n c l ude   I oT   de vi c e s   w i t h   o r   w i t h o ut  a c c e l e r a to r s .   M i c r o c o n t r o l l e r   uni t s   ( M C Us )   a r e   a ppr o p r i a t e   T i ny M L   h a r dwa r e   p l a t f o r m s   due   t o   t h e i r   s pe c s   [ 11] .   A   C P U,   f l a s h   m e m o r y ,   r a n do m - a c c e s s   m e m o r y   ( R A M ) ,   a n i n put /o u t pu pe r i p h e r a l s   m a ke   up   t h e   m i c r o c o n t r o l l e r   c hi p.   M i c r o c o n t r o l l e r s   a r e   t i n y   ( cm 3 ) ,   l o w - c o s t,   a n l o w - po we r   [ 9] .   T h e i r   c l o c s pe e i s   M Hz   t o   500  M Hz ,   p o we r   i s   15   mA ,   R A M   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752       P R DTi ny M L :   de e lear ning - bas e T inyM L - bas e pe de s tr ian  de tec ti on    ( N o r ah  N .   A laj lan )   285   s to r a ge   i s   KB   to   320   K B ,   a n f l a s h   m e m o r y   is   32  K B   to   2   M B .   R e c e n t l y ,   s o f t wa r e   t i t a ns   ha ve   s h o wn  i n t e r e s t   i n   T i ny M L .   M i c r o s o f o f f e r s   E dge M L   [ 12] ,   G oo gl e   ha s   T F L i t e ,   whi c h   l e t s   I o T   de vi c e s   r u n   n e ur a n e t wo r k   ( NN )   m o de l s   [ 13] .   H o we v e r ,   T i ny M L   a s   DL   a l go r i t hm s   s h o u l b e   t i ny   ( a   f e K B ) .   Qua nt i z a t i o n ,   pr uni ng,   a n kn o w l e dge   d i s t i ll a t i o n   m a y   b e   us e to   c o n de ns e   DL   m o de l s   f o r   I oT   de vi c e s   w i t l im i t e d   r e s o ur c e s   [ 11] .   Opt i mi z a t i o n   a n c o nv e r s i o n   o f   DL   m o de l s t e n a bl e   I o T   de vi c e   DL   i nf e r e n c e ,   DL   m o de l   o p t i mi z a t i o n   m e t h o ds   b u il l i g h t we i g h t   m o de l s .   T h e   we i g h t   o f   DL   m o de l s   m a ke s   i n t e gr a t i n t h e m   w i t h   I oT   de vi c e s   d i f f i c u l t .   De vi c e s   t h a t   c o n s u m e   r e s o ur c e s   m a ke   DL   i nf e r e n c e   d i f f i c u l t .   DL   m o de l   o p t i mi z a t i o c o m pr e s s e s   a n a c c e l e r a t e s   s upe r f l uo us   pa r a m e t e r s   w i t h o u t   a f f e c t i n a c c ur a c y .   T h e   c o m m o n   DL   m o de l   o p t i mi z a t i o n   s t r a t e gi e s   a r e   qua n t i z a t i o n ,   n e t wo r k   pr uni ng,   a n we i g h t   f a c t o r i z a t i o n   [ 14] .   Qua n t i z a t i o n   i s   a   s t a n da r T i ny M L   c o m pr e s s i o n   a ppr o a c h ,   t h us   t hi s   s t udy   us e s   i t .   Qua n t i z a t i o n   m e t h o ds   us e   l e s s   f l a s h   m e m o r y   a n R AM   whil e   pr e s e r vi ng  m o de l   a c c ur a c y   [ 15] .   Qua n t i z a t i o n   a ppr o a c h e s   us e   o pt i mi z a t i o n   pr i nc i p l e s   to   m e e t   de vi c e   r e s t r i c t i o ns   w i t h   li mi t e d   r e s o ur c e s   [ 15 ] .   Qua n t i z a t i o n   i nv o l v e s   s ubs t i t ut i ng  hi g h - pr e c i s i o n   DL   pa r a m e t e r s   wi t h   l o w - pr e c i s i o n   o n e s   w i t h o ut  a f f e c t i n m o de l   a r c hi t e c t ur e .   B y   32 - bi t   f l o a t i n g - po i n t   v a l u e s   [ 14] [ 16 ] .   T h e   q ua n t i z a t i o n   ( 1)   unif o r m ly   m a ps   r e a l   v a l ue s   to   i n t e ge r   v a l ue s .       ( )   =      ( )   +     ( 1 )   ( 1)     W h e r e      r o un ds   to  t h e   n e a r e s t   i n t e ge r   to  s e t h e   o u t put  v a l ue .     a r e   r e a l   n u m be r s ,     i s   a   s c a l i ng  f a c t or ,   a nd     i s   a n   i n t e ge r   z e r o   po i n t .   S c a l i ng  i s   a   po s i t i v e   i n t e ge r   t h a t   de t e r m i ne s   qua n t i z a t i o n   s t e s i z e .   R e a l   n u m be r   v a l ue s   de pe n o n   s c a l i ng  f a c t or .     h a s   s e v e r a l   r e a l   nu m b e r   r a n ge s ,   e a c h   m a ppe to   a   n u m e r i c a l   v a l ue .   S k i r m a n t a s   Kli g y s   o f   Go o gl e   M o bil e   V i s i o n   p i o n e e r e Q A T .   Qua n t i z a t i o n   m e t h o ds   l i ke   t hi s   i nn o v a t i o n   t r y   to  c o r r e c f o r   qua n t i z a t i o n   e r r o r   a n r e duc e   a c c ur a c y   l o s s .   T r a i n   qua n t i z e de e n e ur a l   n e t wo r ks   du r i n t h e   f o r wa r pa s s .   T h e   tr a i ni ng  o f   DL   m o de l s   s t i l l   us e s   f l o a t i n g - po i n t   o r   n o n - qua n t i z e d   v a l ue s .   T h e   qua n t i z e m o de l s   a v e r a ge   o ut c o m e s   im pr o v e   a n t h e   l e a r ni ng  p h a s e   s t a bil i z e s .   P r e - t r a i ni ng  D L   m o de l s   us i ng  a ppr o pr i a t e   c o nf i gur a t i o n   pa r a m e t e r s   us i n f l o a t i n po i n t   v a l ue s   [ 17] .   Af t e r   DL   m o de l   t r a i ni ng,   p o s t - t r a i ni ng  qua n t i z a t i o n   ( P T Q)   qua n t i f i e s   DL   pa r a m e t e r s .   On c e   DL   m o de l   t r a i ni n i s   c o m p l e t e ,   f r e e z e   a n qua n t i z e   p a r a m e t e r s .   Unli ke   Q A T ,   P T q ua n t i f i e pa r a m e t e r   we i g h t   w i t h o ut  tr a i ni ng  pa r a m e t e r   m o d i f i c a t i o n s   [ 17] .   T h e   qua n t i z a t i o n   e r r or   o f   e a c h   pa r a m e t e r   i n   t h e   P T c a us e s   a c t i v a t i o n   e r r o r .   A dd i t i o n a ll y ,   de c r e a s i ng  we i g h t   v a l ue s   i nc r e a s e   qua n t i z a t i o n   e r r or .   T h us ,   a c c ur a c y   de c r e a s e s .   P T Q s   do wn s i de   i s   qua n t i z a t i o n   e r r o r s   a t   t h e   o u t pu t ,   whi c h   m i g h t   c a us e   t h e   c l a s s if i e r   m o de l   t mi s c l a s s if y   t h e   i n put   da t a ,   l o we r i n a c c ur a c y   c o m pa r e to  t h e   t r a i ni ng  m o de l .   P T Q s   t h r e e   m e t h o ds - F l o a t 16  qua n t i z a t i o n ,   d y n a mi c   r a n ge   qua n t i z a t i o n   ( DR Q) ,   a n f u ll   i n t e ge r   q ua n t i z a t i o n   ( F I Q) - r e duc e t h e   s i z e   o f   a   t r a i ni ng  DL   m o de l   w i t h   c o nv o l ut i o n a l   l a y e r s   by   f o ur   t i m e s   a n s pe up  e x e c ut i o n   by   10 - 50%   [ 18] .   D R a n d   F I we r e   c h o s e n   f o r   c ur r e n s t udy   b e c a us e   t h e s e   m e t h o ds   s c a l e t h e   m o de l s   f o ur   t i m e s   s m a l l e r   a n t h e     16 - bi t   f l o a t i n po i n t   t wi c e   a s   s m a l l ( i )   F I Q:  i t   c o n v e r t s   a l l   m o de l   we i g h t   a n a c t i v a t i o n   pa r a m e t e r s   f r o m     32 - bi t   f l o a t i n g - po i n t   to  8 - bi t   i n t e ge r   i n t e ge r s .   Al t h o ugh   F I qua n t i z a t i o n   h a s   b e n e f i t s ,   i t   r e duc e s   a c c ur a c y .     I qua n t i z e s   t h e   m o de l ,   r e duc i n a c c ur a c y   b ut   k e e p i n i t   w i t hi n   a c c e pt a bl e   li m i t s .   I n   F I Q,   we i g h t s   a n d   a c t i v a t i o ns   a r e   qua n t i z e by   s c a li ng  o v e r   8 - bi t   i n t e ge r s .   ( ii )   DR Q:  t h e   de f a u l t   m e t h o f o r   P T r e duc e s   m o de l   s i z e   a n o p t i mi z e s   i nf e r e n c e   de l a y   [ 19] .   A f t e r   t r a i ni ng  DL   m o de l s   f r o m   f l o a t i n g - po i n t   n u m b e r s   t f i x e d - po i n t   i n t e ge r   n u m be r s ,   P T Q   qua n t i z e s   a n a c t i v a t e s   th e i r   we i g h t s .   Ope r a tor s   dy n a mi c a ll y   qua n t i z e   a c t i v a t i o n s   b a s e o n   t h e i r   r a n ge   t 8 - bi t   i n t e ge r s   a n c o n duc t   c o m put a t i o n s   w i t h   8 - bi t   i n t e ge r   we i g h t s   a n a c t i va t i o n s   t r e duc e   i nf e r e nc e   t i m e   i d y na mi c   r a n g e .   Af t e r   m u l t i p li c a t i o n   a n a c c u m u l a t i o n ,   a c t i v a t i o n   v a l ue s   a r e   de qua n t i z e to   32 - bi t   f l o a t i n g - po i n t   n u m be r s .   I n   c o n t r a s t   to   F I Q,   DR c o n ve r t s   a c t i v a t i o n   v a l ue s   t i n t e ge r s   on - t h e - f ly   dur i n i nf e r e n c e   t i m e .   S i nc e   DR qua n t i z a t i o n   do e s   n ot  r e qui r e   a   r e pr e s e n t a t i v e   da t a s e t ,   i t   h a s   a dv a n t a ge s   o v e r   t h e   wh o l e   i n t e ge r .   A s   DR s to r e s   a c t i v a t i o n s   v a l ue s   a s   f l o a t i n g - po i n t   n u m be r s   dur i n t h e   s t a n d - by   p h a s e ,   E dge   T P c a n n o b e   us e a s   q ua n t i z e m o de l   c us t o m   h a r dwa r e   b e c a us e   i t   o nl y   s uppo r t s   i n t e ge r   a r i t hm e t i c   [ 20] .   M o s t   s m a r t   c i t y   a pps   f u n c t i o n   we ll   i s m a r t   e nvir o nm e n t s ,   t r a n s po r t a t i o n ,   a gr i c u l t ur e ,   a n h o m e s   us i n DL   a n I o T   de vi c e s .   T hi s   c o m p li c a t e s   s ur v e y   a n r e vi e r e s e a r c h .   Ne t e c h   T i ny M L   l e v e r a g e s   DL   in  m a ny   I o T   a pps .   I o p t i mi z e s   DL   m o de l s   f o r   I o T   de vi c e s   l im i t e r e s o ur c e s   to  i m pr o v e   a c c ur a c y   a n pe r f o r m a n c e .   DL   m e e t s   s m a r t   c i t y   I oT   de vi c e s   w it h   T i ny M L .   Ne x t   s ub s e c t i o n s   e x p l a i n   h o l i g h t we i g h t   DL   m o de l   t r a i ni ng  a l l o ws   I o T   de vi c e s   w i t h   l im i t e r e s o ur c e s   a n po we r   to   i nf e r .   T r a i n   l i g h t we i g h t   DL   m o de l s c o m p l e x   de e p - l e a r ni ng  m o de l s   a r e   n e e de f o r   s m a r t   c i t y   a pps .   T r a i ni ng  l a r ge   DL   m o de l s   r e qu i r e s   GPUs   a n h o ur s .   L a r ge   s to r a ge   m e m o r y   i s   n e e de f o r   e l e c t r i c   I o T   de vi c e s .   F o r   a c c ur a c y ,   I o T   de vi c e s   m u s t   b e   p o w e r f u l   a n r e s o ur c e - i n t e n s i ve .   T i ny M L   r e duc e s   DL   m o de l   t r a i ni ng  f o r   m i c r o c o n t r o l l e r   de p l o y m e n t ,   m a k i ng  l o w - r e s o ur c e   I oT   de vi c e s   s m a r t .   P r uni n a n qua n t i z a t i o c o m pr e s s   m o de l s .   T hi s   l i g h t we i g h t   t r a i ni ng  pa r a d i g m   f o r   I oT   de vi c e s   im pr o v e s   ba tt e r y   li f e   a n s a v e s   o pe r a t i o n a l   c o s t s   f o r   s m a r t   c i t y   I o T   us e r s   [ 21 ] [ 22 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i Vo l .   3 9 ,   N o .   1 ,   Ju ly   20 25 :   283 - 309   286   T i ny M L   da t a   i s   pr o c e s s e l o c a l ly   o n   c o m put i n g   de vi c e s   t i nf e r   l i g h t we i g h t   DL   m o de l s   i n   I o T   de vi c e s .   R e a l - t i m e   l o c a l   da t a   pr o c e s s i n l e t s   I oT   de vi c e s   a s s e s s   a n r e s po n f a s t ,   e s pe c i a ll y   i c r i s e s .   Al s o   de c r e a s e s   c l o ud  b ur de n   [ 23 ] [ 24 ] .   Ga t e wa y s ,   c l o ud   s e r vi c e s ,   a n DL   m o de l s   h e l I oT   de vi c e s   i n put   a n h a n d l e   da t a .   L a r ge   m o de l   s i z e s   s l o a n de l a y   d e vi c e   DL   i nf e r e n c e .   F o r   T i ny M L ,   i nf e r r i n t h e   DL   m o de l   a n pr o c e s s i n da t a   o n   t h e   de vi c e   s o l ve s   r e s po n s e   t i m e s ,   n e t w o r k   b a n d w i dt h ,   a n s t or a ge   i s s ue s .   P r o c e s s i n g   r a da t a   o n   t h e   de vi c e   r e duc e s   l a t e n c y   a n b a n dw idt h   [ 25 ] [ 26] .   T i ny M L   i s   goo d   f o r   I o T   de vi c e s   w i t h   M C Us   b e c a us e   i t   us e s   s m a ll   b a t t e r i e s   a n l e s s   e l e c t r i c i t y .     Due   to   t h e i r   s tr o n pr o c e s s o r s   a n GPUs ,   I o T   de v i c e s   de m a n l o t s   o f   po we r .   T i n y M L ,   r e qui r i ng  150  μ W   to  23. m W ,   c o n n e c t s   I oT   de vi c e s ,   s uc h   a s   s c o ot e r s   a n s e gw a y s ,   f r o m   a ny w h e r e   [ 27] .   I t i n e r a n t   c o gni t i ve   a pps   c a n   h e l s m a r t   c i t i e s .     T i ny M L   u s e s   li t t l e   r e s o ur c e s   to  i nf e r   DL   m o de l s   t s m a r t e n   l o w - r e s o ur c e   I oT   de vi c e s .   T i ny M L   f i xe s   s m a r t   c i t y   I o T   di f f i c u l t i e s .   S m a r t   c i t y   a pps   c o l l e c t ,   pr o c e s s ,   a n s t o r e   da t a   us i n s e n s o r s   a n mi c r o c on t r o l l e r s   a n c l o ud  DL .   C l o ud  c o m put i n u s e s   T F L OPs ,   GPUs ,   a n T P Us .   to  r un   16 - 32  GB   DL   m o de l s   qu i c k ly ,   de l a yi ng  da t a   a n l e ve r a g i n n e t wo r k   c a pa c i t y .   S e c o n d,   GPUs   a n m i c r o pr o c e s s o r s   e n a bl e   r e a l - t im e   DL   m o de l   pr o c e s s i ng  i n   s m a r t   c i t i e s   w i t h o ut  c l o ud  c o m put i n g.   L a pt o ps ,   t a bl e t s ,   a n s m a r t ph o n e s   wi t h   NPU   t e c h n o l o g y   w i t h   R AM   c a n   h a n d l e   h uge   s t o r a ge   a n c o m put i n c a pa c i t y .   M o bil e   s m a r t   c i t y   a pp s   ne e l o t s   o f   c o m put e r   p o we r ,   s to r a ge ,   a n b a tt e r y   l if e   [ 28 ] [ 29] .   T i ny M L   us e s   DL   o n   a   2M B   R A M   m i c r o c o n tr o l l e r   to   s a v e   m o n e y   a n r e s o ur c e s .   T i ny M L   a d v a n c e s   s m a r c i t y   i nn o v a t i o n   a c r o s s   s e c to r s .       3.   RE L AT E D   WORK S   I n   o r de r   to   i de n t i f y   pe de s t r i a ns   f r o m   i m a ge s   a nd  vi de o s   c o l l e c t e by   I oT   de vi c e s ,   a   n u m be r   o f   s t udi e s   h a v e   ut i l i z e a   w i de   r a n ge   o f   DL   m o de l s ,   i n c l ud i ng  C NN ,   r e g i o n - c o nv o l ut i o n a l   ne ur a l   ne t w o r ks     ( R - C NN ) vi s u a l   ge o m e t r y   gr o up - 16   ( VGG - 16 ) y o o nly   li ve   o n c e   ( YO L O )   va r i a n t s ,   Al e x Ne t ,   a n m uc h   m o r e .   F o r   i ns t a n c e ,   Z h e al.   [ 30 ] ,   us e b a c kgr o un r e m o v a l   a n DL   to  s t udy   l o n g - d i s t a n c e   pe de s t r i a r e c o gni t i o n   c h a ll e n ge s .   T hi s   pr o c e s s   c o m pr i s e s   t w o   s t e ps .   F i r s t ,   t hi s   m o de l   pr e s e n t s   ML   de t a c hm e n t   f r a m e wo r f a c t s .   T h e   a tt e n t i o n   m o du l e   i m pr o v e s   R e f i ne D e t s   r e c o gni t i o n   o f   s m a ll   pe de s t r i a n s   i n   t he   s e c o n s t e p.   T hi s   a ppr o a c h   r e qu i r e s   a dd i t i o na l   b e nc hm a r ks   f r o m   v a r i o us   c a r to gr a phi c   r e g i o n s   w i t h   hi g h   f o ot  a c t i vi t y   to  a s s ur e   v a li d i t y .   Kim   e al.   [ 31 ]   i nv e s t i ga t e t h e   de t e c t i o n   o f   pe de s t r i a ns   i n   s m a r t   b u i l d i ng s .   o wi n to   t h e   f a c t   t h a t   t h e   i de n t i f i c a t i o n   o f   pe de s t r i a n s   i s   d i f f i c u lt   o wi n t o   n o i s e   i n   im a ge s   a s   we ll   a s   c e r t a i n   e nvi r o nm e n t a l   c o n d i t i o n s   a n pa r a m e t e r s .   T h e   de e C NN   wa s   u t i li z e by   t h e   r e s e a r c he r s   i n   o r de r   to  de v e l o a   vi s i o n - b a s e d   m o de l .   A dd i t i o n a ll y ,   t h e   o p t i mi z e v e r s i o n   o f   t h e   V GG - 16,   whi c h   wa s   r e f e r r e to  a s   t h e   OV GG - 16,   s e r v e a s   t h e   a r c hi t e c t ur a l   c o r e   t h a wa s   u t i li z e i n   o r de r   to  di f f e r e n t i a t e   pe de s t r i a n s   f r o m   t h e   n u m e r o us   a v a il a bl e   im a ge s .   F o r   t h e   pur p o s e   o f   e v a l ua t i n t h e   s ugge s t e m e t h o d,   t h e   r e s e a r c h e r s   ut i li z e t h e   I NR I A   d a t a s e t,   whi c h   c o m pr i s e 6 , 817  ph o to s ,   i n c l ud i n 3 , 239  photo gr a ph s   o f   pe de s t r i a n s .   T h e   im a ge   qua li t y   i t hi s   da t a s e wa s   227× 227  p i x e l s .   I n   c o m pa r i s o n   to   p r e vi o us   a ppr o a c h e s   to  ML ,   t h e   pr o p o s e m e t h o h a s   a   hi g h   l e ve l   o f   a c c ur a c y   ( a b o ut   98 . 8% )   wh e n   i t   c o m e s   t o   t h e   a c c ur a t e   i de n t i f i c a t i o n   o f   pe de s t r i a n s .   T hi s   wa s   de mo n s t r a t e d   by   t h e   f i nd i ngs   o f   t h e   r e s e a r c h e r s   i nv e s t i ga t i o ns .     T o m è   e al .   [ 32]   pr o p o s e a   s y s t e m   f o r   t h e   i de n t i f i c a t i o n   o f   pe de s t r i a n s   t h a t   m a ke s   us e   o f   DL   pr i n c i p l e s .   I n   a dd i t i o n   to  t hi s ,   t h e   r e s e a r c h e r s   s ugge s t e a   n e pa r a d i g m   f o r   r e c o gni z i ng  pe de s t r i a ns .   DL   m o de l s   c a ll e Al e x Ne t   a n Goo gL e Ne we r e   u t i li z e by   t h e   r e s e a r c h e r s   i n   o r de r   to  f a c il i t a t e   t h e   im p l e m e n t a t i o n   o f   t h e i r   pr o p o s e a l go r i t hm   o c o n t e m po r a r y   h a r dwa r e .   A dd i t i o na l ly ,   t h e   r e s e a r c h e r s   pr o p o s e n e m e t h o ds   f o r   v a r i o us   s t a ge s   o f   pe de s t r i a n   i de n t i f i c a t i o n .   T h e y   ut i li z e t h e   NV I DI A   J e t s o n   T K 1,   a   c o m put i n p l a t f o r m   t h a t   i s   b a s e o n   gr a phi c s   pr o c e s s i n uni t s   ( GPUs ) ,   a s   we l l   a s   t h e   C a l t e c h   P e de s t r i a da t a s e i n   o r de r   to  i m p l e m e n t   a n a s s e s s   t h e   o f f e r e m e t h o do l o g i e s   a n s o l ut i o ns .   T hi s   pa r t i c u l a r   da t a s e i nc l ude s   a ppr o xi m a t e l y   t e n   h o ur s   o f   vi de o   c o n t e n t   t h a pe r t a i ns   to  a u to s   a n wa s   ga t h e r e i n   a   va r i e t y   o f   we a t h e r   c o n d i t i o n s .   T hi s   da t a s e t   h a 137  m i nut e s   o f   vi de o   c o n t e n t   wi t h   a   tot a l   o f   2 , 300  d i f f e r e n t   pe de s t r i a ns   a n 250  t h o us a n f r a m e s   e a c h   mi nut e .   Ha l f   o f   t h e   f r a m e s   c o n t a i n e n o   pe de s t r i a ns ,   wh e r e a s   t hi r t y   pe r c e n t   o f   t h e   f r a m e s   c o n t a i n e t wo   o r   t h r e e   pe de s t r i a n s .   A s   a   r e s u l t   o f   t h e   e x e c ut i o n   o f   t h e i r   pr o po s e t e c h n o l o gy ,   t h e   a c c ur a c y   o f   t h e   Al e x Ne t   m o de l   i s   80. 1%   a n f o r   Goo gL e Ne t   m o de l   i s   80. 3% .   t h e s e   r e s e a r c h e r s   we r e   a bl e   to  de m o ns t r a t e   t h a t   i i s   hi g hly   e f f i c i e n t   a n a c c ur a te  i n   s po tt i n pe de s t r i a n s   i n   r e a l   t i m e .   F ur t h e r   r e s e a r c h e r s   pr o p o s e m u l t i m o da l   im a g i ng  a n ML   m e t h o ds   to  de s i g n ,   i m p l e m e n t ,   a n e v a l ua t e   pe de s t r i a n   de t e c t i o m e t h o ds   [ 33] .   T w c a m e r a s   we r e   c a l i b r a t e us i ng  a   s pe c i a ll y   de s i g n e r e f e r e n c e   c he c ke r b o a r d.   T h e y   pr o p o s e d   m e t h o f o r   s upe r i m po s i n m u l t im o da l   im a ge s   us i n R GB   da t a   a n t h e r m a l   t pr o duc e   t h e   f i na l   im a ge s .   T h e y   c r e a t e n e da t a s e t   w i t h   8 , 000  m u l t im o da l   i m a ge s   i go o a n l i mi t e vi s i bil i t y .   F o r   de t e c pe de s t r i a n   i a   n e r e pr e s e n t a t i o n   o f   m u l t i m o da da t a ,   t h e y   pr o p o s e a da pt e YO L m o de l   w hi c h   c o n t a i e dge   de vi c e   v a r i a n t   f o r   T F L i t e .   T h e   b e s t   r e s u l t   a c hi e v e d   by   a da pt e YO L O v 5 s   m o de l   f o r   s ubs e t   i mage s   f o r   goo d   vi s i bil i t y   w i t h   93. 4%   f o r   e dge   de vi c e s .   S e que n t ,   YO L Ov 5s   m o de l   a c hi e ve 87. 8%   a n 86. 8%   f o r   li mi t e vi s i b il i t y .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752       P R DTi ny M L :   de e lear ning - bas e T inyM L - bas e pe de s tr ian  de tec ti on    ( N o r ah  N .   A laj lan )   287   W i t hi t h e   c o n t e x t   o f   t h e   a uto m a t e dr i vi ng  a pp r o a c h ,   C h e n   e al.   [ 34]   i nv e s t i ga t e t h e   v a r i o us   a r c hi t e c t ur e s   t h a a r e   c ur r e n t l y   i n   us e   f o r   pe de s t r i a n   de t e c t i o n .   F o l l o w i ng  a n   e x p l a n a t i o n   o f   t h e   n e c e s s i t y   o f   e m p l o yi ng  wa y s   t o   i de n t i f y   a   pe de s t r i a n   a n a s c e r t a i n   hi s   o r   h e r   i t i n e r a r y ,   t h e s e   r e s e a r c h e r s   we n t   o n   to   e x p l o r e   t h e   pr o c e dur e   o f   de t e c t i n a   pe r s o n   while  dr i vi ng  a   ve hi c l e .   T h e y   t h e n   de s c r i b e h o to  us e   DL   t e c h ni que s   ( s uc h   a s   R - C NN   a n s uppo r v e c tor   m a c hi ne   ( S VM ) )   to  di s c o v e r   t w o - s t e p   a n o n e - s t e pa tt e r n s ,   a n t h e n   t h e y   t e s t e d   t h e   us e f u l ne s s   o f   t h e   pa tt e r n s   t h a we r e   i de n t i f i e to   de t e c p e de s t r i a n s   f r o m   t h e   pa tt e r n s   t h a we r e   di s c o v e r e d.   L a s t   b ut   n ot  l e a s t ,   t h e   r e s e a r c h e r s   i nve s t i ga t e a n c o n t r a s t e t h e   a ppr o a c h e s   th a t   we r e   s ugge s t e by   o t h e r   r e s e a r c h e r s   i n   o r de r   to  i d e n t i f pe de s t r i a n s .   T h e   K T da t a s e t ,   t h e   UC F   s e r i e s   da tas e t ,   t h e   Ho l ly w o o d2   da t a s e t ,   a n t h e   Goo gl e   A V A   da t a s e t   a r e   s o m e   o f   t h e   da t a s e t s   t h a t h e y   i n t r o duc e d.   T h e s e   da t a s e t s   a r e   u t i li z e t i nv e s t i ga t e   t h e   pr o p o s e a ppr o a c h e s   f o r   i de n t i f y i ng  pe de s t r i a n   a c t i vi t y .   T h e   a c c ur a c y   r a t e   o b t a i n e by   t h e   R - C NN   m o de l   i s   85. 5% .   M o r e o v e r ,   a c c o r di n t o   t h e   r e qui r e m e n t s   o f   a ut o m a t e dr i vi ng   f o r   r e a l - t i m e   pe de s t r i a n   de t e c t i o n ,   r e s e a r c h e r s   i n   [ 35]   pr o p o s e DL   m o de l   c a ll e L e Ne t - c o n vo l ut i o n a l   n e ur a l   n e t wo r ( L t e Ne t - 5C NN )   to   de t e c t   t h e   pe de s t r i a ns   a c c ur a t e l y .   T h e y   t r a i n   a n t e s t   a   m o de l   us i n g   C a l t e c h   da t a s e t.   T h e   a c c ur a c y   r e s u l t s   we r e   a b o v e   95% ,   whi c h   b e t t e r   t h a n   t h e   r e s u l t s   f r o m   S A - F a s t   R - C NN   a n c l a s s i c a l   L e Ne t - C NN   m o de l s .   Af t e r   m o de l   t r a i ni ng,   t h e y   a pp li e m o de   r e a l - t i m e   o n   s m a r c a r   us i ng   I n t e l   C o r e   i pr o c e s s o r   w i t h   2. 5   GH z ,   a n a   m e m o r y   s i z e   o f   4G.   T h e y   e x pe r i m e n t   s h o we i m pr o v e i de t e c t i o n   t i m e   w i t h   0. 394  s   c o m pa r e w i t h   t h e   m a i ns t r e a m   L e Ne t   C NN   de t e c t i o n   t i m e   a n 0. 1 55  s ,   i n   c o m pa r e w i t h   S A - F a s t R - C NN .   F o r   t h e   pur p o s e   o f   pr o vi d i ng  r e a l - t i m e   r e a c t i o n s   i n   dr i ve r   a s s i s t a n c e   s y s t e m s ,   S a i a n B a r r   [ 36]   pr o p o s e d   a   n o v e l   s o f t wa r e   t h a m a ke s   us e   o f   a   DL   a l go r i t hm   f o r   t h e   pur p o s e   o f   de t e c t i n pe de s t r i a ns   i n   a   qu i c a n a c c ur a t e   m a nn e r .   T h e   u t i li z a t i o n   o f   i t e m   c l a s s if i c a t i o n ,   pe de s t r i a n   i de n t i f i c a t i o n ,   a n d   p o s i t i o t r a c ki n a r e   a l l   i nc l ude i n   t hi s   pr o gr a m .   W i t hi n   th e   c o n t e x t   o f   t h e   i m p l e m e n t a t i o n ,   l e a r ni ng,   a n t e s t i n o f   t h e   pr o p o s e m e t h o d,   t h e   T e n s o r F l o DL   f r a mew o r k ,   t h e   NV I DI A ,   c uDN N,   a n Ope n C V   a c c e l e r a t i o li b r a r i e s ,   a s   we l l   a s   t h e   C a l t e c h   da t a s e t ,   we r e   u t i li z e d.   F o r   t h e   pur po s e   o f   de v e l o p i n dr i ve r   a s s i s t a n c e   s y s t e m s ,   t hi s   pr o gr a m   i s   i ns t a l l e f o r   de p l o y m e n t   i m o bi l e   p h o n e s   o r   e m b e dde s y s t e m s   t ha t   a r e   c o n n e c t e d   to  s e l f - dr i v i ng  c a r s .     Ahm e e al.   [ 37]   c o n t r a s t e t h e   a ppr o a c h e s   t a ke n   to   di a g n o s e   bi c y c l e s   a n pe de s t r i a n s .   A   s e lf - dr i vi n v e hi c l e s   de t e c t i o n   s t a ge   i s   c r uc i a l   f o r   b u i ld i n s m a r t   a pp l i c a t i o n s ,   a c c o r di n t o   t h e i r   s t a t e m e n t ,   s i nc e   it s   t h e r e   t h a t   o bj e c t s   c a n   b e   l o c a t e a n de t e c t e us i n de e l e a r ni ng  t e c h ni que s   l i ke   f a s t   R - C NN ,   f a s t e r     R - C NN ,   a n s i n g l e   s h o de t e c to r   ( S S D)   i n   vi de o   a n i m a ge   f r a m e s .   L a s t l y ,   i t   i s   po s s i bl e   to  m o ni t o r   a n i de n t i f y   bi ke s   o r   pe de s t r i a ns   us i ng  t r a c ki n f i nd i n gs .   T h e   pr i m a r y   o bj e c t i v e   o f   t hi s   r e s e a r c h   wa s   t e x a mi n e   t h e   c ur r e n t   t e c h ni qu e s   us e t o   de t e c t   bi c y c l e s .   A c c o r di n to   t h e i r   r e s e a r c h ,   o n e   wa y   t o   ke e r o a ds   s a f e   i s   t us e   m e t h o ds   t h a c a n   a c c ur a t e l y   i de n t i f y   pe o p l e   o n   f o ot  a n bi ke s ,   s uc h   a s   s e n s o r   f us i o n   a n i n t e n t   e s t i m a t e   a n t h e   a c c ur a c y   o f   t h e   R - C NN   i s   91% .   On   a n o t h e r   h a n d,   r e s e a r c h e r s   im pa l e m e n t   f i ne   t uni ng  on   F a s t e r     R - C NN   m o de l .   W h e r e i n ,   f i ne - t uni n ha s   gr e a i n t e r e s due   to  i t s   r e t r a i ni ng  c o n v o l ut i o n a l   n e t wor ks ,   a n s h o w n   s t a t e - of - t h e - a r t   pe r f o r m a nc e   f o r   de t e c t i o n ,   a n s e g m e n t a t i o n   [ 38] .   T h us ,   t h e y   e v a l ua t e   a n c o m pa r i ng   o f   F a s t e r   R - C NN   I n c e pt i o n   v 2,   s i n g l e   s h o m u l t ib o x   de t e c to r   ( S S D)   I n c e pt i o n   v 2,   a n S S M o bi l e n e t   v m o de l s .   T h e y   t r a i ne t h e   m o de l s   o n   M S   C OC da t a s e a n t e s t e d   o n   t h e i r   o wn   da t a s e a n publ ic  d o m a i n   da t a s e t   i n t r o duc e by   t h e   C i t y s c a pe s   pr o j e c t .   T h e   b e s t   a c c ur a c y   r e s u l t s   o f   D L   m o de l s   we r e   81. 0% ,   7 8. 1%   a n 64. 3%   f o r   F a s t e r   R - C NN   I n c e pt i o n   v 2,   S S I n c e pt i o n   v a n S S M o bi l e n e t   v m o de l s   r e s pe c t i v e ly .   A   s y s t e m   f o r   t r a c ki n a n de t e c t i n pe de s t r i a ns   us i n de e ne ur a l   n e t wo r ks   wa s   p r o p o s e by     Yu  e al.   [ 39] .   T hi s   s y s t e m   ut i li z e a   u nm a nn e a e r i a l   ve hi c l e   ( UA V )   a n K a lm a n   F il t e r   f o r e c a s t i n a ppr o a c to  m o ni t o r   o bj e c t s   a n pe de s t r i a n s .   A dd i t i o n a ll y,   a   da t a s e ( YO L Ov 3)   wa s   ut i l i z e i n   o r de r   to  pu t h e   pr o p o s e d   m e t h o i n t o   a c t i o n .   E x a m i n i ng  t h e   a c c ur a c y   a n e x e c ut i o n   t i m e   o f   t h e   s ugge s t e a pp r o a c h   f o r   m o ni t o r i n a n r e c o gni z i n pe de s t r i a ns ,   a s   we l l   a s   wa t c hi n a n i de n t i f yi ng  i t e m s ,   wa s   do n e   i n   o r de r   to  de t e r m i ne   h o e f f e c t i v e   t h e   m e t h o i s .   W he n   i t   c a m e   t i de n t i f yi ng  pe de s t r i a n s ,   t h e   pr o p o s e m e t h o d   wa s   s h o w n   to  h a v e   l e s s   e r r o r s ,   a s   de m o n s t r a t e d   by   t h e   r e s u l t s   o f   t h e   t e s t i n s t ud i e s .   R e c e n t   r e s e a r c h ,   L i e al.   [ 40 ] ,   a ddr e s s   t h e   c h a ll e n ge s   f a c e de ns e   pe de s t r i a n   de t e c t i o n   s uc h   a s   c o m p l e x   m o de l s   whi c h   a r e   di f f i c u l t   to  de pl o y   on   I oT   de vi c e s ,   hi g h   c o m put a t i o n a l   we i g h t ,   l o de t e c t i o a c c ur a c y   f o r   o c c l ud e pe de s t r i a n s   a n s m a ll   t a r ge t s .   T h e y   pr o po s e l i g h t we i g h t   c a s c a de   f us i o n   n e t wo r k   ( C F Ne t )   a n a   C B AM   a t t e n t i o n   m o du l e .   T h e   W i d e r P e r s o n   publi c   da t a s e t   wa s   c h o s e n   t h a t   c o n t a i ns   r e a l   s t r e e t   i n t e r s e c t i o n   im a ge s ,   t h e y   c r e a t e a   pe de s tr i a n   de t e c t i o n   da t a s e t   s ui t a bl e   f o r   de n s e   s c e n e s ,   a c c o unt i n f o r   v a r i e pe de s t r i a n   o c c l us i o n   s c e n a r i o s .   T h e   e x pe r i m e n t   r e s u l t s   s h o t h e   a c c ur a c y   i s   im pr o v e a ppr oxim a t e ly   2. 4%   wi t h   88%   f o r   pe de s t r i a n ,   43. 3 %   f o r   r i de r   a nd  32. 9 %   f o r   pa r t i a l ly   vi s i bl e   pe r s o n .   F i n a ll y ,   t h e   n u m b e r   o f   pa r a m e t e r s   i s   r e duc e by   0. 5   M B   wi t h   2. 7   M .   T h e   e x pe r i m e n t   v e r i f i e t h a t h e   pr o p o s e m e t h o i s   v a l ua ble   f o r   de vi c e   w i t h   l i mi t e c o m put a t i o na l   r e s o ur c e s .   I n   a ddi t i o n ,   f o r   l o w - c o s t   DL   m o de l   [ 41]   R e s e a r c h e r s   pr o p o s e l o w - c o s t   DL   m o de l   o n   i n t e l l i g e n t   v e hi c les   f o r   r o a d - s e gm e n t a t i o n   a n pe d e s t r i a n   de t e c t i o n .   F i r s t l y ,   t h e y   us e DL - b a s e c o n s e c ut i v e   t r i p l e   f il t e r   s i z e   ( C T F S )   a ppr o a c h   to   s e gm e n t   t h e   r o a d.   S e c o n dl y ,   d e t e c t   t h e   pe de s t r i a n   us i ng  YO L O v m o de l .   T w da t a s e t s   w e r e   us e whi c h   a r e   c a m V i da t a s e f o r   r o e d   s e g m e n t a t i o Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i Vo l .   3 9 ,   N o .   1 ,   Ju ly   20 25 :   283 - 309   288   a n P a s c a l VO C   da t a s e t   f o r   pe de s tr i a n   de t e c t i o n .   T h e   r e s u l t s   we r e   95 . 84%   f o r   r o a d   s e g m e n t a t i o n   f o r   us i n g   J a c c a r i n de x   v a l ue ,   a l o n w i t h   65. 50%   f o r   t h e   pe de s t r i a n   de t e c t i o n   us i ng  a v e r a ge   pr e c i s i o n   v a l ue .   F o r   o p t i m i z e   t h e   AV s   s y s t e m   f o r   pe de s t r i a n s   de t e c t i o n   a n e f f e c t i v e   c o l li s i o n   r i s r e duc t i o n   o c o m p l e x   s c e n a r i o s .   R e s e a r c h e r s   o n   [ 42]   s tr i v e   t o   o p t i m i z e   t h e   r e l i a bil i t y   a n t h e   e f f i c a c y   o f   p e de s t r i a de t e c t i o n   i n   c o m p l e x   s c e n a r i o s .   T h e y   i n t r o duc e a   n e pe de s t r i a n   t r a c ki n m o de l s   t h a l e ve r a ge s   b o t h   t h e   YO L O v a n t h e   S t r o n g S OR T   m o de l ,   t h a t   i s   a n   a dv a n c e DL   m u l t i - o bj e c t   tr a c k i n m e t h o d.   T h e   e xpe r i m e n t   a pp l i e o n   t h e   M OT 16  a n M OT 17  da t a s e t s .   T h r e e   e va l u a t i o n   m e t r i c e s   we r e   us e n a m e ly   I De n t i t y   F 1   ( I DF 1) ,   hi g h e r   o r de r   tr a c k i n a c c ur a c y   ( HO T A ) ,   a n m u l t i p l e   o bj e c t s   tr a c ki n a c c ur a c y   ( M OT A ) .   T h e   b e s t   r e s u l t   o f   YO L O v m o de l   wa s   0. 92  us i ng  I DF met r i c s .   F o r   S t r o n gS OR T   m o de l   t h e   b e s t   r e s u l t   wa s   55. 338   us i n I D F o n   M OT 17  da t a s e t .   I n   a n o t h e r   c a s e ,   L e e   e al.   [ 43]   i n t r o duc e n o v e l   s y s t e m   c a ll e N A VI B o x   t h a de s i g n e to   de t e c t h e   v e hi c l e - pe de s t r i a n   by   u s i ng   v a r i o us   o f   vi s i o n   s e n s o r s   t h a de pl o y e o n   I o T   d e vi c e s   i t h e   f i e l d.   T h e y   ut i li z e YO L O v f o r   o bj e c t   de t e c t i o n   r e a l - t i m e .   T h e   r e s u l t s   o f   t h e i r   e x pe r i m e n t   we r e   0. 71  0. 67  o f   p r e c i s i o n   a n r e c a ll   f o r   pe de s t r i a n   a n 0. 81,   0. 85   p r e c i s i o n   a n r e c a l l   f o r   v e hi c l e s .   Ge n e r a t i v e   a d v e r s a r i a l   n e t wo r ks   ( GA Ns )   we r e   p r opo s e by   D i n a ka r a n   e al.   [ 44]   i n   o r de r   to  de v e l o a   n o v e l   c a s c a de S S a r c hi t e c t ur e   f o r   t h e   pur p o s e   o f   r e m o t e   pe de s tr i a n   de t e c t i o n .   A dd i t i o n a ll y ,   DC G A i s   ut i li z e i n   t hi s   a r c hi t e c t u r e   i n   o r de r   to  e nh a n c e   t h e   i m a ge   qua l i t y   f o r   t h e   pur p o s e   o f   d i s t a n t   p e de s t r i a de t e c t i o n .   F o r   t h e   pur p o s e   o f   i de n t i f yi ng  t h e   o bj e c t s   de pi c t e i n   t h e   i m a ge ,   t hi s   pr o p o s e m e t h o m a ke s   us e   o f   a   n u m be r   o f   f a c t or s .   I n   or de r   to   pu t h e   s t r a t e g y   t h a t   h a s   be e n   s u gge s t e i n to   a c t i o n ,   t h e   da t a s e t h a i s   f r o m   t h e   C a n a d i a n   I n s t i t ut e   f o r   a dv a n c e r e s e a r c h   ( C I F A R )   i s   ut i li z e d.   I h a s   be e n   de m o ns t r a t e t h r o ugh   t h e   r e s u l t s   o f   t r i a l s   t h a t   t h e   pr o p o s e m e t h o po s s e s s e s   a   hi g h   de gr e e   o f   a c c ur a c y   e qua l   80. 7%   wh e n   i t   c o m e s   to   d i s t i n gu i s hi ng  pe de s t r i a ns   a n c a r s   f r o m   a   c o n s i de r a bl e   d i s t a n c e .       4.   M E T HO D   T hi s   s e c t i o n   de s c r i be s   t h e   pr o p o s e m e t h o do l o g y   o f   o ur   e x pe r i m e n t   f o r   t h e   pe de s t r i a n   a n ve hi c l e - r i de r   d e t e c t i o n   c a s e   us i ng  T i ny M L ,   w hi c h   we   c a l led  P R D - T i ny M L   m o de l .   W hi c h   a i m s   t o   de t e c pe de s t r i a a n v e hi c l e - r i de r   us i ng  s m a ll   DL   m o de l s .   T h e   w o r kf l o o f   m e t h o do l o g y   i s   d i v i de i n t o   m a ny   p ha s e s   e a c ph a s e   i s   l i nke t t h e   n e x t   ph a s e .   F i gur e   1,   i ll u s t r a t e s   t h e   ph a s e s   o f   i m p l e m e n t i n t h e   pr o p o s e d   m e t h o d,   whil s t   t h e   de t a i l s   o f   t h e   i m p l e m e n t a t i o n   a r e   de s c r i be a s   f o l l o w s :     4. 1.     P h as e   1:   d at c ol l e c t ion   an d   p r e - p r oc e s s in g     I n   t hi s   p h a s e ,   E ur o C i t y   p e r s o n s   ( E C P )   da t a s e t   i s   us e to   de t e c t   t h e   pe de s t r i a ns   i n   t h e   r o a whi c i nd i c a t e s   t h e   i t   i s   pe de s t r i a n   o r   r i de r   [ 45] .   I n   c a s e   o f   r i de r ,   t h e r e   a r e   s e v e n   o bj e c t s   or   t y pe s   o f   dr i v e r s bi c y c l e ,   m o t or bi k e ,   s c o ot e r ,   tr i c y c l e ,   w h e e l c ha i r ,   b ugg y ,   a n c o - r i de r .   I n   a dd i t i o n ,   f o r   e a c h   c a t e go r y   f r o m   t h e   pe de s t r i a n   o r   t h e   r i de r s   t h e r e   a r e   i m a ge s   dur i n da y   a n a l s o   dur i n ni g h t .   S ub s e que n t l y ,   i m p l e men t   pr e - p r o c e s s i n o n   t h e   da t a s e t   i m a ge s   by   d e t e c t i n t h e   o bj e c t s   us i n t h r e e   m e t h o ds   n a m e ly   s i ng l e   s h o m u l t i b o de t e c t i o n   ( S S D) ,   Dl i l i br a r y   ( D l i p) ,   a n Ha a r - b a s e c a s c a d i ng  c l a s s if i e r   ( Ha a r )   i n   o r de r   to  us e   a s   i nput   f o r   DL   m o de l s   to  de t e c o f   pe de s t r i a n s .     4. 2.    P h as e   2:   m od e l   t r ain in an d   e val u at ion   I n   t hi s   p h a s e ,   s e ve r a l   t y pe s   o f   s upe r vi s e DL   m o de l s   a r e   de v e l o pe to   de t e c t   t h e   pe de s t r i a n   o bj e c t s ,   a i m   t e x a m i ne   t h e i r   pe r f o r m a n c e ,   a n o b t a i ne th e   b e s t   o f   t h e m   i s i z e   a n a c c ur a c y .   T h r e e   D L   m o de l s   we   de v e l o pe d   n a m e ly   S que e z e N e t ,   Al e x Ne t ,   a n C NN ,   f ur t h e r   a da pt   t w o   p r e - t r a i n e m o de l s   w hi c h   a r e   M o bi l e Ne t - V2   a n M o bi l e Ne t - V3  m o de l s .   T h e s e   m o de l s   we r e   pr e - t r a i n e o n   I m a ge Ne t   da t a s e t.   S ub s e qu e n t l y ,   s a v e   m o de l s   f o r   f e t t h e   o p t i m i z a t i o n   m o de l   p h a s e .     4. 3.     P h as e   3:   m od e l   op t im iz at ion   an d   c on ve r s ion   T hi s   p h a s e   a im s   t o   o p t i m i z e   t h e   s a v e DL   m o de l s   t h r o ugh   r e duc i n t h e   s i z e   o f   m o de l s   a f t e r   t h a c o n v e r t e to   T e n s o r   F l o L i t e   f o r m a t .   F i r s t ,   o p t i mi z e t h e   s a v e m o de l s   by   u s i ng  v a r i o us   o f   qua n t i z a t i o m e t h o ds   na m e l y   DR Q F IQ ,   a n Q A T   a s   de s c r ib e i t h e   n e x t   s e c t i o n .   Qua n t i z a t i o n   a im s   t o   c onv e r t   t h e   we i g h t s   o f   m o de l s   o r   a c t i v a t i o n   o r   b ot h   f r o m   f l o a t 32   to   I n t f o r m a t   whi c h   pr o vi de s   a   s i g nif i c a n t   r e duc e   i m o de l   s i z e .   T h us ,   i t   l e to   a   de c r e a s e   t h e   m e m o r y   f o o t p r i n t   i n   de vi c e s .   S e c o n d,   c o n v e r t   DL   m o de l s   to   T F L i t e   f o r m a t   ( . t f l i t e )   f o r   e n a bl e   i nf e r e n c e   o f   D L   m o de l s .       4. 4.     P h as e   4:   r u n n in g   in t e r p r e t e r   R unni ng  t h e   T F L i t e   i n t e r pr e t e r   to  e v a l ua t e   t h e   T F L i t e   DL   m o de l s   o n   t h e   h o s c o m put e r .   B y   l o a d i n g   t h e   T F L i t e   m o de l   to   I n t e r pr e t e r   a n us e t h e   t e s t i ng  da t a s e t   f o r   e v a l ua t i o n .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752       P R DTi ny M L :   de e lear ning - bas e T inyM L - bas e pe de s tr ian  de tec ti on    ( N o r ah  N .   A laj lan )   289   4. 5.     P h as e   5:   m od e l s   c on ve r s ion   t a r r ay   C o n ve r t   T F L i t e   m o de l s   us i ng  T F L i t e   m i c r o   too l s   t h a t   c o n v e r t s   DL   m o de l s   to   C   by t e   a r r a y .   Us i n g   XX t h a t   ge n e r a t e   C   s o u r c e   f i l e   f o r   t h e   T F L i t e   m o de l s   a s   c h a r   a r r a y .   A f t e r   t h a t ,   de pl o y   t h e   m o de l   i n t a n   i nde pe n de n t   p l a t f o r m   t h a t   us i n C + +   l a n gu a ge   a s   A r du i n o   s o f t wa r e   a n c o m p il e   w i t h   I o T   d e vi c e s   a s   mi c r o c o n tr o l l e r .           F i gur e   1 .   P r o p o s e P R D - T i ny M L   m e t h o d o l o g y       5.   I M P L E M E NT AT I ON   AN T E S T I NG   5. 1.     I m p l e m e n t at ion   e n vir on m e nt   T h e   e nvi r o nm e n t   us e t pe r f o r m   t h e   e x p e r i m e n t   i s   Go o gl e   C o l a b o r a to r y   [ 46] ,   [ 47]   or   C o l a b   f o r   s h o r t ,   i s   a   pr o duc t   f r o m   Go o gl e   R e s e a r c h .   W e   im p l e m e n t   t h e   e x pe r i m e n t   us i n C o l a b   pr o   v e r s i o n   [ 27]   t h a wa s   c h o s e n   to   e x e c ut e   t h e   e x pe r im e n t   i n   t hi s   pa pe r   du e   to   t h e   f e a t ur e s   o f   t h e   e nvi r o nm e n t   pr o vi de d.   W h e r e i n,   C o l a b   pr o   v e r s i o n   c a m e   w i t h   t e r a by t e s   o f   s to r a g e ,   25   gi g a by t e s   o f   R A M ,   a n a   GPU  pr o c e s s o r   P 1 00.   T h e   e x pe r im e n t   wa s   pe r f o r m e us i ng  o pe n - s o ur c e   l ib r a r i e s   a n a r t i f i c i a l   i n t e ll i ge n c e   ( A I )   f r a m e wo r ks .   T h e   e x pe r im e n t   wa s   wr i t t e n   i n   P y t h o n pr o gr a m mi ng   l a n gua ge   a n us e Nu m P y   [ 48] ,   M a t pl o t l i b   [ 49] ,   P a n a da   [ 50] ,   a n S c i k i t - l e a r n   [ 51]   l i b r a r i e s .   T h e   f r a m e w o r ks   us e a r e   T e n s o r F l o [ 52] ,   T F L i t e   [ 53] ,   a n T F L i t e   mi c r o   [ 54 ]   f r a m e wo r ks   t h a t   de s c r i b e   i n   n e x t   s e c t i o n .     5. 2.     E x p e r im e n t   an d   i m p l e m e n t at ion   T h e   f o l l o w i ng  s u b s e c t i o ns ,   e x p l a i i n   de t a i l   t h e   i m p l e m e n t a t i o n   o f   e a c h   ph a s e   f o r   t h e   pr o p o s e d   m e t h o do l o g y .   P h a s e   ( da t a   c o l l e c t i o n   a n pr e - pr oc e s s i ng ) ,   ph a s e   ( m o de l   t r a i ni ng  a n e v a l ua t i o n ) .   P h a s e   ( o p t i m i z a t i o n   a n c o nv e r s i o n   m o de l ) ,   ph a s e   ( r un ni ng  t h e   i n t e r pr e t e r ) .   F i n a ll y ,   ph a s e   ( c o n ve r t   m ode l   to   C   a r r a y ) .     5. 2. 1.   P h as e   1:   d at c ol l e c t ion   an d   p re - p r oc e s s in g   C o l l e c t i o n   a n p re - pr o c e s s i ng  da t a s e t   ph a s e ,   a im s   to   c o l l e c t   a   goo tr a i ni ng  da t a s e t   o f   pe de s t r i a a n r i de r   de t e c t i o n   c a s e .   I n   a dd i t i o n ,   we   pe r f o r m   pr e - pr o c e s s i n o n   t h e   pe de s t r i a n   a n r i d e r ,   da y   a n ni g h t ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i Vo l .   3 9 ,   N o .   1 ,   Ju ly   20 25 :   283 - 309   290   im a ge s   o f   t h e   E P C   da t a s e t.   I n   or de r   to  o p t i mi z e   a c hi e v e m e n t   o f   hi g h e r   pe r f o r m a nc e   i n   t r a i n   a n e va l ua t i o de e l e a r ni ng  m o de l s .   T hi s   s e c t i o n ,   i n t r o duc e   t h e   de t a i l   o f   t h e   c o l l e c t e da t a s e t s .   T h e r e a f t e r ,   i t   pr e s e n t s   t h e   s t e ps   to   da t a s e t s   P r e - pr o c e s s i n g.     A.   T h e   c ol l e c t e d   d at as e t   E ur o C i t y   [ 45] ,   T UD   kn o wn   a s   B r us s e l s   P e de s t r i a n   d a t a s e t   [ 55 ] ,   C a l t e c h   [ 56] ,   C i t y P e r s o ns   [ 57] ,   I NR I A   [ 58] ,   K I T T I   [ 59 ] ,   a n E T H   da t a s e t s   a r e   e x a m p l e s   o f   we l l - k n o wn   pe de s t r i a n   de t e c t i o n   da t a s e t s   t h a a r e   c ur r e n t l y   a v a il a bl e .   T h e   f o l l o w i ng  a r e   s o m e   s pe c i a li z e da t a s e t s   f o r   pe de s t r i a n   i de n t i f i c a t i o n ,   whi c h   a r e   f r e qu e n t l y   ut i li z e i n   r e s e a r c h .   T h e   c ur r e n da tas e t   f o r   pe de s t r i a n   de t e c t i o n   i s   c a l l e E C P   [ 60 ] ,   a n i t   pe r f o r m s   be tt e r   t h a n   b o t h   t h e   C a l t e c h   da t a s e t   a n t h e   C i t y P e r s o ns   da t a s e t   i n   t e r m s   o f   t h e   d i f f i c u l t y   a n d   h e t e r o ge n e i t y   o f   t h e   da t a .   N ot e   t h a t   i t   i s   b a s e o n   i nf o r m a t i o n   c o l l e c t e f r o m   t hi r t y - o n e   c i t i e s   s pr e a o u a c r o s s   t we l v e   s t a t e s   i n   E ur o pe .   Da y   a n ni g h t   ph o to gr a ph s   a r e   t a ke n   i n   E ur o pe ,   whi c h   pe r f o r m s   t h e   r o l e   o f   a u m p i r e   due   to  t h e   f a c t   t h a E C P   da y   i s   r e f e r r e to  a s   da y t i m e   a n E C P   ni g h t   i s   r e f e r r e to   a s   m i d ni g h t .     T h e   l im i t   b o x   t h a t   h a s   b e e n   de f i ne i s   gr e a t e r   t h a n   200   K .   All   o f   t h e   i nve s t i ga t i o n s   a n c o m pa r i s o ns   th a t   we r e   c a r r i e o u i n   E C P   [ 60 ]   we r e   c a r r i e o u dur i n t h e   da y l i g h t   i n   c o nj u n c t i o n   w i t h   ot h e r   m e t h o ds .   I n   a dd i t i o n ,     a   d i a g n o s t i c   s e r v e r   i s   a c c e s s i b l e .   O n   t h e   o t h e r   h a n d,   t h e r e   a r e   r e s t r i c t i o n s   o n   t e s t   s e t s   a n f r e que n c s ubmi s s i o ns .   I n   t hi s   s t udy ,   we   m a de   us e   o f   t h e   E C P   da t a s e t,   wh i c h   o f f e r s   a   s i g nif i c a n t   n u m b e r   o f   a nn o t a t i o n s   t h a t   a r e   e x t r e m e ly   d i ve r s e ,   a c c ur a t e ,   a n de t a i l e [ 61] .   T h e s e   a nn o t a t i o ns   i nc l ude   wa l ke r s ,   c y c li s t s ,   a n o t h e r   r i de r s   w h o   a r e   s e e n   i n   ur b a n   t r a f f i c   s c e ne s .   T h e   p h o to gr a ph s   t h a t   m a ke   up  t hi s   da t a s e t   we r e   t a ke n   whil e   t h e   v e hi c l e   wa s   i n   m o t i o n   i n   a   t ot a l   o f   t hi r t y - o n e   c it i e s   a c r o s s   t we l v e   E ur o pe a n   n a t i o n s .   T h e   E C P   da t a s e t   i s   r o ughl y   o n e   or de r   o f   m a g ni t ude   l a r ge r   t h a n   t h e   da t a s e t s   t h a we r e   pr e vi o us ly   ut i li z e f o r   t h e   pu r po s e   o f   pe r s o n   de t e c t i o n   i t r a f f i c   s c e n e s .   I t   c o n t a i n s   o v e r   238, 200  pe r s o n   i n s t a n c e s   t h a t   h a v e   b e e n   c a r e f u ll y   t a gge i n   o ve r   47, 300  ph oto s   tot a l .   A dd i t i o n a l ly ,   t h e   da t a s e i n c l ude s   a   s u b s t a n t i a l   qua n t i t y   o f   pe r s o n   o r i e n t a t i o a nn o t a t i o ns ,   a c c o un t i n f o r   m o r e   t h a n   211, 200  i n   tot a l .   T a bl e   s h o ws   t h e   n u m be r   o f   i m a ge s   a n i n s t a n c e s   in  da y   a n ni g h t   f o r   t h e   E C P   da t a s e t   c a t e gor i e s .   I t   c o n s i s t s   o f   t w o   m a i c a t e go r i e s pe de s t r i a n   a n r i d e r ,   a b o u 40, 217  i m a ge s   dur i n da y   183, 00 i n s t a n c e s   f o r   pe de s t r i a ns   a n 18, 216  i ns t a n c e s   f o r   r i de r s .   W hil e   dur i n g   ni g h t ,   t h e   tot a l   n u m be r   o f   i m a ge s   i s   7, 118  h a v e   a b o ut  35, 309   i ns t a n c e s   f o r   pe de s tr i a n s   a n 1, 564  r i de r   i ns t a nc e s .   F o r   t h e   r i d e r   c a t e g o r y ,   t h e r e   a r e   7   di f f e r e n t   o bj e c t s bi c y c l e ,   m o to r bi ke ,   s c o ot e r ,   t r i c y c l e ,   wh e e l c ha i r ,   b ugg y ,   a n c o - r i de r .   T a bl e   s h o ws   t h e   n u m be r   o f   im a ge s   i e a c h   o f   t h e s e   o bj e c t s   dur i n g   da y   a nd   ni g h t .       T a bl e   1 .   Di s t r i b ut e i m a ge s   a n i ns t a n c e s   i n   da y   a n ni g h t   f o r   t h e   E C P   da t a s e t   c a t e g o r i e s   C a te gor ie s   of   E C P   D a y   N ig ht   I ma ge s   I ns ta nc e s   I ma ge s   I ns ta nc e s   P e d e s tr ia n   40 , 217   183 , 004   7 , 118   35 , 309   R id e r   18 , 216   1 , 564       T a bl e   2.   Di s t r i b ut e r i d e r   o bj e c t s   i n   da y   a n ni g h t   f o r   t h e   E C P   da t a s e t   O bj e c ts  of   r id e r   N umbe r   of   o b je c ts   D a y   N ig ht   S um   B i c y c l e   9 , 666   614   10 , 280   M o t o r bi k e   2 , 196   229   2 , 425   S c oo t e r   5 , 748   683   6 , 431   T r i c y c l e   94   5   99   W he e l c ha ir   125   4   129   B ugg y   322   26   348   Co - R id e r   671   137   808       B .   T h e   p r e - p r oc e s s in of   t h e   d at as e t   T e n s ur e   t h a t   de e l e a r ni ng  m o de l s   a r e   t r a i ne a n e v a l ua t e to   t h e i r   f u ll   po t e n t i a l ,   pr e - pr o c e s s i n g   i s   c o m m o nly   e m p l o y e to   ge t   da t a s e t s   r e a d y   f o r   u s e   a s   t r a i ni ng  s e t s .   W e   u s e pr e - pr o c e s s i n o n   t w t y pe s   o f   pe de s t r i a n   de t e c t i o n   i m a ge s t h o s e   w i t h   pe o pl e   wa l k i ng  a n t h o s e   w i t h   r i de r s .   B i c y c l e s ,   m o to r c y c l e s ,   s c o ot e r s ,   t r i c y c l e s ,   wh e e l c h a i r s ,   b ugg i e s ,   a n c o - r i de r s   a r e   t h e   s e v e n   i t e m s   t h a f a ll   w i t hi n   t h e   r i de r   g r o up.   T h e r e   a r e   m u l t i p l e   s t e ps   i n   t h e   pr e pr o c e s s i ng.   T h e   f i r s t   s t e i s   t o   us e   Ope n C V s   o bj e c t   de t e c t i o n   a l g o r i t hm s ,   s uc h   a s   t h e   S S D ,   t h e   Dl i pa c ka ge ,   a n t h e   Ha a r - b a s e c a s c a de   c l a s s i f i e r s   de t e c t i o n   a s   s h o wn   i n   F i gur e   2.   Af t e r   r e a d i n a n r e s i z i ng  ph o to s   f r o m   t h e   E C P   da t a s e t ,   we   pr o c e e to   r e s i z e   a ll   o f   t h e   i m a g e s   us i ng  de t e c t i o n   f a c e   a l go r i t hm s .   Af t e r wa r ds ,   we   m e r ge t h e   t w o   s e t s   o f   da t a .   I m a ge   t r a n s f o r m a t i o n   i n t o   a   f o r m   s u i t a bl e   f o r   us e   a s   i n put s   to  de e m o de l s   i s   t h e   r e s po n s i bil i t y   o f   t h e   s e c o n s t a ge .   S t e p   t h r e e   i nv o l v e s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752       P R DTi ny M L :   de e lear ning - bas e T inyM L - bas e pe de s tr ian  de tec ti on    ( N o r ah  N .   A laj lan )   291   r e de f i ni ng  t h e   c a t e gor i e s   l a be l   i n   da t a s e t s   to  bi n a r y   by   c o nv e r t i n m u l t i - c l a s s   l a b e l s   t bi n a r y   l a be l s   us i n t h e   L a b e l B i na r i z e r   m e t h o d.   A s   a   f o ur t h   s t e i n   e n s u r in i m a ge   d i ve r s i t y ,   we   r a n do m ly   d i v i de o ur   da tas e t   i n t 70%   tr a i ni n a n 30%   t e s t i n g.   F o r   r e p r o duc i bl e   r e s u l t s ,   i t s   a l s o   r e c o m m e n d e to  s e t h e   r a n do m   ge n e r a t o r s e e to  40 .   Ne x t ,   we l l   s h u f f l e   t h e   da t a   by   g i vi ng  t h e   a c t ua l   va l ue   f o r   s h u f f li ng.   T h e r e   a r e   32   e x a m p l e s   us e f o r   tr a i ni ng  i n   e a c h   i t e r a t i o n ,   whi c h   i s   kn o wn   a s   t he   b a t c h   s i z e .   T h e   t e s t i n da t a s e t,   i n   c o n t r a s t ,   s c a l e i m a g e s   us i n t h e   M i nM a x S c a l a r   c l a s s .           F i gur e   2.   S a m p l e   f o r   t h e   i m a ge s   i n   t h e   p re - pr o c e s s i n m e t h o ds       5. 2. 2.   P h as e   2:   m od e l   t r ain in an d   e val u at ion   I n   t hi s   r e s e a r c h ,   we   de v e l o pe f i ve   l i g h t we i g h t   D L   m o de l s   de t e c t h e   pe de s tr i a n   i n   AV ,   a i mi ng  to  o b t a i n   t h e   b e s t   pe r f o r m a n c e .   T h e s e   m o de l s   h a v e   t h e   a dv a n t a ge   o f   s m a l l   s i z e   due   to   t h e   l im i t a t i o ns   o f   I oT   de vi c e s .   Af t e r   we   c o n duc t e a   l o t   o f   e x pe r i m e n t   o n   m a ny   o f   DL   m o de l s   a r c hi t e c t ur e s   a n c o m pa r i ng  t h e i r   s i z e   w i t h   pe r f o r m a n c e .   W e   de v e l o pe t h r e e   de e m o de l s   w hi c h   a r e   S que e z e Ne t ,   Al e xNe t ,   a n C NN   m o de l s ,   a n a da pt i ve   t w p r e - t r a i n e de e m o de l s   n a m e ly   M o bi l e Ne t - v 2,   a n M o bi l e Ne t - v t h a we r e   p r e - t r a i n e o n   I m a ge Ne t   da t a s e t .   T h e   f o l l o w i ng  s u bs e c t i o n s   de s c r i be   t h e   a r c hi t e c t ur e   o f   de e m o de l s   us e i n   t h e   e x pe r im e n t .     A.   T h e   S q u e e z e Ne t   DL   m od e l   I n   t hi s   r e s e a r c h ,   we   m o d i f i e o n   t h e   o r i g i na l   a r c hi t e c t ur e   o f   S que e z e Ne t   de e m o de l .   Aimi ng  to  pr o duc e   a   l i g h t we i g h t   de e l e a r ni ng  m o de l   w i t h   m a i n t a i n i ng  c o m p e t i t i v e   a c c ur a c y .   He n c e   t h e   S que e z e Ne t   m o de l   a f t e r   m o d i f y   a r c hi t e c t ur e   i s   l i g h t e r   t h a n   t h e   o r i g i na l   a r c hi t e c t ur e   [ 26] ,   [ 62] .   W e   de v e l o pe t h e   m o de l   w i t h   f e o f   pa r a m e t e r s   a n hi g h   pe r f o r m a nc e ,   a b l e   t de t e c t   t h e   pe de s t r i a n s .   T h e   m a i n   i de a   o f   S que e z e Ne t   m o de l   a r c hi t e c t ur e   i s   t h e   f i r e   m o d u l e   whi c h   c o m p r i s e s   a   s que e z e   c o n v o l ut i o n   l a y e r   w i t h   o nl y   a   ( 1 × 1)   f i l t e r ,   f e e d i ng  t o   a n   e x pa n de l a y e r   t h a t   h a s   a   mi o f   ( 1 × 1)   a n ( 3 × 3)   c o n v o l ut i o n   f il t e r s   a s   s h o w n   i n   F i gur e   3.   T h e   S que e z e Ne t   m o de l   a r c hi t e c t ur e   f i r s t   c o m pr i s e s   a   s t a n d - a l o n e   c o nv o l ut i o n   l a y e r   w i t h   i npu t   s h a pe   ( 192 × 192 × 3) ,   f o l l o w e by   a   B a t c h No r m a li z a t i o n   l a y e r   a n t h e   r e c t i f i e l i ne a r   u ni t   ( R e L U )   a c t i v a t i o f u n c t i o n .   T h e   R e L a c t i v a t i o n   f u n c t i o n   i s   i nv o l v e i n   e a c h   l a y e r .   M a x P oo l i ng  l a y e r s   w i t h   s t r i d e s   e qua l   t t w v a l ue s   c o m e   a f t e r   e a c h   o f   t h e   f i ve   f ir e   m o du l e s .   A t   t h e   e n o f   t h e   m o de l ,   t h e r e   i s   a   G l o b a l Ave r a ge P o o l i ng2D  l a y e r   a n a   de n s e   l a y e r   w i t h   a   S o f t M a x   a c t i v a t i o n   f u n c t i o n   t o   de t e c t   t h e   pe de s t r i a n .   a s   i ll us t r a t e i n   F i gur e   3.   T a bl e   s h o ws   t h e   S que e z e Ne t   m o de l   a r c hi t e c t ur e   a n t h e   n u m be r   o f   pa r a m e t e r s .   T h e   tot a l   o f   pa r a m e t e r s   i s   121, 500,   t h a t   di vi de d   i n t o   120 , 930  t r a i n a bl e   pa r a m e t e r s   a n 570  n o n - t r a i n a bl e   pa r a m e t e r s .   T r a i n a bl e   pa r a m e t e r s   m e a n   t h e   pa r a m e t e r s   whi c h   a r e   upda t e d   dur i n t h e   t r a i ni ng  pr o c e s s   to  o b t a i n   o pt i m a l   v a l ue s .   Ho we ve r ,   n o n - t r a i n a bl e   pa r a m e t e r s   a r e   n o t   upda t e a n o pt i m i z e dur i n t h e   t r a i ni ng   pr o c e s s a s   a   r e s ul t ,   t h e y   do   n ot   c o n tr i b ut e   to  t h e   c l a s s if i c a t i o n   pr o c e s s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i Vo l .   3 9 ,   N o .   1 ,   Ju ly   20 25 :   283 - 309   292       F i gur e   3 .   T h e   a r c hi t e c t ur e   o f   t h e   S que e z e Ne t   DL   m o de l       T a bl e   3.   T h e   a r c hi t e c t ur e   s um m a r y   o f   t h e   S que e z e Ne t   DL   m o de l   L a y e r  na m e   I ma ge  s iz e   F il te r s   L a y e r  na m e   I ma ge  s iz e   F il te r s   I nput L a y e r   192 × 192   -   A c ti v a ti o n   48 × 48   64   C o n v 2D   192 × 192   32   2C o n v 2D   48 × 48   64   B a tc hN or ma li z a ti o n   192 × 192   32   C o nc a t e na t e   48 × 48   128   A c ti v a ti o n   192 × 192   32   M a x P oo li ng2D   24 × 24   128   C o n v 2D   192 × 192   24   C o n v 2D   24 × 24   48   B a tc hN or ma li z a ti o n   192 × 192   24   B a tc hN or ma li z a ti o n   24 × 24   48   A c ti v a ti o n   192 × 192   24   A c ti v a ti o n   24 × 24   48   2C o n v 2D   192 × 192   24   2C o n v 2D   2 4 × 24   48   C o nc a t e na t e   192 × 192   48   C o nc a t e na t e   24 × 24   96   M a x P oo li ng2D   96 × 96   48   M a x P oo li ng2D   12 × 12   96   C o n v 2D   96 × 96   48   C o n v 2D   12 × 12   24   B a tc hN or ma li z a ti o n   96 × 96   48   B a tc hN or ma li z a ti o n   12 × 12   24   A c ti v a ti o n   96 × 96   48   A c ti v a ti o n   12 × 12   24   2C o n v 2D   96 × 96   48   2C o n v 2D   1 2 × 12   24   C o nc a t e na t e   96 × 96   96   C o nc a t e na t e   12 × 12   48   M a x P oo li ng2D   48 × 48   96   G l o ba lA ve r a ge P oo li ng2D   -   48   C o n v 2D   48 × 48   64   D e ns e   -   2   B a tc hN or ma li z a ti o n   48 × 48   64   -   -   -   T ot a pa r a me t e r s :   T r a in a bl e  pa r a m e t e r s :   N o n - t r a in a bl e  pa r a m e t e r s :   121,500   120,930   570       B.   T h e   Al e xNe t   DL   m od e l   T h e   Al e x Ne t   de e m o de l   i s   s e l e c t e i n   t hi s   r e s e a r c h   a s   i t   i s   a   l i g h t we i g h t   e f f i c i e n t   m o de l   w i t h   f e w   pa r a m e t e r s .   B e s i de   t h a i t   a c hi e v e hi g h   a c c ur a c y   e v e n   w i t h   i t s   s m a ll   s i z e ,   a s   i n   pr e vi o us   T i ny M L   s t ud i e s   [ 6 ] .   I n   t hi s   r e s e a r c h   we   m o d i f y   t h e   o r i g i na l   Al e xN e m o de l   a r c hi t e c t ur e   i n   [ 5]   to  b e   s m a ll e r   i n   s i z e   w i t h     f e pa r a m e t e r s .   T h us ,   t h e   a r c hi t e c t ur e   o f   Al e x N e t   a f t e r   m o d i f i e c o ns i s t s   o f   s i l a y e r s   w i t h   a n   i np ut   s h a pe     o f   192 × 192 × 3.   F i r s t l y ,   t h e   f i r s t   t h r e e   l a y e r s   a r e   c o n v o l ut i o n   l a y e r s ,   e a c h   l a y e r   f o l l o we by   a   B a t c h No r m a li z a t i o n   l a y e r ,   a   R e L a c t i v a t i o n   l a y e r ,   a n M a x P o o l i ng  l a y e r s .   T h e   M a x P oo l i ng  l a y e r s   h a s   pa dd i n t h a h a s   a   v a l i v a l ue ,   s tr i de s   e qua l   to  two  v a l u e s ,   a n poo l   s i z e   e qua l   to  t w o .   S e c o n d l y ,   t h e r e   a r e   f l a t t e n   l a y e r   a n a   de ns e   l a y e r ,   w i t h   dr o p o u h a vin a   0. v a l ue .   F i na l ly ,   t h e   o u tpu t   l a y e r   c a l l e De n s e   l a y e r   i nc l ud i ng  a   S o f t M a x   a c t i v a t i o n   f u n c t i o n   t e n a bl e   de t e c t   pe de s t r i a n .   F i gur e   a n T a bl e   pr e s e n t   t h e   a r c hi t e c t ur e   o f   t h e   Al e x Ne t   de e m o de l   a f t e r   m o dif i e d.   T h e   pa r a m e t e r s   tot a l   486, 960  whi c h   a r e   di vided  i n t 486, 132  t r a i n a bl e   pa r a m e t e r s   a n 828  n o n -   t r a i n a ble  pa r a m e t e r s .   Evaluation Warning : The document was created with Spire.PDF for Python.