I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   40 No .   1 Octo b er   2 0 2 5 ,   p p .   3 2 7 ~ 3 4 5   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 40 .i 1 . pp 327 - 3 4 5           327     J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   The  ro a d conditio ns dete ction using  t he  co nv o lutiona l neural  network       Su j it t ra   Sa - ng iem 1 K w a nk a m o n Dit t a k a n 2 ,   Sa ro ch  B o o n s iripa nt 3   1 C o l l e g e   o f   D i g i t a l   S c i e n c e ,   P r i n c e   o f   S o n g k l a   U n i v e r si t y ,   S o n g k h l a ,   T h a i l a n d   2 C o l l e g e   o f   C o m p u t i n g ,   P r i n c e   o f   S o n g k l a   U n i v e r si t y ,   P h u k e t   C a m p u s ,   P h u k e t ,   T h a i l a n d   3 F a c u l t y   o f   En g i n e e r i n g ,   K a s e t s a r t   U n i v e r si t y ,   B a n g k o k ,   T h a i l a n d       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   19 2 0 2 4   R ev is ed   J u n   3 2 0 2 5   Acc ep ted   J u l   3 2 0 2 5       P o o r   ro a d   c o n d it io n p re se n t   c o n s id e ra b le  o b sta c les   fo i n d iv i d u a ls,   re su lt in g   in   a ss e lo ss ,   b o d i ly   h a rm ,   a n d   t i m e   in e fficie n c y .   Ap p ro x ima tely   1 . 3 5   m il li o n   fa talit ies   a re   a tt rib u ta b le  to   ro a d   t ra ffic  in c id e n ts.   T h e   De p a rtme n o P u b li c   Wo rk a n d   To w n   &   Co u n tr y   P la n n i n g   c o n d u c ted   ro a d   su rv e y to   a ss e ss   a n d   stra teg ize   m a in ten a n c e   e ffo rts.   Th e   m a n u a c a su rv e y   re q u ires   a d d it io n a ti m e   a n d   a n   e x c e ss iv e   b u d g e t.   T h e   a u to m a ted   sy ste m   o a rti ficia in telli g e n c e   (AI)  is  wi d e ly   re c o g n ize d .   Th is   p a p e r   p re se n ts  a   m o d e l   to   d e tec t   ro a d   su rfa c e   c o n d i ti o n u ti l izin g   v i d e o   d a ta .   F o u r   v e rsio n s   of   c o n v o l u ti o n a n e u ra n e two rk (CNN we re   u ti li z e d   fo th is  wo r k .   T h e   m o d e e v a lu a ti o n   e m p lo y e d   t h e   m e a n   a v e ra g e   p re c isio n   (m AP)  m e a su re .   Th e   v id e o   d a ta  wa s   a c q u ired   v ia  a   sm a rtp h o n e   m o u n ted   in   a   v e h icle ,   c o m p risin g   1 0 , 9 8 4   p h o to s   fo trai n in g   a n d   2 , 1 9 8   ima g e f o tes ti n g .   We  train e d   a n d   e v a l u a ted   f o u r   v e rsio n s   of   CNN   a rc h it e c tu re n a m e d   YO LO u ti li z in g   o u r   d a ta  a n d   G P U,   with   a   sp e c ifi c   e m p h a sis  o n   id e n ti fy in g   c ra c k s,  p o t h o les ,   a n d   th e   c o n d i ti o n   o m a n h o le   c o v e rs.   Of   th e   a rc h it e c tu re e v a lu a ted ,   YO LO  V 6   a tt a in e d   t h e   g re a tes m AP   sc o re   in   c o m p a riso n   YO LO  V5   t o   YO LO  V8 .   T h e   tes ti n g   re su lt with   b a tch   siz e o 4 ,   8 ,   1 6 ,   a n d   3 2   a re   e ffe c ti v e .   Th e   b a tch   siz e   o 3 2   y ield t h e   h i g h e st  p e rfo rm a n c e ,   a c h iev in g   8 7 . 3 8 %   m AP.   C o n d u c t   th e   d ro p o u n o rm a li z a ti o n   u si n g   ra te o 0 . 2 5 ,   0 . 5 0 ,   0 . 7 5 ,   a n d   1 .   T h e   m a x imu m   m AP  is  o b se rv e d   wit h   a   d r o p o u t   ra te  o 0 . 2 5 ,   y ield i n g   a   m AP  o f   8 5 . 4 0 % .   Th e   m o d e l   i n d ica tes   th a t h e   g o v e rn m e n c o n d u c ted   r o a d   su rfa c e   i n sp e c ti o n with   e n h a n c e d   e fficie n c y ,   e n a b li n g   th e   p lan n in g   o f   ro a d   re p a irs  fo p u b li c   u ti li t y   issu e s,  wh ich   c a n   l o we tr a n sp o rtati o n   c o sts.   Ad d it i o n a ll y ,   th e   m o d e l   c a n   b e   u ti li z e d   to   i d e n ti f y   h a z a rd o u r o a d   c o n d it i o n s   a n d   m in imiz e   v e h icu lar   a c c id e n ra tes .   K ey w o r d s :   Dee p   lear n in g   Ob ject  d etec tio n   R o ad   d etec tio n   R o ad   s u r f ac co n d itio n   R o ad   s u r f ac d etec tio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kwa n k am o n   Dittak an   C o lleg o f   C o m p u tin g Prin ce   o f   So n g k la  Un iv er s ity Ph u k et   C am p u s   Ph u k et,   8 3 1 2 0   Kath u ,   T h ailan d   E m ail:  k wan k am o n . d @ p h u k et . p s u . ac . th       1.   I NT RO D UCT I O N   T h r o a d   f u n ctio n s   as  an   av e n u ca p a b le  o f   p r o p ellin g   an   ec o n o m y   ah ea d .   s m o o th   r o ad   s u r f ac e   f ac ilit ates  f aster   an d   m o r ef f icien tr av el.   R o ad   tr a f f ic   in cid en ts   r esu lt  i n   1 . 3 5   m i llio n   f atalities  [ 1 ] .   Un d o u b te d ly ,   r o a d s   ar im p o r tan to   s u s tain in g   th ec o n o m y   an d   th liv elih o o d s   o f   in d iv id u als.  T h is   en g en d e r s   ec o n o m ic  an d   c u ltu r al  ad v a n ce m en t,   en h a n cin g   n u m er o u s   f ac ets ,   in clu d in g   s h ip p in g ,   tr a v el,   co m m u n icatio n ,   an d   o th er s   wi th in   th n atio n .   No n eth eless ,   i f   th r o a d   s u r f ac is   d eter i o r at ed   an d   d an g e r o u s ,   it  im p ed es  tr af f ic  a n d   e n d an g e r s   th e n tire   tr an s p o r tatio n   s y s tem .   T h is   p r o b lem   lead s   t o   th e   lo s s   o f   b o th   ass ets  an d   life .   Mo r e o v er ,   th q u ality   o f   th r o ad   s u r f ac is   ess en tial  f o r   m ain tain in g   s af d r iv in g ,   esp ec ially   d u r i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   1 ,   Octo b er   20 25 :   327 - 3 4 5   328   in clem en wea th er .   Mo is r o ad   s u r f ac es  r ed u ce   tire   tr ac tio n ,   th er eb y   in cr ea s in g   th lik eli h o o d   o f   ac cid en ts .   T h co n d itio n   o f   th e   r o ad   is   c r u cial  in   ass ess in g   th s af ety   o f   h u m an s   an d   th eir   b elo n g in g s   [ 2 ] .   E x a m p les  o f   r o ad   c o n d itio n s   in cl u d e   cr ac k s ,   p o th o les,  an d   m a n h o le   c o v er s .   Gen er ally ,   th d esig n ated   p eo p le   wo u ld   co n d u ct  m an u al  i n s p ec tio n   o f   th r o ad   to   e v alu ate  its   co n d itio n .   Nev er th eless ,   d ev el o p m en ts   in   tech n o lo g y   h av en ab le d   ca m er as  an d   s en s o r s   m o u n t ed   o n   v eh icles  to   g ath er   v i d eo   f o o tag an d   cr u cial  d ata.   T h e   p er s o n n el  th er ea f te r   co n d u ct   m an u al  v er if icatio n   o f   th o b tain ed   v id eo   m ate r ial.   Desp ite  b ein g   tim e - co n s u m in g ,   th is   p r o ce s s   is   cr u cial  f o r   th s af ety   o f   liv es a n d   ass ets [ 3 ] .   C u r r en tly ,   v ar i o u s   m eth o d o lo g ies  ar u tili ze d   to   ev alu ate  r o ad   s u r f ac co n d itio n s .   Vid eo   i m ag es  an d   ca m er as  h av e   b ee n   u tili ze d   f o r   th is   p u r p o s e.   Ar tific ial  in tell ig en ce   ( AI )   a n d   m ac h in e   lear n in g   ( ML )   en h a n ce   r o ad   q u ality   d etec tin g   s y s tem s .   T h c o n v o lu tio n a l   n e u r al  n etwo r k   ( C NN)   is   wid ely   em p lo y ed   in   ar tific ial   in tellig en ce   r esear ch .   C NN  i s   ad ep at  ev alu atin g   r o ad   c o n d itio n s   u s in g   im ag es,  s ig n als,  an d   v id eo   d ata .   Ma n y   r esear ch   p r o jects  em p lo y   v id eo   o r   s en s o r   d ata.   YOL O,   ter m   f o r   "Yo u   On l y   L o o k   O n ce , is   e x ten s iv ely   em p lo y ed   f o r   r e al - tim o b ject  d etec tio n   task s .   C u r r en tly ,   m an y   v ar ian ts   o f   YOL im p r o v e   p er f o r m an ce   in   te r m s   o f   m ea n   av er ag p r ec is io n   ( m AP ).   C ateg o r ies  o f   ac ci d en f ac to r s   in   r o a d   ac ci d en d ata  m a n ag em en r ep o r ts   i n clu d e   r id e r ,   wea th er ,   v eh icle   p er f o r m a n ce ,   a n d   r o a d   s u r f ac c o n d itio n s .   T h e   co llis io n   was  ca u s ed   b y   th m an h o le  co v er ,   cr ac k ,   p o th o le,   an d   b u m p e r ,   attr ib u tab le  to   th e   r o a d   co n d itio n s .   T h k in d   o f   r o ad   s u r f ac af f ec ts   v eh icle  tr ac tio n .   I f   th ir r eg u lar   ter r ain   g u ar an t ee s   s af tr a n s it,  th wh ee ls   ca n   m ain tain   tr ac tio n .   T h ai lan d   f ac es  m u ltip le  ch allen g es  r esu ltin g   f r o m   th s u b s tan d ar d   q u ality   o f   r o ad   s u r f ac es,  r esu ltin g   in   th e   d ev el o p m en o f   p o th o les   an d   cr ac k s   o v er   tim [ 4 ] [ 5 ] .   T h m an h o le  co v e r   is   s itu ated   o n   th r o ad way .   T h is   g en er at es  an   elev atio n   an d   d ep r ess io n   o n   th e   h ig h way   r esu ltin g   f r o m   th ascen a n d   d es ce n o f   th m an h o le  co v er .   m u ltit u d o f   o b ject  ty p es  ex is ts .   T h m an h o le  co v er   co m p r is es  s m all  cir cle  an d   lar g r ec tan g le.   T h is   co n f i n ed   th m o d el' s   u s e   ex clu s iv ely   to   th e   d ata  c o llec tio n   d o m ain .   T h is   wo r k   p r o p o s es  th u tili za tio n   o f   C N o n   v id e o   d ata   to   cr ea te  class if ier   ca p ab le  o f   id en tify in g   r o ad   s u r f ac q u alit y   is s u es,  in clu d in g   p o th o les,  cr ac k s ,   an d   m an h o le   co v er s .   T h r esu lts   o f   th is   r e s ea r ch   ca n   b e   u tili ze d   in   i)   a s s is tin g   g o v e r n m e n ag e n cies  in   o p tim izin g   r o a d   s u r v ey s   an d   ass ess in g   r o ad   q u ality   m o r e f f ec tiv ely ,   t h u s   im p r o v in g   r o ad   r ep air   s tr a teg ies,  ii)  r ed u cin g   tr an s p o r tatio n   e x p en s es  b y   r e s o lv in g   p u b lic  u tili ty   co n ce r n s   v ia  th p r o p o s ed   m eth o d ,   ii i)   in co r p o r atin g   th e   class if ier   in to   an   ap p licatio n   to   p r o v id e   r id e r   aler ts   u p o n   id en tif y in g   h az ar d o u s   r o a d   co n d itio n s ,   an d     iv )   p o ten tially   d ec r ea s in g   ca r   ac cid en r ates  th r o u g h   th ap p licatio n   o f   th is   class if ier .   T h f r am ewo r k   o f   th is   en d ea v o r   b e g in s   with   d ata  co llectio n   th r o u g h   m o b ile  ap p li ca tio n s   th at  in clu d v i d eo   d at a.   T h e   p r elim in ar y   s tag en tails   f r am ex tr ac tio n .   T h p ictu r lab elin g   is   o p er at io n al.   T h co n clu d in g   p h ase  in v o lv es  d ev elo p in g   th o b ject  d etec tio n   m o d el  wit h   C NN.   T h r esu lts   ar co m p a r ed   with   s ev er al  iter atio n s   o f   YOL O.   T h s u b s eq u e n s ec tio n s   o f   th is   d o cu m en a r s tr u ctu r e d   as  f o llo ws i )   i n tr o d u ctio n ii )   r el ated   wo r k   d is cu s s es  r elev an s tu d ies ;   i ii )   m eth o d s ,   en co m p ass in g   th p r o p o s ed   f r am ewo r k ,   d at co llectio n ,   p r e - p r o ce s s in g   p r o ce d u r es,  an d   d etails  o f   th C NN ;   iv )   r esu lt  an d   d is cu s s io n ,   an d   v )   c o n cl u s io n   d is cu s s es  th e   f in al  o b s er v atio n s ,   an d   a c k n o wled g m en ts .         2.   RE L AT E WO RK   T h is   s ec tio n   d is cu s s es  m u ltip le  r elev an r esear ch   s tu d ies  co n ce n tr ated   o n   th d etec tio n   o f   ab n o r m al  o b jects  o n   th r o ad way .   R elate d   r esear ch   in clu d es  m u ltip le  d o m ain s ,   s u ch   as  r o ad   q u ality   ass ess m en t,  th ass o ciatio n   b etwe en   r o ad   s p ee d   an d   v ib r atio n s ,   an d   r o ad   class if icatio n .   T h s tu d y   in   th is   d o m ain   em p lo y s   m an y   h ar d war ty p es,  p r im ar ily   ca teg o r ized   in to   two   g r o u p s i)   s m ar tp h o n es  an d   ii)  ac ce ler o m eter s .   T h g r am ian   an g u lar   s u m m atio n   f ield   ( GASF)  is   u tili ze d   to   co n v er tr af f ic  tim e - s er ies  d ata  in to   an   im ag f o r m at,   r esu ltin g   in   d ec r ea s in g   th er r o r   r ate  [ 6 ] .   T h s tu d y   ex tr ac ted   d ata  f r o m   s in g le - ax is   an d   th r ee - ax is   ac ce ler o m eter s .   Ma ch in lear n in g   an d   d ee p   n eu r al  n etwo r k s   wer u tili ze d .   T h ev alu atio n   o f   class if icatio n   p er f o r m an ce   em p lo y s   m an y   p ar am eter   s ets .   T h d ata  co llectio n   u s in g   an   iPh o n 6 .   T h r ee   ca teg o r ies  o f   v eh icles  wer u tili ze d i)   Fo r d   Fo cu s   s ed an ,   ii)  Fo r d   Fo cu s   h atch b ac k ,   an d   iii)  Su b ar u   Ou tb ac k   SUV.   T h Vib r atio n   R ec o r d er   ap p licatio n   u tili ze s   ac ce ler o m eter   d ata  an d   v id eo   ca p tu r with   DJI  Osmo .   T h r esu lts   in d icate d   th at  u tili zin g   all  th r ee   ax es  o f   th ac ce ler o m eter   p r o v id ed   m o r p r ec is o u tco m es  co m p ar ed   to   em p lo y in g   s in g le  ax is   [ 7 ] .   Utilized   p r e - p r o ce s s in g   tech n iq u es  to   r em o v n o is in   d ata  p r ep ar atio n .   Su b s eq u en tly ,   f ea tu r ex tr ac tio n   was c o n d u cted ,   f o llo wed   b y   th p r o m o tio n   o f   p r ed ictiv an aly s is .     T h r an d o m   f o r est  ( R F)  an d   d ec is io n   tr ee   ( DT )   alg o r ith m s   ar em p lo y ed   f o r   class if icatio n   an d   th id en tific atio n   o f   p av em en d is tr ess   k in d s   [ 8 ] .   m ac h in lear n in g   m o d el  u tili zin g   s u p p o r v ec to r   m ac h in e   ( SVM)   was  d ev elo p ed   [ 9 ] .   T h co n d itio n   o f   th r o ad   p av em en s u r f ac is   ev alu ated   b y   v ib r atio n   m ea s u r em en ts .   T h f in d in g s   d em o n s tr ated   9 3 ac cu r ac y   f o r   th R m o d el,   9 0 f o r   th DT   m o d el,   an d   9 6 f o r   th SVM  m o d el.   T h U - ty p d ee p   lear n in g   im ag s e g m en tatio n   m o d el,   k n o wn   as R C NN - UNe t,  is   u tili ze d   to   ex tr ac ce n ter lin es  an d   id en tify   r o ad way s .   T h f in d in g s   in d icate   co m p leten ess   ( C OM )   s co r o f   0 . 9 8 7 1 ,     co r r ec tn ess   ( C OR )   s co r o f   0 . 9 9 5 9 ,   q u ality   ( Q)   s co r o f   0 . 9 7 4 4 ,   an d   an   F1   s co r o f   0 . 9 8 7 6   [ 1 0 ] .   T h d ee p   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       Th r o a d   co n d itio n s   d etec tio n   u s in g   th co n vo lu tio n a l n eu r a l   n etw o r ( S u jitt r a   S a - n g iem )   329   r esid u al  U - Net  is   u tili ze d   to   d elin ea te  th r o ad   ar ea   in   an   ae r ial  im ag [ 1 1 ] .   Pre v io u s   s tu d ies  o n   r o ad   co n d itio n   d etec tio n   h av h ig h lig h ted   th im p o r tan ce   o f   d ev ices  f o r   r ec o r d in g   an d   s to r in g   v id eo   d ata.     v ar iety   o f   d ev ices h av b ee n   em p lo y ed   f o r   r o ad   co n d itio n   an aly s is .     T h id en tific atio n   o f   p o th o les  h as  b ee n   ac h iev ed   u s in g   th er m al  ca m er as,  as  ev id en ce d   b y   th r esear ch   co n d u cted   b y   B h atia  et  a l.   [ 1 2 ] .   T h ese  ca m er as,  wh en   in teg r ated   with   R asp b er r y   Pi,  p r o v id co llectio n   o f   d ata  f o r   th id en tific atio n   o f   p o th o les  an d   b u m p s .   Sm ar tp h o n es  h av g ain ed   p o p u lar ity   as  an   ef f ec tiv o p tio n   f o r   r o ad   d ata  co llectin g ,   d u to   th eir   h ig h - r eso lu tio n   ca m er as  an d   ac c ess ib ilit y .   Vid eo   d ata  ac q u ir ed   f r o m   ce llp h o n es  h as  b ee n   u tili ze d   to   id en tify   v ar io u s   r o ad   co n d itio n s ,   s u ch   as  cr ac k ed   s u r f ac es,  s m o o th   r o ad s ,   u n ev en   ter r ain ,   p o th o les,  r u m b le  s tr ip s ,   an d   wate r   [ 1 2 ] .   Nu m er o u s   s tu d ies  h av u tili ze d   s m ar tp h o n es  to   co llect  d a ta  f o r   th d etec tio n   o f   r o ad   co n d itio n s .   T h ese  d ev ices  p lay   cr u cial  r o le  in   th co llectio n   o f   v id eo   d ata.   R esear ch er s   an d   p r ac titi o n er s   ev alu ate  r o ad   co n d itio n s   an d   d ev elo p   m eth o d s   f o r   m o n ito r in g   an d   id en tify in g   r o ad   s u r f ac p r o b lem s .     T h C NN  is   ty p o f   b io - in s p ir ed   n eu r al  n etwo r k   s p ec if ically   en g in ee r ed   to   r ep licate  h u m an   v is io n   an d   id en tify   o b jects.  C NN  is   p r im ar ily   em p lo y ed   f o r   ad d r ess in g   im ag e - r elate d   is s u es.  T h f u n d am en tal  p r in cip le  o f   C NN  is   th em p lo y m en o f   co n v o lu tio n al  lay er s   to   ex tr ac ch ar ac ter is tics   f r o m   im ag es.  T h r esu ltan m o d el  is   q u alif ied   to   m ak e   p r ec is p r ed ictio n s .   C NNs  d if f er   f r o m   n eu r al  n etwo r k s   ( NN)   b y   th eir   ab ilit y   to   ef f ec tiv ely   h an d le  co m p lex   m u ltip le  d atasets ,   esp ec ially   o n es  co n s is tin g   o f   im ag es.  T h is   ap p r o ac h   ef f icien tly   m itig ates  th is s u o f   d ata  v ar iatio n ,   wh er ein   th m o d el  en co u n ter s   d if f icu lties   in   p r ed ictin g   u n s ee n   d ata.   C NN  s u r p ass es  NN  in   im ag class if icatio n   task s .   T h ess en tial  co m p o n en ts   o f   C NN  co n s is o f   th co n v o lu tio n al  lay er ,   p o o lin g   lay er ,   an d   f u lly   co n n ec ted   lay er .   T h f u n d am en tal  co n ce p o f   C NN  is   th co n v o lu tio n al  lay er ,   wh ich   is   task ed   with   f ea tu r ex tr ac tio n ,   in clu d in g   th d etec tio n   o f   o b ject  ed g es.  C NN  u tili ze s   co m p lex   m ath em atica l m eth o d s   an d   th p r in cip le  o f   s p atial  co n v o lu tio n   f o r   im ag p r o ce s s in g .   Featu r ex tr ac tio n   is   ex ec u ted   b y   f ilter s   o r   k er n els,  ea ch   d esig n ed   to   ex tr ac p ar ticu lar   f ea tu r o f   in ter est.  T h u tili za tio n   o f   s ev er al  f ilter s   f u r th er   en h an ce s   th n etwo r k ' s   ca p ab ilit ies.  T h co n v o lu tio n   p r o ce s s   in   C NN  p r o d u ce s   s m aller   m atr ices  as  o u tp u ts .   T h er ea f ter ,   th p o o lin g   lay er   ex tr ac ts   s ig n if ican in f o r m atio n   an d   im p r o v es  d ata  p r o ce s s in g   ef f icien cy .   T h er ar two   v ar ieties  o f   p o o lin g i)   m ax   p o o lin g ,   wh ich   id en tifie s   th m ax im u m   v alu with in   ea ch   g r id ,   an d   ii)  av er ag p o o lin g .   T h f u lly - co n n ec ted   lay er   co n s titu tes  th co n clu d in g   elem en t o f   th C NN  ar ch itectu r e.   I t lin k s   th o u tp u t f r o m   th p o o lin g   an d   co n v o lu tio n   lay er s .   T h co n v o lu tio n   lay er   o f ten   p r o d u ce s   th r ee - d im en s io n al  v o lu m e,   wh er ea s   f u lly - co n n ec ted   lay er   n ec ess itates  o n e - d im en s io n al  v ec to r   [ 1 3 ] - [ 1 5 ] .   C o n s eq u en tly ,   th o u tp u o f   th p o o lin g   lay er   is   tr an s f o r m ed   in to   v ec to r   p r io r   to   en ter in g   th f u lly - co n n ec ted   lay er .   Mo r eo v er ,   d r o p o u is   m eth o d   em p lo y ed   to   r eg u lar ize  co n v o lu tio n al  n eu r al  n etwo r k s   an d   m itig ate  o v er f itti n g   co n c er n s .   I r an d o m ly   s ets  p r o p o r tio n   o f   n eu r o n   o u tp u ts   d u r in g   tr ain in g .   E n s em b les  ca n   r ed u ce   o v er f itti n g   b y   av er ag in g   th o u tp u ts   o f   s ev er al    m o d els;   n o n eth eless ,   th ey   ar r eso u r ce - in ten s iv e,   tim e - co n s u m in g ,   an d   in v o lv th m an ag em en o f   m u ltip le  m o d els [ 3 ] ,   [ 1 5 ] .     Nu m er o u s   s tu d ies  h av em p lo y ed   d ee p   lear n in g   m eth o d o lo g ies  to   id en tify   ab n o r m al  o b jects  in   v id eo s .   p r ev alen m eth o d   in v o lv es  th u s o f   d ee p   co n v o lu tio n al  n eu r al  n etwo r k s   ( DC NNs)  [ 16]   with   th Go o g le  T en s o r Flo o b ject  d etec tio n   ( GT OD)   API .   T h s tu d y   ex am in ed   f iv ca teg o r ies  o f   r o ad   co n d itio n s   i)   s m o o th   r o ad ,   ii)  u n ev en   r o ad ,   iii)  p o th o le,   iv )   in clin e,   an d   v )   b u m p .   Mo r eo v er ,   th f u zz y   alg o r ith m   ca n   b u tili ze d   to   d eter m in th s p ee d   lim it  o n   th h ig h way   [ 1 7 ] .   co m p ar ativ s tu d y   was  p er f o r m ed   co m p ar in g   f ea tu r es  d er iv ed   f r o m   th r ee   ax es  an d   th o s f r o m   s in g le  ax is .   T h r esear ch   em p lo y ed   SVM,   d ec is io n   tr ee s ,   an d   n eu r al  n etwo r k s   f o r   class if icatio n   p u r p o s es.  T h im ag p r o ce s s in g   p ip elin en co m p ass ed   lab elin g ,   f ilter in g ,   an d   f ea tu r ex tr ac tio n .   Dee p   n eu r al  n etwo r k s   wer u tili ze d   to   ca teg o r ize  th r o ad   co n d itio n s .   T h d ata  co llectio n   u tili ze d   th r ee   v eh icle  ty p es:  i)   Fo r d   Fo cu s   Sed an ,   ii)  Fo r d   Fo cu s   Hatc h b ac k ,   an d   iii)  Su b ar u   Ou tb ac k   SUV.   T h v id eo   r ec o r d in g s   wer o b tain ed   with   an   iPh o n 6 .   T h p r im ar y   f o cu s   o f   th r o ad   s u r f ac s tu d y   was th id en tific atio n   o f   p o th o les [ 7 ] .     W ir atm o k o   et  al.   co n d u cted   s tu d y   to   id en tify   p o th o les  o n   th r o ad way .   T h s p ec if ic  cr iter ia  ar d iam eter   ex ce ed in g   10  ce n tim eter s   an d   d ep th   o f   at  least   ce n tim eter s .   T h wr ap p in g   an d   cr o p p in g   tech n iq u es  ar u tili ze d   f o r   o b ject  d etec tio n ,   an d   C NN  b ased   o n   L eNe t 5 m ay   p r o d u ce   th m o d el.   T h f in d in g s   in d icate d   an   ac cu r ac y   o f   9 2 . 8 [ 1 2 ] .   I n   s ep ar ate  s tu d y ,   p o th o le  d etec tin g   s y s tem   u tili zin g   m ix tu r o f   Gau s s ian s   ( Mo G)   co m b in ed   w ith   an   SVM   m o d el  an d   f aster   R - C NN.   I n   th Mo m o d el,   l in ea r   SVM  an d   r ad ial  b asis   f u n ctio n   SVM  ( R B F - SVM)   wer u tili ze d .   No n eth eless ,   th s tu d y   o f   th v id eo   d ata  in d icate d   th at  th Mo SVM  was  in ap p r o p r iate.   C o n v er s ely ,   f aster   R C NN  d em o n s tr ated   s u p er io r   pe r f o r m an ce   in   v eh icle  r ec o g n itio n   at  n ig h t.  d ee p   b elief   n etwo r k   ( DB N)   is   u tili ze d   to   d ev elo p   th f u n ctio n   f o r   ass ess in g   g lo b al  r o ad   s af ety   p er f o r m an ce   ( SF P).   T h is   m o d el  ca n   f o r ec ast  th f r eq u en cy   o f   ac cid en ts   ac r o s s   d iv er s lo ca tio n s .   T h o u tco m o f   en h an ce d   p er f o r m an ce   is   r ed u ctio n   o f   th m ax im u m   er r o r   r ate  to   2 3 . 1 5 [ 1 8 ] .   T h r ef in ed   m ask   R - C NN  ( R R - C NN)   u tili ze s   an   en d - to - en d   lear n in g   ap p r o ac h   f o r   th e   ac q u is itio n   o f   r ea l - tim r o ad   p ictu r es.  T o   id en tify   th tr af f ic  s ig n s   f o r   th co m p ar is o n   o f   f ast  R - C NN  an d   m ask   R - C NN  [ 19 ] T h r an d o m   f o r est  r eg r ess o r   ( R FR ) ,   m u ltio u tp u r eg r ess o r   ( MO R ) ,   an d   ar tific ial  n eu r al  n et wo r k   ( ANN)   ca n   b d esig n ed   to   ass ess   m o v em en t a in ter s ec tio n s .   T h an aly s is   o f   th co r r elatio n   b etwe en   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   1 ,   Octo b er   20 25 :   327 - 3 4 5   330   v o lu m es  an d   co m p atib le  tu r n in g   m o v em en ts   [ 2 0 ] .   T h ass ess m en o f   p av em en p er f o r m an ce   in co r p o r ates  v ar io u s   cr iter ia,   in clu d in g   b ase  ty p e,   h o m ix   asp h alt  co n cr ete  ( HM AC )   lay er   th ick n ess ,   b ase  lay er   th ick n ess ,   tr af f ic  lo ad ,   ag e,   an d   clim atic  co n d itio n s   s u ch   as  p r ec ip itatio n   an d   tem p er atu r e.   T h is   s tu d y   em p lo y s   v ar io u s   s tatis tical  m eth o d o lo g ies,  in clu d in g   g en er alize d   lin ea r   m o d els  ( GL M) ,   b in ar y   lo g is tic  r eg r ess io n   ( B L R ) ,   an d   r an d o m   f o r est  ( R F).   T h lo n g - ter m   p av em en p er f o r m an ce   p r o g r am   ( L T PP )   ex ce ls   in   d ata  an aly s is .   Fu r th er m o r e,   th p er f o r m an ce   o f   r eg r ess io n   m o d els  ( GL an d   B L R )   is   ass ess ed   in   r elatio n   to   R b y   th cr o s s - v alid atio n   m eth o d .   T h f in d in g s   r ev ea th im p o r tan ce   o f   d esig n   ch ar ac ter is tics ,   s u ch   as  cu ttin g ,   r o u g h n ess ,   an d   allig ato r   cr ac k in g   [ 2 1 ] .     Mu k esh   et  a l.   [ 2 1 ]   id en tifie d   cr a ck s   an d   p o th o les  in   th r o ad   b y   co m p ar in g   R an d o m   Fo r est  an d   C NN  m eth o d o lo g ies.  T h d em o n s tr ated   ac cu r ac y   is   9 6 [ 2 2 ] .   R o ad   d etec tio n   m ay   id en tify   f ea tu r es  f r o m   s ev er al  im ag s o u r ce s ,   in clu d in g   s atellite  im ag er y .   T h m o d el  ca n   b co n s tr u cted   u s in g   ANN,   C NN   alo n g   with   m o r p h o lo g ical  en h an ce m en an d   s eg m en tatio n   tech n iq u es   [ 2 3 ] - [ 2 5 ] .   R esear ch   h as  b ee n   co n d u cted   to   m itig ate  s h ad o ws  th r o u g h   s h ad o w - in v ar ian f ea tu r s p ac e   [ 2 6 ] .   An o th er   f o r m   o f   im ag u tili ze d   f o r   r o ad   d etec tio n   is   v er y   h ig h   r eso lu tio n   ( VHR)  r em o t s en s in g .   T h is   im ag f o r m at  is   s u itab le  f o r   s eg m en tatio n   [ 2 7 ] .   T h ae r ial  im ag ca n   b u tili ze d   to   p r o d u ce   m ap   b ased   o n   s em an tic  s eg m en tatio n .   An   u n m an n ed   ae r ial  v eh icle  ( UAV)   is   em p lo y ed   to   au to n o m o u s ly   cr ea te  th m o n ito r in g   r o ad   ar ea   b ased   o n   r ap id   h o m o g r ap h y ,   u tili zin g   2 B ir d ' s   ey v iew  ( B E V)   im ag to   r ec o g n ize  r o ad s ,   lan es,  an d   d r iv er   b eh av io r ,   y ield in g   f av o r ab le  r esu lts   [ 2 8 ] - [ 3 0 ] .   T h r ec u r r en co n v o lu tio n al  n eu r al  n etwo r k   U - N et  ( R C NN - UNe t)   is   u tili ze d   f o r   r o ad   d etec tio n   an d   ce n ter lin ex tr ac tio n   [ 3 1 ] T h m u lti - ce n ter ed   h o u g h   f o r est  ( MCHF)  m eth o d   ca n   b em p lo y ed   f o r   cu r v ilin ea r   d etec tio n   in   im ag es  as  r ep lace m en to   e u clid ea n   d is tan ce   [ 3 2 ] .   R eg ar d in g   co lo r   r o ad   d etec tio n ,   en h an ce m en ca n   b ac h iev ed   b y   u tili zin g   illu m in an in tr in s ic  im ag es  to   p r o d u ce   p ix el - lev el  co n f id en ce   m ap   [ 3 3 ] .   T h d etec tio n   o f   lin s eg m en tatio n   is   ac co m p lis h ed   b y   th p r o b ab ilis tic  Ho u g h   tr an s f o r m ,   wh ich   d elin ea tes  th r o ad   s ec tio n   in   ae r ial  im ag es  u tili zin g   h is to g r am   [ 3 4 ] ,   [ 3 5 ] .   T h r o ad   b o u n d ar y   ca n   b ex tr ac ted   u s in g   th s - FC N - lo ap p r o ac h ,   wh ich   o p er ates   30%   f aster   th an   FC N   [ 3 6 ] .   An   au to n o m o u s   d etec tio n   s y s tem   was  im p lem en ted   to   id en tify   d iv er s r o ad   co n d itio n s ,   s u ch   as  p o th o les,  s tr ee b u m p s ,   an d   d r iv er   b eh av io r s ,   u tili zin g   co m b in atio n   o f   lo n g   s h o r t - ter m   m em o r y   ( L STM )   n eu r al  n etwo r k s   an d   r eser v o ir   co m p u tin g   ( R C )   m o d el.   T h is   ap p r o ac h   ac h iev es  an   ac cu r ac y   o f   0 . 9 8   in   d is tin g u is h in g   b etwe en   p o th o les an d   th eir   ab s en ce   [ 3 7 ] .   Pre v io u s   r esear ch   h as  in tr o d u ce d   m u ltip le  m eth o d o lo g ies  f o r   ev alu atin g   r o ad   s u r f ac co n d itio n s Pre - p r o ce s s in g   p r o ce s s es  en co m p ass   ac tiv ities   s u ch   as  lab elin g ,   f ilter in g ,   an d   f ea tu r ex tr ac tio n .   Dee p   lear n in g   m o d els s u ch   as YO L V 2 ,   YOL V 3 ,   an d   u p   to   YOL V 8   ar f r eq u en tly   u tili ze d   f o r   th is   o b jectiv e.   I m ag es c an   b co llected   u tili zin g   ce llp h o n es a n d   v id eo   ca m er as.       3.   M E T H O D S     T h is   s ec tio n   ex p lain s   th p r o c ess   o f   th is   p ap er .   T h er a r f o u r   s u b s ec tio n s .   Su b s ec tio n   3 . 1   d is cu s s es   th p r o p o s ed   f r am ewo r k   o u t lin es  th u tili ze d   f r am ewo r k .   Su b s ec tio n   3 . 2   Data   c o lle ctio n   s p ec if ies  th m eth o d o l o g y   f o r   d ata   ac q u is i tio n .   S ubs ec tio n   3 . 3 .   Data   p r ep r o ce s s in g   o u tlin es  th p r eli m in ar y   p r o ce d u r es  b ef o r m o d el  d e v elo p m e n t.  An d   S ubs ec tio n   3 . 4 C NN   an aly ze s   th h is to r ical  ev o lu tio n   o f   C NN  an d   ea ch   v er s io n   o f   YOL u p   to   YOL V8     3 .1 .   P r o po s ed  f ra m ewo r k   T h is   s ec tio n   p r e s en ts   f r am ewo r k   d esig n e d   f o r   th i d en tific atio n   o f   r o ad   s u r f ac co n d itio n s .     Fig u r 1   d em o n s tr ates  th f r a m ewo r k .   T h is   en a b les  th r ee   s tag es  f o r   ev alu atin g   r o a d   s u r f a ce   co n d itio n s   with   v id eo   d ata.   T h e   p r o ce d u r in clu d es  d ata  c o llectio n ,   d ata  p r e - p r o ce s s in g ,   a n d   m o d e g en er atio n T h e   f r am ewo r k   i n itiates   b y   g ath er i n g   d ata  an d   em p lo y in g   s m ar tp h o n e' s   ca m er to   r ec o r d   v id eo   d ata.   T h f r am e   ex tr ac tio n   in v o lv es  co n v er tin g   th m o v ie  in to   s ev er al  p ictu r es.  Up o n   co m p letio n   o f   th e   d ata  co llectio n   an d   f r am ex tr ac ti o n   p h ase,   t h e   n ex s tag is   d ata  p r e - p r o ce s s in g .   Prio r   to   co m m en ci n g   th is   p h ase,   d ata   au g m en tatio n   is   r eq u i r ed .   T h i s   aim s   to   im p r o v th d ata  q u ality .   Div er s im ag p r o ce s s in g   tech n iq u es  ar e   u tili ze d   to   g u ar an tee  th d ata   is   f o r m atted   co r r ec tly   f o r   f u r th er   p r o ce s s in g .   T h ese  m ec h an is m s   en co m p ass   lan d etec tio n   an d   o b ject  d etec tio n .   T h is   s tu d y   co n ce n tr ates   o n   th v eh icu lar   lan a n d   s u b s eq u en tly   th lan e   d etec tin g   p r o ce d u r e.   Su b s eq u e n to   th en h an ce m en o f   p ictu r lab elin g ,   th is   p h ase  d elin ea tes  th o b ject  f r om  th b ac k d r o p ,   cr u cial  s tep   f o r   en ab lin g   th m ac h in to   r e co g n ize  an d   d if f er en tiate  th o b ject.   T h o u tco m e   o f   th lab elin g   o p e r atio n   is   an   XM L   f ile  em p lo y ed   to   co n s tr u ct  th m o d el  u tili zin g   th C NN.     3 . 2.    Da t a   c o llect io n   T h d ata  o n   r o ad   co n d itio n ,   p ar ticu lar ly   ab o u asp h alt  r o a d s ,   is   u tili ze d   to   d ev elo p   th e   class if ier .   Data   co llectio n   co n d u cted   b y   s m ar tp h o n es  f r o m   Ma y   2 0 2 0   to   Sep tem b er   2 0 2 1   in   Ph u k et  an d   B an g k o k ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       Th r o a d   co n d itio n s   d etec tio n   u s in g   th co n vo lu tio n a l n eu r a l   n etw o r ( S u jitt r a   S a - n g iem )   331   T h ailan d .   b r ac k et  was  u tili ze d   to   h o ld   t h s m ar tp h o n tig h tly   in   th v e h icle,   as  s ee n   in   Fig u r 2 .   An   ap p licatio n   was e m p lo y e d   to   s av an d   d ir ec tly   u p lo ad   th co llected   d ata  to   th clo u d .           Fig u r 1 .   T h r o a d   s u r f ac e   co n d itio n s   d etec tio n   f r a m ewo r k           Fig u r 2 .    T h s etu p   o f   eq u ip m en t       Su b s eq u en tly ,   f r am ex tr ac tio n   is   ex ec u ted   to   o b tain   im ag es   f r o m   th v id eo ,   with   ea c h   im ag s ca led   to   1 9 2 0 × 1 0 8 0   p ix els.  T h d ataset  co m p r is es  1 0 , 9 8 4   im ag es  d esig n ated   f o r   tr ain in g   an d   2 , 1 9 8   im ag es   allo ca ted   f o r   test in g .   T ab le  1   p r esen ts   co m p r eh e n s iv in f o r m atio n   co n ce r n in g   th v i d eo s   an d   th p r o ce d u r o f   f r am ex tr ac tio n .   Fig u r e   3   p r o v id es a n   illu s tr atio n   o f   cu s to m   d ataset.   T ab le  1   i llu s tr ates  th f r am ex tr ac tio n   s tatis tics .   to tal  o f   1 3 4 , 1 7 6   s ec o n d s   r esu l ted   in   th e   ex tr ac tio n   o f   1 , 3 4 1 , 7 6 0   f r am e s .   Am o n g   t h ese  f r am es,  e v er y   th r ee   f r am es  will  s elec o n f r am e.   T h e n ,   2 4 , 2 7 6   co n tain ed   o b jects  wer ch o s e n   f o r   g en er atin g   th o b ject  d e tect io n   m o d el.   An d   th f r am e   ex tr ac tio n   co d is   s h o wn   in   Alg o r ith m   1 T h v id eo   f ile  is   d esig n ated   as  ' v id eo ca p ' ,   th im ag c o u n is   r ef er r ed   to   as  ' co u n t' ,   an d   th s tate  o f   th v id e o   r ea d   is   in d icate d   b y   th e   p ar am eter   ' s u cc ess '   ( lin es 2 - 4 ) .   Su b s eq u e n tly ,   th r ec o r d e d   v id e o   is   an aly ze d ,   an d   th e   co u n p a r am eter   is   ex ec u te d   ( lin es  7 - 8 ) .   T h e   im ag is   th er ea f ter   s av ed   to   th e   d ir ec to r y   af ter   ev er y   th r ee   im a g es ( lin es 9 - 1 2 ) ,   co n s titu tin g   th o u tp u t.       T ab le  1 .   T h in tr icac ies o f   v id eo   an d   f r am e x tr ac tio n   V i d e o   Ti me(s )   A l l   F r a m e   F r a me  w i t h   o b j e c t   S e l e c t e d   f r a me   1 2 5   1 3 4 , 1 7 6   1 , 3 4 1 , 7 6 0   3 2 , 8 0 3   2 4 , 2 7 6       3 . 3 .   Da t a   p re pro ce s s ing   Fo llo win g   d ata   co llectio n   u s in g   a   s m ar tp h o n e   ap p licatio n ,   f r am e x tr ac tio n   is   p er f o r m ed .   T h is   s ec tio n   ad d r ess es  d ata  p r e - p r o ce s s in g ,   co m p r is in g   t h r ee   s u b s ec tio n s .   Su b s u b s ec tio n   3 . 3 . 1   ad d r ess es  th e   ca teg o r y   o f   d ata.   Nex 3 . 3 . 2   co n s titu tes  co m p o n en o f   th lan d etec tin g   p r o ce d u r e.   S u b s u b s ec tio n   3 . 3 . 3   d elin ea tes th s p ec if ics o f   o b je ct  lab elin g ,   cr u cial  p r o ce d u r p r io r   t o   d ata  in p u t f o r   m o d el   g en er atio n .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   1 ,   Octo b er   20 25 :   327 - 3 4 5   332       Fig u r 3 .   d em o n s tr atio n   o f   cu s to m   d ataset   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       Th r o a d   co n d itio n s   d etec tio n   u s in g   th co n vo lu tio n a l n eu r a l   n etw o r ( S u jitt r a   S a - n g iem )   333   Alg o r ith m   1 .   Fra m ex tr ac tio n   1: Input:   2:     videocap = The video file   3:     count   = The image count   4:     success =  The status of the video read   5:  Output:   6:  while   success do   7:     success = videocap.read()   8:     count   = count + 1   9:     If count mod 3 = 0   10:        If success = true   11:            cv2.imwrite("image path" % count, image, [cv2.IMWRITE_JPEG_QUALITY , 100])   12:        end if   13:    end if   14:  end while     3 . 3 .1 Da t a   c a t eg o ries   T h is   s tu d y   id en tifie s   th r ee   s p ec if ic  o b jects  f o r   i n s p ec tio n   b y   th De p ar tm en o f   Hig h way s   i n   T h ailan d .   T h ese  o b jects  in clu d r o a d   d am ag e ,   class if ied   as  s tr u ctu r al  f ailu r e   an d   f u n c tio n al  f ailu r e .   T h e   s tr u ctu r f ailu r ca teg o r y   en co m p ass es  p o th o les  an d   cr ac k s ,   wh er ea s   m an h o les  ar class if ied   u n d er   th f u n ctio n al   f ailu r e   ca teg o r y .   T h im p ac ts   o f   f u n ctio n al   f ailu r r elate   to   co n ce r n s   o f   c o n v en ien ce   an d   s af ety .   Fig u r 4   illu s tr ates  an   ex am p l o f   th ese  th in g s .   Fig u r 4 ( a)   d ep icts   cr ac k ,   Fig u r 4 ( b )   il lu s tr ates  p o th o le,   an d   Fig u r 4 ( c)   s h o wca s es a   m an h o le  c o v er .   A n   ex am p le  o f   cu s to m   o b ject  is   illu s tr ated   in   Fig u r 5 .           ( a)   ( b )       ( c)     Fig u r 4 .   An   illu s tr atio n   o f   t h e   th r ee   o b jects  ( a)   an   ex a m p le  o f   cr ac k   ( b )   a n   ex am p le  o f   p o th o le ,   an d     ( c)   an   e x am p le  o f   m an h o le       3 . 3 .2 L a ne  d et ec t io n   Fo llo win g   th co llectio n   o f   v id eo   d ata ,   in cl u d in g   th r ee   o b j ec ty p es,  th f r a m ex tr ac tio n   p r o ce s s   co m m en ce s .   T h f r am e x tr a ctio n   tech n iq u in v o l v es  co n v er tin g   v id eo   co llectio n   in to   s ev er al  im ag es.  Imp r o v em en ts   wer im p lem e n ted   in   th lan d etec tio n   p r o ce d u r e,   p ar ticu la r ly   f o cu s in g   o n   id en tify in g   lan es  f o r   v eh icu lar   d r iv in g .   T h lan d etec tin g   p h ase  is   ess en tial,  in clu d in g   s eq u en ce   o f   ac tio n s .   I n itially ,   C an n y   E d g d etec tio n   is   im p lem en te d ,   s u cc ee d ed   b y   ar ea   s eg m en t atio n ,   an d   u ltima tely ,   th a p p li ca tio n   o f   th Ho u g h   T r an s f o r m .   Fig u r 6   illu s tr ates th r esu lts ,   wh ile  Alg o r ith m   2   d is p lay s   th lan d etec tin g   co d e.     Alg o r ith m   2   elev ates th im ag co llectio n   to   th p ar am eter   ' f r am e'   ( lin 2 ) .   Su b s eq u en tly ,   im p lem en t   C an n y   m eth o d   to   i d en tify   ed g es  with in   an   im ag e.   T h s eg m en tatio n   is   ex ec u ted   to   p r o d u ce   th p ix el   r eg io n   in   an   im ag e.   Utilize  th Ho u g h   tr an s f o r m   t o   id en tif y   th s h a p ( lin es  4 - 6 ) .   T h f in al  s tep   in v o lv es  ca lcu latin g   th lin an d   s ee in g   th o u t p u ( lin es 7 - 1 0 ) .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   1 ,   Octo b er   20 25 :   327 - 3 4 5   334   Alg o r ith m   2 .   L an d etec tio n   1: Input:   2: frame = The collection of read image files   3: Output:   4: canny    = do_canny(frame)   5: segment  = do_segment(canny)   6: hough    = HoughLinesP(segment, 2, minLineLoth = 100, maxLineGap = 50)   7: li nes    = calculate_lines(frame, hough)   8: line_visualize = visualize_lines(frame, lines)   9: output   = addWeighted(frame, 0.9, line_visualize, 1, 1)   10:print output     Su b s eq u en to   th ac q u is itio n   o f   v id eo   d ata,   th v id eo s   wer an aly ze d   to   ex tr ac d is cr ete  p ictu r es.  T h in itial  d im en s io n s   o f   th ese  p h o to s   wer 1 9 2 0 × 1 0 8 0   p ix els.  Fo r   th p u r p o s es  o f   o u r   in v esti g atio n ,   we  r esized   th p h o to s   to   1 2 8 0 × 7 2 0   p ix els.  T o   elim in ate  u n wan ted   en v ir o n m en tal  co m p o n en ts ,   we  ex cised   3 6 0   p ix els  f r o m   th to p   an d   3 2 0   p ix els  f r o m   b o th   th lef an d   r ig h s id es  o f   th p h o to s .   Fig u r 7   d ep icts   th o r ig in al  im ag alo n g   with   th s p ec if ied   cr o p   r eg io n .   T h d esig n ated   ar ea   o f   th im ag e,   m ar k ed   b y   th r ed   r ec tan g le,   was u tili ze d   f o r   s u b s eq u en t a n aly s is   an d   p r o ce s s in g   in   th is   s tu d y .           Fig u r 5 .   d em o n s tr atio n   o f   cu s to m   o b ject   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       Th r o a d   co n d itio n s   d etec tio n   u s in g   th co n vo lu tio n a l n eu r a l   n etw o r ( S u jitt r a   S a - n g iem )   335       Fig u r 6 .   T h ex am p le  o f   la n e   d etec tio n           Fig u r 7 .   T h im ag a r ea       3 . 3 .3 O bje ct   l a bellin g     T h f r a m ex tr ac tio n   p r o ce d u r was  en h an ce d   f o llo win g   th co llectio n   o f   th e   v id eo   d ata.   T h e   s u b s eq u en p h ase  en tails   o b ject  lab elin g ,   ex ec u ted   with   L ab elM e,   L ab elI m g ,   an d   L a b er u   i n   th is   s tu d y .   T h ese  to o ls   ex h ib it  v a r y in g   u s ag m eth o d o lo g ies,  with   L ab er u   b ei n g   n o tab ly   u s er - f r ien d ly   a n d   a b le  to   s u p p o r m a n y   u s er s   co n cu r r e n tly .   T h l a b elin g   f in d in g s   f r o m   L ab er u   ar r ec o r d ed   i n   . x m f o r m at,   w h ich   ca n   b im m e d iately   em p lo y ed   in   later   s tag es.  Fo r   i n s tan ce ,   Fig u r es  8   to   1 0   illu s tr ate  th an n o tated   in s tan ce s   o f   th th r ee   o b jects.   T h d ata  f o r   th is   in v esti g atio n   is   g ath er ed   u tili zin g   s m ar tp h o n es  m o u n ted   o n   th ca r ' s   win d s h ield .   T h u s ,   th d ata  co llectio n   is   co n f in ed   to   th r eg io n   r ig h ah ea d   o f   th v e h icle.   T h is   r esear ch   p r im ar ily   f o c u s es  o n   o b jects  s itu ated   f o u r   m eter s   f r o m   th e   v eh icle.   T h e   item s   ar d esig n ate d   with   r ec tan g les   th at  m u s co n f o r m   to   th f r am e .   I n   t h co n te x t o f   ad jace n t f r am es,  th r ec tan g le s   o u g h t to   i n ter s ec t a s   litt le  as  f ea s ib le.   As  illu s tr ated   in   Fig u r es  8 - 1 0 ,   ea ch   o b ject  h as  m u ltip le  d if f er en ch a r ac ter is tics .   m an h o le  co v er   ca n   p o s s ess   b o th   cir cu lar   an d   r ec tan g u lar   f o r m s .   T ab le  2   s u m m ar izes  th o b ject  lab elin g   r esu lts ,   r ev ea lin g   to tal  o f   1 7 , 3 9 1   p h o t o s   o f   cr ac k s ,   1 4 , 6 0 6   im ag es  o f   m an h o les,  an d   3 , 5 7 3   im ag es  o f   p o th o les  in   s eq u en tial   s eq u en ce .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   1 ,   Octo b er   20 25 :   327 - 3 4 5   336       Fig u r e   8.   I ll u s tr atio n   o f   a   lab el ed   cr ac k           Fig u r 9.   I ll u s tr atio n   of   la b e led   p o th o le            Fig u r 1 0 I llu s tr atio n   of   lab eled   m an h o le        T ab le  2 .   T h co u n t o f   o b ject  l ab elin g   C r a c k   P o t h o l e   M a n h o l e   1 7 , 3 9 1   3 , 5 7 3   1 4 , 6 0 6       3 . 4 .     Co nv o lutio na n eura n et wo rk   T h co n v o lu ti o n al  n eu r al   n et wo r k   ( C NN)   o r ig in ated   in   th 1 9 8 0 s ,   in v en ted   b y   Yan n   L eCu n .   T h e   f ir s ar ch itectu r is   L eNe t,  wh ich   was  u tili ze d   f o r   d ig it al  r ec o g n itio n   jo b s .   T h ar c h itectu r co m p r is es   co n v o l u tio n al  lay er s ,   p o o lin g   lay er s ,   an d   f u lly   lin k ed   la y er .   T h s u b s eq u en ar ch itect u r es  ar Alex Net,   I m ag eNe t,  VGGN et,   Go o g le Net,   an d   R esNet,   in   th at   o r d e r .   I n   o b ject   d etec tio n ,   th C NN  ca n   id en tif y   an d   lo ca te  s ev er al  th in g s   in s id an   im ag e,   task   th at  is   m o r co m p lex   th a n   class if icatio n   task s .   YOL O,   an   ac r o n y m   f o r   "Y o u   On ly   L o o k   On ce , is   wid ely   u tili ze d   o b j ec id en tific atio n   tech n iq u d e v elo p ed   b y   J o s ep h   R ed m o n   [ 3 8 ] .   T h is   ca n   ef f ic ien tly   d etec m an y   item s .   YOL p er f o r m s   th is   b y   u tili zin g   co m p le x   g r i d   f r am ewo r k   in   ea c h   lay er .   T h e   tech n iq u i n v o lv es  p ar titi o n i n g   th im a g in to   a   n ar r o win d o o f   s ize  N* N   an d   em p lo y in g   an   alg o r ith m   t o   an ticip ate  t h o b ject.   T h ese   p r o ce d u r es  u tili ze   d ee p   lear n in g .   YOL V2   ( o r   YOL O9 0 0 0 )   was  cr ea ted   to   im p r o v o n   YOL V1 ,   wh ich   id en tifie d   o b jects  in   r ea l - tim e.   Dar k n et1 9   s er v es   as th f o u n d atio n   f o r   YOL V2   [ 3 9 ] .     YOL V3   h as d ev elo p ed   f r o m   v ar io u s   ar ch itectu r es,  in clu d in g   R esNet  an d   f ea tu r e - p y r a m id   n etwo r k   ( FP N) .   T h f ea tu r ex tr ac tio n   tech n iq u in   YOL V3   u tili ze s   Dar k n et5 3 ,   d ee p   n e u r al  n etwo r k   co m p r is in g   5 3   lay e r s .   I n itially ,   Dar k n et 5 3   was  tr ain ed   u s in g   th e   I m a g en et  d ataset.   T h 1 0 6   lay er s   an d   f ea tu r es  wer e   Evaluation Warning : The document was created with Spire.PDF for Python.