I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   4 A u g u s t   20 25 ,   p p .   3 8 5 1 ~ 3 8 6 6   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 4 . pp 3 8 5 1 - 3 8 6 6           3851       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   M a chine learning  appro a ches to cy bersecuri ty in  the  industrial   interne o things :  a revi ew       M ela nie H eier 1 P ena t iy a na   W.   Cha nd a na   P ra s a d 2 ,   M Sh o hel Sa y ee d 3   1 S c h o o l   o f   C o m p u t i n g ,   M a t h e mat i c s   a n d   E n g i n e e r i n g ,   C h a r l e s   S t u r t   U n i v e r s i t y ,   B a t h u r st A u st r a l i a   2 I n t e r n a t i o n a l   S c h o o l ,   D u y   T a n   U n i v e r si t y ,   D a   N a n g ,   V i e t n a m   3 C e n t r e   f o r   I n t e l l i g e n t   C l o u d   C o m p u t i n g ,   C o E   f o r   A d v a n c e   C l o u d ,   F a c u l t y   o f   I n f o r ma t i o n   S c i e n c e   a n d   T e c h n o l o g y ,     M u l t i me d i a   U n i v e r s i t y M e l a k a ,   M a l a y si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma y   5 ,   2 0 2 4   R ev is ed   Ap r   1 2 ,   2 0 2 5   Acc ep ted   Ma y   2 3 ,   2 0 2 5       Th e   in d u strial   in tern e t   of   th in g s   (IIo T )   is   in c re a sin g l y   u se d   wit h i n   v a rio u s   se c to rs   to   p r o v i d e   in n o v a ti v e   b u si n e ss   so lu ti o n s.   Th e se   tec h n o l o g ica l   in n o v a ti o n s   c o m e   wit h   a d d it i o n a l   c y b e rse c u rit y   r isk s,   a n d   m a c h in e   lea rn in g   (M L)   is   an   e m e rg i n g   tec h n o lo g y   th a t   h a s   b e e n   stu d ied   as   a   so l u ti o n   to   th e se   c o m p lex   se c u rit y   c h a ll e n g e s.   At   t ime   of   writi n g ,   to   t h e   a u t h o r’s   k n o wle d g e ,   a   re v iew   of   re c e n t   stu d ies   on   t h is   to p ic   h a d   not   b e e n   u n d e rtak e n .   T h is   re v iew   th e re fo re   a ims   to   p ro v i d e   a   c o m p re h e n siv e   p ictu re   of   th e   c u rre n t   st a te   of   ML   so lu ti o n s   fo r   IIo T   c y b e rse c u rit y   with   in si g h ts   in t o   w h a t   wo r k s   to   i n fo rm   fu tu re   re se a rc h   or   re a l - wo rld   s o lu ti o n s.   A   l it e ra ry   se a rc h   fo u n d   twe lv e   p a p e rs   to   re v iew   p u b li s h e d   in   2 0 2 1   or   late r   th a t   p ro p o se d   ML   so l u ti o n s   to   IIo T   c y b e rse c u rit y   c o n c e rn s.   Th is   re v i e w   fo u n d   th a t   fe d e ra t ed   lea rn i n g   a n d   se m i - su p e rv ise d   lea rn i n g   in   p a rti c u l a r   a re   p ro m isin g   ML   tec h n iq u e s   b e in g   p ro p o se d   to   c o m b a t   th e   c o n c e rn s   a ro u n d   II o T   c y b e rse c u rit y .   Artifi c ial   n e u ra l   n e two rk   a p p ro a c h e s   a re   a lso   c o m m o n ly   p r o p o se d   in   v a ri o u s   c o m b in a ti o n s   with   o th e r   tec h n iq u e s   to   e n su re   fa st   a n d   a c c u ra te   c y b e rse c u rit y   so lu t io n s.   Wh il e   t h e re   is   n o t   c u rre n tl y   a   c o n se n su s   on   th e   b e st   ML   tec h n iq u e s   to   a p p ly   to   IIo T   c y b e rse c u rit y ,   th e se   fin d in g s   o ffe r   i n sig h t   i n t o   th o se   a p p r o a c h e s   c u rre n tl y   b e i n g   u t il ize d   a l o n g   with   g a p s   w h e re   fu rt h e r   e x a m i n a ti o n   is   re q u ired .   K ey w o r d s :   Ar tific ial  n eu r al  n etwo r k s   C y b er s ec u r ity   Fed er ated   lear n in g   I n d u s tr ial  in ter n et  o f   th in g s   Ma ch in lear n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Md   Sh o h el  Say ee d     C en tr f o r   I n tellig en t Cl o u d   C o m p u tin g ,   C o E   f o r   Ad v a n ce d   C lo u d ,   Facu lty   o f   I n f o r m atio n   Scien ce   an d   T ec h n o lo g y Mu ltime d ia  Un iv er s ity   J alan   Ay er   Ker o h   L a m a,   7 5 4 5 0   B u k it B er u an g Me la k a,   Ma l ay s ia   E m ail: sh o h el. s ay ee d @ m m u . e d u . m y       1.   I NT RO D UCT I O N     I n d u s tr ial   in ter n et   of   th in g s   ( I I o T )   r e f er s   to   th n etwo r k   o f   in ter co n n ec ted   d ev ices,  m a ch in es  an d   s en s o r s   u tili ze d   in   v a r io u s   in d u s tr ies  f o r   ac tiv ities   s u ch   a s   au to m atio n   [ 1 ] ,   m o n ito r in g ,   co n tr o l,  an d   d ata  co llectio n   [ 2 ] [ 4 ] .   T h p r o c ess   o p tim izatio n   an d   f le x ib ilit y   p r o v id ed   b y   I I o T   r esu lts   in   r e d u ce d   co s ts ,   in cr ea s ed   p r o d u ctio n ,   a n d   im p r o v e d   ef f icien cy   f o r   b u s in ess es  o r   s er v ices   [ 3 ] ,   [ 5 ] ,   [ 6 ] .   As  tech n o lo g y   h as  im p r o v e d ,   I I o T   h as b ec o m in cr ea s in g ly   u tili ze d   f o r   v ar i o u s   b u s in ess   an d   in d u s tr ial  p r o ce s s es.   T h I I o T   p r o v id es  u n iq u e   an d   ch allen g in g   co n tex f o r   cy b e r s ec u r i ty   [ 7 ] .   I I o T   n etwo r k s   c o m p r is lar g n u m b e r   o f   in ter co n n ec te d   d ev ices  with   g r ea ter   life s p an s   th an   co n s u m er   d ev ices  [ 4 ] ,   [ 8 ] .   T h ese  d ev ices  m ay   n ee d   to   in ter ac with   leg ac y   s y s tem s ,   p u ttin g   th em   at  r is k   [ 9 ] .   T h e y   p r o d u ce   lar g am o u n ts   o f   d ata   [ 5 ]   an d   p er f o r m   cr itical  b u s in ess   task s   an d   s af ety   f u n ctio n s   [ 1 0 ] [ 1 2 ] .   Dev ices  th em s elv es  as  well  as   th eir   s o f twar m ay   b o u td ated ,   lead in g   to   r is k s   ass o ciate d   with   a   lack   o f   s ec u r ity   u p d ates  [ 8 ] .   I I o T   d ev ices  ten d   to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   3 8 5 1 - 3866   3852   h av lim ited   r eso u r ce s   in   ter m s   o f   p o wer   a n d   m em o r y ,   a n d   s o   cy b e r s ec u r ity   s o lu tio n s   n ee d   to   h a v lo p o wer   an d   lo m e m o r y   r eq u ir em en ts   [ 5 ] ,   [ 1 3 ] ,   [ 1 4 ] .   T h e s lim itatio n s   m ea n   th at  s o lu tio n s   m u s also   b s ca lab le  an d   ad ap tab le  to   m ee b u s in ess   n ee d s   an d   h av th ca p ac ity   to   b r etr o f itted   [ 4 ] .   So lu tio n s   m u s als b ab le  to   p r o ce s s   lar g am o u n ts   o f   d ata  q u ick ly   an d   ac cu r a tely   [ 1 5 ] .   T r ad itio n al  cy b er s ec u r ity   s o lu tio n s   ca n   h av d i f f icu lties   co p in g   wit h   th u n iq u ch allen g es  p r e s en ted   b y   I I o T   [ 1 6 ] .   T r ad iti o n al  cy b er s ec u r ity   s o lu tio n s   ca n   also   r eq u i r m o r p r o ce s s in g   p o wer   a n d   m em o r y   th a n   I I o T   d ev ices   p o s s ess ,   cr ea tin g   a   ch all en g in g   e n v ir o n m en f o r   d ev ice  an d   n etwo r k   p r o tectio n   [ 1 4 ] .   Ma ch in e   lear n in g   ( ML )   is   o n o f   th em er g in g   tec h n o lo g ies  b ein g   u tili ze d   to   s o lv th ese  cy b er s ec u r ity   ch allen g es.  As  tech n o lo g y   h as  ev o lv e d ,   c y b er - attac k s   h av b ec o m p r o g r ess iv ely   m o r e   ef f icien an d   in c r ea s in g ly   ch a llen g in g   to   d etec [ 1 7 ] .   ML   t ec h n iq u es  ca n   p r o v id in n o v a tiv e ,   ef f icien t,  an d   tim ely   m eth o d s   to   d etec an d   p r ev en attac k s   [ 2 ] ,   [ 1 7 ] .   T h es tech n iq u es  ca n   b u tili ze d   in   v ar iety   o f   way s   to   p r o v id e   s ec u r ity   to   I I o T   s y s tem s ,   in clu d in g   an o m al y   d et ec tio n ,   f ea tu r s elec tio n ,   an al y s is   o f   n etwo r k s ,   o r   r is k   ass es s m en [ 1 8 ] .   ML   m o d els  ca n   p r o v i d cy b er s ec u r ity   s y s tem s   with   in cr ea s ed   ef f icien cy ,   ac cu r ac y   an d   au to m atio n   [ 1 8 ]   im p o r ta n t f ac to r s   in   in d u s tr y   a p p licatio n s .     Ma n y   in d u s tr ies  u tili ze   I I o T   in clu d i n g   s m ar cities  [ 1 9 ] ,   ag r ic u ltu r e,   h ea lth ca r e,   p o wer ,   tr an s p o r tatio n   [ 1 0 ] ,   [ 2 0 ]   an d   m an u f ac tu r in g   [ 2 1 ] .   T h r is k   t o   th ese  in d u s tr ies  f r o m   cy b er - attac k   th r o u g h   I I o T   d ev ices  an d   n etwo r k s   c o u ld   b ca tast r o p h ic.   Du t o   th e   n atu r o f   I I o T ,   attac k s   m a y   af f ec e q u ip m e n t,   p r esen tin g   a   s er io u s   r is k   to   p er s o n n el  s af ety   an d   s er v ice   p r o v is io n   [ 2 2 ] .   Attack s   m a y   r esu lt  in   f in an cial   an d   r ep u tatio n al  l o s s es  ass o ciate d   with   d is r u p tio n s   t o   s er v ice,   in ter f er en ce   with   p r o d u ctio n   o r   d ata  b r ea c h es  [ 5 ] [ 1 0 ] ,   [ 2 0 ] .   So m attac k s   o f   co n ce r n   f o r   I I o T   in clu d m an - in - th e - m id d le  [ 2 3 ] ,   p h y s ical,   im p er s o n atio n ,   r o u tin g ,   m alicio u s   c o d e   in jec tio n   an d   d ata   leak ag e   [ 4 ]   as  we ll  as  d en ial - of - s er v ice,   r ep lay   an d   d ec e p tio n   attac k s   [ 2 4 ] .   Oth er   attac k s   m o r s p ec if ic  t o   th e   I I o T   m ay   in clu d tam p er in g   with   p r o d u ct s ,   s p ea r   p h is h in g   o r   th th ef o f   in tellectu al  p r o p e r ty   [ 2 5 ] .   Netwo r k   m o n ito r i n g   an d   i n tr u s io n   d etec tio n   a r p o s s ib le  s o lu tio n s   to   th ese  cy b er s ec u r ity   th r ea ts   to   I I o T ,   an d   th is   is   an   ar ea   wh e r ML   ap p r o ac h es h av b ee n   p r o p o s ed .     T h f ield   o f   ML   is   ev er   g r o win g   an d   I I o T   h as  b ec o m i n cr ea s in g ly   p r ev alen t,   p r esen t in g   u n i q u e   cy b er s ec u r ity   ch allen g es.  I is   im p o r tan to   r ev iew  r ec en t   d ev elo p m e n ts   an d   co n s o lid a te  th in f o r m atio n   av ailab le  in   th ese  ar ea s   in   t h s ea r ch   f o r   ap p r o p r iate  s o lu tio n s .   T h is   r e v iew  p a p er   ac h iev es  th is   g o al   b y   co n s o lid atin g   a n d   c o m p ar in g   t h ML   ap p r o ac h es  p r o p o s ed   i n   twelv r ec en t   p ap er s ,   p r o v id in g   an   o v er v iew  o f   th cu r r e n t state  o f   ML   as a n   a p p r o ac h   to   I I o T   c y b er s ec u r ity .     T h er wer two   m ain   ar c h itectu r es  ar is in g   f r o m   th c u r r en liter atu r e:  an   in tr u s io n   o r   attac k   d etec tio n   ar ch i tectu r an d   a   f ed er ated   lear n in g   ar ch itect u r e.   T h ese  a p p r o ac h es  o f f er   way   to   d etec cy b er s ec u r ity   attac k s   o r   i n tr u s io n s   an d   u tili ze   ML   ap p r o a ch es  to   p r o ce s s   d ata  an d   id e n tify   an o m alies.  Of   th o s p ap er s   r ev iewe d ,   ten   u s ed   o n o f   th ese  ap p r o ac h es.   T h m ain   a r ch itectu r u tili ze d   f o r   p r o p o s ed   s o lu tio n s   to   I I o T   cy b er s ec u r ity   was  th attac k   d etec tio n   ar ch itectu r e,   as  d is p lay ed   in   Fig u r 1 .   I n   an   attac k   d etec t io n   ap p r o ac h ,   d ata  is   f ir s co llected ,   th en   p r e - p r o ce s s ed   ac co r d in g   to   th m o d el’ s   n ee d s   a n d   th c o m p o s i t io n   o f   th e   d ata  [ 2 6 ] .   Data   is   th en   s p lit  in to   test in g   o r   tr ain i n g   s eg m e n ts   an d   f e d   in to   v ar io u s   lay er s   o f   m a ch in lear n i n g   tech n iq u es  to   p er f o r m   th attac k   d etec tio n   an d   clas s if icatio n   [ 2 7 ] .   T h m o d el’ s   p e r f o r m an ce   is   th en   ev alu ated .   T h is   ar ch itectu r is   u tili ze d   b y   s ev en   o f   th e   twelv p ap e r s   ex am in ed   in   th is   s tu d y .   T h is   attac k   d etec tio n   a p p r o ac h   ca n   b ap p lied   at  th e   n etwo r k   lev el  t o   ad d r ess   I I o T   n etwo r k   v u ln er a b ilit y   [ 3 ] ,   [ 5 ] ,   [ 2 8 ] ,   [ 2 9 ] ,   o r   at  th e   d ev ice  l ev el  to   ad d r ess   th v u ln er ab i lity   o f   p h y s ical  s y s tem s   [ 3 0 ] ,   [ 3 1 ] .   T h is   ar ch itectu r ca n   also   b u tili ze d   f o r   I I o T   m o n ito r in g   s y s tem s   [ 3 2 ] .   T h ese  ty p es  o f   attac k   d etec tio n   s y s tem s   ar a b le  to   s u cc ess f u lly   u s v ar io u s   ML   tech n iq u es  to   d etec attac k s   an d   th e r eb y   p r o tect  I I o T   d e v ices  an d   s y s tem s .   Ho wev er ,   th e y   d o   n o ad d r ess   p r iv ac y   c o n ce r n s   as  f ed er ated   lear n in g   a p p r o a ch es  d o ,   wh ich   is   an   im p o r tan t   p ar t   o f   I I o T   c y b er s ec u r it y .   Attack   d et ec tio n   s o lu tio n s   u tili zin g   ML   tech n i q u es  ca n   h elp   to   id en tify   d en ial  o f   s er v ice  ( Do S)   attac k s ,   m alwa r an d   o th er   cy b er s ec u r ity   th r ea ts   th at  m ay   ca u s an o m alies in   d ata  o r   n et wo r k   tr af f ic   [ 1 8 ] .   T h s ec o n d   m ai n   ty p o f   ar c h itectu r p r esen ted   in   th cu r r en liter atu r is   d is p lay ed   b y   th th r ee   m o d els  u s in g   f ed e r ated   lea r n i n g   ( FL)   [ 2 ] ,   [ 3 3 ] ,   [ 3 4 ] .   T h is   ar ch itectu r is   d is p lay e d   in   Fig u r 2 .   I n   th is   ty p o f   ap p r o ac h   I I o T   clien ts   tr ain   t h eir   o wn   lo ca attac k   o r   in t r u s io n   d etec tio n   m o d el.   T h e   r esu ltin g   tr ain in g   in f o r m atio n   is   th en   s en to   a   ce n tr al  s er v er ,   wh ich   u p d at es  th g lo b al  m o d el  with   th lo ca d ata  b e f o r e   r etu r n in g   th u p d ated   g l o b al  i n f o r m atio n   to   ea ch   clien [ 3 5 ] .   T h clien ts   th en   u p d ate  th eir   o wn   lo ca m o d els  in   o r d e r   to   p e r f o r m   attac k   d ete ctio n   [ 1 ]   FL  is   lar g ely   u s ed   to   ad d r ess   p r iv ac y   co n ce r n s   ar o u n d   d ata   tr an s m is s io n   [ 2 ] ,   [ 3 6 ] as   r aw  d ata  is   n o t   s en t,  r ath er   it  is   th tr ain e d   p a r am eter s   th at  ar tr an s m itted   to   ce n tr al  s er v er   [ 1 ] ,   [ 3 0 ] ,   [ 3 7 ] [ 3 9 ] .   FL  ca n   also   p r o v id s ca lab ilit y   an d   r ea l - tim d etec tio n   o f   an o m alies  [ 3 9 ] .   L et  a l.   [ 3 3 ]   an d   Ma k k ar   et  a l.   [ 3 4 ]   tak FL’ s   p r iv ac y   s tep   f u r th er   b y   also   ad o p tin g   an   e n cr y p tio n   s y s tem   to   en s u r th in f o r m atio n   b ein g   tr an s f er r ed   h as  an   ex tr a   lay er   o f   s ec u r ity .   B o th   m o d els  u tili ze   Pailli er   en cr y p tio n   s y s tem ,   with   L i   et  a l.   [ 3 3 ]   also   a d d in g   AE en cr y p tio n .   FL  ar c h itectu r is   ab le  to   ad d r ess   r ea l - wo r ld   co n ce r n s   s u c h   as  d ata  p r iv ac y   an d   s ec u r ity   [ 3 5 ] ,   [ 3 8 ] .   Ho wev er ,   m o d el  c o m p lex ity   a n d   th p r o ce s s in g   c ap a b ilit ies  o f   I I o T   d ev ices  m u s b co n s id er ed   as   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Ma ch in lea r n in g   a p p r o a c h e s   to   cy b ers ec u r ity  in   th in d u s tr ia l     ( Mela n ie  Heie r )   3853   th ey   n ee d   to   b ab le  to   p er f o r m   th eir   o wn   m o d el  tr ain in g   an d   th ese  d ev ices  m ay   n o h av th r eq u ir e d   p r o ce s s in g   p o wer   [ 4 0 ] .   As  well  as  p r o ce s s in g   lo ad   co n s id er atio n s ,   f ed er ated   lear n in g   t ec h n iq u es  also   f ac e   ch allen g es  o f   d ev ices  r ec o n n ec tin g   af ter   b ein g   o f f lin e   an d   p r o tect  ea c h   f ac et  o f   th e   p r o ce s s ,   in clu d in g   th e   ce n tr alize d   d ata  co llectio n   p o i n t a n d   in f o r m atio n   tr an s f er s   b etwe en   d ev ice  an d   ce n tr al  s er v er   [ 3 8 ] .                 Fig u r 1 .   Gen e r al  f lo o f   atta ck   d etec tio n   a p p r o ac h es.  B ased   o n   d iag r am s   f r o m   Fu   et  a l.   [ 2 8 ] ,   Sh ah in   et  a l.   [ 3 0 ] ,   T r an   et  a l.   [ 3 1 ] ,   a n d   C h ak r a b o r ty   et  a l.   [ 3 2 ]           Fig u r 2 .   Gen e r al  f lo o f   f ed e r ated   lear n in g   ap p r o ac h es.  B ased   o n   d iag r am s   f r o m   Ao u ed e t a l.   [ 2 ]   an d   L et  a l.   [ 3 3 ]       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   3 8 5 1 - 3866   3854   T ab le  1   s u m m ar izes  th m o s co m m o n ly   p r o p o s ed   tec h n iq u es  an d   th eir   ca teg o r ies.  T ab le  2   s u m m ar izes  th co m p o n en ts   p r esen in   t h r e v iewe d   liter a tu r e.   C o m p o n en ts   ar co m p r i s ed   o f   t h s o f twar e   r elate d   to o ls   u s ed   b y   r esear ch er s ,   th d atasets   u s ed   to   ev alu ate  th ML   m o d els,  th attac k   ty p es  in clu d ed   in   th o s d ata  s ets,  th tech n iq u es  u s ed   in   th e   p r o p o s ed   m o d els,  th m etr ics  u s ed   to   m ea s u r m o d el  p er f o r m a n ce ,   an d   th v ar iab le s   th at  wer ad ju s ted   to   ex am in th p er f o r m an ce   o f   th p r o p o s ed   m o d els.  T h ese  co m p o n e n ts   ar o r g an ized   in to   f o u r   ca te g o r ies  o f   to o ls ,   in p u t,  tech n iq u es  an d   o u tp u t.  T ab le  3   b r ea k s   d o wn   th ese  co m p o n en ts   b y   p a p er .   As  ca n   b s ee n   in   T ab le  2   tech n iq u e s   s ec tio n   as  well  as  T ab le  3 ,   t h cu r r e n liter atu r e   p r o p o s es  m an y   d if f er en ML   tech n iq u es  u s ed   in   v ar io u s   c o m b in atio n s   f o r   cy b er s ec u r ity   in   I I o T .   B r o ad l y ,   th ese  tech n iq u es  in clu d ca teg o r ies  o f   ar tific ial  n eu r al  n etwo r k s ,   s u p er v is ed ,   u n s u p er v is ed   an d   s em i - s u p er v is e d   lear n in g ,   d ee p   lear n in g ,   en s em b le  lear n in g ,   an d   en s em b le  m eth o d s .   Du e   to   t h lim ited   s co p e   o f   th is   r ev iew,   th f o cu s   will  b e   o n   th e   co m m o n   tec h n iq u es  as   p r esen ted   i n   T ab le   1 .   On p a p er   d id   n o s p ec if y   th eir   tech n iq u e,   m er ely   s tatin g   m ac h i n e   lear n in g   ( ML )   an d   d ee p   lear n in g   ( DL )   alg o r ith m s   [ 3 3 ] ,   m a k in g   its   co m p ar is o n   i n co m p atib le  with   o th er s   p r esen ted   h er e.       T ab le  1 .   Mo s t c o m m o n   ML   tech n iq u es   C a t e g o r y   A b b r .   Te c h n i q u e   A r t i f i c i a l   n e u r a l   n e t w o r k   ( A N N )   C N N   C o n v o l u t i o n a l   n e u r a l   n e t w o r k s   F C N N   F u l l y   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s   M LP   M u l t i l a y e r   p e r c e p t r o n   LSTM   Lo n g   sh o r t - t e r m m e m o r y   S u p e r v i se d   l e a r n i n g   DT   D e c i s i o n   t r e e   RF   R a n d o f o r e s t   En se mb l e   m e t h o d s   X G B o o st   Ex t r e me   g r a d i e n t   b o o s t i n g       T ab le  2 .   C o m p o n en ts   F a c t o r s   A t t r i b u t e s   I n st a n c e s   To o l s   S o f t w a r e   O P N e t   N e t w o r k   si mu l a t i o n ,   N e t f l o w ,   R e d i s,   A n a c o n d a   N a v i g a t o r ,   Te n s o r f l o w ,   G o o g l e   C o l a b ,   La b V I EW,  C O N TA C El e me n t   P l a t f o r m   F r a mew o r k s,  l i b r a r i e s,   l a n g u a g e s   P y t o r c h ,   F l a s k ,   K e r a s,   S c i k i t - L e a r n ,   P y t h o n   I n p u t   D a t a s e t   G a p i p e l i n e   S C A D A   sy s t e m ,   w a t e r   s t o r a g e   t a n k   c o n t r o l   s y s t e m,   S e c u r e   W a t e r   Tr e a t me n t ,   C I C - I D S - 2 0 1 8 ,   D S 2 O S ,   U N S W - N B 1 5 ,   S C A D A   p o w e r   sy st e m,  X I I o TI D ,   B o T - I o T,   T o N - I o T,   G l i t c h e s,   B o t   a t t a c k   sa mp l e s ,   i n d u c t i o n   mo t o r   b e a r i n g   c o n d i t i o n s   A t t a c k   t y p e   N M R I ,   C M R I ,   M S C I ,   M P C I ,   M F C I ,   D o S ,   D D o S ,   R e c o n . ,   H e a r t b l e e d ,   w e b   a t t a c k s,   b o t n e t ,   I N F I ,   U t R ,   M C ,   M O ,   W S ,   sp y i n g ,   sca n ,   D TP,  f u z z e r s,   b a c k d o o r ,   a n a l y s i s,  e x p l o i t ,   g e n e r i c ,   s h e l l c o d e ,   w o r m ,   w e a p o n i z a t i o n ,   L M ,   C &C ,   r a n so m D o S ,   e x f i l t r a t i o n ,   c r y p t o - r a n s o mw a r e / r a n s o mw a r e ,   k e y l o g g i n g ,   i n j e c t i o n ,   M I TM ,   p a ssw o r d ,   X S S ,   S S - S P A S S M P A ,   M S - S P A ,   M S - M P A ,   B o t n e t ,   I R F ,   O R F ,   c y b e r - a t t a c k   D a t a s e t   t y p e   S o u r c e d ,   s e l f - c r e a t e d   Te c h n i q u e s   M a c h i n e   l e a r n i n g   a p p r o a c h e s   F L,   S S L,   EL ,   D L,   M L,   A E ,   F C N ,   M L P ,   EL M ,   C N N ,   G R U ,   LSTM ,   F C N N ,   A LSTM ,   R F ,   X G B o o s t ,   Li g h t G B M ,   A d a B o o st ,   L R ,   S V M ,   k - N N ,   D T,   C A ,   H C A ,   P R U ,   R a N N   O t h e r   t e c h n i q u e s   F S A ,   F P C A ,   P a i l l i e r ,   A ES   O u t p u t   Ev a l u a t i o n   m e t r i c s   A c c u r a c y ,   p r e c i s i o n ,   r e c a l l ,   F 1   s c o r e ,   l o g   l o ss ,   c o mm u n i c a t i o n   o v e r h e a d ,   A U C / R O C ,   s a f e t y   f a c t o r ,   M C C ,   TP R ,   TN R ,   F P R ,   F N R ,   TP,   F P ,   TN ,   F N ,   d e t e c t i o n   t i me   V a r i a b l e s   N u mb e r   o f   c l i e n t s,  l o c a l   c l i e n t   e p o c h s ,   c o mm u n i c a t i o n   r o u n d s,  a m o u n t   o f   u n l a b e l e d   d a t a ,   S e g me n t   si z e ,   T i me  a l l o c a t e d   f o r   d e c i s i o n   ma k i n g ,   l i n e a r / n o n - l i n e a r   se n so r s ,   N u mb e r   o f   f e a t u r e s,  Le a r n i n g   r a t e ,   T i me  s l o t s,   B i n a r y   c l a ss i f i c a t i o n   / m u l t i c l a ssi f i c a t i o n ,   d a t a set ,   l e a r n e r s,   mo d e l ,   t y p e   o f   a t t a c k ,   t r a i n i n g / t e s t i n g ,   d e v i c e   S u m m a r y   o f   i n s t a n c e s   o f   a t t r i b u t e s   f r o m   p a p e r s   i n c l u d e d   i n   t h e   l i t e r a t u r e   r e v i e w .   A b b r e v i a t i o n s   u s e d   i n   t a b l e   a r e   l i s t e d   i n   t h e   A p p e n d i x .           Ar tific ial  n eu r al  n etwo r k s   ( ANN)   ar p ar t   o f   DL ,   a   s u b s ec tio n   o f   ML .   T h e y   ca n   b e   u tili ze d   in   m o d els  f o r   c y b er s ec u r ity   to   d etec m alwa r o r   a n aly ze   n et wo r k   b eh av i o r   [ 1 6 ] .   ANN  tec h n iq u es  ca n   also   b e   u tili ze d   f o r   tim s er ies  p r ed ictio n   o r   s p ee ch   r ec o g n itio n   [ 4 1 ] .   I n   th r e v iewe d   p ap er s ,   ANNs  wer lar g ely   u s ed   f o r   d ata  class if icatio n   [ 4 2 ]   an d   to   ex tr ac f ea tu r es  [ 3 0 ] .   T h is   p r o ce s s   o f   class if i ca tio n   an d   f ea tu r e   ex tr ac tio n   allo ws  n ew  d ata  to   b ea s ily   clas s if ied   o r   f ilter ed   b ased   o n   p r ev io u s ly   p r o ce s s ed   in f o r m atio n   [ 4 2 ] ANNs  g en er ally   co n s is o f   n u m b er   o f   co n n ec ted   n o d es  th at  ea ch   p er f o r m   d ata  p r o ce s s in g   [ 4 3 ] .   ANN  n o d es   co n s is t o f   th r ee   lay er s : o n f o r   in p u t,  o n f o r   o u tp u t a n d   o n h id d en   la y er   f o r   p r o ce s s in g   [ 3 0 ] ,   [ 4 3 ] ,   [ 4 4 ] .   T h m o s co m m o n ly   p r o p o s ed   ANNs   in   th liter atu r in clu d co n v o lu tio n al  n eu r al  n etwo r k s   ( C NN)   [ 2 9 ] ,   [ 3 3 ] ,   [ 3 4 ] ,   f u lly   c o n v o lu tio n al  n eu r al  n etwo r k s   ( FC NN)   [ 2 9 ] ,   [ 3 0 ] ,   [ 3 4 ] ,   m u ltil ay e r   p er ce p tr o n   ( ML P)   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Ma ch in lea r n in g   a p p r o a c h e s   to   cy b ers ec u r ity  in   th in d u s tr ia l     ( Mela n ie  Heie r )   3855   [ 5 ] ,   [ 3 3 ]   an d   l o n g   s h o r t - ter m   m em o r y   ( L STM )   [ 3 ] ,   [ 2 9 ] .   As  s ee n   in   T ab le  3 ,   t h d atasets   u s ed   to   test   th ese   m o d els  in clu d ed UNSW - NB 1 5 ,   B o T - I o T ,   T o N - I o T ,   g as  p ip elin s y s tem ,   s u p er v is o r y   co n tr o an d   d ata   ac q u is itio n   ( SC ADA)   s y s tem ,   an d   XI I o T I D.   Als o   s h o wn   in   T ab le  3 ,   th ese  d atasets   ad d r ess ed   r an g e   o f   attac k   ty p es,  in clu d in g   b u t n o t   lim ited   to : D o S,  b ac k d o o r ,   r a n s o m war e,   m an - in - th e - m id d le   ( MI T M) ,   cr o s s   s i te   s cr ip tin g   ( XSS),   r ec o n n aiss an ce   ( r ec o n . )   an d   wo r m s .       T ab le  3 .   C lass if icatio n   R e f   [ # ]   To o l s   I n p u t   Te c h n i q u e s   O u t p u t   S W ,   F W ,   Li b s ,   L a n g s .   D a t a s e t   A t t a c k   t y p e   D a t a s e t   t y p e   M a n d   o t h e r   a p p r o a c h e s   Ev a l u a t i o n   m e t r i c s   V a r i a b l e s   [ 2 ]   P y t o r c h ,   S c i k i t - L e a r n ,   P y t h o n   G a p i p e l i n e   S C A D A   sy s t e d a t a se t ,   w a t e r   s t o r a g e   t a n k   c o n t r o l   sy s t e m   N M R I ,   C M R I ,   M S C I ,   M P C I ,   M F C I ,   D o S ,   R e c o n .   S o u r c e d   A E,   F C N ,   F L,   SSL   A c c u r a c y ,   p r e c i si o n ,   r e c a l l ,   F 1   sc o r e ,   c o mm u n i c a t i o n   o v e r h e a d   N u m.  c l i e n t s ,   l o c a l   c l i e n t   e p o c h s,   C R ,   a mo u n t   o f   u n l a b e l e d   d a t a   [ 3 ]   P y t o r c h ,   P y t h o n   S C A D A   p o w e r   sy st e d a t a s e t ( 1 5   d a t a s e t s)   U n sp e c i f i e d   ( t h o u s a n d o f   d i s t i n c t   a t t a c k s)   S o u r c e d   P R U ,   D T,   LSTM ,   EL   A c c u r a c y ,   F P R ,   TP ,   F P ,   TN ,   F N   B i n a r y /   mu l t i c l a ssi f i c a t i o n ,   d a t a se t ,   l e a r n e r s   [ 5 ]   A n a c o n d a   N a v i g a t o r ,   Te n s o r f l o w ,   K e r a s   D S 2 O S ,   U N S W - N B 1 5   D o S ,   M C ,   M O ,   W S ,   sp y i n g ,   sca n ,   D TP,  f u z z e r s ,   b a c k d o o r ,   a n a l y s i s,  e x p l o i t ,   g e n e r i c ,   sh e l l c o d e ,   w o r m   S o u r c e d   M LP,   R a N N   A c c u r a c y ,   p r e c i si o n ,   r e c a l l ,   F 1   sc o r e ,   l o g   l o ss ,   A U C - R O C   Le a r n i n g   r a t e   [ 4 5 ]   G o o g l e   C o l a b   G l i t c h e s   G l i t c h e s ( 8 8 9 0   o v e r   1 2   h o u r s)   S e l f - C r e a t e d   H C A ,   EL M ,   SSL   A c c u r a c y ,   p r e c i si o n ,   r e c a l l ,   F 1   sc o r e   Ti me   sl o t s   [ 4 6 ]   U n sp e c i f i e d   B o t   a t t a c k   samp l e s   B o t n e t   S e l f - C r e a t e d   D L,   M L   A c c u r a c y ,   p r e c i si o n ,   r e c a l l ,   F 1   sc o r e ,   M C C ,   FPR     [ 2 8 ]   O p n e t ,   N e t f l o w ,   R e d i s   C I C - I D S - 2 0 1 8   D o S ,   R e c o n . ,   H e a r t b l e e d ,   w e b   a t t a c k s,   b o t n e t ,   i n s i d e ,   U t R   S o u r c e d   CA   S a f e t y   f a c t o r ,   TP,  F P ,   d e t e c t i o n   t i me   N u mb e r   o f   f e a t u r e s   [ 2 9 ]   S c i k i t - L e a r n   U N S W - N B 1 5 ,   B o T - I o T,   T o N - I o T   F u z z e r s,  b a c k d o o r ,   a n a l y si s ,   e x p l o i t ,   g e n e r i c ,   sh e l l c o d e ,   w o r m,  D o S ,   D D o S ,   R e c o n . ,   sca n ,   e x f i l t r a t i o n ,   r a n s o mw a r e ,   k e y l o g g i n g ,   i n j e c t i o n ,   M I TM ,   p a ssw o r d ,   X S S   S o u r c e d   C N N ,   LST M ,   F C N N   A c c u r a c y ,   p r e c i si o n ,   r e c a l l ,   l o g   l o ss   D a t a s e t ,   m o d e l   [ 3 0 ]   S c i k i t - L e a r n   To N - I o T   D o S ,   D D o S ,   R e c o n . ,   sc a n ,   b a c k d o o r ,   r a n s o mw a r e ,   i n j e c t i o n ,   M I TM ,   p a ssw o r d ,   X S S   S o u r c e d   X G B o o st ,   A d a B o o st ,   F C N N ,   A LSTM   A c c u r a c y ,   p r e c i si o n ,   r e c a l l ,   F 1   sc o r e   M o d e l ,   d e v i c e ,   a t t a c k   t y p e   [ 3 1 ]   C O N TA C El e m e n t ,   La b V I EW   i n d u c t i o n   mo t o r   b e a r i n g   c o n d i t i o n s   I R F ,   O R F ,   c y b e r a t t a c k   S e l f - c r e a t e d   D T,   R F ,   X G B o o st ,   A c c u r a c y ,   A U R O C ,   TPR,   F P R ,   TP ,   F P ,   F N   M o d e l ,   mo t o r   st a t u s   ( a t t a c k   t y p e )   [ 3 2 ]   U n sp e c i f i e d   S W a T   SS - S P A ,   S S - M P A ,   MS - S P A ,   M S - M P A   S o u r c e d   LR ,   S V M ,   k - N N ,   R F ,   F S A ,   F P C A   A c c u r a c y ,   p r e c i si o n ,   r e c a l l ,   F 1   sc o r e ,   TP,   F P ,   TN ,   F N   S e g m e n t   s i z e ,   Ti me   f o r   d e c i s i o n   mak i n g ,   l i n e a r /   n o n - l i n e a r   s e n so r s,   M o d e l   [ 3 3 ]   F l a s k ,   K e r a s,  P y t h o n   G a p i p e l i n e   S C A D A   sy s t e m   N M R I ,   C M R I ,   M S C I ,   M P C I ,   M F C I ,   D o S ,   R e c o n .   S o u r c e d   M LP,   C N N ,   G R U ,   F L,   P a i l l i e r ,   A ES   A c c u r a c y ,   p r e c i si o n ,   r e c a l l ,   F 1   sc o r e   N u m .   c l i e n t s ,   C R ,   l o c a l / i d e a l / p r o p o s e d   m o d e l ,   t y p e   o f   a t t a c k   [ 3 4 ]   G o o g l e   C o l a b ,   P y t o r c h   X I I o T I D   R e c o n . ,   e x p l o i t ,   w e a p o n i z a t i o n ,   LM ,   C & C ,   r a n s o m   D o S ,   e x f i l t r a t i o n ,   r a n s o mw a r e   S o u r c e d   R F ,   X G B o o st ,   Li g h t G B M ,   C N N ,   LST M ,   F L,   P a i l l i e r   P r e c i s i o n ,   r e c a l l ,   F 1   sc o r e ,   TPR,   TN R ,   F P R ,   F N R   N u m.    c l i e n t s,  mo d e l ,   t r a i n i n g / t e s t i n g   T h e   c o n t e n t s   o f   t h e   c o m p o n e n t   t a b l e   b ro k e   d o w n   b y   p a p e r.  Ab b re v i a t i o n s   u s e d   i n   t h e   t a b l e   a r e   l i s t e d   i n   t h e   Ap p e n d i x .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   3 8 5 1 - 3866   3856     C NNs  ar o f ten   u s ed   f o r   v is u al  r ec o g n itio n   ac tiv ities   [ 4 1 ] ,   [ 4 7 ] ,   an d   a r ab le   to   ex tr a ct  f ea tu r es  au to m atica lly   [ 2 9 ] .   C NNs  co n s is o f   n u m b er   o f   co n v o l u tio n al  lay er s   u s ed   to   ex tr ac f ea t u r es  an d   n u m b er   o f   f u lly   c o n n ec te d   lay er s   u s e d   to   class if y   th ese  f ea tu r es,  th er eb y   p r o v id in g   t h co m b i n ed   o u tp u t   [ 2 8 ] ,   [ 4 1 ] ,   [ 4 4 ] ,   [ 4 7 ] .   As with   o th er   ANN s ,   C NN  alg o r ith m s   ca n   b u s e d   in   co m b in atio n   with   o th er   M L   tech n iq u es.   An   FC NN  i s   an   C NN  co m p r is ed   o n ly   o f   co n v o lu tio n al  lay e r s   [ 3 0 ] ,   [ 4 8 ] .   FC NN  in   p ar ticu lar   is   ab le   to   p er f o r m   well  in   ter m s   o f   ti m an d   r eso u r ce s   wh en   th er e   ar m an y   v ar iatio n s   in   th d ata   [ 2 9 ] ,   [ 3 0 ] ,   [ 4 9 ] ,   [ 5 0 ] .   T h is   is   b ec au s th n e u r o n s   in   ea ch   lay er   ar n o t f u lly   c o n n ec ted   [ 2 9 ] .     T h ML P is   also   k n o wn   as  f ee d - f o r war d   f u lly - co n n ec ted   m u lti - lay er   n eu r al  n etwo r k   [ 5 1 ] .   An   ML cr ea tes  co r r elatio n s   b etwe en   t h in p u a n d   o u tp u d ata  b y   a d ju s tin g   th n eu r o n s   in   its   lay er s   [ 3 0 ] .   C o n tin u in g   in v esti g atio n   in to   th e   u s e   o f   ML d is co v er ed   th at   p er f o r m an ce   was  ab le   to   b e   im p r o v ed   b y   s eq u e n tially   p r e - tr ain in g   la y er s   [ 5 1 ] .   L STM   is   ty p o f   r ec u r r e n n eu r al  n etwo r k   th at  is   ab le  t o   r ec all  p r io r   in f o r m atio n ,   le ar n   f ea tu r e   d ep en d e n cies  [ 5 2 ]   a n d   lear n   o r d er   d ep e n d en c y   in   s eq u e n c p r ed ictio n   [ 2 9 ] ,   [ 3 0 ] .   L ST u tili ze s   g ates  f o r   in p u t,  o u tp u an d   f o r g ettin g   to   p r o ce s s   m em o r y   d ata  [ 2 9 ] ,   [ 4 1 ] ,   [ 5 2 ] .   L STM   is   ab le  to   b e   u tili ze d   with   o th er   ML   tech n iq u es  to   ass is with   ac cu r ate  attac k   p r e d ictio n .   L STM   tech n iq u es  h av e   b ee n   a p p lied   in   I I o T   s y s tem s   in   in d u s tr ies s u ch   as f in an ce ,   h ea lth ca r e,   an d   t r an s p o r tatio n   [ 4 1 ] .   T h ese  ANN  tech n iq u es  h av b ee n   co m b in e d   with   v ar io u s   o th er   ML   ap p r o ac h es  to   f o r m u late   m o d els.  T h ese  m o d els  h av b ee n   co m p ar e d   in   d if f er en wa y s   in   th r ev iewe d   liter atu r e.   Sh ah in   et  a l.   [ 2 9 ]   co m p ar ed   two   m o d els:   o n co m b in in g   L STM   with   C NN  an d   th o th er   c o m b in in g   L STM   with   FC N N.   Ma k k ar   et  a l.   [ 3 4 ]   co m p ar ed   f o u r   m o d els  with in   f ed er a ted   lear n in g   ar c h itectu r e:  C NN,   L STM   an d   two   en s em b le  m eth o d   m o d els.  E ac h   o f   th ese  m o d els  u s ed   r a n d o m   f o r est  ( R F)  f o r   f ea tu r e   o r g an izatio n ,   an d   en s em b le  m eth o d s   f o r   tr ain in g .   T h ese  k in d s   o f   m o d el  c o m p ar is o n s   ar u s ef u in   th an aly s is   o f   s p ec if ic  tech n iq u p er f o r m an ce .     Oth er s   in   th e   r ev iewe d   liter atu r f o r m ed   th eir   m o d els  with   co m b in atio n   o f   ANN  an d   n o n - ANN   ML   ap p r o ac h es.  Hu m a   et  a l.   [ 5 ]   an d   Kh an   et   a l.   [ 3 ]   b o th   co m b in e d   ANN  tech n i q u es  with   d ee p   lear n in g ,   th o u g h   in   d if f er e n way s .   H u m et  a l.   [ 5 ]   u tili ze d   d e ep   r an d o m   n eu r al  n etwo r k   ( R aNN )   with   ML P.   K h an   et  a l.   [ 3 ]   p r o p o s ed   a   p y r am id al  r ec u r r en u n it  ( PR U)   m o d el  th at   in co r p o r ate d   L ST M.   I n   th is   way ,   ANN  tech n iq u es h av e   th f lex i b ilit y   to   b ap p lied   in   m a n y   d if f er e n t m o d el  ty p es.    L et  a l.   [ 3 3 ]   u tili ze d   ANN  ap p r o ac h es  with in   f ed er ate d   lear n in g   a r ch itectu r alo n g s id o th er   tech n iq u es.  T h ey   p r o p o s ed   m o d el  u tili zin g   b o th   ML an d   C NN  alo n g   with   a n o th e r   A NN  tech n iq u e - g ated   r ec u r r en u n it  ( GR U) .   GR m eth o d s   o f f e r   an   ef f icien o p tio n   th at  r eq u ir es  less   co m p u tatio n al  r eso u r ce s   [ 5 3 ] .   ANN  ap p ea r   t o   b e   p o p u lar   ML   m eth o d   f o r   I I o T   cy b e r s ec u r ity ,   a n d   t h ese  tech n iq u es  h a v th f lex ib ilit y   to   b ap p lied   in   d if f er e n way s   an d   with   d if f er e n ML   an d   n o n - ML   tech n i q u es.  Neu r al  n e two r k   tech n iq u es  d o   h av d r awb ac k s   h o we v er   wh en   it  co m es  to   ap p lic atio n   in   I I o T .   T h ese  tech n iq u es   ca n   h av h ig h   co m p u tatio n al  c o s an d   b s u s ce p tib le  to   o v e r f itti n g   [ 1 4 ] .   N eu r al  n etwo r k   m o d els  also   tak tim to   co m p lete   th eir   tr ain in g   p h ase,   an d   ca n   r eq u ir lar g e   am o u n ts   o f   d ata  [ 1 4 ]     T h two   m o s co m m o n   s u p er v is ed   lear n in g   tech n iq u es  u tili ze d   in   th r ev iewe d   p ap er s   wer d ec is io n   tr ee   ( DT )   [ 3 ] ,   [ 3 1 ]   an d   R [ 3 2 ] ,   [ 3 4 ] .   As  ca n   b s ee n   i n   T a b le  3 ,   d atasets   u s ed   to   test   th ese  m o d els  in clu d ed   m u lt ip le  SC ADA  p o wer   s y s tem   d atasets ,   s elf - cr ea ted   eq u ip m en t - b ased   d ataset,   SW aT   an d   XI I o T I D   d atasets .   Als o   s h o wn   in   T a b le  3 ,   th ese  d atasets   co v er ed   r an g o f   attac k s   in clu d i n g   b u t   n o t   lim ited   to   cy b er attac k ,   Do S,  r an s o m war e ,   r ec o n n aiss an ce ,   an d   s in g le  a n d   m u lti - p o in t a ttack s .     T h DT   tech n iq u b u ild s   its   tr ain in g   m o d els  b y   lear n in g   r u les  f o r   d ec is io n   m ak in g   [ 5 4 ] ,   [ 5 5 ] .   T h i tech n iq u b eg in s   with   a   s in g l n o d e   an d   th en   b r an c h es  o u t   to   cr ea te  m o r n o d es  f o r   ea c h   p o s s ib ilit y   [ 5 6 ] E ac h   n ew  n o d h as  th p o ten t ial  to   b r an ch   o u f u r th er   [ 5 6 ] .   DT   is   ab le  to   tr ai n   m o d els  q u i ck ly   an d   with   less   r eq u ir ed   m em o r y   [ 3 1 ] .   DT   ca n   b e   u tili ze d   in   a   n u m b er   o f   way s ,   in clu d in g   im ag e   p r o ce s s in g ,   class if y in g   d ata   an d   p atter n   r ec o g n itio n   [ 1 6 ] .   R is   class if ier   co n s is tin g   o f   a   n u m b er   o f   d ec is io n   tr ee s   [ 5 7 ] .   T h e   u s o f   R o f f er s   ac cu r ac y   to   m o d el  [ 5 7 ]   as we ll a s   s p ee d   o f   lear n in g   [ 5 8 ] .   Kh an   et  a l.   [ 3 ]   u tili ze d   DT   al o n g   with   e n s em b le - lear n i n g   t o   p r o ce s s   th o u tp u o f   p r e v io u s   lay er s   o f   th m o d el  b e f o r e   m ak in g   t h f in al  d ec is io n   o n   wh eth er   th e   d ata  s ig n if ied   a n   attac k .   T r a n   et   a l.  [ 3 1 ]   c o m p ar e d   s tan d alo n DT   m o d el  with   an   R m o d el  an d   a n o th er   m o d el  u s in g   ex tr em e   g r ad ie n b o o s tin g   ( XGBo o s t) .   C o n v er s ely   to   o th er   m o d els  p r esen ted   h er e,   C h ak r ab o r ty   et  a l .   [ 3 2 ]   p r im ar ily   u tili ze d   n o n - ML   tech n iq u es  f o r   th eir   m o d el,   b u u tili ze d   d if f er en s u p er v is ed   lear n in g   tec h n iq u es  f o r   attac k   class if icatio n .   T h e y   co m p ar ed   lo g is tic  r eg r ess io n   ( L R ) ,   s u p p o r v ec to r   m ac h in ( SVM) ,   k - n ea r est  n eig h b o r   ( k - NN)   an d   R F.  L ik ANN   tech n iq u es,  s u p er v is ed   lear n in g   ap p r o ac h es  p r o v id s o m e   f lex ib ilit y   to   b u tili ze d   in   d if f er en way s   with   d if f er en t M L   tec h n iq u es.      T h er wer th r ee   en s em b le  m eth o d s   u tili ze d   in   th e   r ev iewe d   liter atu r e,   all  o f   wh ich   wer g r ad ien t   b o o s tin g   alg o r ith m s .   Gr ad ien t   b o o s tin g   alg o r ith m s   ca lcu late  th m is tak es  o f   ea r lier   m o d el s   b y   cr ea tin g   n ew   m o d el  [ 5 9 ] .   T h ey   th e n   m ak ch o ice  b ased   o n   th am al g a m atio n   o f   t h n ew  an d   o ld   m o d els.  Gen er ally ,   th e   in clu s io n   o f   b o o s tin g   alg o r ith m   ca n   im p r o v p er f o r m a n ce   [ 5 9 ] .   T h m o s co m m o n   en s em b le  m eth o d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Ma ch in lea r n in g   a p p r o a c h e s   to   cy b ers ec u r ity  in   th in d u s tr ia l     ( Mela n ie  Heie r )   3857   p r o p o s ed   was  XGBo o s [ 3 0 ] ,   [ 3 1 ] ,   [ 3 4 ] .   T h is   alg o r ith m   is   c o n s id er ed   to   h av l o r eso u r c d ep e n d en c y   an d   a   f ast s p ee d   [ 6 0 ] [ 6 2 ] .   Sh ah in   e t a l.   [ 3 0 ]   c o n f ir m e d   th ese  o b s e r v atio n s ,   wh ile  also   s tatin g   th at  it p er f o r m ed   well   in   ter m s   o f   n etwo r k   i n tr u s io n   d etec tio n .   T r an   et   a l.   [ 3 1 ]   s im ilar ly   s tated   th at  th is   m et h o d   h as  p er f o r m ed   well  in   ter m s   o f   f au lt  d etec tio n ,   th o u g h   ca n ,   if   n o u s ed   with   o th er   p r o ce s s e s ,   in cr ea s th r eso u r ce s   r eq u ir e d .   I is   ap p ar en f r o m   th liter atu r t h at  in   ter m s   o f   en s em b le  m eth o d s ,   g r ad ien b o o s tin g   alg o r ith m s   in   p ar ticu lar   ar p o p u lar   m eth o d s   to   u s in   ML   ap p r o ac h es to   I I o T   cy b er s ec u r ity .     Sem i - s u p er v is ed   lear n in g   ca n   p r o ce s s   b o th   u n lab eled   an d   lab elled   d ata   [ 2 ] ,   [ 6 3 ] .   T h is   tech n iq u e   u tili ze s   u n s u p er v is ed   lear n in g   w ith   u n lab eled   d ata  to   ex tr ac f ea tu r es  f r o m   it.  I th e n   u s es  s u p er v is ed   lear n i n g   to   in co r p o r ate  a   s m all  am o u n o f   lab elled   d ata  to   ca lib r ate   th f ea tu r es  an d   c o n s tr u ct  t h m o d el  f o r   u s in   attac k   d etec tio n   [ 2 ] ,   [ 6 3 ] .   T h is   tech n iq u e   is   u s ed   b y   Ao u ed i   et  a l.   [ 2 ]   with in   th eir   f ed er ate d   lear n in g   m o d el  t o   s o lv th is s u in   I I o T   cy b e r s ec u r ity   o f   n ee d i n g   to   ex a m in lar g am o u n ts   o f   u n lab ele d   d ata  to   d eter m in e   wh eth er   an   attac k   wo u ld   h av o cc u r r ed .   C o n v er s ely ,   J ian g   [ 4 5 ]   u tili ze s   s em i - s u p er v is ed   lear n in g   in   th eir   m o d el  to   d etec v o ltag g litch   attac k s   ( VGA)   f r o m   g litch es  in   p o wer   s ig n als  f r o m   a n   I I o T   m ac h in e.   T a b le  3   s h o ws  th d atasets   u ti lized   b y   th ese  ap p r o ac h es  to   ex a m in p er f o r m an ce .   T h ese  d atasets   in clu d ed   b o th   n etwo r k   o r   d ev ice  d ata  a n d   e q u ip m en g litch es,  co v er in g   a   r an g o f   p o ten tial  attac k   s u r f ac es  in   I I o T .   T h ese   d if f er in g   ap p licatio n s   o f   s em i - s u p er v is ed   lear n i n g   d em o n s tr ate  th at  it  is   v e r s atile  an d   f lex ib le  a p p r o ac h   s u it ab le  f o r   cy b er s ec u r ity   a p p l icatio n s   in   I I o T .     As  ca n   b s ee n   i n   T ab les 2   an d   3 ,   p r o p o s ed   s o lu tio n s   in   th e   cu r r en liter atu r u s n o ju s a   m u ltit u d e   o f   ML   tech n i q u es,  b u test   ag ain s m an y   d if f e r en d atasets ,   co v er in g   wid r a n g o f   atta ck   s ce n ar io s .   T h e also   u tili ze   m an y   d if f er en t   ev a lu atio n   m etr ics  an d   v ar ia b les,  m ak in g   it  d if f icu lt  to   d r aw  c o m p ar is o n s   b etwe en   th p er f o r m a n ce   o f   d if f er en t   m o d els  as  th is   p a p er   attem p ts .   T h er wer e   s o m c o m m o n alities   am o n g   th e   p r o g r a m m in g   lan g u a g es,  to o ls   an d   lib r a r ies w h er th ese  wer m en tio n ed   in   th s tu d ies.   I n   ter m s   o f   d atasets ,   th er wer th r ee   m o s co m m o n   in   u s in   th liter atu r e:  g as  p ip elin SC AD s y s tem   d ataset  [ 2 ] ,   [ 3 3 ]   UNS W - NB 1 5   [ 5 ] ,   [ 2 9 ]   a n d   T o N - I o T   [ 2 9 ] ,   [ 3 0 ] .   T h ese  d atasets   ar all  b ased   o n   I I o T   an d   c o v er   wid e   r an g o f   att ac k   s ce n ar io s ,   as   ca n   b s ee n   in   T a b les  2   a n d   3 .   Usi n g   th e   s am d atasets   ca n   m ak it  ea s ier   to   m ak e   co m p ar is o n s   b etwe en   d if f er en t   ap p r o ac h es  [ 6 4 ] .   Fo r   e x am p le,   Hu m et  a l.   [ 5 ]   a n d   Sh ah in   et  a l.   [ 2 9 ]   b o t h   u s t h UNSW - NB 1 5   d ataset,   m ak in g   it  ea s ier   t o   co m p ar e   th r esu lts   ac h iev ed   b y   th eir   r esp ec tiv m o d els.    Similar ly ,   d if f er in g   ev alu atio n   m etr ics m ak m o d els d if f icu lt to   co m p ar e.   Fo r   ex am p le,   Fu   et  a l.   [ 2 8 ]   p r o p o s ed   h ier a r ch ical  ab n o r m al  tr af f ic  d etec tio n   m eth o d   u tili zin g   an   u n s u p er v is ed   clu s ter in g   alg o r ith m .   T h is   m o d el   was  ab le   to   d ete ct  an o m alies  in   th e   s h o r test   am o u n t   o f   tim i n   c o m p ar is o n   to   o th e r   s elec ted   m o d els.  Ho wev er ,   as  th is   m o d el  d id   n o u s an y   o f   th e   m etr ics  co m m o n   to   o t h er   r e v iewe d   m o d els,  its   p er f o r m an ce   is   n o ea s ily   co m p ar ab le  in   th is   r ev iew.   T h eir   d ata  was  also   m ain ly   p r esen ted   in   th e   f o r m   o f   b a r   g r ap h s ,   r at h er   th a n   n u m er ically ,   m ak in g   s co r in ter p r etatio n   p o ten tially   in ac cu r ate.     T h r an g o f   v ar iab les  s h o wn   in   T ab les  2   an d   3 ,   wh ile  p r o v i d in g   ex ce llen d ata  with in   s in g le  p ap er s ,   ca n   ag ain   m ak c o m p ar is o n   t r o u b leso m b etwe en   s ep ar ate   ex p er im e n ts .   As  ca n   b s ee n   in   T ab le  3 ,   m o d el   co m p ar is o n s   wer e   th e   m o s t p r o m in en t v ar iab l e   [ 2 9 ] [ 3 4 ] .   C o m p ar in g   m o d els  u s in g   th e   s a m v ar ia b les  ca n   b v er y   u s ef u to   d eter m in th e   p er f o r m an c e   o f   d if f er en t   ML   tech n iq u es.  C o m p ar i n g   p er f o r m an ce   b ased   o n   d ataset  o r   attac k   ty p was   als o   co m m o n   [ 3 ] ,   [ 2 9 ] [ 3 1 ] .   W h en   it  ca m to   ac tu al  p ar am eter s   o f   th m o d e ls ,   th e   n u m b er   o f   clien ts   was  th e   m o s co m m o n   v ar iab le   f o r   c o m p ar in g   p er f o r m an ce   [ 2 ] ,   [ 3 ] ,   [ 3 4 ] .   T h is   is   an   im p o r tan t p o in t o f   co m p ar is o n ,   as th n u m b er   o f   d ev ices w it h in   an   I I o T   e n v ir o n m en t c o u ld   v ar y .   W h ile  in p u a n d   o u tp u c o m p o n en ts   wer e   m an y   a n d   v ar ied ,   to o ls   u s ed   b y   t h d if f er e n a p p r o ac h es  wer f ewe r .   Of   th o s th at  m e n tio n ed   th e   p r o g r am m i n g   lan g u ag u s ed ,   all  u tili ze d   p y th o n   [ 2 ] ,   [ 3 ] ,   [ 4 6 ] .   T h e   m o s co m m o n ly   u s ed   to o wa s   Go o g le  C o llab o r ato r y   [ 3 4 ] ,   [ 4 5 ] .   Of   t h f r am ewo r k s   an d   l ib r ar ies  m en tio n ed ,   Py to r ch   [ 2 ] ,   [ 3 ] ,   [ 3 4 ]   a n d   Scik it - L ea r n   [ 2 ] ,   [ 2 9 ] ,   [ 3 0 ]   wer m o s co m m o n .   So m to o ls   an d   lib r ar ies  wer u n s p ec if ied   in   t h r ev iewe d   lit er atu r [ 3 2 ] ,   [ 4 6 ] .     T h m o s r ec en tly   p r o p o s ed   s o lu tio n s   to   I I o T   cy b e r s ec u r ity   th at  u tili ze   ML   ap p r o ac h es  h av n o y et   b ee n   co n s o lid ated   a n d   e v alu at ed .   T h is   p a p er   will  r e v iew  th e s s o lu tio n s   to   p r o v id e   an   o v e r v iew  o f   th c u r r en t   s tate  o f   ML   ap p r o ac h es to   cy b er s ec u r ity   in   I I o T .   T h k ey   r esear ch   q u esti o n s   in clu d e:    a.   W h at  ar th cy b er s ec u r ity   co n ce r n s   with in   th I I o T ?   b.   W h at  ar th e   m o s r ec en m ac h in lear n in g   ap p r o ac h es  b ein g   p r o p o s ed   to   s o lv e   th es cy b e r s ec u r ity   co n ce r n s   c.   W h at  ar th ad v an ta g es a n d   d is ad v an tag es o f   th ese  ap p r o ac h es?   d.   W h at  s o f twar an d   p r o g r am m in g   la n g u a g es  ar b ein g   u s ed   t o   im p lem en m ac h in lear n in g   ap p r o ac h es  to   cy b er s ec u r ity   f o r   I I o T       2.   M E T H O D   T h is   r ev iew  u tili ze d   C h ar les   S tu r Un iv er s ity   lib r ar y   r eso u r c es,  s p ec if ically   h ttp s : //p r i mo . csu . ed u . a u   to   lo ca te  ap p r o p r iate  ar ticles  f o r   th to p ic.   I n clu s io n   cr iter ia :   i)   Pu b lis h ed   in   2 0 2 1   o r   later ,   ii)  Peer   r ev iewe d Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   3 8 5 1 - 3866   3858   iii)  Hav a   jo u r n al  r atin g   o f   Q1   o r   Q 2   ac c o r d in g   to   Scim ag o   J o u r n al   an d   C o u n tr y   R an k   ( SJ R )   jo u r n a l   r an k in g s ,   a n d   iv )   Pro p o s ML   ap p r o ac h   to   c y b er s ec u r ity   in   I I o T .   T h r esear ch   m et h o d o lo g y   f o r   th is   p r o ject  is   o u tlin ed   i n   Fig u r 3   an d   is   as  f o llo ws.  First,  s ea r ch es  wer p er f o r m ed   in   o r d er   to   f o r m u late  th to p ic.   I n itial  k ey wo r d s   u s ed   wer “so f twar d esig n   OR   s o f twar d ev elo p m e n t”  a n d   “c y b er   s ec u r ity ”.   T h r esu lts   o f   th is   s ea r ch   wer e   th en   g r o u p e d   in to   c o m m o n   to p ics,   an d   ad d itio n al  k ey wo r d s   ad d ed   in clu d in g   “m ac h in lear n in g   O R   d ee p   lear n in g ”  an d   “I I o T   OR   I n d u s tr ial  I n ter n et  o f   T h i n g s   OR   in d u s tr y   4 . 0 ”.   T h to p ic   o f   ML   ap p r o ac h es  to   cy b e r   s ec u r ity   was  th en   s el ec ted   b ased   o n   t h co m m o n   to p ics  o f   ar ti cles  f o u n d .   T h r esu ltin g   co llectio n   o f   ar ticles  was  th en   s cr ee n ed   an d   s elec ted   ac co r d in g   to   th in clu s io n   cr it er ia  o u tlin ed   ab o v an d   th eir   s u itab ilit y   f o r   th to p ic.   T h s co p f o r   th is   r ev iew  was lim ited   to   twelv p ap er s   d u to   ass ig n m en t r e q u ir em e n ts .           Fig u r 3 .   R esear ch   m eth o d o l o g y .   Ad ap te d   f r o m   Dea k in   U n iv er s ity   [ 6 5 ]       Data   ex tr ac tio n   was  p er f o r m ed   with   th u s o f   E x ce s p r ea d s h ee ts .   b r o a d   f ea tu r a n aly s is   was   co m p leted ,   wh ich   i n v o lv e d   s u m m ar izin g   t h f o llo win g   f ea tu r es  o f   ea ch   p ap e r :   i)   p r o b lem   d ef i n itio n   ii)  p r o p o s ed   s o lu tio n ,   iii)  ad v an tag es  an d   d is ad v an tag es ,   iv )   m eth o d ,   s tep s ,   an d /o r   s tag es ,   v )   lim itatio n s   an d   ju s tific atio n s ,   v i)   ch allen g es ,   v ii)  h ar d wa r e,   s o f twar an d   p r o g r am m in g   lan g u a g es ,   v ii i)   m o d els  u s ed   f o r   co m p ar is o n   to   th p r o p o s ed   s o lu tio n ,   an d   ix )   f u t u r wo r k   s u g g ested T h s p ec if ic  tech n iq u es  u s ed   in   th r ev iewe d   ar ticles  wer e   co n s o li d ated ,   as  wer e   th e   d atasets ,   i m p lem en tatio n   p r o ce d u r es,   ev alu atio n   cr iter ia   an d   r esu lts .   Fin ally ,   th is   ex t r ac ted   d ata  was u tili ze d   to   co m p lete  t h is   f in al  r ep o r t.    T h co n s o lid ated   tech n iq u es  wer r ev iewe d   to   d eter m in t h o s th at  wer e   m o s u s ed   b y   th p ap e r s   u n d er   r e v iew.   T h ese  co m m o n   tech n iq u es  wer g r o u p ed   in to   th ca teg o r ies  o f   ANN,   s u p er v is ed   lear n in g   an d   e n s em b le  m eth o d s   as  s h o wn   i n   T ab le  1 .   T h ese  co m m o n   tec h n iq u es  wer u s ed   f o r   d is cu s s io n   an d   co m p ar is o n   in   o r d er   t o   m ain tain   th f o cu s   an d   s co p o f   th p a p er .   Fo r   e x am p le,   C h ak r ab o r ty   et  a l.   [ 3 2 ]   u tili ze d   L R ,   SVM   an d   k - NN,   h o wev er   it  was  th o n ly   p ap e r   am o n g   th twel v r ev iewe d   to   u s th ese  tech n iq u es,  an d   s o   t h ey   wer ex clu d ed   f r o m   in - d ep th   d is cu s s io n .       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .       Resul t s     T ab le  4   d is p lay s   th ac cu r ac y ,   p r ec is io n ,   r ec all  an d / o r   F1   s c o r es f o r   ea ch   p ap er s   b est s co r in g   m o d el.   W h er m o d els  wer co m p ar e d   to   s tate - of - th e - ar tech n iq u e s   with in   th p ap er ,   th ese  co m p ar is o n   s co r es  wer e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Ma ch in lea r n in g   a p p r o a c h e s   to   cy b ers ec u r ity  in   th in d u s tr ia l     ( Mela n ie  Heie r )   3859   tak en   f o r   T ab le  4 .   T h v ar iab les  co lu m n   s h o ws  an y   v ar iab l es  ass o ciate d   with   th ac h iev em en t   o f   th o s b est   s co r es.  Fu   et  a l.   [ 2 8 ]   was  th o n ly   p a p er   th at  d id   n o u s an y   o f   th ese  co m m o n   e v alu atio n   m etr ics  as  n o ted   in   th tab le.   Sco r es  wer o n ly   i n clu d ed   in   T a b le  4   wh er th e   p r ec is s co r was  s tated   b y   th au th o r s s co r es  d is p lay ed   o n l y   in   g r ap h   f o r m   wer ex clu d ed .   Acc u r ac y   is   th m etr ic  m o s u tili ze d   b y   liter atu r e   an d   s o   is   d is cu s s ed   h er in   f u r th er   d etail.   Acc u r ac y   is   d escr ib ed   as   th p er ce n t ag o r   r atio   o f   c o r r ec t   p r e d ictio n s   [ 5 ] ,   [ 2 9 ] ,   [ 4 6 ] .   As   ca n   b e   s ee n   in   T ab le  4 ,   t h h ig h est  ac cu r ac y   o f   1 0 0 was  ac h iev ed   b y   Sh a h in   et  a l.   [ 2 9 ]   o n   th e   B o T - I o T   an d   UNSW - NB 15  d atasets   with   th eir   m o d el  u s i n g   L STM   an d   FC NN  tech n iq u es.  Sh ah in   et  a l.   [ 3 0 ]   d id   al s o   ac h iev 1 0 0 ac cu r ac y   f o r   o n o f   th d ev ic es  in   th eir   s tu d y ,   h o wev er   as  b o t h   o f   th eir   m o d els  ac h iev ed   1 0 0 in   th at  ca s e,   th n ex h ig h est  s co r wo u l d   h av b ee n   tak en   th at  d if f e r en tiated   th m o d els.  Un f o r t u n ately ,   s in ce   th eir   ac cu r ac y   s co r es we r p r esen te d   o n ly   in   b ar   g r a p h   f o r m ,   s p ec if ic  ac cu r ac y   s co r was n o ab le  to   b d is ce r n ed   f o r   in clu s io n   in   t h tab le.   T h lo west  ac cu r ac y   s co r o f   . 7 8   was  ac h iev ed   b y   th m o d el   u tili zin g   p r im ar ily   non - ML   tec h n iq u es,  s u g g esti n g   th at  ML   tech n iq u es  g e n er ally   h av s u p er io r   p er f o r m an ce   in   th is   ar ea .   T ec h n iq u es  u tili ze d   in   m o d el s   ac h iev in g   9 9 %   o r   ab o v a cc u r ac y   in clu d e   FL  [ 3 3 ] ,   A NN  [ 5 ] ,   [ 2 9 ] ,   [ 3 3 ] en s em b le  m eth o d s   [ 3 1 ] ,   s u p e r v is ed   lear n in g   [ 3 1 ] ,   an d   d ee p   lear n in g   [ 5 ] .   T h o n ly   ML   tech n iq u u s ed   b y   m o r th an   o n o f   th ese  h ig h   ac cu r ac y   ac h iev i n g   m o d e ls   was  ML P.   T h ese  r esu lt s   d em o n s tr ate  th at  ANN   tech n iq u es in   p a r ticu lar   ar s u cc ess f u lly   b ein g   u tili ze d   in   ML   s o lu tio n s   to   I I o T   cy b er s ec u r ity .       T ab le  4 .   E v alu atio n   B e st   m o d e l   R e f   [ # ]   Te c h n i q u e s   A c c u r a c y   P r e c i s i o n   R e c a l l   F1   V a r i a b l e s   F e d e r a t e d   sem i - su p e r v i s e d   l e a r n i n g   sc h e me   [ 2 ]   A E,   F L,   F C N ,   SL   9 5 . 8 4 %     9 7 . 8 9     8 7 . 1 5       O v e r a l l   S c o r e s   D b a se d   S C A D A   n e t w o r k   b a s e d   c y b e r a t t a c k   d e t e c t i o n   sch e me   [ 3 ]   P R U ,   D T,   LSTM ,   EL     9 8 . 8 9 %           b i n a r y   c l a ss i f i c a t i o n   w i t h   d a t a se t   1     H D R a N N   [ 5 ]   M LP,   R a N N   0 . 9 9 1 9   0 . 9 9 0 7   0 . 9 8 9 8   0 . 9 9 0 2   d a t a se t :   U N S W - N B 1 5   H e u r i s t i c   s e m i - s u p e r v i s e d   l e a r n i n g   m e t h o d   [ 4 5 ]   C A ,   E LM ,   SSL   9 0 . 7     9 0 . 7     9 0 . 7     9 0 . 7     Ti mes l o t :   1 0     S e c u r e   n e t w o r k   m o d e l   [ 4 6 ]   D L,   M L   0 . 8 7   0 . 9 0 7   0 . 8 6 4   0 . 8 8 1   O v e r a l l   S c o r e s   S e c u r e   c l u st e r i n g   a l g o r i t h f o r   c o mp l e x   a t t r i b u t e   f e a t u r e s   [ 2 8 ]   CA           u s e d   o n l y   T P   a n d   FP  e v a l u a t i o n   m e t r i c s   a n d   o n l y   p r e s e n t e d   i n   b a r   g r a p h   f o r m   L S T M - F C N   a n d   L S T M - F C N   5 - f o l d s   C V   [ 2 9 ]   LSTM ,   F C N N   1 0 0 %           d a t a se t s:   B o T - I o a n d   U N S W - N B 1 5   D e e p   h y b r i d   l e a r n i n g   m o d e l   [ 3 0 ]     A LSTM ,   F C N N ,   A d a B o o st     9 9 . 9 0 %     9 9 . 9 0 %     9 9 . 9 0 %     b o o s t e r :   A d a B o o s t ,   d e v i c e :   G P S   O n l i n e   f a u l t   d i a g n o s i s   w i t h   R F   [ 3 1 ]   RF   9 9 . 0 3 %         O v e r a l l   S c o r e s   F M 4 :   f u n c t i o n a l   p o si t i o n   a n d   v e l o c i t y   mo d e l   [ 3 2 ]   F S A ,   F P C A ,   RF   0 . 7 8       1     0 . 7 8     seg m e n t   s i z e   4 0   o r   2 0 0     D e e p F e d     [ 3 3 ]   M LP,   C N N ,   G R U ,   F L,   P a i l l i e r ,   A ES   9 9 . 2 0 %     9 8 . 8 5 %     9 7 . 4 7 %     9 8 . 1 4 %     n u m   c l i e n t s:   7 ,   c o mm .   R o u n d s :   1 0   S e c u r e I I o -   C N N   m o d e l   [ 3 4 ]   F L,   C N N ,   R F     0 . 5 1   0 . 9 7   0 . 6 7   t e st i n g ,   t r a i n :   0   S e l e c t e d   r e su l t s   o f   e a c h   p a p e r’ b e s t   p e rf o rm i n g   m o d e l   i n c l u d i n g   a ss o c i a t e d   v a r i a b l e i f   a l t e rn a t i v e   v a r i a b l e   v a l u e s w e re  a ss o c i a t e d   w i t h   d i f f e re n t   s c o res.   A b b r e v i a t i o n u se d   i n   t a b l e   a re  l i s t e d   i n   t h e   A p p e n d i x .       3 . 2 .     Dis cu s s io n     T h aim   o f   th is   r ev iew  was  to   p r o v id a n   o v er v iew  o f   th cu r r en s tate  o f   ML   s o lu tio n s   to   cy b er s ec u r ity   in   I I o T   b y   e x am in in g   th p r o p o s ed   s o lu tio n s   f r o m   r ec en y ea r s .   B y   u n d er ta k in g   th is   ex am in atio n ,   th is   r ev iew  p r o v id es  in s ig h ts   in to   wh at  wo r k s   in   o r d er   t o   in f o r m   f u t u r r esear ch   o r   th e   d ev elo p m e n o f   r ea l - w o r ld   s o lu tio n s .   T h m o s co m m o n l y   p r o p o s ed   ML   tech n iq u es  wer d is cu s s ed   an d   co m p ar ed ,   alo n g   with   o th e r   asp ec ts   o f   s tu d ies  in to   I I o T   cy b er s ec u r ity   s o lu tio n s   s u c h   as  d ata  s ets   an d   ev alu atio n   m etr ics.  T h is   r e v iew  s h o wed   th at  s o m o f   t h m o s p r o m is in g   ML   tech n iq u es  f o r   ap p licatio n   i n   I I o T   cy b er s ec u r ity   i n clu d FL,   FC NN,   R F a n d   s em i - s u p er v is ed   lear n in g .     I is   clea r   f r o m   th c u r r en t   liter atu r th at   cy b er s ec u r ity   in   I I o T   is   o f   g r o win g   co n ce r n   d u to   t h e   p o ten tial  co n s eq u e n ce s   o f   an   attac k   [ 2 ] ,   [ 5 ] ,   [ 3 4 ] ,   an d   th v u ln er ab ilit y   o f   I I o T   d e v ices  an d   n etwo r k s   [ 2 ] ,   [ 3 ] ,   [ 5 ] ,   [ 2 9 ] ,   [ 3 2 ] [ 3 4 ] .   T h liter atu r id e n tifi es  th at  in d u s tr ies  u tili zin g   I I o T   ar e   in cr ea s in g ly   b ei n g   ta r g eted   b y   cy b er - attac k s   o f   v ar y i n g   f o r m s   [ 5 ] ,   [ 2 9 ] ,   [ 3 0 ] ,   [ 3 2 ]   a n d   th at   th d ata  b ein g   s to r e d   in   an d   tr an s f er r ed   b etwe en   th ese  d ev ices  r eq u ir es  p r iv ac y   p r o tectio n   [ 2 ] ,   [ 3 ] ,   [ 5 ] ,   [ 3 2 ] [ 3 4 ] .   I n   te r m s   o f   in tr u s io n   an d   attac k   m ec h an is m s   f o r   I I o T ,   th e   liter atu r ag r ee s   th at  ac cu r ac y   [ 3 ] ,   [ 2 8 ] ,   [ 3 2 ]   a n d   ef f icien cy   [ 2 ] ,   [ 3 ] ,   [ 3 2 ]   ar e   v er y   im p o r tan t.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   3 8 5 1 - 3866   3860   3 . 2 . 1 .   Arc hite ct ure     I n   o r d er   to   ac h iev ac c u r ac y ,   ef f icien c y ,   an d   s ec u r ity   i n   I I o T   cy b e r s ec u r ity   s o lu tio n s ,   v ar io u s   m ac h in lear n in g   tech n i q u es  a r p r o p o s ed   in   th liter atu r e.   T h s o lu tio n s   p r o p o s ed   ar d iv i d ed   in t o   two   ty p es   o f   ar ch itectu r e:  attac k   d etec ti o n   ar ch itectu r a n d   FL  ar ch it ec tu r e.   An   attac k   d etec tio n   a r ch itectu r p r o v id es  f lex ib le  ap p licatio n ,   as  it  ca n   b ap p lied   at   th e   n etwo r k   lev e l   [ 3 ] ,   [ 5 ] ,   [ 2 8 ] ,   [ 2 9 ] ,   at  th e   d ev ice  lev el  [ 3 0 ] ,   [ 3 1 ] ,   o r   with in   m o n ito r in g   s y s tem s   [ 3 2 ] .   T h d o wn s id o f   th is   ap p r o ac h   is   th at  d ata  is   o f ten   s e n f r o m   d ev ices  an d   p r o ce s s ed   elsewh er e.   T h is   r a is es  co n ce r n s   ab o u d ata  p r i v ac y ,   as  well  as  d ata  s ec u r it y   in   tr an s m is s io n .   Dep en d in g   o n   th e   in d u s tr y   u ti lizin g   th s o lu tio n ,   t h er m ay   also   b leg alities   to   co n s id er   i n   th is   ar ea   o f   d ata   s af ety .   T h FL  ar ch itectu r a p p r o ac h   ad d r ess es  th is   lim i tat io n   th r o u g h   tr ai n in g   m o d el  o n   th d e v ice  its elf   an d   s en d in g   tr ai n in g   m o d el  p ar am eter s   r ath er   th an   th r aw   d ata  to   ce n tr al  lo ca tio n .   So m m o d els  in   th r ev iewe d   p ap er s   also   in clu d i n g   d ata  en cr y p tio n   to   im p r o v s ec u r ity   [ 2 ] ,   [ 3 3 ] ,   [ 3 4 ] .   T h d o wn s id o f   th is   ap p r o ac h ,   h o wev e r ,   is   th p r o ce s s in g   p o wer   r eq u ir ed   t o   co m p lete  tr ain in g   an d   p r o ce s s in g   o n   th d ev ice  its elf ,   wh ich   I I o T   d ev ices m ay   n o h av ca p ac ity   f o r .       3 . 2 . 2 .   T ec hn iqu e s     I was  clea r   f r o m   th liter atu r th at  m an y   d if f er e n ML   tech n iq u es  ar b ein g   u tili ze d   in   p r o p o s ed   I I o T   s ec u r ity   s o lu tio n s .   I is   a ls o   ap p ar e n f r o m   t h liter atu r th at  at  t h is   s tag th er e   ar n o   ag r ee d   u p o n   b est   m eth o d s   f o r   I I o T   cy b er s ec u r it y   s o lu tio n s .   As  d if f er en alg o r ith m s   ca n   b co m b in e d   in   d i f f er en way s ,   th er ar m u ltit u d o f   p o s s ib ilit ies   in   th is   s p ac e.   T h m o s co m m o n ly   p r o p o s ed   ML   tech n iq u es  f ell  in to   f o u r   ca teg o r ies:   ANN,   s u p er v is e d   lear n in g ,   en s em b le  m eth o d s   an d   s em i - s u p er v is ed   l ea r n in g .   Of   th ANN  tech n iq u es,  th m o s co m m o n ly   u tili ze d   wer C NN   [ 2 9 ] ,   [ 3 3 ] ,   [ 3 4 ] ,   FC NN  [ 2 9 ] ,   [ 3 3 ] ,   [ 3 4 ] ,   ML [ 5 ] ,   [ 3 3 ] ,   a n d   L STM   [ 2 ] ,   [ 1 2 ] .   FC NN  in   p ar ticu lar   p r o v id e d   g o o d   p r o ce s s in g   tim with   lo lev el  o f   r eso u r ce s   r eq u ir e d   [ 2 9 ] ,   [ 3 0 ] .   T h co m p a r is o n s   in clu d ed   i n   s o m p ap er s   p r o v id e d   in s ig h t   in to   th p er f o r m a n ce   o f   s p ec if ic  ML   tech n iq u es,  p ar ticu lar ly   with in   th e   ANN  ca teg o r y .   Ma k k ar   et  a l.   [ 3 4 ]   c o m p a r ed   m o d els  u s in g   C NN,   L STM   an d   two   en s em b le  m eth o d s ,   a n d   f o u n d   th at  th C NN  m o d el  h ad   th b est  p er f o r m a n ce ,   as  ca p tu r ed   in   T ab le  4 .   Ho wev er ,   th ey   f o u n d   th at  an   in cr ea s in   th n u m b e r   o f   d e v ices  co r r elate d   with   an   in cr ea s in   th tim tak en   to   p r o ce s s   d ata  as  well  as  t h tim tak en   t o   d etec attac k s   [ 3 4 ] .   Sh a h in   et   a l.   [ 2 9 ]   c o m p ar e d   two   m o d els ,   o n e   co m b in in g   L STM   wit h   C NN  an d   th e   o th e r   co m b in in g   L STM   with   FC NN.   As  d is p lay ed   in   T a b le  4 ,   th ey   f o u n d   th at  th e   m o d el  u tili zin g   FC NN  o u tp er f o r m ed   th e   o n e   u s in g   C NN  ac r o s s   two   d if f er en d atasets .   Fro m   th ese  co m p a r is o n s ,   it  ca n   b e   s u r m is ed   t h at  in   ter m s   o f   a ttack   d etec tio n   f o r   I I o T ,   m o d els  u tili zin g   C NN   tech n iq u es o u t p er f o r m   L STM   m o d els,  an d   FC NN  m o d els o u tp er f o r m   th o s u s in g   C NN  tech n iq u es.    T h ese  co m p ar is o n s ,   alo n g   wit h   th b est  m o d el  r esu lts   f r o m   T ab le  4 ,   ass is t   in   d r awin g   c o n clu s io n s   ab o u wh ich   tech n iq u es  s tan d   o u in   th cu r r e n liter atu r e.   T h r esu lts   in   T ab le  4   s h o th at  th ANN  tech n iq u e   m o s co m m o n l y   u s ed   b y   th e   m o d els  th at  ac h ie v e d   an   ac cu r ac y   a b o v e   9 9 was   ML P.  T h e r ef o r e ,   it  is   clea r   th at  FC NN  an d   ML P a r p ar ticu lar ly   p r o m is in g   ANN  tech n iq u es f o r   I I o T   cy b er s ec u r ity   s o l u tio n s .     Su p er v is ed   lear n in g   tech n iq u es  in   th cu r r en liter atu r c an   b ev alu ated   i n   s im ilar   m an n er .   C h ak r ab o r ty   et  a l.   [ 3 2 ]   co m p ar ed   th eir   m o d el  u s in g   d if f er en s u p er v is ed   lear n i n g   tech n iq u es  f o r   class if icatio n ,   f in d in g   th at  R F o u tp er f o r m ed   L R ,   SVN  an d   k - NN  ap p r o ac h es.  Similar ly ,   T r an   et  a l.   [ 3 1 ]   f o u n d   th at  an   R m o d el  o u tp er f o r m e d   m o d els  u s in g   DT   an d   XGBo o s t.  I ca n   b s ee n   th en ,   f r o m   th ese  co m p ar is o n s   th at  R F is   th p o p u lar   an d   b est   p er f o r m in g   s u p er v is ed   lear n in g   tech n i q u with in   th e   cu r r e n t liter atu r e.     C o n tr ar y   to   ML P,  R was  n o t   am o n g   th m o s u tili ze d   tech n iq u in   th to p - s co r in g   s o lu ti o n s   s h o wn   in   T ab le  4 .   Ho wev er ,   it  d id   f e atu r in   s ev er al  o f   th m o d els  th at  p er f o r m e d   th b est  in   th eir   p ar ticu lar   s tu d y   [ 3 1 ] ,   [ 3 2 ] ,   [ 3 4 ] .   T h is   s u p p o r ts   th r esu lts   o f   th o s s tu d ies  th at  f o u n d   im p r o v e d   p er f o r m a n ce   b y   in cl u d in g   R in   th eir   m o d els an d   s h o ws th at   R F is   p r o m is in g   ML   tech n i q u f o r   I I o T   cy b er s ec u r ity   s o l u tio n s .   G r ad ien b o o s tin g   alg o r ith m s   wer th m ain   m eth o d s   u tili ze d   in   th ca teg o r y   o f   en s em b le   m eth o d s ,   with   XGBo o s b ein g   th m o s co m m o n ly   u s ed   [ 3 0 ] ,   [ 3 1 ] ,   [ 3 4 ]   a n d   s h o wn   t o   b a   g o o d   tec h n iq u e   f o r   n etwo r k   in tr u s io n   d etec tio n   [ 3 0 ]   as  well  as  f au lt  d etec tio n   [ 3 1 ] .   Ho wev er ,   wh en   Sh ah in   et  a l.   [ 3 0 ]   co m p a r ed   th eir   Atten tio n   b ased   L STM   ( AL STM ) -   FC NN  m o d el  with   XG B o o s an d   Ad aBo o s t,  th m o d el  u s in g   Ad aBo o s ac tu ally   p r o v id ed   b etter   p er f o r m an ce   in   ter m s   o f   p r ec is io n ,   r ec all  an d   F1   s co r e.   Sem i - s u p er v is ed   lea r n in g   tec h n iq u es  wer e   u tili ze d   b y   Ao u ed et  a l.   [ 2 ]   an d   J ian g   [ 4 5 ]   i n   d if f er en way s .   T h is   ty p o f   lear n in g   was  w ell  s u ited   to   d ea lin g   with   lar g am o u n ts   o f   u n lab ele d   d a ta  alo n g   with   s o m e   lab elled   d ata  as  o f ten   e x is ts   in   I I o T   en v ir o n m en ts   [ 2 ] .   Ho wev er ,   I I o T   e n v ir o n m en ts   m a y   also   h a v am o u n ts   o f   p u r ely   u n lab eled   d ata,   w h ich   wo u ld   n o b a b le  to   b p r o ce s s ed   b y   th ese  ty p es  o f   m o d els  [ 2 ] .   Desp ite  th is   lim itatio n ,   b ein g   a b le  to   p r o c ess   th co m b in ed   la b elled   an d   u n lab ele d   d ata  s u g g ests   th at  s em i - s u p er v is ed   le ar n in g   is   g o o d   o p tio n   f o r   I I o T   cy b e r s ec u r ity   s o lu tio n s .   Mo r r ec en p a p er s   h av e   lo o k ed   at  r ein f o r ce m en lear n in g   ( R L )   as  an   ad ap tiv an d   f lex ib l ML   to o l   in   cy b er s ec u r ity ,   th o u g h   th is   tech n iq u ca n   also   h a v h ig h   co m p u tatio n al  co s [ 1 8 ] .   R L   s ee k s   to   tr ain   an   ag en in   h o to   b eh av e   in   i ts   en v ir o n m e n in   wa y   th a will  m ax im ize  r ewa r d s   [ 1 8 ] .   T h er e   ar m a n y   Evaluation Warning : The document was created with Spire.PDF for Python.