I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in g  a n d   Com p u t e r   S c ience   Vo l .   4 3 ,   N o .   3 ,  S e p t e m b e r   202 6 ,   pp.   792 ~ 807   I S S N:  2502 - 4752,   DO I :  10 . 11591/i j e e c s . v 4 3 .i 3 . pp 792 - 807             792     Jou r n al  h o m e page :  ht tp: // ij e e c s . iaes c or e . c om   N e t w o r k  an o m al y  d e t e c t io n  u si n g h y b r id     d e e p  l e ar n in g f r am e w or k       Raz ib u l   I s l a m   K h an ,   M d .   I m r an   Hos s ain ,   Hr id oy  M oh o n t o ,   M d .   As m au l   Haq u e ,     Anwar   P a r v e z   Rony,   F az l e   Rabb i   D e pa r tm e nt   of  C o mput e r  S c i e n c e  a nd  E ngi n e e r in g,  F a c u lt y   of   S c i e n c e  a nd  E ngi ne e r in g ,  C it y  U ni v e r s it y ,  S a v a r ,  B a ngl a d e s h       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d   F e b   10 ,  2026   R e vi s e d  J u n   22 ,  2026   A c c e pt e d  J un   29 ,  2026       N e t w o rk   a n o m a l y   d e t ec t i o n   h as   b eco me   i n c r e as i n g l y   i m p o rt an t   as   m o d e rn   c o mmu n i c at i o n   n e t w o rk s   fa ce  s o p h i s t i c at ed   a n d   e v o l v i n g   cy b e r  t h r e at s   t h at   c an n o t   b e   e ff ec t i v e l y   i d en t i fi ed   u s i n g   co n v e n t i o n a l   s i g n at u re - b as e d   i n t ru s i o n   d e t ec t i o n   s y s t em s .   D ee p   l e arn i n g   h as   d em o n s t rat e d   s i g n i fi c a n t   p o t e n t i a l   fo r   d e t ec t i n g   co m p l e x   at t ac k   p at t e rn s ;   h o w ev e r,   i n d i v i d u a l   ar c h i t ec t u r e s   o ft en   e x h i b i t   l i m i t at i o n s   i n   c ap t u ri n g   d i v e rs e  ch arac t e ri s t i c s   o f   n e t w o rk   t raffi c .   T h i s   p ap e r  p ro p o s e s   T ri Fu s i o n - N e t ,   a  h y b r i d   d ee p   l e ar n i n g   fra m ew o r k   t h at   i n t eg rat e s   co n v o l u t i o n a l   n e u ra l   n e t w o r k s   (CN N ),   l o n g   s h o rt - t e r m   memo r y   (L ST M) - b as e d   r ec u rr en t   n e u ra l   n e t w o r k s   (RN N ) ,   an d   feed fo r w ard   n e u ra l   n e t w o rk s   (FN N )  t o   i m p ro v e   fl o w - b as ed   n e t w o r k   an o m a l y   d e t ec t i o n .   C N N   i s   em p l o y ed   t o   e x t rac t   l o c al   s p at i al   p at t e rn s   fr o m   n e t w o r k   fl o w   f e at u r e s ,   L ST M   mo d e l s   s e q u e n t i a l   f e at u r e  d e p e n d e n ci e s ,   an d   t h e  FN N   c l as s i fi e r   p e rf o r m s   n o n l i n e ar  d ec i s i o n   m ak i n g   f o r  b i n ar y   i n t ru s i o n   cl as s i fi cat i o n .   T h e   p ro p o s e d   framew o rk   i s   ev al u at ed   u s i n g   t h e   C I C - ID S - 2 0 1 8   b e n c h m ar k   d at as e t   co n t ai n i n g   l ar g e - s c a l e   b e n i g n   an d   m a l i ci o u s   n e t w o r k   t raffi c .   A   u n i fi ed   p re p ro ce s s i n g   p i p e l i n e,   i n cl u d i n g   d at a  c l e a n i n g ,   fe at u r e  s el ec t i o n ,   n o r m al i zat i o n ,   an d   cl as s   b al an ci n g ,   i s   a d o p t ed   t o   en s u re  r o b u s t   mo d el   t rai n i n g   an d   ev al u at i o n .   E x p e ri men t al   re s u l t s   d em o n s t rat e  t h at   T ri Fu s i o n - N e t   ac h i e v e s   an   o v e ral l   a ccu ra cy   o f  9 5 . 6 6 % ,   w i t h   8 7 . 8 8 %   p r ec i s i o n ,   9 4 . 9 9 %   rec al l ,   9 1 . 3 0 %   F1 - s c o r e ,   a n d   9 7 . 7 5 %   re cei v e r   o p e rat i n g   c h ara c t e ri s t i c   ar e a   u n d e r  t h e   cu rv e   ( RO C - AUC ) ,   o u t p e rfo r m i n g   t h e   i n d i v i d u al   d ee p   l e arn i n g   mo d e l s   co n s i d e r e d   i n   t h i s   s t u d y .   T h e s e   r e s u l t s   i n d i c at e   t h at   t h e   p ro p o s ed   h y b ri d   fra mew o rk   p ro v i d e s   a n   e ff ec t i v e  an d   co m p u t at i o n al l y   e ffi ci e n t   s o l u t i o n   f o r  r e a l - t i me   n e t w o r k   a n o m a l y   d e t ec t i o n   i n   mo d e rn   cy b e rs ecu ri t y   e n v i r o n men t s .   K e y w o r d s :   An o m a ly   d e t e c t i o n   C y be r s e c ur i t y   De e p  l e a r ni ng   I n t r us i o n   d e t e c t i o n   s y s t e m   Ne ur a l   n e t wor ks   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   R a z i bu l   I s l a m   Kh a n   De pa r t m e n t   o f   C o m put e r   S c i e n c e   a n d  E n g i ne e r i n g ,  F a c u l t y   o f   S c i e n c e   a n d  E n g i ne e r i ng   C i t y   U ni ve r s i t y   S a v a r ,   Dh a ka ,  B a n g l a de s h     E m a i l :  r a z i b i s l a m 28 @ g m a il . c o m       1.   I NT RODU C T I ON   De e p  l e a r ni n g  h a s   e m e r ge d  a s   o n e   o f   t h e   m o s t   p r o m i s i ng  a ppr o a c h e s   f o r   a ddr e s s i n g  t h e   gr o wi n g   c o m p l e xi t y   o f   a n o m a ly - b a s e d  i n t r us i o n   de t e c t i o n   i n   m o de r n   c o m m u ni c a t i o n   n e t wo r ks .   Unl i ke   c o nve n t i o n a l  m a c hi ne   l e a r ni n g  m e t h o ds   t h a t  o f t e n   r e l y   o n   m a n ua ll y   e n g i ne e r e d  f e a t ur e s ,   de e p   l e a r ni ng  m o de l s   c a n  a uto m a t i c a ll y   l e a r n   hi e r a r c hi c a l   f e a t ur e   r e pr e s e n t a ti o n s   f r o m   hi g h - d i m e ns i o n a l   n e t wor k  t r a f f i c ,   e n a bli n g  m o r e   e f f e c t i v e   de t e c t i o n   o f   s o phi s t i c a t e d  a n d  pr e vi o u s l y   u n s e e n   c y b e r a t t a c ks .   T hi s   c a pa bil i t y   i s   pa r ti c u l a r l y   im p o r t a n t   a s   n e t w or k  e n vi r o nm e n t s   b e c o m e   i n c r e a s i ng l y   h e t e r o ge n e o us   a n d  dy n a mi c ,   r e n de r i ng  tr a d i t i o n a l   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2502 - 4752       N e t w or k   anomaly   de tec ti on  us ing  hy br id  de e p  lear ning  f r ame w o r k   ( R az ibul   I s lam  K han )   793   s i g na t ur e - b a s e d  de t e c t i o n   t e c h ni que s   l e s s   e f f e c t i v e   a ga i ns t   e v o l vi ng  a tt a c k  pa tt e r n s .   R e c e n t   a dv a n c e s   in  n e ur a l   n e t wo r k   a r c hi t e c t ur e s   h a v e   de m o n s t r a t e d  s t a t e - of - t h e - a r t  pe r f o r m a n c e   a c r o s s   a   w i de   r a n g e   of   l a r ge - s c a l e   c l a s s i f i c a t i o n   a n d  pa tt e r n   r e c o gn i t i o n   t a s ks   [ 1] – [ 3 ] ,   hi g hli g h t i n g  t h e i r   pot e n t i a l   f o r   c y b e r s e c ur i t y   a pp l i c a t i o ns .   I n   t h e   c o n t e x t   o f   n e t wo r k   i n t r us i o n   de t e c t i o n ,   f l o w - b a s e d  t r a f f i c   a na ly s i s   h a s   a t t r a c t e d   c o n s i de r a bl e   a tt e n t i o n   b e c a us e   i t   c a pt u r e s   e s s e n t i a l   c o m m u ni c a t i o n   c h a r a c t e r i s t i c s   whil e   r e duc i n g   c o m put a t i o n a l   o v e r h e a d  a n d  pr e s e r vi ng  us e r   pr i va c y   c o m pa r e d  w i t h   pa yl o a d - b a s e d  i ns pe c t i o n   [ 4] .   B u i l d i ng   upo n   t h e s e   de ve l o p m e n t s ,   t hi s   s t udy   i nve s t i ga t e s   t h e   e f f e c t i v e n e s s   o f   hy br i d  de e p  l e a r ni ng  m o de l s   b y   e x p l o r i ng  f l o w - b a s e d  n e t wo r k   f e a t ur e s   a n d  e va l ua t i n g  m u l t i p l e   n e ur a l   a r c hi t e c t ur e s   wi t hi n   a   uni f i e d  e x pe r im e n t a l   f r a m e wo r k.   T h e   o bj e c t i ve   i s   to   l e v e r a ge   t h e   c o m p l e m e n t a r y   s t r e n gt h s   o f   d i f f e r e n t   de e p  l e a r ni n g   pa r a d i g m s   t o  i m pr o v e   a n o m a ly   de t e c t i o n   pe r f o r m a n c e ,   e nh a n c e   ge n e r a li z a t i o n   c a pa bil i t y ,   a n d  pr o vi de   a   r o b us t   s o l ut i o n   f o r   i de n t i f yi ng  m a li c i o us   n e t wo r k   a c t i vi t i e s   u n de r   r e a l i s t i c   o pe r a t i n g  c o n d i t i o ns .   De s p i t e   t h e i r   wi d e s pr e a d  de p l o y m e n t ,   c o n v e n t i o na l   i n t r us i o n   de t e c t i o n   s y s t e m s   ( I DSs )   f a c e   s e v e r a l   li mi t a t i o ns   t h a t  r e duc e   t h e i r   e f f e c t i ve n e s s   i n   m o de r n   n e t wo r k   e n vi r o nm e n t s .   S i g n a t ur e - b a s e d  I DSs   a r e   hi g hl y  e f f e c t i v e   a ga i ns t   pr e vi o us ly   i de n t i f i e d  t h r e a t s   b ut   s t r uggl e   t o   de t e c t   z e r o - da y   a t t a c ks   a n d  r a p i d ly   e v o l vi ng   i n t r us i o n   pa tt e r n s ,   wh e r e a s   t r a di t i o n a l   a n o m a ly - b a s e d  a ppr o a c h e s   o f t e n   s u f f e r   f r o m   hi g h   f a l s e - po s i t i v e   r a t e s   due   to  t h e i r   r e l i a n c e   o n   pr e de f i ne d  t h r e s h o l d s   a n d  h a n dc r a f t e d  de c i s i o n   r u l e s   [ 5] – [ 10] .   E x c e s s i ve   f a l s e   a l a r m s   n o t   o nl y   i nc r e a s e   t h e   wo r k l o a d  o f   s e c ur i t y  a n a ly s t s   b ut   a l s o   d i mi n i s h   o pe r a t i o n a l   t r us t  i n   I DS  r e c o m m e n da t i o n s ,   t h e r e by   l im i t i ng  t h e i r   pr a c t i c a l   de p l o ym e n t   i n   r e a l - wo r l d  c y be r s e c ur i t y   o pe r a t i o ns     [ 11] ,   [ 12] .   F ur t h e r m o r e ,   c o n t e m po r a r y   n e t wo r k   tr a f f i c   e xhi b i t s   hi g hly   n o nl i ne a r ,   h e t e r o ge n e ous ,   a n d     hi g h - d i m e ns i o n a l   c h a r a c t e r i s t i c s ,   wh e r e   m a li c i o us   b e h a vi o r s   a r e   f r e que n t l y   c o n c e a l e d  w i t hi n   c o m p l e x  i n t e r a c t i o n s   a m o n g  m u l t i p l e   f l o w  f e a t ur e s   r a t h e r   t h a n   i nd i vi du a l   a t t r i b ut e s .   C o n v e n t i o n a l   m a c hi ne   l e a r ni ng   t e c h ni que s   o f t e n   h a v e   l im i t e d  c a pa bil i t y   t o   c a p t ur e   t h e s e   i n t r i c a t e   f e a t ur e   de pe n de n c i e s ,   r e s u l t i n g  i n  r e duc e d  de t e c t i o n   a c c ur a c y   w h e n   c o nf r o n t e d  w i t h   s o phi s t i c a t e d  o r   pr e vi o us l y   u n s e e n   a tt a c ks   [ 13] - [ 18] .     F r o m   a n   i m p l e m e n t a t i o n   pe r s pe c t i v e ,   pr a c t i c a l   I DS   s o l ut i o n s   m u s t   a l s o   s a t i s f y   s t r i n g e n t   o p e r a t i o n a l   r e qu i r e m e n t s ,   i nc l ud i ng  s c a l a bil i t y   f o r   hi g h - v o l u m e   n e t wo r k  tr a f f i c ,   r o b us t   a n d  r e pr o duc i bl e   pr e p r o c e s s i n g   p i pe li ne s ,   c o m put a t i o n a l   e f f i c i e n c y ,   a n d  l o w - l a t e nc y   i nf e r e n c e   s u i t a bl e   f o r   r e a l - t i m e   de p l o y m e n t   i n   e n t e r pr i s e   a n d  c l o ud  e nvi r o nm e n t s   [ 19] - [2 1 ] .   T h e s e   c h a ll e n ge s   hi g hli g h t   t h e   n e e d  f o r   a dv a nc e d  de e p  l e a r ni ng   f r a m e wo r ks   t h a t   n ot  o nl y   a c hi e v e   hi g h   de t e c t i o n   pe r f o r m a n c e   b ut   a l s o   m a i n t a i n  a n   a ppr o pr i a t e   b a l a n c e   b e t we e n   pr e c i s i o n   a n d  r e c a l l   w hil e   r e m a i n i ng  c o m put a t i o n a ll y   e f f i c i e n t   a n d  o pe r a t i o n a ll y   pr a c t i c a l   [ 2 2 ] - [2 3 ] .   A c c o r d i n g ly ,   t hi s   s t ud y   a ddr e s s e s   t h e   f o l l o w i n g  r e s e a r c h   que s t i o n :  Ho w  c a n   a   hy b r i d  n e ur a l  n e t wo r k   f r a m e wo r k  b e   de s i g n e d  a n d  e v a l ua t e d  to   a c hiev e   r o b us t   a n d  a c c ur a t e   a n o m a ly   de t e c t i o n   o n  m o de r n     f l o w - b a s e d  n e t wo r k   da t a s e t s   whi l e   pr e s e r vi ng  o pe r a t i o n a ll y   m e a ni ng f u l   pr e c i s i o n – r e c a ll   t r a de - o f f s   f o r   pr a c t i c a l   i n t r us i o n   de t e c t i o n   s y s t e m s ?   T o  a dd r e s s   t h e   a f or e m e n t i o n e d  c h a l l e n ge s ,   t h i s   wor k  pr op o s e s   T r i F us i o n - Ne t ,   a   hy b r i d  de e p  l e a r ni n g  f r a m e wo r k   f or   f l o w - b a s e d  n e t w or k   a n o m a l y   de t e c t i o n   a n d  e v a l ua t e s   i t s   pe r f o r m a n c e   us i n g  t h e   wi de l y  a d o p t e d   C I C - I DS - 20 18   b e n c hm a r k  da t a s e t  [ 3 ] .   T o  e n s ur e   a   f a i r   a n d   c o m pr e h e n s i ve   a s s e s s m e n t ,   f o u r   n e ur a l   n e t w or k   a r c hi t e c t u r e s   a r e   i m p l e m e n t e d   a n d  tr a i n e d  us i n g  a n   i de n t i c a l   pr e pr o c e s s i n g  pi pe l i ne ,   a s   i l l u s t r a ted   i n   F i gur e   1 .           F i gur e   1.   S o l ut i o n   wo r kf l o w  p i pe li ne   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,  Vo l .   4 3 ,   N o .   3 ,   S e p t e m b e r   20 2 6 :   792 - 807   794   T h e   f e e d f o r wa r d  n e ur a l   ne t wor k  ( F NN )   s e r v e s   a s   t h e   b a s e li ne   m o de l   f o r   l e a r ni ng  n o nli ne a r   r e l a t i o n s hi p s   a m o n g  ne t wor k  f l o w  f e a t ur e s .   A   o n e - d i m e n s i o n a l   c o nv o l ut i o n a l   n e ur a l   n e t wo r k  ( C NN )   i s   e m p l o y e d  t o  a u to m a t i c a l ly   e x t r a c t   di s c r im i na t i v e   l o c a l   f e a t ur e   pa tt e r n s   a n d  s pa t i a l   c o r r e l a t i o n s   w i t hi n   t h e   i nput   f e a t ur e   v e c to r   t h r o ugh   c o n v o l ut i o n a l   f il t e r i n g .   L o n g  s h o r t - t e r m   m e m o r y   ( L S T M ) - b a s e d  r e c ur r e nt  n e ur a l   n e t wo r ks   ( R NN s )   a r e   i n c o r po r a t e d   to   c a p t ur e   s e que n t i a l   de pe n de n c i e s   a n d  l o n g - r a n g e   i n t e r a c t i o ns   a m o n g   f l o w  f e a t ur e s   by   t r e a t i n g  t h e   f e a t ur e   v e c t or   a s   a n   or de r e d  s e que n c e ,   t h e r e by   e x p l o i t i n g  t h e   m e m o r y   c a pa bil i t y   o f   L S T M   c e l l s   to  m o de l   c o m p l e x   f e a t ur e   r e l a t i o n s hi p s .   B u i l d i n g  upo n   t h e   s t r e n gt h s   o f   t h e s e   i n d i v i dua l   a r c hi t e c t ur e s ,   t h e   pr o p o s e d  T r i F us i o n - Ne t   i n t e gr a tes   C NN ,   L S T M ,   a n d  F NN   i n t o   a   uni f i e d  hy br i d  f r a m e wo r k  t h a t   c o m bi ne s   hi e r a r c hi c a l   f e a t ur e   e x t r a c t i o n ,   s e qu e n t i a l   de pe n de nc y   l e a r ni ng,   a n d  n o nli ne a r   c l a s s i f ica t i o n   t o  im pr o v e   a n o m a ly   d e t e c t i o n   pe r f o r m a n c e .   B e y o n d  o f f l i ne   m o de l   e va l ua t i o n ,   t h e   tr a i ne d  f r a m e wo r k   i s   de p l o y e d  w i t hi n   a   li g h t we i g h t   F l a s k - ba s e d  we b   a p p l i c a t i o n   t h a t   a c c e pt s   25  n e t w or k  f l o w  f e a t ur e s   a s   i n put   a n d   pe r f o r m s   r e a l - t i m e   i nf e r e n c e   to   c l a s s i f y   t r a f f i c   a s   e i t h e r   b e ni g n   o r   m a li c i o u s .   T hi s   de p l o y m e n t - or i e n t e d   im p l e m e n t a t i o n   de m o ns t r a t e s   t h e   pr a c t i c a l   a pp li c a bil i t y   o f   t h e   pr o p o s e d  f r a m e wo r k  f o r   s uppor t i n g  i nt e l li ge n t   a n d  e f f i c i e n t   n e t wo r k   i n t r us i o n   de t e c t i o n   i n   o pe r a t i o n a l   c y be r s e c ur i t y   e nvi r o nm e n t s .   T hi s   s t ud y   a im s   t o   de v e l o p  a n d  e v a l ua t e   a   r o b us t   de e p  l e a r ni ng  f r a m e wo r k  f o r   f l o w - b a s e d  n e t wo r k   a n o m a ly   d e t e c t i o n   us i n g  ne ur a l   ne t wor k  a r c hi t e c t ur e s   a n d  a   s t a n da r d i z e d  e x p e r i m e n t a l   p i pe li ne .   S pe c if i c a ll y ,   t h e   pr o p o s e d  f r a m e wo r k  i s   de s i g n e d  to  pr o vi de   a   r e pr o duc i bl e   i n t r us i o n   de t e c t i o n   s y s t e m   b a s e d  o n   n e t wo r k   f l o w  f e a t ur e s   whi l e   e n a bli ng  a   f a i r   c o m pa r a t i v e   a na l y s i s   o f   f o ur   r e p r e s e n t a t i v e   de e p  l e a r ni ng  m o de l s ,   n a m e ly  F NN ,   C NN ,   L S T M - b a s e d ,   R NN ,   a n d  t h e   pr o p o s e d  hy b r i d  T r i F u s i o n - Ne t   a r c hi t e c t u r e .   Al l   m o de l s   a r e   t r a i n e d   a n d  e va l u a t e d   us i n g  a n   i de n t i c a l   pr e pr o c e s s i ng   s t r a t e gy   t o   e n s ur e   o bj e c t i v e   pe r f o r m a n c e   c o m pa r i s o n .     T h e i r   e f f e c t i v e n e s s   i s   a s s e s s e d  u s i ng  w i d e ly   a c c e pt e d  i n t r us i o n   de t e c t i o n   m e t r i c s ,   i nc l ud i ng  a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   F 1 - s c o r e ,   r e c e i ve r   o pe r a t i n g  c h a r a c t e r i s t i c   a r e a   u n de r   t h e   c ur v e   ( R OC - A U C ) ,   a n d  pr e c i s i o n - r e c a l l   AU C   whe r e   a pp l i c a bl e ,   to ge t h e r   wi t h   a n   a n a ly s i s   o f   t h e i r   s t r e n gt h s ,   l im i t a t i o n s ,   c o m p ut a t i o n a l   c h a r a c t e r i s t i c s ,   a n d  de p l o y m e n t   s u i t a bil i t y .   U nl i k e   c o n v e n t i o na l   s i g n a t ur e - b a s e d  i n t r us i o n   de t e c t i o n   s y s t e m s ,   t h e   pr o p o s e d   f r a m e wo r k  a d o p t s   a n   a n o m a ly - ba s e d  l e a r ni ng  a ppr o a c h   c a pa bl e   o f   r e c o gni z i ng  pr e vi o u s ly  un s e e n   m a li c i o u s   b e h a vi o r s   by   e x p l o i t i ng  d i s c r i mi na t i v e   f l o w - l e v e l   c ha r a c t e r i s t i c s   [ 4] .   T o   e n h a nc e   m o de l   r o b us t n e s s   a n d  r e pr o duc i bil i t y ,   a   u nif i e d  pr e pr o c e s s i n g  p i pe li ne   i nc o r po r a t i n g  f e a t ur e   s e l e c t i o n ,   da t a   n o r m a li z a t i o n ,   a n d  s t a bl e   n e ur a l   n e t wo r k   t r a i ni ng  i s   e m p l o y e d  u s i n g  25  r e pr e s e n t a t i v e   n e t wo r k   f l o w  f e a t ur e s .   F ur t h e r m o r e ,   t h e   pr a c t i c a l   a pp li c a bi li t y   o f   t h e   pr o p o s e d  a ppr o a c h   i s   de m o n s t r a t e d  t h r o ugh   t h e   de v e l o p m e n t   o f   a   l i g h t we i g h t   F l a s k - ba s e d  we b   a pp li c a t i o n   t h a t   i n t e gr a t e s   t h e   t r a i n e d  m o de l   w i t h   a   us e r - f r i e n d ly   i n t e r f a c e   f o r   r e a l - t i m e   pr e d i c t i o n ,   e n a bli ng  a uto m a t i c   c l a s s if ica t i o n   o f   n e t wo r k   tr a f f i c   a s   e i t h e r   b e ni g n   or   m a l i c i o u s .     C o l l e c t i v e ly ,   t h e s e   c o n t r i b ut i o ns   e s t a bl i s h   a   c o m pr e h e n s i ve   a n d  de p l o y m e n t - or i e n t e d  f r a m e wo r k   f o r   e v a l ua t i n g  hy b r i d  de e p  l e a r ni n g  t e c hni que s   i n   m o d e r n   ne t wor k  a n o m a ly   d e t e c t i o n   s y s t e m s .       2.   B AC K GROUND   S T UD Y  AN D  L I T E RA T UR E   RE VI E W   2. 1 .     I n t r u s ion   d e t e c t ion   s ys t e m   An   i n t r us i o n   de t e c t i o n   s y s t e m   ( I DS)   i s   a   c y be r s e c ur i t y   m e c h a ni s m   de s i g n e d  to   m o ni t o r   c o m put e r   s y s t e m s   o r   n e t w o r k   a c t i vi t i e s   i n   or de r   to  i de n t i f y   un a ut h o r i z e d  a c c e s s ,   m a li c i o u s   b e h a vi o r ,   p o l i c y   vio l a t i o n s ,   o r   ot h e r   s e c ur i t y   t h r e a t s .   B y   c o n t i n uo us ly   a n a ly z i ng  s y s t e m   e v e n t s   a n d  n e t wo r k   c o m m u ni c a t i o ns ,   a n   I DS  pr o vi de s   e a r l y   wa r ni ng  o f   po t e n t i a l   a t t a c ks   a nd  a s s i s t s   s e c ur i t y   a d mi n i s t r a to r s   i n   r e s po n d i ng  to   c y b e r   i nc i de n t s   b e f o r e   s i g ni f i c a n t   da m a ge   o c c ur s .   De pe n d i ng  o n   t h e   de p l o y m e n t   e n vi r o nm e n t   a n d  m o ni t o r i n g   s c o pe ,   I DSs   a r e   ge n e r a l ly   c a t e go r i z e d  i n t o   h o s t - b a s e d  i n t r us i o n   de t e c t i o n   s y s t e m s   ( HI DS)   a n d  n e t wor k - b a s e d   i n t r us i o n   de t e c t i o n   s y s t e m s   ( NI DS) .   A   HI D S   o pe r a t e s   a t  t h e   i n d i v i dua l   h o s t  l e v e l   by   m o ni t o r i n g  ope r a t i n g   s y s t e m   l o gs ,   a pp l i c a t i o n   e v e n t s ,   f il e   i n t e gr i t y ,   u s e r   a c t i vi t i e s ,   a n d  s y s t e m   c a ll s   t o  de t e c t  s us p i c i o us   b e h a vi o r   o c c ur r i n g  w i t hi n   a   s i ng l e   de vi c e .   I n   c o n t r a s t ,   a   NI DS  m o ni t o r s   n e t wor k  tr a f f i c   t r a v e r s i ng  c o m muni c a t i o n  li nks ,   r o u t e r s ,   o r   s wi t c he s   to   i de n t i f y   a bn o r m a l   c o m m u ni c a t i o n   pa tt e r n s   a n d  m a l i c i o u s   a c t i vi t i e s   a f f e c t i ng   m u l t i p l e   h o s t s   s i m u l t a n e o us l y .   M o de r n   NI DS  i m p le m e n t a t i o ns   i n c r e a s i ng l y   r e ly   o n   f l o w - l e v e l   a n a ly s i s   r a t h e r   t h a n   de e p  pa c ke t   i n s p e c t i o n   b e c a us e   n e t wo r k  f l o w  r e c o r ds   s u m m a r i z e   e s s e n t i a l   c o m m u ni c a t i o n  c h a r a c t e r i s t i c s   w hil e   r e duc i n g  c o m put a t i o n a l   o v e r h e a d  a n d  pr e s e r vi ng  us e r   pr i v a c y   i n  e n c r y pt e d  n e t wo r k   e nvi r o nm e n t s .   Ow i n g  t o  i t s   s c a l a bil i t y ,   e f f i c i e nc y ,   a n d  s u i t a bil i t y   f o r   hi g h - s p e e d  n e t wo r ks ,   f l o w - b a s e d   i n t r us i o n   de t e c t i o n   h a s   b e c o m e   a n   a tt r a c t i v e   a ppr o a c h   f o r   p r ot e c t i n g  c o n t e m po r a r y   e n t e r pr i s e ,   c l o ud,   a n d  i n t e r n e t - of - t hi n g s   ( I o T )   i nf r a s t r uc t ur e s .   A c c o r di n g ly ,   t hi s   s t udy   f o c us e s   o n   t h e   de v e l o p m e n t   o f   a   f l o w - b a s e d  n e t wo r k  i n t r us i o n   de t e c t i o n   s y s t e m   t h a t   ut i l i z e s   d e e p  l e a r ni ng  t e c hni qu e s   t o   i de n t i f y   m a li c i o u s   t r a f f i c   f r o m   r e pr e s e n t a t i v e   n e t wo r k   f l o w  f e a t ur e s .     2. 2 .     P r op os e d   s ys t e m   ove r view   T hi s   s t ud y   pr o po s e s   T r i F u s i o n - Ne t ,   a   hy b r i d  de e p  l e a r ni ng  f r a m e wo r k  de s i g ne d  to   i m pr o v e   n e t wor k   a n o m a ly   de t e c t i o n   by   e x p l o i t i ng  t h e   c o m p l e m e n t a r y   l e a r ni ng  c a pa bil i t i e s   o f   m u l t i p l e   n e ur a l  n e t wo r k   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2502 - 4752       N e t w or k   anomaly   de tec ti on  us ing  hy br id  de e p  lear ning  f r ame w o r k   ( R az ibul   I s lam  K han )   795   a r c hi t e c t ur e s .   T h e   pr o p o s e d  s y s t e m   a do p t s   a   s upe r vi s e d  l e a r ni n g  s t r a t e gy   us i n g  t h e   C I C - I DS2018   b e n c hm a r k   da t a s e t,   o n e   o f   t h e   l a r ge s t   publ i c ly   a v a il a bl e   da t a s e t s   f o r   i n t r us i o n   de t e c t i o n   r e s e a r c h ,   w hi c h   c o n t a i ns   d i v e r s e   b e ni g n   t r a f f i c   a n d  m u l t i p l e   c a t e gor i e s   o f   c o n t e m po r a r y   c y be r a t t a c ks .   W i t hi n  t h e   pr o p o s e d  f r a m e wo r k,     a   o n e - di m e ns i o n a l   C NN   i s   e m p l o y e d  t o  a u to m a t i c a ll y   e x t r a c t   di s c r im i na t i v e   l o c a l   f e a t ur e   pa tt e r n s   f r o m   n e t wo r k   f l o w  da t a ,   whi l e   a n   L S T M - b a s e d  R NN   mo de l s   t h e   s e que n t i a l   de pe n d e n c i e s   a n d  c o m p l e x   i n t e r a c t i o n s   a m o n g  f l o w  f e a t ur e s .   T h e   l e a r n e d  r e pr e s e n t a t i o n s   a r e   s u b s e qu e n t l y   pr o c e s s e d  by   a   F N N  t h a t   pe r f o r m s   n o nli ne a r   c l a s s if i c a t i o n   to  di s t i n gu i s h   b e ni g n   a n d   m a li c i o us   n e t wor k   t r a f f i c .   B y   i n t e gr a t i n g  s pa t i a l  f e a t ur e   e x t r a c t i o n ,   s e que n t i a l   de pe n de n c y   l e a r ni ng,   a n d   n o nl i ne a r   de c i s i o n   m a k i ng  i n t o  a   un i f i e d  a r c hi t e c t ur e ,   T r i F us i o n - Ne t   a i m s   t o  i m pr o v e   de t e c t i o n   r o b us t n e s s   a n d  ge n e r a li z a t i o n   c o m p a r e d  w i t h   i n d i v i du a l   de e p  l e a r ni ng  m o de l s .   T h e   f r a m e wo r k  i s   t r a i n e d  a n d  e v a l ua t e d  us i ng  2, 762, 891  n e t wo r k  f l o w  i n s t a n c e s ,   c o m pr i s i ng  2, 210, 312   t r a i ni ng  s a m p l e s   a n d  552, 579  t e s t i n g  s a m p l e s ,   f o l l o w i ng  a   s t a n da r d i z e d  pr e pr o c e s s i n g   p i pe li ne   t o   e n s ur e   c o n s i s t e n t   m o de l   c o m pa r i s o n   a n d  r e pr o duc i bl e   e x pe r i m e n t a t i o n .   E x pe r im e n t a l   e v a l ua t i o n  de m o ns t r a t e s   t h a t   t h e   pr o p o s e d  f r a m e wo r k  a c hi e v e s   a n   o v e r a ll   bi na r y   c l a s s i f i c a t i o n   a c c ur a c y   o f   95. 66% ,   i nd i c a t i n g  i t s   c a pa bil i t y   t o  e f f e c t i v e ly   de t e c t   a n om a l o us   n e t wor k  b e h a vi o r   whil e   m a i n t a i n i ng  c o m put a t i o n a l   e f f i c i e nc y   s u i t a bl e   f o r   pr a c t i c a l   n e t wo r k  i n t r us i o n   de t e c t i o n   a pp l i c a t i o n s .   B e y o n d  a c hi e vi ng  c o m p e t i t i v e   pr e d i c t i v e   pe r f o r m a n c e ,   t h e   pr o p o s e d   s y s t e m   i s   i nt e n de d  a s   a   de pl o y a bl e   de e p  l e a r ni ng  f r a m e wo r k  t h a t  c a n   s uppo r t   i n t e l li ge n t ,   s c a l a bl e ,   a n d  r e a l - t i m e   c y be r s e c ur i t y   m o ni t o r i n g  i n   m o de r n   ne t wor k  e n vi r o nm e n t s .       3.   M E T HO D   3. 1.     S of t war e   e n vir on m e n t   T h e   p r o p o s e d  n e t wor k  a n o m a ly   de t e c t i o n   f r a m e wo r k  wa s   i m p l e m e n t e d  us i n g  t h e   P y t h o n  pr o g r a m mi ng  l a n gua ge   b e c a us e   o f   i t s   c o m pr e h e ns i ve   e c o s y s t e m   f o r   s c i e n t i f i c   c o m put i n g,   m a c hi ne   lea r ni ng,   a n d  de e p  l e a r ni ng  r e s e a r c h .   Nu m e r i c a l   c o m put a t i o n   a n d  m a t r i x   m a ni pu l a t i o n   w e r e   pe r f o r m e d  us i n g  t he   Nu m P y   l i br a r y ,   w hil e   P a n da s   wa s   e m p l o y e d  f o r   da t a   l o a d i n g,   pr e pr o c e s s i n g,   a n d  e f f i c i e n t   m a ni pu l a t i o n   o f   l a r ge - s c a l e   n e t wo r k   f l o w  r e c o r ds .   T h e   S c i k i t - l e a r n   l i br a r y   pr o vi de d  e s s e n t i a l   ut i li t i e s   f o r   f e a t ur e   n o r m a li z a t i o n ,   da t a s e t  pa r t i t i o ni n g,   c l a s s   b a l a nc in g,   a n d  pe r f o r m a n c e   e v a l ua t i o n ,   e ns ur i n g  a   s t a nda r d i z e d   e x pe r im e n t a l   wo r kf l o w.   De e p  l e a r ni ng  m o de l s ,   i nc l ud i ng  t h e   F NN ,   C NN ,   L S T M - b a s e d ,   R NN ,   a n d  t h e   pr o p o s e d  T r i F u s i o n - Ne t   a r c hi t e c t ur e ,   we r e   de v e lo pe d  a n d  t r a i n e d  us i ng  t h e   T e ns o r F l o w - K e r a s   f r a m e wo r k,   whi c h   o f f e r s   o p t i mi z e d  c o m put a t i o n a l   pe r f o r m a n c e   a n d  f l e xi b l e   m o de l   c o n s t r uc t i o n .   V i s u a l i z a t i o n   o f   e x pe r im e n t a l   r e s u l t s ,   i n c l ud i ng  t r a i ni ng  c o nve r ge n c e ,   c o nf u s i o n   m a t r i c e s ,   a n d  r e c e i v e r   o pe r a t i n g  c h a r a c t e r i s t i c   ( R O C )   c ur v e s ,   wa s   c a r r i e d  o ut  us i n g   M a t pl o t l i b  a n d  S e a b o r n .   T h e   i n t e gr a t i o n   o f   t h e s e   s o f t wa r e   li b r a r i e s   pr o vi de s   a   r e pr o duc i bl e   a n d  s c a l a bl e   d e v e l o p m e n t   e nvi r o nm e n t   s u i t a bl e   f o r   i m p l e m e n t i ng  a n d   e v a l ua t i n g  de e p  l e a r ni n g - b a s e d  i n t r us i o n   de t e c t i o n   s y s t e m s   o n   l a r ge   n e t wo r k   t r a f f i c   da t a s e t s .     3. 2 .     Over all   s ys t e m   a r c h it e c t u r e   T h e   o v e r a l l   f r a m e wo r k  o f   t h e   pr o p o s e d  i n t r us i o n   d e t e c t i o n   s y s t e m   c o n s i s t s   o f   f i ve   s e que n t i a l   s t a ge s :   da t a   a c qui s i t i o n ,   da t a   pr e pr o c e s s i n g,   de e p  l e a r ni ng  m o de l   de v e l o p m e n t ,   pe r f o r m a n c e   e v a l ua t i o n ,   a n d   de p l o y m e n t   f o r   r e a l - t i m e   i nf e r e nc e .   T h e   w o r kf l o w  b e g i ns   w i t h   t h e   a c qu i s i t i o n   o f   n e t wor k  f l o w  r e c o r ds   f r o m   t h e   C I C - I DS2018  b e n c hm a r k  da t a s e t ,   f o l l o w e d  by   a   c o m pr e he n s i ve   pr e pr o c e s s i ng  s t a ge   t h a t  i n c l u de s   da t a   c l e a ni ng,   f e a t ur e   s e l e c t i o n ,   c a t e gor i c a l   e n c o d i n g,   n o r m a li z a t i o n ,   da t a s e t  pa r t i t i o ni ng,   a n d  i n put   r e s ha p i ng.   T h e s e   pr e pr o c e s s i ng  s t e ps   e n s ur e   da t a   c o n s i s t e nc y   a n d  i m pr o v e   t h e   s t a bil i t y   o f   n e ur a l   n e t wo r k   t r a i ni ng.   S ub s e qu e n t l y ,   f o ur   de e p  l e a r ni ng  a r c hi t e c t ur e s ,   n a m e ly   F NN ,   C NN ,   L S T M - b a s e d ,   R NN ,   a n d  t h e   pr o p o s e d   hy br i d  T r i F u s i o n - Ne t ,   a r e   t r a i n e d  us i ng  t h e   s a m e   p r e pr o c e s s e d  da t a s e t   to   f a c i li t a t e   a n   o bj e c t i v e   c o m p a r i s o n   o f   t h e i r   de t e c t i o n   c a pa bil i t i e s .   T h e   t r a i n e d  m o de l s   a r e   t h e n   e v a l ua t e d  us i n g  m u l t i p l e   i n t r us i o n   de t e c t i o n  pe r f o r m a n c e   m e t r i c s ,   i n c l ud i ng  a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   F 1 - s c o r e ,   R OC - A UC ,   a n d  pr e c i s i o n - r e c a ll   A UC .   F i na ll y ,   t h e   b e s t - pe r f o r m i ng  m o de l   i s   i n t e gr a t e d  i n t o   a   l i g h t we i g h t   we b - ba s e d  a pp li c a t i o n   f o r   r e a l - t i m e   n e t wo r k  tr a f f i c   c l a s s i f i c a t i o n .   T h e   c o m p l e t e   wor k f l o w  o f   t h e   pr o p o s e d  f r a m e wo r k  i s   i ll u s t r a t e d  i n   F i gur e   2,   whi c h   de m o n s t r a t e s   t h e   t r a n s i t i o n   f r o m   r a w  n e t wo r k   f l o w  da t a   to  pr a c t i c a l   de p l o ym e n t   a s   a n   o pe r a t i o n a l   i n t r us i o n   de t e c t i o n   s y s t e m .     3. 3 .     Dat a   c ol l e c t ion   an d   d at as e t   d e s c r ip t ion   T h e   pr o p o s e d  a n o m a ly   d e t e c t i o n   f r a m e wo r k  wa s   de v e l o pe d  a n d  e va l u a t e d  us i n g  t h e   C I C - I DS2018  b e n c hm a r k  da t a s e t ,   whi c h   h a s   b e c o m e   o n e   o f   t h e   m o s t   c o m pr e h e n s i ve   pu bli c   da t a s e t s   f o r   i n t r us i o n   de t e c t i o n  r e s e a r c h   due   to   i t s   r e a l i s t i c   n e t wor k  t r a f f i c   c h a r a c t e r i s t i c s   a n d  d i ve r s e   c y be r a t t a c k  s c e n a r i o s .   U nli ke   e a r l i e r   b e n c hm a r k  da t a s e t s   t h a t  m a i nly   c o n t a i n   s y n t h e t i c   tr a f f i c   pa tt e r n s ,   C I C - I DS2018  i n c o r po r a t e s   c o n t e m po r a r y   c o m m u ni c a t i o n   pr oto c o l s ,   e n c r y pt e d  n e t wo r k   s e r vi c e s ,   a n d  m u l t i p l e   c a t e go r i e s   o f   m o de r n   c y be r a tt a c ks   ge n e r a t e d  w i t hi n   a   r e a l i s t i c   e n t e r pr i s e   n e t wo r k   e nvi r o nm e n t .   C o n s e que n t l y ,   t h e   da t a s e t   pr o vi de s   a   m o r e   r e pr e s e n t a t i v e   b e n c hm a r k  f o r   a s s e s s i ng  t h e   e f f e c t i v e n e s s   a n d  ge n e r a li z a t i o n   c a pa bil i t y   o f   de e p  l e a r nin g - b a s e d   i n t r us i o n   de t e c t i o n   s y s t e m s   u n de r   pr a c t i c a l   o pe r a t i n g  c o n d i t i o ns .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,  Vo l .   4 3 ,   N o .   3 ,   S e p t e m b e r   20 2 6 :   792 - 807   796   I n   t hi s   s t ud y ,   ne t wor k  tr a f f i c   i s   r e pr e s e n t e d  us i n g   f l o w - b a s e d  f e a t ur e s   e x t r a c t e d  f r o m   bi d i r e c t i o n a l  c o m m u ni c a t i o n   s e s s i o ns   r a t h e r   t h a n   r a w  pa c ke t   pa y l o a ds .   F l o w - l e v e l   a n a ly s i s   o f f e r s   s e v e r a l   pr a c t i c a l  a dv a n t a ge s ,   i n c l ud i ng  l o we r   c o m put a t i o n a l   o ve r h e a d,   i m pr o v e d  s c a l a bil i t y   f o r   hi g h - s p e e d  n e t wor ks ,   a n d   gr e a t e r   c o m pa t i bil i t y   w i t h   e n c r y pt e d  c o m m u ni c a ti o n s   w h e r e   pa y l o a d  i ns pe c t i o n   i s   n o   l o n ge r   f e a s ibl e .   T o   f o r m u l a t e   a   bi n a r y   i n t r us i o n   de t e c t i o n   pr o bl e m ,   a l l   b e ni g n   t r a f f i c   r e c o r ds   we r e   a s s i g ne d  t h e   l a b e l   0,   wh e r e a s   a l l   m a l i c i o us   t r a f f i c   r e c o r ds ,   r e ga r dl e s s   o f   a tt a c k  c a t e g o r y ,   we r e   a s s i g n e d  t h e   l a b e l   1.   T hi s   bi na r y   f o r m u l a t i o n   e n a bl e s   t h e   pr o p o s e d  f r a m e wo r k  to  f o c us   o n   di s t i n gu i s hi ng  n o r m a l   a n d  a n o m a l o us   n e t wo r k   b e h a vio r   whi l e   m a i n t a i n i ng  a pp li c a bil i t y   t o   r e a l - wo r l d  i n t r us i o n   de t e c t i o n   s y s t e m s   t h a t   pr i o r i t i z e   r a p i d  a t t a c k  i de nt i f i c a t i o n  o v e r   f i ne - gr a i ne d  a tt a c k  c l a s s if i c a t i o n .     3. 4 .     Dat a   p r e p r o c e s s in g   E f f e c t i v e   da t a   p r e pr o c e s s i ng  i s   e s s e n t i a l   f o r   a c h i e vi ng  r e l i a bl e   a n d  s t a bl e   pe r f o r m a n c e   i n   de e p   l e a r ni ng - ba s e d  i n t r us i o n   de t e c t i o n   s y s t e m s   b e c a us e   r a w  n e t wo r k   t r a f f i c   o f t e n   c o n t a i ns   m i s s i ng  v a l ue s ,   i nf i n i t e   v a l ue s ,   i nc o n s i s t e n t   f e a t ur e   s c a l e s ,   a n d  h e t e r o ge n e o us   da t a   t y pe s .   W i t h o ut  a ppr o p r i a t e   pr e pr o c e s s i n g,   t h e s e   i r r e gu l a r i t i e s   m a y   de gr a de   m o de l   c o nve r ge nc e ,   i n t r o duc e   n u m e r i c a l   i ns t a bil i t y   dur i n g  o pt i mi z a t i o n ,     a n d  r e duc e   t h e   ge ne r a l i z a t i o n   c a p a bi li t y   o f   t h e   t r a i ne d  m o de l s .   A c c o r di n g ly ,   a   c o m pr e h e n s i ve   pr e pr o c e s s i n g   p i pe li ne   wa s   de v e l o pe d  to   i m pr o v e   da t a   qua l i t y   w hil e   e ns ur i n g  f a i r   c o m pa r i s o n   a m o n g  t h e   e v a l ua t e d  n e ur a l  n e t wo r k  a r c hi t e c t ur e s .   T h e   o v e r a l l   pr e pr o c e s s i ng   wo r kf l o w  i s   i ll u s t r a t e d  i n   F i gur e   2,   be g i nni ng  w i t h   r a w   n e t wo r k   f l o w  a c qu i s i t i o n   a n d  e n d i ng  w i t h   m o de l - r e a d y   i nput   f e a t ur e s   s u i t a bl e   f o r   de e p  l e a r ni n g.   T h e   f i r s t   s t a ge   i nv o l v e d  da t a   c l e a ni ng  to  e l im i na t e   i n c o m p l e t e   a n d  i nv a li d  o b s e r v a t i o n s .   R e c o r ds   c o n t a i ni ng  m i s s i ng  v a l ue s   or   un de f i ne d  e n t r i e s   we r e   r e m o v e d,   whil e   i nf i ni t e   n u m e r i c a l   v a l ue s   ge n e r a t e d  dur i n g  f l o w  e x t r a c t i o n   we r e   i de n t i f i e d  a n d  r e p l a c e d  w i t h   v a li d  r e pr e s e n t a t i o ns   b e f o r e   f ur t h e r   pr oc e s s i ng.   No n - n u m e r i c   a tt r i b ut e s   t h a t   c o ul d  n o t   b e   d i r e c t l y   pr o c e s s e d  by   n e ur a l   n e t wor ks   we r e   e x c l ude d  t o   e n s ur e   n u m e r i c a l   c o n s i s t e n c y   a c r o s s   t h e   da t a s e t .   S ub s e que n t l y ,   t h e   o r i g i na l   c a t e go r i c a l   t r a f f i c   l a b e l s   w e r e   t r a n s f o r m e d  i n t o  n u m e r i c a l   bi na r y   c l a s s e s   t h r o ugh   l a b e l   e n c o d i n g,   wh e r e   b e ni g n   t r a f f i c   wa s   e n c o de d  a s   0  a n d  a l l   a t t a c k  c a t e g or i e s   we r e   e n c o de d  a s   1.   T hi s   bi n a r y   r e pr e s e n t a t i o n   s im p li f i e s   t h e   l e a r ni ng  o bj e c t i v e   w hil e   pr e s e r vi ng  t h e   e s s e n t i a l   d i s t i n c t i o n   be t we e n   l e g i t i m a t e   a n d  m a li c i o u s   n e t wo r k  a c t i vi t i e s .   F e a t u r e   s e l e c t i o n   wa s   t h e n   pe r f o r m e d  t o   r e duc e   da t a   di m e ns i o n a li t y   a n d  e l im i na t e   r e dun da n t   i n f o r m a t i o n   t h a t   c o ul d  n e ga t i v e ly   i n f l ue n c e   m o de l   p e r f o r m a n c e .   R a t h e r   t h a n   ut i li z i ng  a ll   a va i l a bl e   n e t wo r k   a tt r i b ut e s ,   t hi s   s t ud y   s e l e c t e d  25  r e pr e s e n t a t i v e   f lo w - l e v e l   f e a t ur e s   b a s e d  o n   s t a t i s t i c a l   c o r r e l a t i o n   a n a ly s i s ,   t h e i r   r e l e v a nc e   to   t h e   t a r ge t  c l a s s ,   a n d  e s t a bli s he d  do m a i n   k n o w l e dge   i n   n e t wo r k  s e c ur i t y .   T h e s e   f e a t ur e s   c a pt ur e   i m po r t a n t  c o m m u ni c a t i o n   c h a r a c t e r i s t i c s   s uc h   a s   f l o w  dur a t i o n ,   pa c ke t  s t a t i s t i c s ,   a n d  t r a f f i c   b e h a vi o r   t h a t   a r e   c o m m o nly   a s s o c i a t e d  w i t h   i n t r us i o n   d e t e c t i o n .   B y   r e duc i ng  i r r e l e v a n t   o r   we a kl y   i n f o r m a t i v e   v a r i a bl e s ,   t h e   s e l e c t e d  f e a t ur e   s ub s e t   i m pr o v e s   c o m put a t i o n a l   e f f i c i e n c y   w hil e   e nh a n c i ng  t h e   d i s c r i mi na t i v e   c a pa bi li t y   o f   t h e   de e p  l e a r ni ng  m o de l s.   B e c a us e   t h e   s e l e c t e d  n e t wo r k  f l o w  f e a t ur e s   e xhi b i t   s u b s t a n t i a ll y   d if f e r e n t   n u m e r i c a l   r a n g e s ,     M i n - M a x   n o r m a li z a t i o n   wa s   s u b s e qu e n t l y   a pp li e d  t o  s c a l e   a ll   f e a t ur e   v a l u e s   i n t o   t h e   i n t e r va l   [ 0, 1] .     F e a t ur e   n o r m a li z a t i o n   pr e v e n t s   v a r i a bl e s   w i t h   l a r g e   n u m e r i c a l   m a g ni t ude s   f r o m   do m i na t i n g  t h e   o pt i mi z a t i o n   pr o c e s s   a n d  c o n tr i b ut e s   to  f a s t e r   c o n v e r ge n c e   dur i ng  n e ur a l   n e t wo r k   t r a i ni ng.   F o l l o w i ng  n o r m a li z a t i o n ,   t h e   c o m p l e t e   da t a s e t   wa s   pa r t i t i o n e d  i n t o   80%   t r a i nin g  da t a   a n d  20%   t e s t i n g  da t a   us i ng  s t r a t i f i e d  s a m p li n g  to  pr e s e r v e   t h e   o r i g i na l   c l a s s   d i s t r i b ut i o n   i n   b ot h   s ub s e t s .   T hi s   s t r a t e gy   e n a bl e s   a n   o bj e c t i v e   e v a l u a t i o n   o f   t h e   ge n e r a li z a t i o n   c a pa bil i t y   o f   t h e   pr o p o s e d  f r a m e wo r k  whi l e   mi n im i z i ng  s a m p l i ng  bi a s .           F i gur e   2.   C o n c e pt ua l   p i pe l i ne   f o r   n e t wor k  a n o m a ly   de t e c t i o n   a n d  de p l o ym e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2502 - 4752       N e t w or k   anomaly   de tec ti on  us ing  hy br id  de e p  lear ning  f r ame w o r k   ( R az ibul   I s lam  K han )   797   F i na ll y ,   t h e   n o r m a l i z e d  f e a t ur e   v e c t o r s   we r e   r e s ha pe d  to   s a t i s f y   t h e   i n put   r e qu i r e m e n t s   o f   t h e     C NN – L S T M   a r c hi t e c t ur e .   E a c h   n e t wor k  f l o w  wa s   r e pr e s e n t e d  a s   a   o n e - d i m e n s i o na l   s e qu e n c e   c o n s i s t i n g  o f   25  o r de r e d   f l o w  f e a t ur e s ,   wh e r e   e a c h   f e a t ur e   w a s   tr e a t e d   a s   a n   i n d i v i dua l   t i m e s t e p  wi t h   a   s i n g l e   i n put   c h a nne l .   Al t h o ugh   n e t wo r k   f l o w  a tt r i b ut e s   a r e   n ot  t e m po r a l   o b s e r v a t i o n s   i n   t h e   c o nv e n t i o n a l   s e n s e ,   t hi s   r e pr e s e n t a t i o n   a l l o w s   t h e   L S T M   l a y e r   to  m o de l   c om p l e x   de pe n de n c i e s   a m o n g  c o r r e l a t e d   f l o w  c h a r a c t e r i s t i c s   whil e   e n a bli ng  t h e   c o nv o l ut i o n a l   l a y e r   to   e x t r a c t  d i s c r im i na t i v e   l o c a l   f e a t ur e   pa tt e r n s .   T h e   a do pted  i n put   r e pr e s e n t a t i o n ,   i ll us t r a t e d   i n   F i gur e   3,   pr o vi de s   a   uni f i e d  da t a   f o r m a t   f o r   a l l   e v a l ua t e d  de e p  l e a r ni ng   a r c hi t e c t ur e s   a n d  f a c i l i t a t e s   c o n s i s t e n t   pe r f o r m a n c e   c o m pa r i s o n   t h r o ugh o u t  t h e   e x pe r im e n t a l   s t ud y .           F i gur e   3.   I n put  da t a   di m e n s i o ns   f o r   hy b r i d  C N N - R NN   tr a i ni ng  a n d  t e s t i n g       3. 5 .     M od e l   d e ve l op m e n t   3. 5. 1 .  M od e l   s e l e c t ion   r at ion al e   T o  c o m pr e h e ns i ve ly   e va l u a t e   t h e   e f f e c t i ve n e s s   o f   d i f f e r e n t   de e p  l e a r ni ng  pa r a d i g m s   f o r   f l o w - b a s e d   i n t r us i o n   de t e c t i o n ,   t hi s   s t ud y   i nv e s t i ga t e s   t h r e e   r e pr e s e n t a t i v e   n e ur a l   n e t wo r k   a r c hi t e c t ur e s   to ge t h e r   wi t h   a   hy br i d  f r a m e wo r k  t h a t   i n t e gr a t e s   t h e i r   c o m p l e m e n t a r y   l e a r ni ng  c a pa bil i t i e s .   R a t h e r   t h a n   r e lyi ng  o n  a   s i n g l e   m o de l ,   t h e   o bj e c t i v e   i s   to  e x a m i ne   h o w  di f f e r e n t   f e a t ur e   l e a r ni ng  m e c ha ni s m s   i nf l ue n c e   a n o m a ly   d e t e c t i o n  pe r f o r m a n c e   un de r   a n   i de n t i c a l   e x pe r i m e n t a l   s e t t i n g.   All   m o de l s   w e r e   tr a i ne d  us i n g  t h e   s a m e   pr e pr o c e s s e d   da t a s e t,   hy pe r pa r a m e t e r   c o nf i gur a t i o n ,   a n d  e v a l u a ti o n   pr oto c o l   to   e n s ur e   a   f a i r   a n d  o bj e c t i v e   c o m pa r is o n .   T h e   F NN   wa s   a do pt e d  a s   t h e   b a s e li ne   c l a s s i f i e r   b e c a us e   o f   i t s   r e l a t i v e ly   s im p l e   a r c hi t e c t ur e   a n d   pr o v e n   c a pa bi li t y   t o   a pp r o xi m a t e   n o nl i ne a r   de c i s i o n   b o un da r i e s   i n   s upe r vi s e d  c l a s s i f i c a t i o n   pr o bl e m s .   Al t h o ugh   F NN s   e f f e c t i v e ly   m o de l   n o nl i ne a r   r e l a ti o n s hi p s   a m o n g  i n put   f e a t ur e s ,   t h e y   pr o c e s s   e a c h  f e a t ur e   i nde pe n de n t l y   w i t h o ut  e x p l i c i t ly   e x p l o i t i ng  l o c a l   c o r r e l a t i o n s   o r   hi g h e r - o r de r   de pe n de n c i e s   t h a t   c omm o nl y   e xi s t   i n   n e t wor k  tr a f f i c .   C o n s e que n t l y ,   t h e   F NN   pr o vi de s   a   us e f u l   pe r f o r m a n c e   b e n c hm a r k  a ga i ns t  whi c h  m o r e   s o phi s t i c a t e d  de e p  l e a r ni n g  a r c hi t e c t ur e s   c a n   b e   e v a l ua t e d.   T h e   C NN   e x t e n d s   t hi s   c a pa bil i t y   by   e m p l o yi ng  o n e - d i m e ns i o na l   c o nv o l ut i o n a l   f il t e r s   to  a uto m a t i c a ll y   e x t r a c t   di s c r i mi na t i v e   l o c a l   f e a t ur e   pa tt e r n s   f r o m   t h e   n e t wo r k  f l o w  r e pr e s e n t a t i o n .     T h r o ugh   hi e r a r c hi c a l   f e a t ur e   l e a r ni ng,   C NN s   c a n  i d e n t i f y   i m po r t a n t   n e i g hb o r i n g  r e l a t i o n s hi ps   a mo n g  f l o w   s t a t i s t i c s   w hil e   r e duc i n g  de pe n de nc e   o n   m a n ua l   f e a t ur e   e n g i ne e r i n g.   T h e i r   pa r a m e t e r - s h a r i n g  m e c h a ni s m   a l s o   c o n t r i b ut e s   to  c o m put a t i o n a l   e f f i c i e n c y   a n d  i m pr o v e d  ge ne r a l i z a t i o n ,   m a k i ng  C NN s   a tt r a c t i v e   f o r   l a r ge - s c a l e   i n t r us i o n   de t e c t i o n   a pp l i c a t i o ns   i nv o l vi ng  hi g h - d im e ns i o na l   n e t wo r k   t r a f f i c .   T o  f ur t h e r   c a p t ur e   c o m p l e x   de pe n de n c i e s   a m o ng  n e t w o r k   f l o w  f e a t ur e s ,   t h i s   s t udy   e m p l o y s   a n   L S T M - b a s e d  R NN .   U nli ke   c o nv e n t i o n a l   r e c ur r e n t   n e t wo r ks   t h a t   o f t e n   s u f f e r   f r o m   va ni s hi ng   gr a d i e n t   pr o bl e m s   dur i n g  t r a i ni ng,   L S T M   i n t r o duc e s   m e m o r y   c e l l s   a n d  ga t i n g  m e c h a ni s m s   t h a t   e n a bl e   t h e   n e t wo r k   to  pr e s e r v e   r e l e v a n t   i nf o r m a t i o n   o v e r   l o n g e r   f e a t ur e   de pe n de nc i e s .   Al t h o ugh   n e t wo r k  f l o w  a tt r i b ut e s   a r e   n o t  t e m po r a l   o b s e r v a t i o n s   i n   t h e   t r a di t i o n a l   s e n s e ,   r e pr e s e n t i n g  t h e   s e l e c t e d  f l o w  f e a t ur e s   a s   a n   or de r e d   s e que nc e   e n a bl e s   t h e   L S T M   l a y e r   to   l e a r n   c o m p l e x   i n t e r a c t i o n s   a m o n g  c o r r e l a t e d  tr a f f i c   c h a r a c t e r i s t i c s   t h a t   m a y   n o t   b e   a de qua t e l y   c a pt ur e d  by   f e e d f o r wa r d  o r   c o n v o l ut i o n a l   m o de l s   a l o n e .   B u i l d i ng  upo n   t h e s e   c o m p l e m e n t a r y   s t r e n gt h s ,   t h e   pr o p o s e d  T r i F u s i o n - Ne t   i n t e gr a t e s   C NN ,   L S T M ,   a n d  F NN   i n t o   a   uni f i e d  hy br i d  a r c hi t e c t ur e .   W i t hi n  t hi s   f r a m e wo r k,   t h e   c o n v o l ut i o n a l   l a y e r   f i r s t  e x t r a c t s   r e pr e s e n t a t i v e   l o c a l   f e a t ur e   pa tt e r n s ,   t h e   L S T M   l a y e r   s u bs e que n t l y   m o de l s   hi g h e r - l e v e l   de p e n de n c i e s   a m o n g   t h e   l e a r n e d  r e pr e s e n t a t i o n s ,   a n d  t h e   de n s e   c l a s s if ier   pe r f o r m s   n o nl i ne a r   de c i s i o n   m a k i ng  f o r   bi n a r y   i n t r us i o n  c l a s s if i c a t i o n .   T h e   hy br i d  a r c hi t e c t ur e   i s   de s i g n e d  to   c o m bi ne   e f f i c i e n t   f e a t ur e   e x t r a c t i o n   w i t h   de pe n de nc y   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,  Vo l .   4 3 ,   N o .   3 ,   S e p t e m b e r   20 2 6 :   792 - 807   798   m o d e li ng,   t h e r e by   im pr o vi n g  de t e c t i o n   r o b us t n e s s   w hil e   m a i n t a i n i ng  c o m put a t i o na l   e f f i c i e n c y .     T h e   o v e r a l l   da t a   r e pr e s e n t a t i o n   a do p t e d   f o r   C NN – L S T M   pr o c e s s i n g  i s   i ll us t r a t e d   i n   F i gur e   3,   wh e r e a s   t h e   c o m p l e t e   a r c hi t e c t ur e   o f   t h e   pr o p o s e d  T r i F us i o n - N e t   i s   pr e s e n t e d  i n   F i gur e   4.     3. 5. 2 .  T r iF u s ion - N e t   ar c h it e c t u r e   T h e   pr o p o s e d  T r i F u s i o n - Ne t   a r c hi t e c t ur e   wa s   de s i g n e d  t o   e x p l o i t   t h e   c o m p l e m e n t a r y   s t r e n gt h s   o f   c o n v o l ut i o n a l ,   r e c ur r e n t ,   a n d  f u ll y   c o nne c t e d  n e ur a l   ne t wor ks   wi t hi n   a   unif i e d  de e p  l e a r ni ng  f r a m e wo r k   f o r   ne t wo r k   a n o m a l y   de t e c t i o n .   As   i ll us t r a t e d  i n   F igur e   4,   t h e   a r c hi t e c t ur e   b e g i ns   w i t h   a   o n e - d i mens i o n a l   c o n v o l ut i o n a l   l a y e r   t h a t   pe r f o r m s   a ut o m a t i c   f e a t ur e   e x t r a c t i o n   f r o m   t h e   n o r m a l i z e d  ne t wor k  f l o w   r e pr e s e n t a t i o n .   T h e   c o nv o l ut i o n   o pe r a t i o n   l e a r ns   d i s c r i mi na t i v e   l o c a l   p a tt e r n s   a m o n g  n e i g hb o r i n g  f l o w   f e a t ur e s   whil e   pr e s e r vi ng  c o m put a t i o na l   e f f i c i e n c y   t h r o ugh   pa r a m e t e r   s h a r i ng.   B a t c h   No r m a li z a t i o n   i s   s ubs e que n t l y   a pp l i e d  to  s t a bi li z e   t h e   di s t r i b ut i o n   o f   i n t e r m e d i a t e   f e a t ur e   m a ps ,   a c c e l e r a t e   c o n ve r ge n c e ,     a n d  i m p r o v e   t r a i ni ng  r o b us t n e s s   by   r e duc i ng  i nt e r n a l   c o v a r i a t e   s hif t .   A   M a x - P o o l i n g  l a y e r   f o l lo ws   t h e   c o n v o l ut i o n   s t a ge   to   r e duc e   f e a t ur e   di m e ns io n a l i t y ,   s uppr e s s   r e du n da n t   i nf o r m a t i o n ,   a n d   e nh a n c e   c o m put a t i o n a l   e f f i c i e n c y   w i t h o ut  s i g ni f i c a n t l y   de g r a d i n g  d i s c r i mi na t i v e   f e a t ur e   r e pr e s e n t a t i o n .           F i gur e   4.   A r c hi t e c t ur e   o f   t h e   hy br i d  C NN – L S T M – F NN   m o d el       T h e   e x t r a c t e d   f e a t ur e   m a p s   a r e   t h e n   pr o c e s s e d  b y   a n   L S T M   l a y e r ,   whi c h   s e r v e s   a s   t h e   s e que n t i a l  l e a r ni ng  c o m po n e n t   o f   t h e   pr o p o s e d  f r a m e wo r k.   T h r o ugh   i t s   m e m o r y   c e ll s   a n d  ga t i n g  m e c h a ni s m s ,     t h e   L S T M   s e l e c t i ve l y   r e t a i ns   i nf o r m a t i v e   f e a t ur e   i n t e r a c t i o n s   whil e   f il t e r i ng  i r r e l e v a n t   i nf o r m a t i o n ,   t h e r e by  e n a bli ng  t h e   m o de l   to   c a p t ur e   hi g h e r - o r de r   de pe n de n c i e s   a m o n g  n e t wo r k   f l o w  c h a r a c t e r i s t i c s .   C o m pa r e d   w i t h   c o nv e n t i o n a l   r e c ur r e n t   n e ur a l   ne t wor ks ,   L S T M   o f f e r s   gr e a t e r   s t a bi li t y   dur i ng  t r a i ni ng  a n d  im pr o v e d   c a pa bi l i t y   f o r   m o de l i ng  l o n g - r a n ge   r e l a t i o ns hi ps ,   m a k i ng  i t   pa r t i c u l a r ly   s u i t a bl e   f o r   l e a r ni ng  c o m p l e x   pa t t e r n s   a s s o c i a t e d  w i t h   m a li c i o u s   n e t wo r k  b e h a vi o r .   F i na ll y ,   t h e   l e a r n e d  f e a t ur e   r e p r e s e n t a t i o ns   a r e   pa s s e d  to   a   f u l ly   c o nn e c t e d  c l a s s i f i c a t i o n   h e a d   c o n s i s t i n g   o f   de n s e   l a y e r s   t h a t  pe r f o r m   n o nl i ne a r   m a pp i ng  to  t h e   o u t pu t  s pa c e .   T h e   f i na l   o ut pu t  n e ur o n   e m p l o y s   a   s i g m o i d  a c t i v a t i o n   f u n c t i o n   to  e s t i m a t e   t h e   pr o b a bil i t y   t h a t   a   n e t w o r k   f l o w  b e l o n gs   to  e i t h e r   t h e   b e ni g n   o r   m a l i c i o us   c l a s s .   Dur i n g  m o de l   o pt i m i z a t i o n ,   b i na r y   c r o s s - e n t r o py   wa s   a do pt e d   a s   t h e   l o s s   f un c t i o n ,   whil e   t h e   A da m   o p t i mi z e r   wa s   e m p l o y e d  to  up da t e   n e t wor k   pa r a m e t e r s   b e c a u s e   o f   i t s   f a s t   c o n v e r ge n c e     a n d  r o b us t n e s s   f o r   l a r ge - s c a l e   de e p  l e a r ni n g  a pp l i c a t i o n s .   T he   m o de l   wa s   t r a i ne d  f o r   25  e po c h s   us i n g   a   b a t c h  s i z e   o f   512,   pr o v i d i ng  a   b a l a n c e   b e t we e n  c o m put a t i o n a l   e f f i c i e n c y   a n d  m o de l   c o n ve r ge n c e .     T hi s   u ni f i e d  a r c hi t e c t ur e   e n a bl e s   T r i F us i o n - Ne t   to   s i m u l t a n e o us l y   e x p l o i t   hi e r a r c hi c a l   f e a t ur e   e xt r a c t i o n ,   de pe n d e n c y   l e a r ni ng,   a n d  n o nli ne a r   c l a s s if i c a t i o n ,   t h e r e by   pr o vi d i ng  a   r o b us t   f r a m e wo r k  f o r   l a r ge - s c a l e   f l o w - b a s e d  i n t r us i o n   de t e c t i o n .       4.   RE S UL T   AN D  DI S CU S S I ON   4. 1 .     E x p e r im e n t a l   e val u at ion   T o  c o m pr e h e n s i ve ly   a s s e s s   t h e   e f f e c t i v e ne s s   o f   th e   pr o p o s e d  T r i F us i o n - Ne t   f r a m e wo r k,   e x t e n s i v e   e x pe r im e n t s   we r e   c o n duc t e d   us i n g  t h e   C I C - I DS 2018  b e n c hm a r k  da t a s e t  un de r   a   c o n s i s t e n t   e x pe r i m e n t a l   pr oto c o l .   Af t e r   c o m p l e t i n g  t h e   tr a i ni ng  p h a s e ,   t h e   pr o p o s e d  hy b r i d  m o de l   a n d  t h e   t h r e e   c o m pa r a t i ve   de e p   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2502 - 4752       N e t w or k   anomaly   de tec ti on  us ing  hy br id  de e p  lear ning  f r ame w o r k   ( R az ibul   I s lam  K han )   799   l e a r ni ng  a r c hi t e c t ur e s ,   n a m e ly   t h e   F N N,   C NN ,   a n d   R NN - L S T M ,   we r e   e v a l u a t e d  us i n g  a n   i nde pe n d e nt   t e s t i n g  da t a s e t  t h a t   wa s   e x c l ude d  f r o m   m o de l   t r a i ni ng.   T hi s   e v a l ua t i o n   s t r a t e gy   pr o vi de s   a n   unbi a s e d  a s s e s s m e n t   o f   t h e   m o de l s '   ge n e r a li z a t i o n   c a pa bil i t y   w h e n   e x po s e d  to   p r e vi o us ly   u n s e e n   n e t wo r k   t r a f f i c   a n d  e n a bles   a   f a i r   c o m pa r i s o n   a m o n g  d i f f e r e n t   n e ur a l   a r c hi t e c t ur e s .   All   e x pe r im e n t s   e m p l o y e d  t h e   i de n t i c a l   pr e pr o c e s s i ng  p i pe li ne   de s c r i be d  i n   S e c t i o n   3,   i n c l ud i ng   da t a   c l e a ni ng,   bi na r y   l a b e l   e n c o d i n g,   f e a t ur e   s e l e c t i o n ,   M i n - M a x   n o r m a li z a t i o n ,   a n d  da t a   r e s ha p i ng.   M a i n t a i ni ng  i de n t i c a l   pr e pr o c e s s i ng  pr o c e dur e s   e n s ur e s   t h a t  pe r f o r m a nc e   d i f f e r e nc e s   a r i s e   s o l e l y   f r o m   t h e   l e a r ni ng  c a pa bil i t i e s   o f   e a c h   n e ur a l   a r c hi t e c t ur e   r a t h e r   t h a n   i nc o ns i s t e n c i e s   i n   d a t a   pr e pa r a t i o n .   S uc h   a n  e v a l ua t i o n   m e t h o do l o g y   i m pr o v e s   t h e   r e l i a bil i t y  a n d  r e pr o duc i bil i t y   o f   t h e   e x pe r i m e n t a l   f i nd i n gs   whi l e   pr o vi d i n g  a   m e a ni ng f u l   c o m pa r i s o n   o f   t h e   i nv e s t i g a t e d  de e p  l e a r ni n g  m o de l s .   P e r f or m a n c e   e v a l ua t i o n   wa s   c a r r i e d  o u t  us i n g  s e v e r a l   c o m p l e m e n t a r y   m e t r i c s   t h a t  a r e   wi de l y   a do p t e d  i n   i n t r us i o n   de tec t i o n   r e s e a r c h ,   i n c l ud i n g  a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   F 1 - s c o r e ,   a n d  t h e   R OC - A UC .   A c c ur a c y   m e a s ur e s   t h e   o v e r a l l   c l a s s i f i c a t i o n   c o r r e c t n e s s ,   wh e r e a s   p r e c i s i o n   qua n t i f i e s   t h e   r e l i a bi li t y   o f   a tt a c k   p r e di c t i o n s   by   i n d i c a t i n g  t h e   p r o p or t i o n   o f   de t e c t e d   a tt a c ks   t h a t  a r e   ge n ui n e l y   m a l i c i o us .   R e c a l l   e v a l ua t e s   t h e   c a p a bi li t y   o f   t h e   m o de l   to  de t e c t  a c t ua l   a tt a c ks   wh i l e   m i ni mi z i ng  f a l s e - n e ga t i v e   pr e di c t i o n s ,   whi c h   i s   pa r t i c u l a r l y   i m po r t a n t  i n   c y b e r s e c ur i t y   a ppl i c a t i o n s   wh e r e   m i s s e d  i n t r us i o n s   m a y   r e s u l t   i n   s e v e r e   o pe r a t i o n a l   c o n s e que n c e s .     T h e   F 1 - s c or e   p r o v i de s   a   b a l a n c e d  m e a s ur e   b e tw e e n   pr e c i s i o n   a n d  r e c a l l ,   whi l e   R OC - A UC   e v a l u a t e s   t h e   di s c r i m i na t i v e   c a pa bi l i t y   o f   t h e   c l a s s i f i e r   a c r o s s   di f f e r e n t   de c i s i o n   t h r e s h o l ds .   C o l l e c t i v e l y ,   t h e s e   m e t r i c s   pr o v i de   a   c o m pr e h e n s i ve   a s s e s s m e n t   o f   b ot h   s ta t i s t i c a l   pe r f or m a n c e   a n d  pr a c t i c a l   de p l o y m e n t  c a pa b i li t y .   I n   a dd i t i o n   to   c l a s s i f i c a t i o n   pe r f o r m a n c e ,   c o m put a t i o n a l   e f f i c i e n c y   wa s   a l s o   c o n s i d e r e d  dur i n g  t h e   e v a l ua t i o n   pr o c e s s   b e c a us e   pr a c t i c a l   i n t r us i o n   de t e c t i o n   s y s t e m s   m u s t   s i m u l t a n e o us l y   pr o vi de   hi g h   de t e c t i o n  a c c ur a c y   a n d  l o w  i nf e r e n c e   l a t e n c y .   T h e r e f o r e ,   th e   pr o p o s e d  f r a m e wo r k  wa s   f ur t h e r   a s s e s s e d  i n   t e r m s   o f   pr e d i c t i o n   s pe e d  a n d  de p l o ym e n t   f e a s i b i li t y   us i n g  a   pr otot y pe   i m p l e m e n t a t i o n .   T hi s   a dd i t i o n a l   e v a l ua t i o n  pr o vi de s   i ns i g h t   i n t o  t h e   s u i t a bil i t y   o f   T r i F us i o n - Ne t   f o r   r e a l - wo r l d  c y be r s e c ur i t y   a pp l i c a t i o ns   whe r e   r a pi d   r e s po n s e   a n d  c o n t i n uo us   m o ni t o r i n g  a r e   e s s e n t i a l   o pe r a t i o n a l   r e qu i r e m e n t s .     4. 2 .     Over all   c l as s if icat ion   p e r f o r m an c e   T h e   o v e r a l l   c l a s s if i c a t i o n   p e r f o r m a n c e   o f   t h e   p r o p o s e d  T r i F us i o n - Ne t   wa s   e v a l ua t e d  us i n g  t h e   i nde pe n de n t   t e s t i n g  da t a s e t  c o m pr i s i ng  552, 57 9  n e t w o r k   f l o ws .   T a bl e   1  s u m m a r i z e s   t h e   qua n t i t a t i v e   e v a l ua t i o n   r e s u l t s ,   whi l e   F i gur e   5  pr o vi de s   a   gr a p hi c a l   r e pr e s e n t a t i o n   o f   t h e   pr i n c i pa l   p e r f o r m a n c e   m e t r i c s .   T h e s e   r e s u l t s   de m o n s t r a t e   t h e   c a pa bil i t y   o f   t h e   pr o p o s e d  hy b r i d  a r c hi t e c t ur e   to  a c c ur a t e l y   d i s t i n gu i s h  b e t we e n   b e ni g n   a n d  m a li c i o u s   n e t wo r k  tr a f f i c   un d e r   r e a l i s t i c   o pe r a t i n g  c o n d i t i o ns .       T a bl e   1.   Ov e r a l l   pe r f o r m a n c e   o f   t h e   pr o p o s e d  T r i F us i o n - Ne t   P e r f or ma n c e   m e t r i c   R e s ul t   A c c u r a c y   95.66%   P r e c is i o n   87.88%   R e c a ll  ( S e ns it i vi t y )   94.99%   F1 - S c o r e   91.30%   R O C – AUC   97.75%           F i gur e   5.   Ov e r a l l   p e r f o r m a n c e   m e t r i c s   o f   t h e   pr o p o s e d  T r i F u s i o n - Ne t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,  Vo l .   4 3 ,   N o .   3 ,   S e p t e m b e r   20 2 6 :   792 - 807   800   As   pr e s e n t e d  i n   T a bl e   1  a n d  F i gur e   5,   t h e   pr o p o s e d  T r i F us i o n - Ne t   a c hi e v e d  a n   o v e r a l l   c l a s s if i c a t i o n  a c c ur a c y   o f   95. 66% ,   i n d i c a t i n g  t h a t   t h e   hy br i d  de e p  l e a r ni ng  f r a m e wo r k  c o r r e c t l y   c l a s s if i e d  t h e   v a s t   m a j o r i t y   o f   n e t wo r k  tr a f f i c   i ns t a n c e s .   T hi s   hi g h   a c c ur a c y   r e f l e c t s   t h e   e f f e c t i v e ne s s   o f   i n t e gr a t i n g  c o nv o l ut i o n a l   f e a t ur e   e x t r a c t i o n ,   s e que n t i a l   de pe n de nc y   l e a r ni ng,   a n d  no nl i ne a r   de c i s i o n   b o un da r i e s   w i t hi n   a   u ni f i e d  a r c hi t e c t ur e .   Unli ke   i n d i v i dua l   n e ur a l   n e t wo r k   m o de l s   t h a t  f o c us   o n   a   s i n g l e   r e pr e s e n t a t i o n   m e c h a ni s m ,   T r i F u s i o n - Ne t   e x p l o i t s   c o m p l e m e n t a r y   l e a r ni ng  c a pa bil i t i e s   t o  c a pt ur e   c o m p l e x   r e l a t i o n s hi ps   a m o n g  n e t wor k  f l o w  f e a t ur e s .   B e y o n d  o v e r a l l   a c c ur a c y ,   t h e   m o de l   a c hi e v e d  a   pr e c i s i o n   o f   87. 88% ,   i n d i c a t i n g  t h a t   n e a r l y   ni ne   o u t  o f   e v e r y   t e n   t r a f f i c   f l o ws   i de n t i f i e d  a s   m a li c i o u s   we r e   i n de e d  a tt a c k   i n s t a n c e s .   M a i n t a i ni ng  hi g h   pr e c i s i o n   i s   pa r t i c u l a r l y   im po r t a n t   i n   o pe r a t i o na l   i n t r us i o n   de t e c t i o n   s y s t e m s   b e c a u s e   e x c e s s i ve   f a l s e   a l a r m s   m a y  o v e r wh e lm   s e c ur i t y   a n a ly s t s   a n d  r e duc e   c o nf i de nc e   i n   a uto m a t e d  de t e c t i o n   s y s t e m s .   A   l o we r   f a l s e - po s i t i v e   r a t e   c o n tr i b ut e s   d i r e c t l y   t o   i m pr o v e d  o pe r a t i o n a l  e f f i c i e nc y   by   mi n im i z i ng  unne c e s s a r y   i nve s t i ga t i o n s   a n d   a l l o w i ng  s e c ur i t y   t e a m s   to   f o c us   o n   ge n u i n e   t h r e a t s .   T h e   pr op o s e d  f r a m e wo r k   a l s o   o b t a i n e d  a   r e c a l l   o f   94. 99 % ,   de m o n s tr a t i n g  i t s   s tr o n g  c a pa b i l i t y   t o  de t e c t   m a l i c i o us   a c t i vi t i e s   w hi l e   m i nim i z i n g  f a l s e - n e ga t i v e   pr e d i c t i o n s .   I n   c y b e r s e c ur i t y   a pp l i c a t i o n s ,   r e c a l l   i s   o f t e n   r e ga r de d   a s   o n e   o f   t h e   m o s t  c r i t i c a l   pe r f o r m a n c e   i n d i c a t or s   b e c a us e   un de t e c t e d   a tt a c ks   m a y   c om pr o m i s e   s y s t e m   a v a i l a bi li t y ,   c o n f i de n t i a l i t y ,   a n d  da ta   i n t e g r i t y .   T h e   h i gh   r e c a l l   a c hi e v e d  by   T r i F us i o n - Ne t  s u gg e s t s   t h a t  t h e   pr op o s e d   hy b r i d  a r c hi t e c tur e   s uc c e s s f u l ly   c a ptur e s   di v e r s e   a tt a c k   c h a r a c ter i s t i c s   w i t hi n   t h e   C I C - I DS2 018   da t a s e t,   t h e r e by   i m pr o vi n g  de t e c t i o n   r e l i a bi li t y   f o r   pr a c t i c a l   de pl o y m e n t .   T h e   r e s ul t i n g  F 1 - s c or e   o f   91 . 30 %   f ur t h e r   c o n f i r m s   t h a t  t h e   pr op o s e d   f r a m e wo r k   m a i n t a i ns   a   f a v o r a bl e   b a l a n c e   b e t we e n   p r e c i s i o n   a n d  r e c a l l .   S i n c e   n e t w o r k  i n t r us i o n   de t e c t i o n   c o m m o nl y   i nvo l v e s   i m ba l a n c e d  da t a s e t s   wh e r e   b e ni gn   t r a f f i c   do m i n a t e s   m a l i c i o us   s a m p l e s ,   t h e   F 1 - s c or e   pr o v i de s   a   m o r e   r e pr e s e n t a t i v e   e v a l ua t i o n   t h a n   a c c ur a c y   a l o n e .   T h e   b a l a n c e d   pe r f o r m a n c e   o b t a i n e d  by   T r i F us i o n - Ne t  i n d i c a t e s   t h a t  t h e   m o de l   e f f e c t i v e l y   r e duc e s   t h e   tr a de - o f f   b e t we e n   m a xim i z i n g  a tt a c k  de t e c t i o n   a n d  m i ni mi z i n g  f a l s e   a l a r m s .   F i na ll y ,   t h e   pr o p o s e d  f r a m e wo r k  a c hi e v e d  a n   e x c e ll e n t   R OC - A UC   s c o r e   o f   97. 75% ,   i n d i c a t i n g   o u t s t a n d i n g  d i s c r i mi na t i v e   c a pa bil i t y   a c r o s s   dif f e r e n t   c l a s s if i c a t i o n   t h r e s h o l d s .   A   hi g h   R O C - A U C   de m o ns t r a t e s   t h a t   t h e   l e a r n e d  f e a t ur e   r e pr e s e n t a t i o n s   r e m a i n  r o b us t   e v e n   w h e n   de c i s i o n   t h r e s ho l ds   a r e   a d j u s t e d  to  s a t i s f y   d i f f e r e n t   o pe r a t i o n a l   r e qu i r e m e n t s .   T hi s   c h a r a c t e r i s t i c   i s   pa r t i c u l a r l y   va l ua bl e   f o r   pr a c t i c a l  c y b e r s e c ur i t y   s y s t e m s   b e c a us e   ne t wor k   a d m i ni s t r a to r s   m a y   a d j us t   de t e c t i o n   s e ns i t i vi t y   a c c o r di n g  to   e v o l vi ng   t h r e a t  c o n di t i o ns ,   or ga ni z a t i o n a l   s e c ur i t y   po l i c i e s ,   o r   a c c e pt a bl e   f a l s e - a l a r m   r a t e s .   Ov e r a ll ,   t h e   e x p e r i m e n t a l   r e s u l t s   de m o n s t r a t e   t h a t   t h e   pr o p o s e d  T r i F us i o n - Ne t   pr o vi de s   a   r o b us t   a n d  r e l i a bl e   f r a m e wo r k  f o r   f l o w - ba s e d  n e t wo r k   a n o m a ly   d e t e c t i o n .   T h e   i n t e gr a t i o n   o f   C NN - ba s e d  s pa t i a l   f e a t ur e   e x t r a c t i o n ,   L S T M - ba s e d  de p e n de n c y   l e a r ni ng,   a nd  F NN - b a s e d  n o nli ne a r   c l a s s if i c a t i o n   e n a bl e s   t h e   m o de l   t o  o u t pe r f o r m   c o nv e n t i o n a l   s i ng l e - ne t wor k  a r c hi t e c tur e s   by   s im u l t a n e o us l y   a c hi e vi ng  hi g h   de t e c t i o n   a c c ur a c y ,   b a l a n c e d  c l a s s if i c a t i o n   pe r f o r m a n c e ,   a n d  s t r o n g  d i s c r i mi na t i o n   c a pa bil i t y .   T h e s e   f i nd i ngs   i n d i c a t e   t h a t   hy b r i d   de e p  l e a r ni ng  r e pr e s e n t s   a   pr o m i s i ng  d i r e c t i o n   f o r   d e v e l o p i ng  i n t e ll i ge n t   i n t r us i o n   de t e c t i o n   s y s t e m s   c a pa bl e   o f   a ddr e s s i ng  t h e   i n c r e a s i ng  c o m p l e xi t y   o f   m o de r n  c y b e r   t h r e a t s .     4. 3 .     Cl as s if i c at ion   p e r f o r m an c e   an al y s is   T o  f ur t h e r   i nv e s t i ga t e   t h e   c l a s s if i c a t i o n   b e h a vi o r   o f   t h e   pr o p o s e d  f r a m e wo r k,   t h e   pr e d i c t i o n   r e s u l t s   we r e   a n a ly z e d  u s i n g  t h e   c o nf us i o n   m a t r i x   pr e s e n t e d  i n   F i gur e   6.   W hi l e   t h e   e v a l u a t i o n   m e t r i c s   s u mm a r i z e d  in  T a bl e   1  pr o vi de   a n   o v e r a l l   qua n t i t a t i v e   a s s e s s m e n t ,   t h e   c o nf us i o n   m a t r i x   o f f e r s   a   m o r e   de t a i l e d  un de r s t a n d i n g   o f   h o w  t h e   c l a s s i f i e r   d i s t i n gu i s he s   b e t we e n   b e ni g n   a n d  m a li c i o u s   n e t wo r k   t r a f f i c .   S pe c i f i c a l ly ,   i t   r e v e a l s   t h e   d i s t r i b ut i o n   o f   c or r e c t l y   a n d  i n c o r r e c t l y   c l a s s i f ied  s a m p l e s ,   e n a bli ng  a   c o m pr e h e n s i ve   a n a ly s i s   o f   f a l s e   po s i t i v e s   a n d  f a l s e   n e ga t i v e s ,   whi c h   a r e   c r i t i c a l   c o n s i d e r a t i o ns   i n   pr a c t i c a l   i n t r us i o n   de t e c t i o n   s y s t e m s .   F i gu r e   6   de m o n s tr a tes   th a t  th e   m a j or i t y   o f   b ot h   b e ni gn   a n d   m a l i c i ous   n e tw or k   f l o ws   we r e   c or r e c t l y   c l a s s i f i e d   by   T r i F us i o n - N e t.   T h e   l a r ge   n u m b e r   o f   tr u e   p o s i t i v e   ( T P )   a n d   tr u e   n e ga t i v e   ( T N)   p r e di c t i o n s   i n d i c a te s   th a t  t h e   p r op o s e d   h y b r i d   a r c hi t e c tu r e   e f f e c t i v e l y   l e a r n s   r e p r e s e n t a t i v e   pa tt e r n s   a s s oc i a ted   wi t h   l e g i t i m a t e   a nd  m a l i c i o us   tr a f f i c .   A t  th e   s a m e   t i m e ,   t h e   r e l a t i v e l y   s m a l l   n u m b e r   o f   f a l s e   p os i t i v e   ( F P )   a n d   f a l s e   n e ga t i v e   ( F N)   p r e di c t i o n s   r e f l e c t s   th e   m ode l ' s   s tr o n g   di s c r i m i n a t i v e   c a pa bi l i t y .   T h i s   b a l a n c e d   c l a s s i f i c a t i o n   p e r f or m a n c e   s ug ge s ts   th a t  i n t e g r a t i n g  c o n v o l u t i o n a l   f e a t u r e   e xtr a c t i o n   w i t h   s e q ue n t i a l   de pe n de n c y   l e a r ni n g   e n a bl e s   th e   m ode l   to  c a p tu r e   c o m pl e x   n e tw or k   b e h a vi or s   t h a t  m a y   b e   o v e r l ooke d   by   i n d i vi dua l   d e e p   l e a r ni n g   a r c hi t e c tu r e s .   F r o m   a n   o pe r a t i o n a l   pe r s pe c t i v e ,   m i n im i z i ng  t h e   f a l s e   po s i t i v e   r a t e   ( F P R )   i s   pa r t i c u l a r ly   im po r t a n t  b e c a us e   e x c e s s i ve   f a l s e   a l a r m s   m a y   o v e r w h e lm   s e c ur i t y   a n a ly s t s   a n d  r e duc e   t h e   e f f e c t i v e ne s s   o f   i n t r us i o n  de t e c t i o n   s y s t e m s .   B a s e d  o n   t h e   c o n f u s i o n   m a t r i x ,   t h e   t r ue   n e ga t i v e   r a t e   ( s pe c i f i c i t y )   o f   t h e   pr o p o s e d  f r a m e wo r k   r e a c h e d  95. 87% ,   c or r e s po n d i n g  to  a n   e s t i m a t e d  f a l s e   po s i t i v e   r a t e   o f   a ppr o xi m a t e l y   4. 13% ,   whi c h  c a n   b e   c a l c u l a t e d  a s :      =   +  = 1 −     ≈ 4 . 13%     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2502 - 4752       N e t w or k   anomaly   de tec ti on  us ing  hy br id  de e p  lear ning  f r ame w o r k   ( R az ibul   I s lam  K han )   801   M a i n t a i ni ng  t h e   f a l s e - po s i t i v e   r a t e   b e l o w  5%   i s   ge n e r a l ly   r e g a r de d  a s   de s i r a bl e   f o r   o pe r a t i o n a l   c y b e r s e c ur i t y   e nvi r o nm e n t s   b e c a u s e   i t   s u b s t a n t i a l ly   r e duc e s   u nn e c e s s a r y   s e c ur i t y   a l e r t s   whil e   a l l o w i ng   a n a ly s t s   to  f o c us   o n   ge n u i n e   t h r e a t s .   C o n s e que n t l y ,   t h e   pr o p o s e d   f r a m e wo r k  pr o vi de s   a n   e f f e c t i ve   b a l a n c e   b e t we e n   a tt a c k  de t e c t i o n   c a pa bil i t y   a n d  o pe r a t i o n a l   e f f i c i e n c y .   E qua l ly   im po r t a n t   i s   t h e   l o w  n u m be r   o f   f a l s e - n e ga t i v e   pr e d i c t i o ns   o b s e r v e d  i n   t h e   e x pe r im e n t a l   r e s u l t s .   F a l s e   n e g a t i ve s   r e pr e s e n t   m a li c i o us   a c t i vi t i e s   i nc o r r e c t l y   c l a s s i f i e d  a s   b e ni g n   tr a f f i c   a n d  th e r e f o r e   c o n s t i t ut e   o n e   o f   t h e   m o s t   c r i t i c a l   e r r o r s   i n   c y b e r s e c ur i t y   a pp l i c a t i o ns .   T h e   hi g h   r e c a l l   v a l ue   o f   94. 99 %   de m o ns t r a t e s   t h a t   T r i F u s i o n - Ne t   s uc c e s s f u l ly   i d e n t i f i e s   t h e   v a s t   m a j o r i t y   o f   i n t r us i o n   a tt e m pt s ,   t h e r e by  mi n im i z i ng  t h e   l i ke li h o o d  o f   un de t e c t e d  a tt a c ks .   T hi s   c ha r a c t e r i s t i c   s i g nif i c a n t l y   e nha n c e s   t h e   r e l iabili t y   o f   t h e   pr o p o s e d  f r a m e wo r k  f o r   c o n t i n uo us   n e t wo r k  m o ni t o r i n g,   wh e r e   mi s s i ng  e ve n   a   s m a l l   n u m be r   o f   s o phi s t i c a t e d  a tt a c ks   m a y   l e a d  to   s e v e r e   s e c ur i t y   i nc i de n t s .   Ov e r a ll ,   t h e   c o nf u s i o n   m a t r i x   a n a ly s i s   c o nf i r m s   th a t   t h e   pr o p o s e d  T r i F us i o n - Ne t   n ot  o nl y   a c hi e v e s   hi g h   o v e r a ll   c l a s s i f i c a t i o n   a c c ur a c y   b ut   a l s o   m a in t a i n s   ba l a n c e d  de t e c t i o n   pe r f o r m a nc e   a c r o s s   b o t h   t r a f f i c   c l a s s e s .   T h e   c o m bi na t i o n   o f   hi g h   s e ns i t i vi t y ,   hi g h   s pe c i f i c i t y ,   a n d  a   l o w  f a l s e - po s i t i v e   r a t e   de m o ns t r a t e s   t h a t   t h e   pr o p o s e d  hy b r i d  a r c hi t e c t ur e   i s   we ll   s u i t e d   f o r   p r a c t i c a l   de p l o ym e n t   i n   m o de r n   i n t r us i o n   de t e c t i o n  s y s t e m s   r e qu i r i ng  r e l i a bl e ,   s c a l a bl e ,   a n d  r e a l - t i m e   c y b e r s e c ur i t y   m o ni t o r i n g.           F i gur e   6.   C o nf u s i o n   m a t r i x   o f   t h e   pr o p o s e d  T r i F u s i o n - Ne t       4. 4 .     T r ain in g  c on ve r ge n c e   an al y s is   T h e   c o n ve r ge nc e   c h a r a c t e r i s t i c s   o f   t h e   pr o p o s e d  T r i F u s i o n - Ne t   we r e   f ur t h e r   i nv e s t i ga t e d  b y   a n a ly z i ng  t h e   tr a i ni ng  a n d  v a li da t i o n   a c c ur a c y   a nd  l o s s   t h r o ugh o u t  t h e   l e a r ni ng  pr o c e s s .   M o ni t or i n g  t h e s e   l e a r ni ng  c ur v e s   i s   e s s e n t i a l   f o r   a s s e s s i ng  o p t i mi z a t i o n   s t a bi li t y ,   c o n v e r ge n c e   b e h a vi o r ,   a n d  t h e   ge n e r a l i z a t i o n  c a pa bi li t y   o f   de e p  l e a r ni ng  m o de l s .   A   s t a bl e   c o n ve r ge n c e   pa tt e r n   i n d i c a t e s   t h a t  t h e   m o de l   s uc c e s s f u ll y   l e a r n s   r e pr e s e n t a t i v e   f e a t ur e   di s t r i b ut i o n s   f r o m   t h e   t r a i ni ng  da t a   wi t h o ut  e x hi b i t i ng  e x c e s s i ve   m e m o r i z a t i o n   o r   un s t a bl e   o p t i mi z a t i o n .   T h e   c o r r e s p o n d i n g  l e a r ni n g  c ur v e s   a r e   pr e s e n t e d  i n   F i gur e   7.   As   i ll us t r a t e d  i n   F i gur e   7( a ) ,   b ot h   t h e   t r a i ni ng  a nd  v a li da t i o n   a c c ur a c y   i nc r e a s e   s t e a d i ly   dur i ng  t h e   e a r l y   t r a i ni ng  e po c h s   b e f o r e   gr a dua l ly   a ppr o a c hi n g  c o nv e r ge n c e .   T h e   t r a i ni ng  a c c ur a c y  r e a c h e s   a ppr o xi m a t e l y   95. 8% ,   whil e   t h e   va l i d a t i o n   a c c u r a c y   s t a bil i z e s   a t   a r o un d  9 5. 6%   a f t e r   a ppr o xi mat e l y   20  e po c h s .   T h e   r e l a t i v e ly   s m a ll   ga p  be t we e n   t h e   t w o   c ur v e s   s ugge s t s   t h a t   t h e   pr o p o s e d  m o de l   ge n e r a li z e s   we l l   t o  pr e vi o us ly   u ns e e n   ne t wor k   t r a f f i c   a n d  do e s   n ot  s u f f e r   f r o m   s e ve r e   o v e r f i t t i n g.   T h e   c o n s i s t e n t   i m pr o v e m e n t   o b s e r v e d  dur i n g  t r a i ni ng  a l s o   de m o ns t r a t e s   t h a t  t h e   hy b r i d  a r c hi t e c t ur e   e f f e c t i ve l y   l e a r ns   d i s c r im i na t i v e   r e pr e s e n t a t i o ns   f r o m   t h e   s e l e c t e d  n e t wo r k   f l o w  f e a t ur e s .   T h e   c o r r e s p o n d i n g  l o s s   c ur v e s   s h o wn   i n   F i gur e   7( b )   f ur t h e r   c o nf i r m   t h e   s t a bil i t y   o f   t h e   o p t i m i z a t i o n  pr o c e s s .   B ot h   t h e   t r a i ni ng  l o s s   a n d  v a li da t i o n   l o s s   de c r e a s e   r a p i d ly   dur i ng  t h e   i ni t i a l   e po c h s   a n d  s ubs e que n t l y  c o n v e r ge   to wa r d  r e l a t i ve l y   c o n s t a n t   v a l ue s   a s   t r a i ni ng  pr o g r e s s e s .   I m po r t a n t l y ,   t h e   v a l i da t i o n   l o s s   f o l l o ws   a   t r e n d  s i m il a r   to   t h a t  o f   t h e   t r a i ni n g  l o s s   w i t h o ut  e xhi b i t i ng  a   s ubs t a n t i a l   i nc r e a s e   dur i n g  l a t e r   e p o c h s .   S uc h  b e h a vi o r   i nd i c a t e s   t h a t   t h e   l e a r n e d  m o de l   pa r a met e r s   r e m a i n  r o b us t   t h r o ugh o u t   o p t i m i z a t i o n   a n d   t h a t   t h e   n e t wo r k   a v o i d s   t h e   c o m m o n   pr o bl e m   o f   pe r f o r m a nc e   de gr a da t i o n   c a us e d  by   e x c e s s i ve   m o de l   c o m p l e xi t y .   T h e   f a v o r a bl e   c o n v e r ge n c e   b e h a vi o r   c a n   l a r ge l y   b e   a tt r i b ut e d   to  t h e   a r c hi t e c t u r a l   de s i g n   o f     T r i F us i o n - Ne t.   T h e   c o n v o l ut i o n a l   l a y e r   f i r s t   e x t r a c t s   r e p r e s e n t a t i v e   l o c a l   f e a t u r e   pa tt e r n s ,   t h e r e b y   r e duc i n g   i n put   r e dun da n c y   b e f o r e   s e que n t i a l   pr oc e s s i n g .   S ub s e que n t l y ,   t h e   L S T M   l a y e r   m o de l s   hi g h e r - o r de r   de pe n de n c i e s   a m o n g  n e tw o r k   f l o w  c h a r a c t e r i s t i c s ,   wh i l e   B a t c h   N or m a l i z a t i o n   s t a b i l i z e s   f e a t ur e   di s t r i b ut i o n s   dur i n g  tr a i ni n g  a n d  a c c e l e r a t e s   c o n v e r ge n c e .   F i n a l ly ,   t h e   f u l l y   c o n n e c t e d   c l a s s i f i e r   r e f i n e s   t h e   l e a r n e d  r e p r e s e n t a t i o n s   to  p r oduc e   r o b us t  b i n a r y   c l a s s i f i c a ti o n   de c i s i o n s .   T h e   c o m p l e m e n t a r y   i n t e r a c t i o n   a m o n g  t h e s e   c o m po n e n t s   e n a bl e s   e f f i c i e n t   o p t i m i z a t i o n   whi l e   m a i n t a i ni n g  s t a bl e   l e a r ni n g  d y n a mi c s   a c r o s s   tr a i ni n g  e p o c h s .   Evaluation Warning : The document was created with Spire.PDF for Python.