T
E
L
K
O
M
NIKA
T
elec
o
mm
un
ica
t
io
n Co
m
pu
t
i
ng
E
lect
ro
nics
a
nd
Co
ntr
o
l
Vo
l.
24
,
No
.
3
,
J
u
n
e
20
26
,
p
p
.
9
33
~
9
44
I
SS
N:
1
6
9
3
-
6
9
3
0
,
DOI
:
1
0
.
1
2
9
2
8
/
T
E
L
KOM
NI
K
A
.
v
24
i
3
.
27833
933
J
o
ur
na
l ho
m
ep
a
g
e
:
h
ttp
:
//jo
u
r
n
a
l.u
a
d
.
a
c.
id
/in
d
ex
.
p
h
p
/TELK
OM
N
I
K
A
M
a
chine
lea
rning
a
nd deep
learnin
g
f
o
r rans
o
m
w
a
re det
ec
tion
v
ia
f
ea
ture
d
econ
t
a
m
ina
tion
Sriy
a
nto
1
,
Cha
ira
ni F
a
uzi
1
,
M
o
hd
F
a
iza
l A
bd
o
lla
h
2
,
Z
ur
ia
t
i
3
1
D
e
p
a
r
t
me
n
t
o
f
I
n
f
o
r
mat
i
c
s
E
n
g
i
n
e
e
r
i
n
g
,
I
n
st
i
t
u
t
e
o
f
I
n
f
o
r
mat
i
c
s
a
n
d
B
u
si
n
e
ss D
a
r
maj
a
y
a
,
B
a
n
d
a
r
L
a
mp
u
n
g
,
I
n
d
o
n
e
si
a
2
D
e
p
a
r
t
me
n
t
o
f
C
y
b
e
r
se
c
u
r
i
t
y
,
F
a
c
u
l
t
y
o
f
A
r
t
i
f
i
c
i
a
l
I
n
t
e
l
l
i
g
e
n
c
e
a
n
d
C
y
b
e
r
S
e
c
u
r
i
t
y
,
U
n
i
v
e
r
si
t
i
T
e
k
n
i
k
a
l
M
a
l
a
y
si
a
M
e
l
a
k
a
,
M
e
l
a
k
a
,
M
a
l
a
y
si
a
3
De
p
a
r
t
me
n
t
o
f
I
n
t
e
r
n
e
t
E
n
g
i
n
e
e
r
i
n
g
T
e
c
h
n
o
l
o
g
y
,
P
o
l
i
t
e
k
n
i
k
N
e
g
e
r
i
L
a
mp
u
n
g
,
B
a
n
d
a
r
L
a
mp
u
n
g
,
I
n
d
o
n
e
si
a
Art
icle
I
nfo
AB
ST
RAC
T
A
r
ticle
his
to
r
y:
R
ec
eiv
ed
J
an
27
,
2
0
2
6
R
ev
i
s
ed
Mar
16
,
2
0
2
6
A
cc
ep
ted
Mar
29
,
2
0
2
6
T
h
e
c
o
n
ti
n
u
o
u
s
e
sc
a
latio
n
o
f
ra
n
so
m
w
a
re
a
tt
a
c
k
s
p
o
se
s
a
se
v
e
r
e
risk
to
n
e
tw
o
rk
in
f
ra
stru
c
tu
re
a
n
d
d
a
ta
in
teg
rit
y
,
h
ig
h
li
g
h
ti
n
g
th
e
u
rg
e
n
t
re
q
u
irem
e
n
t
f
o
r
d
e
p
e
n
d
a
b
le
d
e
tec
ti
o
n
sy
ste
m
s.
T
h
is
p
a
p
e
r
p
re
se
n
ts
a
c
o
m
p
a
ra
ti
v
e
a
n
a
l
y
sis
o
f
d
e
e
p
lea
rn
in
g
(DL
)
a
n
d
m
a
c
h
in
e
lea
rn
in
g
(M
L
)
tec
h
n
iq
u
e
s
f
o
r
id
e
n
ti
f
y
in
g
ra
n
s
o
m
w
a
r
e
tra
ff
ic
u
sin
g
th
e
UN
S
W
-
NB1
5
d
a
tas
e
t.
A
sig
n
if
ic
a
n
t
o
b
sta
c
le
in
m
a
n
y
in
tru
sio
n
d
e
tec
ti
o
n
in
v
e
sti
g
a
ti
o
n
s
is
f
e
a
tu
re
c
o
n
tam
in
a
ti
o
n
,
w
h
e
re
sp
e
c
if
ic
a
tt
rib
u
tes
in
a
d
v
e
rten
tl
y
lea
k
lab
e
l
d
a
ta
o
r
re
f
lec
t
p
o
st
-
in
c
id
e
n
t
sta
ti
st
ics
,
re
su
lt
in
g
in
i
n
f
late
d
a
n
d
o
v
e
rly
o
p
ti
m
isti
c
p
e
rf
o
r
m
a
n
c
e
e
v
a
lu
a
ti
o
n
s.
T
o
m
it
ig
a
te
th
is
c
o
n
c
e
rn
,
a
f
e
a
tu
re
d
e
c
o
n
tam
in
a
ti
o
n
p
ro
t
o
c
o
l
is
im
p
lem
e
n
ted
to
iso
late
2
9
re
li
a
b
le
a
tt
rib
u
tes
,
f
o
ll
o
w
e
d
b
y
th
e
a
p
p
li
c
a
ti
o
n
o
f
th
e
s
y
n
th
e
ti
c
m
in
o
rit
y
o
v
e
r
-
sa
m
p
li
n
g
tec
h
n
iq
u
e
(S
M
O
T
E)
to
a
d
d
re
ss
th
e
issu
e
o
f
c
las
s
im
b
a
lan
c
e
.
Em
p
iri
c
a
l
re
su
lt
s
d
e
m
o
n
stra
te
th
a
t
th
e
ra
n
d
o
m
f
o
re
st
(RF
)
m
o
d
e
l
a
c
h
iev
e
s
su
p
e
rio
r
p
e
rf
o
r
m
a
n
c
e
,
re
a
c
h
in
g
a
n
a
c
c
u
ra
c
y
o
f
0
.
9
0
2
7
a
n
d
a
re
c
a
ll
o
f
0
.
9
5
0
7
.
Am
o
n
g
th
e
DL
c
a
n
d
i
d
a
tes
,
th
e
m
u
lt
i
-
lay
e
r
p
e
rc
e
p
tro
n
(M
L
P
)
d
e
li
v
e
rs
th
e
m
o
st
c
o
m
p
e
ti
ti
v
e
o
u
tco
m
e
s
w
it
h
a
n
a
c
c
u
ra
c
y
o
f
0
.
8
8
5
9
a
n
d
a
n
F
1
-
sc
o
re
o
f
0
.
8
9
9
6
.
T
h
e
se
re
su
lt
s
su
g
g
e
st
t
h
a
t
e
n
se
m
b
le
-
b
a
se
d
ML
f
ra
m
e
wo
rk
s
o
f
f
e
r
m
o
re
e
ff
e
c
ti
v
e
a
n
d
c
o
m
p
u
tatio
n
a
ll
y
e
ff
i
c
ien
t
ra
n
so
m
w
a
re
d
e
tec
t
io
n
w
h
e
n
a
p
p
li
e
d
to
d
e
c
o
n
tam
in
a
ted
tab
u
lar
d
a
tas
e
ts.
K
ey
w
o
r
d
s
:
C
y
b
er
s
ec
u
r
it
y
Featu
r
e
d
ec
o
n
ta
m
i
n
atio
n
I
n
tr
u
s
io
n
d
etec
tio
n
Net
w
o
r
k
tr
af
f
ic
an
a
l
y
s
i
s
R
an
s
o
m
w
ar
e
S
y
n
t
h
etic
m
in
o
r
it
y
o
v
er
-
s
a
m
p
li
n
g
tech
n
iq
u
e
T
h
is i
s
a
n
o
p
e
n
a
c
c
e
ss
a
rticle
u
n
d
e
r th
e
CC B
Y
-
SA
li
c
e
n
se
.
C
o
r
r
e
s
p
o
nd
ing
A
uth
o
r
:
Sri
y
a
n
to
Dep
ar
t
m
en
t o
f
I
n
f
o
r
m
atic
s
E
n
g
in
ee
r
i
n
g
,
I
n
s
t
itu
te
o
f
I
n
f
o
r
m
a
tics
an
d
B
u
s
in
e
s
s
Dar
m
aj
ay
a
Z
A
.
P
ag
ar
A
la
m
St.
No
.
9
3
,
G
ed
o
n
g
Me
n
e
n
g
,
R
aj
ab
asa,
B
an
d
ar
L
a
m
p
u
n
g
,
L
a
m
p
u
n
g
,
I
n
d
o
n
esia
E
m
ail:
s
r
i
y
a
n
to
@
d
ar
m
aj
a
y
a.
a
c.
id
1.
I
NT
RO
D
UCT
I
O
N
T
h
e
escalatin
g
i
n
te
n
s
it
y
an
d
s
o
p
h
is
ticatio
n
o
f
c
y
b
er
attac
k
s
h
av
e
es
tab
lis
h
ed
r
an
s
o
m
w
ar
e
as
a
m
aj
o
r
th
r
ea
t
to
th
e
s
tab
ilit
y
o
f
co
n
te
m
p
o
r
ar
y
n
et
w
o
r
k
in
f
r
astr
u
ctu
r
e
s
[
1
]
,
[
2
]
.
A
s
a
f
o
r
m
o
f
cr
y
p
to
v
ir
o
lo
g
y
,
r
an
s
o
m
w
ar
e
p
ar
al
y
ze
s
s
y
s
te
m
s
b
y
e
n
cr
y
p
ti
n
g
d
ata
f
o
r
r
an
s
o
m
,
ex
ec
u
ti
n
g
o
p
er
atio
n
al
s
a
b
o
tag
e,
o
r
c
au
s
i
n
g
d
ata
d
estru
ctio
n
[
3
]
.
T
h
is
th
r
ea
t
lev
er
ag
e
s
co
m
p
le
x
n
et
w
o
r
k
tr
af
f
ic
d
y
n
a
m
ics
w
it
h
in
s
ec
o
n
d
s
,
n
ec
es
s
itati
n
g
th
e
in
te
g
r
atio
n
o
f
ar
tif
ic
ial
in
t
ellig
e
n
ce
(
A
I
)
an
d
ed
g
e
co
m
p
u
ti
n
g
to
p
r
o
v
id
e
ac
ce
ler
ated
d
etec
tio
n
at
th
e
d
ata
s
o
u
r
ce
[
4
]
.
T
h
e
ad
ap
tiv
e
n
at
u
r
e
o
f
t
h
ese
t
h
r
ea
ts
r
eq
u
ir
es t
h
e
d
ev
elo
p
m
en
t
o
f
i
n
tr
u
s
io
n
d
ete
ctio
n
s
y
s
te
m
s
(
I
DS)
th
at
o
f
f
er
h
ig
h
ac
cu
r
ac
y
a
n
d
o
p
er
atio
n
al
r
eliab
ilit
y
ac
r
o
s
s
l
ar
g
e
-
s
ca
le,
h
eter
o
g
e
n
eo
u
s
n
et
w
o
r
k
en
v
ir
o
n
m
e
n
ts
[
5
]
,
[
6
]
.
I
n
m
o
d
er
n
telec
o
m
m
u
n
ica
tio
n
s
an
d
d
i
s
tr
ib
u
ted
co
m
p
u
ti
n
g
f
r
a
m
e
w
o
r
k
s
,
r
a
n
s
o
m
w
ar
e
d
etec
tio
n
h
as
e
m
er
g
ed
as a
f
u
n
d
a
m
e
n
tal
m
e
ch
an
i
s
m
f
o
r
en
s
u
r
i
n
g
s
er
v
ice
a
v
ailab
ilit
y
an
d
s
ec
u
r
e
d
ata
tr
an
s
m
i
s
s
io
n
.
Ma
ch
i
n
e
lear
n
i
n
g
(
ML
)
a
n
d
d
ee
p
lear
n
in
g
(
DL
)
m
et
h
o
d
o
lo
g
ies
h
av
e
b
ec
o
m
e
th
e
g
o
ld
s
t
an
d
ar
d
f
o
r
in
tr
u
s
io
n
d
etec
ti
o
n
.
M
L
m
o
d
els,
in
cl
u
d
in
g
d
ec
is
io
n
tr
ee
s
(
DT
)
,
r
an
d
o
m
f
o
r
est
s
(
R
F),
an
d
ex
tr
e
m
e
g
r
ad
ien
t
Evaluation Warning : The document was created with Spire.PDF for Python.
I
SS
N
:
1
6
9
3
-
6930
T
E
L
KOM
NI
K
A
T
elec
o
m
m
u
n
C
o
m
p
u
t E
l
C
o
n
tr
o
l
,
Vo
l.
24
,
No
.
3
,
J
u
n
e
20
26
:
9
33
-
9
44
934
b
o
o
s
tin
g
(
XGB
o
o
s
t)
,
ar
e
f
r
eq
u
en
tl
y
u
tili
ze
d
d
u
e
to
t
h
eir
ef
f
ic
ien
c
y
in
p
r
o
ce
s
s
i
n
g
tab
u
lar
d
ata.
C
o
n
v
er
s
el
y
,
D
L
ar
ch
itect
u
r
es
lik
e
m
u
lt
i
-
la
y
er
p
er
ce
p
t
r
o
n
(
ML
P
)
,
1
D
-
co
n
v
o
lu
tio
n
al
n
e
u
r
al
n
et
w
o
r
k
s
(
1
D
-
C
NN)
,
an
d
lo
n
g
s
h
o
r
t
-
ter
m
m
e
m
o
r
y
(
L
ST
M)
ar
e
ad
ep
t
at
id
en
tify
i
n
g
co
m
p
lex
n
o
n
-
li
n
ea
r
p
atter
n
s
an
d
e
x
ec
u
t
in
g
au
to
m
ated
f
ea
t
u
r
e
ex
tr
ac
tio
n
[
7
]
.
C
o
m
p
ar
ativ
e
s
t
u
d
ies
b
y
[
8
]
-
[
1
0
]
em
p
h
asize
th
e
p
er
s
is
ten
t
d
eb
ate
r
eg
ar
d
in
g
th
e
ef
f
icac
y
o
f
th
e
s
e
t
w
o
p
ar
ad
ig
m
s
.
W
h
il
e
DL
m
o
d
el
s
o
f
f
er
r
o
b
u
s
t
r
ep
r
esen
tat
io
n
lear
n
in
g
ca
p
ab
ilit
ie
s
,
th
eir
d
ep
lo
y
m
e
n
t
is
o
f
ten
li
m
i
ted
b
y
s
u
b
s
ta
n
tial
co
m
p
u
tatio
n
al
r
eq
u
ir
e
m
e
n
ts
,
p
ar
ticu
lar
l
y
i
n
in
ter
n
et
o
f
t
h
in
g
s
(
I
o
T
)
ec
o
s
y
s
te
m
s
[
1
1
]
.
S
o
m
e
co
n
te
m
p
o
r
ar
y
s
tu
d
ie
s
h
av
e
in
v
e
s
ti
g
ated
g
r
ap
h
-
b
ased
m
o
d
elin
g
to
in
ter
p
r
et
to
p
o
lo
g
ical
r
elatio
n
s
h
ip
s
i
n
n
et
w
o
r
k
tr
af
f
ic
[
1
2
]
.
Nev
er
th
eless
,
f
o
r
s
tr
u
ctu
r
ed
tab
u
lar
d
atasets
,
tr
ee
-
b
ased
m
o
d
els
o
f
t
e
n
s
u
r
p
ass
DL
ap
p
r
o
ac
h
es
i
n
b
o
th
co
m
p
u
ta
tio
n
al
ef
f
icie
n
c
y
a
n
d
p
r
ed
ictiv
e
ac
c
u
r
ac
y
[
1
3
]
,
[
1
4
]
.
T
h
ese
o
b
s
er
v
atio
n
s
s
u
g
g
es
t
t
h
at
t
h
e
ef
f
ec
ti
v
en
e
s
s
o
f
M
L
o
r
DL
m
o
d
els
is
h
ea
v
il
y
co
n
ti
n
g
e
n
t
u
p
o
n
f
ea
t
u
r
e
r
ep
r
esen
tatio
n
a
n
d
d
ataset
ch
a
r
ac
ter
is
tics
[
8
]
.
Ho
w
e
v
er
,
liter
atu
r
e
r
ev
ie
w
s
r
ev
ea
l
s
ig
n
i
f
ica
n
t
m
et
h
o
d
o
lo
g
i
ca
l
ch
allen
g
es
w
h
en
u
t
ilizi
n
g
p
u
b
licl
y
av
ailab
le
c
y
b
er
s
ec
u
r
it
y
d
atas
ets.
T
h
e
UNSW
-
NB
1
5
d
ataset,
d
esig
n
ed
to
r
ep
r
esen
t
m
o
d
er
n
n
et
w
o
r
k
tr
af
f
ic
p
atter
n
s
,
h
as
b
ee
n
r
ep
o
r
ted
to
co
n
tain
is
s
u
es
s
u
c
h
as
d
ata
i
m
b
alan
ce
,
clas
s
o
v
er
lap
s
[
6
]
,
an
d
f
ea
tu
r
e
r
ed
u
n
d
an
c
y
th
a
t
m
a
y
h
in
d
er
r
eliab
le
class
i
f
icatio
n
[
1
5
]
,
[
1
6
]
.
Mo
r
e
im
p
o
r
tan
tl
y
,
s
ev
er
al
s
tu
d
i
es
r
ep
o
r
t
th
at
s
o
m
e
attr
ib
u
te
s
m
a
y
i
m
p
licitl
y
en
co
d
e
lab
el
-
r
elate
d
in
f
o
r
m
atio
n
,
cr
ea
tin
g
d
ataset
ar
ti
f
ac
ts
th
at
b
ias
m
o
d
el
ev
alu
a
tio
n
.
T
h
ese
i
s
s
u
es
ar
e
f
u
r
th
er
e
x
ac
er
b
ated
w
h
en
m
o
d
els
ar
e
tr
ain
ed
o
n
f
ea
t
u
r
es
t
h
at
co
n
tain
p
o
s
t
-
e
v
en
t
s
tatis
t
ics
o
r
i
n
d
ir
ec
t
l
ab
el
i
n
d
icato
r
s
,
a
p
h
e
n
o
m
e
n
o
n
co
m
m
o
n
l
y
r
e
f
er
r
ed
to
as
f
ea
t
u
r
e
co
n
ta
m
i
n
atio
n
.
T
h
e
p
r
esen
ce
o
f
s
u
ch
co
n
ta
m
in
a
ted
f
ea
tu
r
es
ca
n
cr
ea
te
tr
iv
i
al
s
ep
ar
ab
ilit
y
an
d
p
r
o
d
u
ce
o
v
er
l
y
o
p
ti
m
i
s
ti
c
ev
alu
a
tio
n
r
esu
lts
,
w
h
ic
h
d
o
n
o
t
r
ef
lect
th
e
tr
u
e
ca
p
ab
ilit
y
o
f
th
e
d
etec
t
io
n
s
y
s
te
m
in
r
ea
l
-
w
o
r
ld
en
v
ir
o
n
m
e
n
t
s
[
6
]
,
[
8
]
.
Fu
r
th
er
m
o
r
e,
th
e
ab
s
en
ce
o
f
s
ta
n
d
ar
d
ized
f
ea
tu
r
e
s
elec
tio
n
p
r
o
to
co
ls
ac
r
o
s
s
in
tr
u
s
io
n
d
etec
tio
n
s
tu
d
ie
s
m
ak
e
s
m
o
d
el
g
e
n
er
ali
za
tio
n
ac
r
o
s
s
d
i
f
f
er
en
t
d
ata
s
et
s
an
d
n
et
w
o
r
k
en
v
ir
o
n
m
e
n
ts
i
n
cr
ea
s
i
n
g
l
y
d
i
f
f
ic
u
lt
[
1
7
]
,
lea
d
in
g
to
th
e
co
n
t
in
u
o
u
s
d
ev
elo
p
m
e
n
t o
f
n
e
w
d
ataset
s
d
er
iv
ed
f
r
o
m
r
ea
l n
et
w
o
r
k
tr
a
f
f
ic
[
1
8
]
.
Desp
ite
th
e
w
id
esp
r
ea
d
ap
p
li
ca
tio
n
o
f
th
e
UNSW
-
NB
1
5
d
ataset
in
th
e
f
ield
o
f
in
tr
u
s
io
n
d
etec
tio
n
,
th
e
m
aj
o
r
it
y
o
f
cu
r
r
en
t
r
esear
ch
ten
d
s
to
p
r
io
r
itize
th
e
en
h
a
n
ce
m
e
n
t
o
f
cla
s
s
i
f
icati
o
n
m
etr
ics
o
r
th
e
in
tr
o
d
u
ctio
n
o
f
n
o
v
el
lear
n
in
g
f
r
a
m
e
w
o
r
k
s
,
o
f
te
n
o
v
er
lo
o
k
in
g
th
e
cr
itical
is
s
u
es
o
f
p
o
ten
ti
al
d
ata
leak
ag
e
an
d
f
ea
t
u
r
e
co
n
ta
m
i
n
atio
n
.
C
o
n
s
e
q
u
en
tl
y
,
th
e
clai
m
ed
p
er
f
o
r
m
an
ce
ad
v
an
ta
g
es
o
f
s
p
ec
i
f
ic
m
o
d
el
s
,
n
o
tab
l
y
DL
m
et
h
o
d
s
m
i
g
h
t
s
te
m
f
r
o
m
co
n
ce
aled
d
ataset
ar
ti
f
a
cts
i
n
s
te
ad
o
f
au
t
h
en
tic
r
ep
r
ese
n
tatio
n
al
s
tr
e
n
g
th
s
.
T
h
is
co
n
s
tr
ain
t
u
n
d
er
s
co
r
es
a
s
ig
n
i
f
ica
n
t
m
et
h
o
d
o
lo
g
ical
v
o
id
in
co
n
te
m
p
o
r
ar
y
in
tr
u
s
io
n
d
etec
tio
n
s
t
u
d
ies,
w
h
er
e
th
e
e
v
alu
a
tio
n
o
f
m
o
d
el
p
er
f
o
r
m
a
n
ce
o
cc
u
r
s
w
it
h
o
u
t
v
er
i
f
y
in
g
t
h
e
i
n
te
g
r
it
y
o
f
th
e
f
ea
t
u
r
e
s
p
ac
e
e
m
p
lo
y
ed
d
u
r
in
g
tr
ain
i
n
g
an
d
test
in
g
[
19]
.
T
h
e
p
r
im
ar
y
co
n
tr
ib
u
tio
n
s
o
f
th
is
w
o
r
k
ar
e
o
u
tli
n
ed
as
f
o
llo
w
s
.
First,
a
f
ea
t
u
r
e
d
ec
o
n
t
a
m
i
n
atio
n
p
r
o
to
co
l
is
ex
ec
u
ted
to
r
e
m
o
v
e
an
y
attr
ib
u
tes
th
at
m
i
g
h
t
in
ad
v
er
te
n
tl
y
lea
k
lab
el
-
r
elat
ed
d
ata
w
it
h
i
n
t
h
e
UNSW
-
NB
1
5
d
ataset.
Seco
n
d
,
th
e
s
y
n
t
h
etic
m
in
o
r
it
y
o
v
er
-
s
a
m
p
lin
g
tech
n
iq
u
e
(
SMOT
E
)
is
u
tili
ze
d
to
m
iti
g
ate
cla
s
s
i
m
b
alan
ce
a
n
d
en
h
a
n
ce
t
h
e
s
e
n
s
it
iv
i
t
y
o
f
r
an
s
o
m
w
ar
e
d
etec
tio
n
.
T
h
ir
d
,
a
r
i
g
o
r
o
u
s
co
m
p
ar
ati
v
e
an
al
y
s
is
i
s
p
er
f
o
r
m
ed
b
et
w
ee
n
tr
ee
-
b
ased
ML
alg
o
r
ith
m
s
(
D
T
,
R
F,
an
d
XGB
o
o
s
t)
an
d
DL
m
o
d
el
s
(
ML
P
,
1D
-
C
NN,
an
d
L
ST
M)
u
s
i
n
g
t
h
e
cl
ea
n
ed
f
ea
t
u
r
e
s
et.
T
h
e
im
p
o
r
tan
ce
o
f
t
h
is
r
esear
ch
is
r
o
o
ted
in
estab
li
s
h
ed
a
m
o
r
e
p
r
ag
m
atic
e
v
al
u
atio
n
f
r
a
m
e
w
o
r
k
f
o
r
r
an
s
o
m
w
ar
e
id
en
tific
atio
n
with
i
n
co
m
p
u
t
in
g
an
d
telec
o
m
m
u
n
icatio
n
in
f
r
astr
u
ctu
r
e
s
.
T
h
e
r
esu
lts
d
eli
v
er
ac
tio
n
ab
le
in
s
i
g
h
ts
f
o
r
ch
o
o
s
in
g
ef
f
icie
n
t
d
etec
tio
n
m
o
d
els
th
at
m
ai
n
tain
a
n
eq
u
ilib
r
iu
m
b
et
w
ee
n
co
m
p
u
tatio
n
al
o
v
er
h
ea
d
an
d
p
r
ed
ictiv
e
ac
cu
r
ac
y
,
a
f
ac
t
o
r
v
ital
f
o
r
r
ea
l
-
ti
m
e
s
ec
u
r
i
t
y
s
u
r
v
e
illa
n
ce
in
co
n
te
m
p
o
r
ar
y
n
et
w
o
r
k
s
etti
n
g
s
[
7
]
,
[
1
1
]
.
2.
M
E
T
H
O
D
2
.
1
.
Resea
rc
h f
ra
m
ew
o
rk
T
h
is
s
t
u
d
y
i
s
d
esi
g
n
ed
as
a
q
u
an
t
itati
v
e
co
m
p
ar
ati
v
e
s
tu
d
y
to
ev
al
u
ate
t
h
e
p
er
f
o
r
m
an
ce
o
f
M
L
a
n
d
DL
ap
p
r
o
ac
h
es
in
r
an
s
o
m
w
a
r
e
tr
af
f
ic
class
i
f
icatio
n
[
1
]
.
T
h
e
ex
p
er
im
e
n
tal
f
r
a
m
e
w
o
r
k
aim
s
to
p
r
o
v
id
e
a
s
y
s
te
m
a
tic
ev
al
u
atio
n
o
f
d
if
f
e
r
en
t
le
ar
n
i
n
g
p
ar
ad
ig
m
s
u
n
d
e
r
id
en
tical
p
r
ep
r
o
ce
s
s
in
g
co
n
d
itio
n
s
to
en
s
u
r
e
a
f
air
co
m
p
ar
is
o
n
o
f
m
o
d
el
p
er
f
o
r
m
a
n
ce
.
T
h
e
f
r
a
m
e
w
o
r
k
i
s
s
y
s
te
m
atica
ll
y
s
tr
u
c
tu
r
ed
to
ad
d
r
ess
m
o
d
el
v
al
id
it
y
ch
alle
n
g
e
s
o
n
p
u
b
lic
d
atasets
th
at
o
f
ten
co
n
tai
n
i
n
h
er
e
n
t
b
ia
s
es
[
6
]
.
T
h
e
p
r
im
ar
y
f
o
c
u
s
i
s
t
o
en
s
u
r
e
a
f
air
a
n
d
r
ea
lis
tic
ev
al
u
atio
n
b
y
co
n
tr
o
ll
in
g
d
ata
lea
k
ag
e
a
n
d
f
ea
t
u
r
e
c
o
n
ta
m
i
n
atio
n
[
8
]
.
T
o
im
p
r
o
v
e
r
ep
r
o
d
u
cib
ilit
y
an
d
ex
p
er
i
m
e
n
tal
tr
an
s
p
ar
en
c
y
,
th
e
r
esear
ch
f
o
llo
w
s
a
s
tr
u
ct
u
r
ed
p
ip
elin
e
co
n
s
is
ti
n
g
o
f
d
ata
s
et
ac
q
u
is
it
io
n
,
p
r
ep
r
o
ce
s
s
in
g
,
f
ea
tu
r
e
d
ec
o
n
ta
m
i
n
atio
n
,
cla
s
s
b
alan
cin
g
,
m
o
d
el
i
m
p
le
m
en
ta
tio
n
,
a
n
d
p
er
f
o
r
m
a
n
ce
e
v
alu
a
tio
n
.
T
h
e
r
esear
ch
s
tag
es
f
o
llo
w
t
h
e
w
o
r
k
f
lo
w
ill
u
s
tr
ated
in
Fi
g
u
r
e
1
,
co
v
er
in
g
d
ataset
ac
q
u
is
i
tio
n
,
p
r
ep
r
o
ce
s
s
in
g
(
f
ea
tu
r
e
d
e
co
n
ta
m
i
n
atio
n
a
n
d
SMOT
E
)
[
7
]
,
co
m
p
ar
ativ
e
m
o
d
eli
n
g
,
an
d
ev
al
u
atio
n
u
s
i
n
g
i
n
d
u
s
tr
y
s
ta
n
d
ar
d
m
e
tr
ics
[
9
]
,
[
1
0
]
,
[
2
0
]
.
T
h
is
s
tr
u
ct
u
r
ed
w
o
r
k
f
lo
w
e
n
s
u
r
es
th
at
ea
ch
ex
p
er
i
m
en
tal
s
tag
e
i
s
co
n
d
u
cted
s
eq
u
en
tiall
y
to
m
in
i
m
ize
b
ias
an
d
m
ai
n
tai
n
co
n
s
is
te
n
c
y
ac
r
o
s
s
all
ev
alu
a
ted
m
o
d
els.
Evaluation Warning : The document was created with Spire.PDF for Python.
T
E
L
KOM
NI
K
A
T
elec
o
m
m
u
n
C
o
m
p
u
t E
l
C
o
n
tr
o
l
Ma
ch
in
e
lea
r
n
in
g
a
n
d
d
ee
p
le
a
r
n
in
g
fo
r
r
a
n
s
o
mw
a
r
e
d
etec
tio
n
via
fea
t
u
r
e
d
ec
o
n
ta
min
a
tio
n
(
S
r
iya
n
to
)
935
A
ll
ML
an
d
DL
m
o
d
els
w
er
e
ev
al
u
ated
u
n
d
er
id
en
tical
p
r
ep
r
o
ce
s
s
in
g
co
n
d
itio
n
s
to
en
s
u
r
e
t
h
a
t
p
er
f
o
r
m
a
n
ce
d
if
f
er
en
ce
s
ar
is
e
f
r
o
m
t
h
e
lear
n
i
n
g
al
g
o
r
ith
m
s
r
ath
er
th
a
n
p
r
ep
r
o
ce
s
s
in
g
b
ias
o
r
d
ataset
ar
tif
ac
ts
.
B
y
ap
p
l
y
i
n
g
th
e
s
a
m
e
p
r
ep
r
o
ce
s
s
i
n
g
p
ip
elin
e
to
all
m
o
d
els
,
th
e
s
tu
d
y
ai
m
s
to
p
r
o
v
id
e
a
r
eliab
le
b
en
ch
m
ar
k
f
o
r
ev
alu
a
tin
g
r
an
s
o
m
w
ar
e
d
et
ec
tio
n
ap
p
r
o
ac
h
es u
s
i
n
g
d
ec
o
n
ta
m
i
n
ated
n
et
w
o
r
k
tr
af
f
ic
f
ea
t
u
r
es.
Fig
u
r
e
1
.
R
esear
ch
s
tag
e
s
2
.
2
.
Da
t
a
a
cquis
it
io
n
T
h
is
r
esear
ch
e
m
p
lo
y
s
t
h
e
UNSW
-
NB
1
5
d
ataset,
a
co
n
te
m
p
o
r
ar
y
c
y
b
er
s
ec
u
r
i
t
y
b
en
ch
m
ar
k
estab
lis
h
ed
b
y
th
e
A
u
s
tr
alia
n
C
en
tr
e
f
o
r
C
y
b
er
Secu
r
it
y
at
th
e
Un
iv
er
s
it
y
o
f
Ne
w
S
o
u
th
W
ales.
W
h
ile
p
r
ev
io
u
s
liter
at
u
r
e
h
a
s
n
o
ted
ce
r
tain
co
n
s
tr
ai
n
ts
,
UN
SW
-
NB
1
5
is
s
till
ex
te
n
s
i
v
el
y
u
t
i
lized
in
in
tr
u
s
io
n
d
etec
tio
n
s
t
u
d
ies
d
u
e
to
its
i
n
clu
s
io
n
o
f
a
u
th
e
n
tic
n
et
w
o
r
k
t
r
af
f
ic
c
h
ar
ac
ter
is
tic
s
an
d
v
ar
ied
attac
k
s
ce
n
ar
io
s
[
6
]
,
[
1
5
]
.
R
esear
ch
er
s
co
n
ti
n
u
e
to
f
av
o
r
th
is
d
ataset
b
ec
au
s
e
it
o
f
f
er
s
a
r
ea
lis
tic
d
ep
ictio
n
o
f
m
o
d
er
n
n
et
w
o
r
k
b
eh
av
io
r
an
d
d
iv
er
s
e
th
r
ea
t
p
r
o
f
iles
.
T
o
o
p
tim
ize
co
m
p
u
tat
io
n
al
p
er
f
o
r
m
an
ce
d
u
r
i
n
g
t
h
e
tr
ain
i
n
g
p
h
a
s
e,
th
e
d
ataset
is
h
an
d
led
in
A
p
ac
h
e
P
ar
q
u
et
f
o
r
m
at.
A
lt
h
o
u
g
h
t
h
e
r
a
w
UNSW
-
NB
1
5
d
ataset
co
m
p
r
i
s
es
4
9
f
ea
tu
r
es,
m
an
y
ar
e
u
n
s
u
itab
le
f
o
r
m
o
d
el
tr
ain
i
n
g
as
th
e
y
f
u
n
ctio
n
a
s
id
en
ti
f
ier
s
o
r
p
o
s
t
-
i
n
cid
en
t
s
tatis
t
ics
t
h
at
co
u
ld
s
k
e
w
e
v
al
u
atio
n
r
es
u
lts
.
C
o
n
s
eq
u
en
tl
y
,
3
6
tech
n
ical
attr
ib
u
t
es
r
elev
a
n
t
to
f
lo
w
-
b
a
s
ed
an
a
l
y
s
i
s
w
er
e
i
n
itia
ll
y
s
elec
ted
,
o
m
itti
n
g
n
o
n
-
e
s
s
e
n
ti
al
id
en
ti
f
ier
s
li
k
e
ti
m
esta
m
p
s
a
n
d
I
P
ad
d
r
ess
es
.
T
h
ese
3
6
attr
ib
u
tes
ar
e
o
r
g
an
ized
in
to
th
e
f
o
llo
w
i
n
g
f
i
v
e
ca
t
eg
o
r
ies
:
a.
B
asic
f
ea
tu
r
es
:
c
o
r
e
m
etr
ics
s
u
ch
as
co
n
n
ec
tio
n
d
u
r
atio
n
(
d
u
r
)
,
p
r
o
to
co
l
(
p
r
o
to
)
,
s
ta
te
(
s
tate)
,
an
d
ap
p
licatio
n
s
er
v
ice
(
s
er
v
ice)
.
b.
C
o
n
te
n
t
f
ea
t
u
r
es
:
p
ac
k
et
-
le
v
el
d
ata
in
clu
d
in
g
to
tal
b
y
tes
(
s
b
y
tes
a
n
d
d
b
y
tes),
p
ac
k
et
co
u
n
ts
(
s
p
k
ts
a
n
d
d
p
k
ts
)
,
ti
m
e
-
to
-
liv
e
(
s
ttl
an
d
d
t
tl),
an
d
tr
an
s
m
is
s
io
n
r
ate
(
r
ate)
.
c.
T
im
e
f
ea
tu
r
e
s
:
m
e
tr
ics
i
n
v
o
l
v
in
g
j
itter
,
in
ter
-
ar
r
iv
al
ti
m
e
,
p
ac
k
et
lo
s
s
(
s
lo
s
s
an
d
d
lo
s
s
)
,
an
d
lo
ad
s
tatis
t
ics (
s
lo
ad
an
d
d
lo
ad
)
.
d.
T
r
an
s
m
is
s
io
n
co
n
tr
o
l p
r
o
to
co
l
(
T
C
P
)
f
ea
tu
r
es
p
ar
a
m
eter
s
i
n
c
lu
d
in
g
r
o
u
n
d
-
tr
ip
ti
m
e
(
R
T
T
)
,
w
i
n
d
o
w
s
ize,
ac
k
d
at,
s
y
n
ac
k
,
an
d
b
ase
s
eq
u
en
ce
n
u
m
b
er
s
.
e.
Statis
t
ical
an
d
last
ti
m
e
m
an
ag
e
m
e
n
t
(
L
T
M)
f
ea
tu
r
es:
a
tt
r
ib
u
tes
th
a
t
ca
p
tu
r
e
co
n
n
ec
t
i
o
n
f
r
eq
u
e
n
c
y
p
atter
n
s
to
th
e
s
a
m
e
I
P
o
r
s
er
v
ice.
T
h
e
d
ataset
en
co
m
p
as
s
es
a
t
o
tal
o
f
2
5
7
,
6
7
3
s
am
p
le
s
,
d
iv
id
ed
in
to
1
7
5
,
3
4
1
tr
ain
in
g
r
ec
o
r
d
s
an
d
8
2
,
3
3
2
test
in
g
r
ec
o
r
d
s
.
I
n
itial
ex
p
lo
r
ato
r
y
d
ata
an
al
y
s
i
s
in
d
icate
d
a
s
u
b
s
tan
tial
d
is
p
r
o
p
o
r
t
io
n
b
et
w
ee
n
attac
k
an
d
n
o
r
m
al
tr
af
f
ic,
w
h
ic
h
p
r
o
m
p
ted
th
e
ap
p
licatio
n
o
f
class
-
b
alan
ci
n
g
an
d
f
ea
tu
r
e
d
ec
o
n
t
a
m
i
n
atio
n
m
e
th
o
d
s
.
T
o
en
s
u
r
e
ex
p
er
i
m
e
n
tal
r
ep
r
o
d
u
cib
ilit
y
a
n
d
m
ai
n
tai
n
alig
n
m
en
t
w
ith
e
x
is
t
in
g
r
esear
ch
,
t
h
is
s
t
u
d
y
ad
h
er
e
s
to
th
e
o
r
ig
i
n
al
tr
ain
in
g
an
d
tes
tin
g
s
p
lit p
r
o
v
id
ed
b
y
t
h
e
UN
SW
-
NB
1
5
d
ev
elo
p
er
s
.
2
.
3
.
Da
t
a
pr
epro
ce
s
s
ing
a
nd
f
ea
t
ure
deco
nta
m
ina
t
io
n
T
h
e
p
r
e
p
r
o
ce
s
s
in
g
s
tag
e
f
o
cu
s
es
o
n
e
n
s
u
r
in
g
d
ata
in
te
g
r
it
y
b
y
ap
p
l
y
i
n
g
a
f
ea
t
u
r
e
d
ec
o
n
t
a
m
i
n
atio
n
p
r
o
to
co
l
(
illu
s
tr
ated
in
F
ig
u
r
e
2
)
to
av
o
id
tr
iv
ial
s
ep
ar
ab
ilit
y
an
d
h
id
d
en
d
ata
leak
ag
e
[
6
]
.
Featu
r
e
d
ec
o
n
ta
m
i
n
atio
n
ai
m
s
to
r
e
m
o
v
e
attr
ib
u
tes
t
h
at
m
a
y
i
m
p
licit
l
y
co
n
tai
n
lab
el
-
r
elate
d
in
f
o
r
m
atio
n
o
r
p
o
s
t
-
ev
en
t
Evaluation Warning : The document was created with Spire.PDF for Python.
I
SS
N
:
1
6
9
3
-
6930
T
E
L
KOM
NI
K
A
T
elec
o
m
m
u
n
C
o
m
p
u
t E
l
C
o
n
tr
o
l
,
Vo
l.
24
,
No
.
3
,
J
u
n
e
20
26
:
9
33
-
9
44
936
s
tatis
t
ical
s
u
m
m
ar
ies
t
h
at
co
u
ld
b
ias
m
o
d
el
e
v
al
u
atio
n
.
T
o
id
en
ti
f
y
p
o
ten
tiall
y
co
n
ta
m
i
n
ated
attr
ib
u
te
s
,
a
n
ex
p
lo
r
ato
r
y
a
n
al
y
s
is
w
a
s
co
n
d
u
cted
to
ex
a
m
i
n
e
t
h
e
s
tati
s
tica
l
r
elatio
n
s
h
ip
s
b
et
w
ee
n
f
ea
tu
r
es
an
d
class
lab
els
.
Featu
r
es
t
h
at
d
ir
ec
tl
y
en
co
d
e
p
o
s
t
-
ev
e
n
t
tr
af
f
ic
s
tat
is
tic
s
o
r
ex
h
ib
it
s
tr
o
n
g
as
s
o
ciatio
n
w
it
h
attac
k
lab
els
w
er
e
co
n
s
id
er
ed
p
o
ten
tial
s
o
u
r
ce
s
o
f
d
ata
lea
k
ag
e.
T
h
ese
attr
ib
u
te
s
m
a
y
ar
ti
f
icia
ll
y
s
i
m
p
li
f
y
th
e
class
i
f
icatio
n
tas
k
,
lead
in
g
to
o
v
er
l
y
o
p
ti
m
i
s
tic
m
o
d
el
p
er
f
o
r
m
an
ce
.
T
h
e
f
ea
tu
r
e
s
elec
tio
n
m
ec
h
a
n
i
s
m
w
a
s
co
n
d
u
cted
:
a.
L
ea
k
ag
e
as
s
es
s
m
e
n
t,
ev
a
lu
at
in
g
r
ea
l
-
ti
m
e
f
ea
tu
r
e
av
ai
lab
ilit
y
to
en
s
u
r
e
t
h
at
t
h
e
m
o
d
el
o
n
l
y
u
s
e
s
attr
ib
u
tes o
b
s
er
v
ab
le
d
u
r
i
n
g
a
ctu
al
n
e
t
w
o
r
k
tr
af
f
ic
m
o
n
i
to
r
in
g
.
b.
C
o
r
r
elatio
n
-
b
ased
lea
k
a
g
e
q
u
an
ti
f
icatio
n
,
w
h
er
e
h
ig
h
l
y
co
r
r
elate
d
f
ea
tu
r
es
w
it
h
p
o
ten
tial
lab
el
leak
ag
e
w
er
e
ex
a
m
i
n
ed
u
s
in
g
s
tatis
t
ica
l c
o
r
r
elatio
n
an
al
y
s
is
.
c.
Featu
r
e
r
e
m
o
v
al
,
eli
m
in
a
tin
g
L
T
M
f
ea
tu
r
es
an
d
r
ed
u
n
d
an
t
s
tatis
t
ical
attr
ib
u
tes
id
en
ti
f
ied
as
lab
o
r
ato
r
y
ar
tif
ac
ts
.
T
h
r
o
u
g
h
th
is
p
r
o
ce
s
s
,
f
ea
tu
r
e
s
th
at
r
ep
r
esen
t
ag
g
r
eg
ated
co
n
n
ec
tio
n
s
tatis
tics
o
r
in
d
ir
ec
tl
y
en
co
d
e
attac
k
o
u
tco
m
e
s
w
er
e
r
em
o
v
e
d
f
r
o
m
t
h
e
d
ataset.
T
h
is
s
tep
en
s
u
r
es
th
at
t
h
e
lear
n
i
n
g
m
o
d
els
r
el
y
o
n
g
en
u
i
n
e
b
eh
av
io
r
al
ch
ar
ac
ter
i
s
tics
o
f
n
et
w
o
r
k
tr
a
f
f
ic
r
ath
er
t
h
a
n
e
x
p
lo
itin
g
h
id
d
en
d
ataset
ar
ti
f
ac
ts
.
T
h
r
o
u
g
h
th
is
p
r
o
ce
d
u
r
e,
th
e
f
ea
tu
r
e
s
et
w
a
s
r
ed
u
ce
d
f
r
o
m
3
6
attr
ib
u
tes
to
2
9
clea
n
f
ea
tu
r
e
s
.
T
h
is
r
ed
u
ctio
n
is
n
o
t
m
er
el
y
d
i
m
en
s
io
n
al
it
y
r
ed
u
c
tio
n
b
u
t
a
d
elib
er
ate
s
tr
ateg
y
to
eli
m
i
n
ate
co
n
ta
m
i
n
ated
f
ea
tu
r
es
t
h
at
co
u
ld
ar
tif
icial
l
y
in
f
late
m
o
d
el
p
er
f
o
r
m
a
n
ce
.
Fig
u
r
e
2
.
Featu
r
e
d
ec
o
n
ta
m
in
a
tio
n
p
r
o
ce
s
s
T
h
e
r
em
o
v
ed
f
ea
tu
r
e
s
an
d
th
e
i
r
j
u
s
tif
icatio
n
s
ar
e
d
etailed
in
T
ab
le
1
.
T
ab
le
1
.
Featu
r
e
d
ec
o
n
ta
m
in
a
t
io
n
r
esu
lt
s
C
a
t
e
g
o
r
y
R
e
mo
v
e
d
f
e
a
t
u
r
e
s
R
e
t
a
i
n
e
d
f
e
a
t
u
r
e
s
Ju
st
i
f
i
c
a
t
i
o
n
f
o
r
e
l
i
mi
n
a
t
i
o
n
F
l
o
w
s
t
a
t
i
s
t
i
c
s
c
t
_
st
a
t
e
_
t
t
l
,
c
t
_
sr
v
_
sr
c
,
c
t
_
sr
v
_
d
s
t
r
a
t
e
,
st
t
l
,
d
t
t
l
,
sl
o
a
d
,
d
l
o
a
d
,
sl
o
ss,
d
l
o
ss
P
o
st
-
e
v
e
n
t
f
e
a
t
u
r
e
s t
h
a
t
t
r
i
g
g
e
r
e
v
a
l
u
a
t
i
o
n
b
i
a
s
(
d
a
t
a
l
e
a
k
a
g
e
)
T
C
P
a
n
d
p
r
o
t
o
c
o
l
c
h
a
r
a
c
t
e
r
i
st
i
c
s
i
s_
f
t
p
_
l
o
g
i
n
,
i
s_
sm
_
i
p
s
_
p
o
r
t
s
sw
i
n
,
d
w
i
n
,
s
t
c
p
b
,
d
t
c
p
b
,
t
c
p
r
t
t
,
sy
n
a
c
k
,
a
c
k
d
a
t
S
i
mp
l
e
i
n
d
i
c
a
t
o
r
f
e
a
t
u
r
e
s t
h
a
t
a
r
e
t
r
i
v
i
a
l
i
n
n
a
t
u
r
e
L
T
M
a
n
d
d
y
n
a
m
i
c
s
c
o
n
n
e
c
t
i
o
n
s
c
t
_
sr
c
_
d
p
o
r
t
_
l
t
m
,
c
t
_
d
s
t
_
s
p
o
r
t
_
l
t
m
d
u
r
,
s
p
k
t
s,
d
p
k
t
s,
sb
y
t
e
s,
d
b
y
t
e
s,
sme
a
n
,
d
me
a
n
,
si
n
p
k
t
,
d
i
n
p
k
t
,
sj
i
t
,
d
j
i
t
,
p
r
o
t
o
,
se
r
v
i
c
e
,
st
a
t
e
,
t
r
a
n
s
_
d
e
p
t
h
I
n
f
o
r
mat
i
o
n
r
e
d
u
n
d
a
n
c
y
a
n
d
l
a
b
o
r
a
t
o
r
y
st
a
t
i
s
t
i
c
a
l
a
r
t
i
f
a
c
t
s
Fo
llo
w
i
n
g
d
ec
o
n
ta
m
in
at
io
n
,
p
r
ep
r
o
ce
s
s
in
g
co
n
t
in
u
ed
w
it
h
d
ata
s
tan
d
ar
d
izatio
n
:
a.
L
ab
el
en
co
d
in
g
,
co
n
v
er
tin
g
ca
teg
o
r
ical
f
ea
t
u
r
es i
n
to
n
u
m
er
ical
r
ep
r
esen
tatio
n
s
[
2
0
]
.
b.
Min
-
m
a
x
s
ca
l
in
g
,
n
o
r
m
al
izin
g
n
u
m
er
ica
l
f
ea
t
u
r
es
in
to
th
e
[
0
,
1
]
r
an
g
e
to
en
s
u
r
e
s
tab
il
it
y
d
u
r
i
n
g
t
h
e
w
ei
g
h
t u
p
d
ate
p
r
o
ce
s
s
in
D
L
m
o
d
el
s
[
7
]
.
Evaluation Warning : The document was created with Spire.PDF for Python.
T
E
L
KOM
NI
K
A
T
elec
o
m
m
u
n
C
o
m
p
u
t E
l
C
o
n
tr
o
l
Ma
ch
in
e
lea
r
n
in
g
a
n
d
d
ee
p
le
a
r
n
in
g
fo
r
r
a
n
s
o
mw
a
r
e
d
etec
tio
n
via
fea
t
u
r
e
d
ec
o
n
ta
min
a
tio
n
(
S
r
iya
n
to
)
937
2
.
4
.
Cla
s
s
b
a
la
ncing
us
ing
S
M
O
T
E
T
h
e
in
itial
tr
ain
i
n
g
d
ataset
ex
h
ib
ited
a
s
tr
o
n
g
d
o
m
i
n
an
ce
o
f
attac
k
clas
s
es
o
v
er
th
e
n
o
r
m
al
class
.
Mo
d
els
tr
ain
ed
o
n
i
m
b
ala
n
ce
d
d
ata
ten
d
to
b
e
b
iased
to
w
a
r
d
th
e
m
aj
o
r
ity
cla
s
s
,
in
cr
ea
s
i
n
g
th
e
r
is
k
o
f
f
al
s
e
n
eg
at
iv
e
s
(
FN)
,
w
h
er
e
cr
itica
l
r
an
s
o
m
w
ar
e
attac
k
s
r
e
m
ai
n
u
n
d
etec
ted
[
6
]
,
[
2
1
]
.
T
o
a
d
d
r
ess
th
is
i
s
s
u
e,
th
e
SMOT
E
w
as
ap
p
lied
to
th
e
tr
a
in
i
n
g
d
ata.
SMOT
E
g
en
er
ates
s
y
n
t
h
etic
s
a
m
p
le
s
b
y
i
n
ter
p
o
latin
g
n
e
w
i
n
s
tan
ce
s
b
et
w
ee
n
n
ei
g
h
b
o
r
in
g
s
a
m
p
le
s
in
t
h
e
f
ea
t
u
r
e
s
p
ac
e,
th
er
eb
y
i
m
p
r
o
v
i
n
g
t
h
e
r
ep
r
esen
tat
io
n
o
f
m
i
n
o
r
it
y
c
lass
e
s
w
it
h
o
u
t
s
i
m
p
le
d
u
p
licatio
n
.
I
n
t
h
is
s
t
u
d
y
,
SMOT
E
w
a
s
ap
p
lied
ex
clu
s
i
v
el
y
to
t
h
e
tr
ai
n
i
n
g
d
ataset
to
a
v
o
id
d
ata
leak
ag
e
in
to
th
e
test
i
n
g
s
et.
T
h
is
en
s
u
r
es
th
at
m
o
d
el
ev
alu
atio
n
r
e
m
a
in
s
u
n
b
ia
s
ed
an
d
r
ef
lects
r
ea
l
-
w
o
r
ld
p
er
f
o
r
m
a
n
ce
.
I
n
t
h
is
s
t
u
d
y
,
S
MO
T
E
w
as
i
m
p
le
m
e
n
ted
w
it
h
=
5
,
a
co
m
m
o
n
l
y
u
s
ed
v
al
u
e
f
o
r
g
e
n
er
atin
g
s
y
n
t
h
etic
m
i
n
o
r
it
y
s
a
m
p
le
s
in
i
m
b
alan
ce
d
cla
s
s
i
f
icat
io
n
p
r
o
b
lem
s
.
P
r
ev
io
u
s
s
tu
d
ie
s
h
av
e
s
h
o
w
n
th
at
co
m
b
i
n
i
n
g
SMOT
E
w
it
h
e
n
s
e
m
b
le
-
b
ased
clas
s
if
ier
s
,
s
u
c
h
as
RF
,
ca
n
s
i
g
n
if
ican
t
l
y
i
m
p
r
o
v
e
d
etec
tio
n
s
en
s
iti
v
it
y
,
p
ar
tic
u
lar
l
y
f
o
r
m
i
n
o
r
it
y
attac
k
clas
s
es
[
2
2
]
.
T
h
e
r
esu
lti
n
g
b
ala
n
ce
d
class
d
is
tr
i
b
u
tio
n
is
v
is
u
alize
d
in
Fi
g
u
r
e
3
.
Fig
u
r
e
3
.
C
lass
d
is
tr
ib
u
tio
n
b
ef
o
r
e
an
d
af
ter
SMOT
E
2
.
5
.
ML
a
nd
DL
i
m
p
le
m
ent
a
t
io
n
T
h
e
m
o
d
elin
g
p
h
a
s
e
co
m
p
ar
es
ML
al
g
o
r
ith
m
s
a
n
d
DL
ar
ch
itectu
r
es
to
ev
al
u
ate
t
h
e
ef
f
ec
t
iv
en
e
s
s
o
f
th
e
2
9
d
ec
o
n
ta
m
in
a
ted
f
ea
t
u
r
e
s
i
n
d
etec
ti
n
g
r
a
n
s
o
m
w
ar
e
ac
t
iv
it
y
[
1
]
.
All
e
x
p
er
i
m
e
n
ts
w
er
e
co
n
d
u
cted
u
s
i
n
g
P
y
t
h
o
n
-
b
ased
ML
f
r
a
m
e
w
o
r
k
s
,
p
r
im
ar
il
y
Scik
it
-
lear
n
f
o
r
cla
s
s
ical
ML
m
o
d
els
an
d
T
en
s
o
r
Flo
w
/Ker
as
f
o
r
DL
ar
ch
itect
u
r
es to
en
s
u
r
e
r
ep
r
o
d
u
cib
le
i
m
p
le
m
e
n
tatio
n
o
f
th
e
m
o
d
el
s
.
2
.
5
.
1
.
ML
a
rc
hite
ct
ure
T
h
r
ee
tr
ee
b
ased
m
o
d
els
w
er
e
i
m
p
le
m
en
ted
d
u
e
to
t
h
eir
r
o
b
u
s
tn
e
s
s
i
n
h
a
n
d
li
n
g
tab
u
lar
d
ata
[
1
3
]
:
a.
DT
,
u
s
ed
as a
b
aselin
e
m
o
d
el
t
o
ca
p
tu
r
e
r
u
le
-
b
ased
class
if
ica
tio
n
b
eh
av
io
r
.
b.
R
F,
w
h
ich
a
g
g
r
eg
ate
s
m
u
l
tip
l
e
DT
u
s
in
g
b
o
o
ts
tr
ap
s
a
m
p
li
n
g
to
i
m
p
r
o
v
e
p
r
ed
ictio
n
s
tab
il
it
y
a
n
d
r
ed
u
ce
v
ar
ian
ce
[
6
]
.
c.
XGB
o
o
s
t,
a
g
r
ad
ien
t
b
o
o
s
tin
g
al
g
o
r
ith
m
d
es
ig
n
ed
to
o
p
ti
m
ize
class
if
ica
tio
n
p
er
f
o
r
m
an
ce
t
h
r
o
u
g
h
iter
ativ
e
er
r
o
r
co
r
r
ec
tio
n
[
1
4
]
.
2
.
5
.
2
.
DL
a
rc
hite
ct
ure
T
h
r
ee
DL
ar
ch
itect
u
r
es
w
er
e
i
m
p
le
m
e
n
ted
to
ev
al
u
ate
a
u
to
m
atic
f
ea
t
u
r
e
ex
tr
ac
tio
n
ca
p
ab
ilit
y
:
a.
ML
P
,
co
n
s
i
s
ti
n
g
o
f
f
u
ll
y
co
n
n
ec
ted
la
y
er
s
w
it
h
r
ec
tifie
d
lin
ea
r
u
n
i
t
(
R
e
L
U
)
ac
ti
v
atio
n
f
u
n
ctio
n
s
i
n
h
id
d
en
la
y
er
s
an
d
Si
g
m
o
id
ac
t
iv
atio
n
i
n
t
h
e
o
u
tp
u
t la
y
er
.
b.
1D
-
C
N
N,
d
esig
n
ed
to
ca
p
tu
r
e
lo
ca
l f
ea
tu
r
e
i
n
ter
ac
tio
n
s
th
r
o
u
g
h
co
n
v
o
l
u
tio
n
al
f
il
ter
s
an
d
p
o
o
lin
g
la
y
er
s
.
c.
L
ST
M
is
i
m
p
le
m
e
n
ted
to
ev
a
lu
ate
p
o
ten
t
ial
s
eq
u
en
tial
d
ep
en
d
en
cie
s
w
it
h
i
n
t
h
e
f
ea
t
u
r
e
r
ep
r
esen
tatio
n
s
p
ac
e.
T
h
e
L
ST
M
m
o
d
el
w
a
s
i
n
clu
d
ed
to
i
n
v
esti
g
ate
w
h
e
th
er
s
eq
u
en
t
ial
lear
n
in
g
m
ec
h
an
is
m
s
co
u
ld
ca
p
tu
r
e
h
id
d
en
d
ep
en
d
en
cie
s
w
it
h
i
n
ag
g
r
e
g
ated
n
et
w
o
r
k
tr
a
f
f
ic
f
ea
t
u
r
es.
A
ll
DL
m
o
d
els
w
er
e
tr
ain
ed
u
s
in
g
b
in
ar
y
cr
o
s
s
-
en
tr
o
p
y
lo
s
s
an
d
th
e
A
d
a
m
o
p
ti
m
izer
w
it
h
a
lear
n
in
g
r
ate
o
f
0
.
0
0
1
.
T
r
ain
in
g
w
a
s
co
n
d
u
cte
d
f
o
r
5
0
e
p
o
ch
s
w
it
h
a
b
atch
s
i
ze
o
f
3
2
,
an
d
d
r
o
p
o
u
t r
eg
u
lar
izatio
n
w
as a
p
p
lied
to
m
iti
g
ate
o
v
er
f
itti
n
g
.
Evaluation Warning : The document was created with Spire.PDF for Python.
I
SS
N
:
1
6
9
3
-
6930
T
E
L
KOM
NI
K
A
T
elec
o
m
m
u
n
C
o
m
p
u
t E
l
C
o
n
tr
o
l
,
Vo
l.
24
,
No
.
3
,
J
u
n
e
20
26
:
9
33
-
9
44
938
2
.
6
.
E
v
a
lua
t
i
o
n
m
et
ri
cs
P
er
f
o
r
m
a
n
ce
ev
al
u
atio
n
w
a
s
co
n
d
u
cted
u
s
i
n
g
s
ta
n
d
ar
d
m
e
tr
ics
d
er
iv
ed
f
r
o
m
th
e
co
n
f
u
s
io
n
m
atr
i
x
[
9
]
,
[
1
0
]
:
a.
A
cc
u
r
ac
y
,
m
ea
s
u
r
in
g
t
h
e
r
atio
o
f
co
r
r
ec
t p
r
e
d
ictio
n
s
o
v
er
to
tal
s
a
m
p
les.
b.
P
r
ec
is
io
n
,
m
ea
s
u
r
in
g
t
h
e
co
r
r
ec
tn
es
s
o
f
p
o
s
iti
v
e
p
r
ed
ictio
n
s
.
c.
R
ec
all
(
s
en
s
iti
v
it
y
)
is
co
n
s
id
er
ed
th
e
p
r
im
ar
y
m
etr
ic
in
r
an
s
o
m
w
ar
e
d
e
tectio
n
b
ec
au
s
e
f
a
ilin
g
to
d
etec
t
an
attac
k
(
FN
)
ca
n
r
esu
lt in
s
e
v
er
e
s
y
s
te
m
d
a
m
a
g
e.
d.
F1
-
s
co
r
e,
th
e
h
ar
m
o
n
ic
m
ea
n
o
f
p
r
ec
is
io
n
an
d
r
ec
all
.
e.
A
r
ea
u
n
d
er
th
e
cu
r
v
e
-
r
ec
ei
v
e
r
o
p
er
atin
g
ch
ar
ac
ter
i
s
tic
(
AUC
-
R
O
C
)
,
m
ea
s
u
r
es
t
h
e
m
o
d
el
’
s
ab
ilit
y
to
d
is
cr
i
m
i
n
ate
b
et
w
ee
n
cla
s
s
e
s
a
cr
o
s
s
m
u
ltip
le
t
h
r
esh
o
ld
s
ett
in
g
s
.
T
h
ese
ev
alu
a
tio
n
m
etr
ics
p
r
o
v
id
e
a
co
m
p
r
eh
e
n
s
iv
e
a
s
s
e
s
s
m
en
t
o
f
m
o
d
el
p
er
f
o
r
m
a
n
ce
b
ey
o
n
d
s
i
m
p
le
ac
cu
r
ac
y
,
p
ar
ticu
lar
l
y
w
h
e
n
d
e
alin
g
w
it
h
i
m
b
ala
n
ce
d
c
y
b
er
s
e
cu
r
it
y
d
atase
ts
.
3.
RE
SU
L
T
S AN
D
D
I
SCU
SS
I
O
N
3
.
1
.
P
er
f
o
rm
a
nce
ev
a
lua
t
io
n
o
f
ML
m
o
dels
T
h
is
s
ec
tio
n
p
r
ese
n
ts
a
co
m
p
r
e
h
e
n
s
i
v
e
ev
a
lu
at
io
n
o
f
th
e
b
aseli
n
e
M
L
m
o
d
el
s
in
d
etec
tin
g
r
an
s
o
m
w
ar
e
-
r
elate
d
n
et
w
o
r
k
tr
af
f
ic
u
s
i
n
g
t
h
e
U
NSW
-
N
B
1
5
d
ataset.
T
h
e
ev
alu
atio
n
f
o
cu
s
es
o
n
m
o
d
el
b
eh
av
io
r
af
ter
ap
p
ly
in
g
f
ea
t
u
r
e
d
ec
o
n
ta
m
i
n
atio
n
an
d
clas
s
b
alan
ci
n
g
,
e
n
s
u
r
i
n
g
t
h
at
t
h
e
o
b
s
er
v
ed
p
er
f
o
r
m
a
n
ce
r
ef
lects
t
h
e
m
o
d
els
’
ab
ilit
y
to
lear
n
m
ea
n
in
g
f
u
l
tr
a
f
f
ic
p
atter
n
s
r
ath
er
th
a
n
ex
p
lo
iti
n
g
d
ataset
ar
tif
ac
t
s
.
T
h
e
ev
alu
a
ted
ML
al
g
o
r
ith
m
s
i
n
cl
u
d
e
DT
,
R
F,
an
d
XGB
o
o
s
t.
3
.
1
.
1
.
Co
nfusi
o
n
m
a
t
ri
x
a
na
ly
s
is
a
nd
ML
ev
a
lua
t
io
n m
et
r
ics
T
h
e
class
i
f
icatio
n
ca
p
ab
ilit
ie
s
o
f
t
h
e
b
aseli
n
e
M
L
m
o
d
el
s
ar
e
v
is
u
all
y
r
ep
r
esen
ted
th
r
o
u
g
h
th
e
co
n
f
u
s
io
n
m
atr
ices
s
h
o
w
n
i
n
Fig
u
r
e
4
,
co
n
s
is
ti
n
g
o
f
t
h
r
ee
s
u
b
f
i
g
u
r
e
s
:
(
a)
D
T
,
(
b
)
R
F,
an
d
(
c)
XGB
o
o
s
t,
allo
w
i
n
g
d
ir
ec
t c
o
m
p
ar
is
o
n
o
f
m
is
c
lass
if
ica
tio
n
p
atter
n
s
ac
r
o
s
s
m
o
d
els.
As
ill
u
s
tr
ated
i
n
Fi
g
u
r
e
4
(
a)
,
th
e
DT
m
o
d
el
d
e
m
o
n
s
tr
at
es
r
ea
s
o
n
ab
le
d
etec
tio
n
ca
p
a
b
ilit
y
b
u
t
p
r
o
d
u
ce
s
a
r
elativ
el
y
h
i
g
h
er
n
u
m
b
er
o
f
f
alse
p
o
s
iti
v
es
(
FP
)
.
T
h
is
b
eh
av
io
r
is
r
ef
lecte
d
in
T
ab
le
2
,
w
h
er
e
D
T
r
ec
o
r
d
s
th
e
lo
w
est
p
r
ec
is
io
n
v
alu
e
(
0
.
8
4
9
9
)
.
T
h
e
r
esu
lt
in
d
i
ca
tes
th
at
s
i
n
g
le
-
tr
ee
ar
ch
i
tect
u
r
es
te
n
d
to
o
v
er
f
it
h
eter
o
g
e
n
eo
u
s
n
et
w
o
r
k
tr
a
f
f
ic
d
is
tr
ib
u
tio
n
s
,
p
ar
ticu
lar
l
y
w
h
e
n
th
e
f
ea
t
u
r
e
s
p
ac
e
co
n
tai
n
s
co
m
p
lex
i
n
ter
ac
tio
n
s
a
m
o
n
g
tr
af
f
ic
attr
ib
u
tes.
I
n
co
n
tr
ast,
Fig
u
r
es
4
(
b
)
an
d
(
c)
s
h
o
w
th
a
t
en
s
e
m
b
le
-
b
ased
m
o
d
els
estab
li
s
h
m
o
r
e
s
tab
le
d
ec
is
io
n
b
o
u
n
d
ar
ies.
A
cc
o
r
d
in
g
to
T
ab
le
2
,
R
F
ac
h
iev
e
s
th
e
h
i
g
h
est
tr
u
e
p
o
s
iti
v
e
(
T
P)
r
ate,
w
i
th
a
r
ec
all
o
f
0
.
9
5
0
7
.
T
h
is
h
ig
h
r
ec
all
ca
p
ab
ilit
y
is
p
ar
ticu
lar
l
y
cr
itical
f
o
r
r
an
s
o
m
w
ar
e
d
etec
tio
n
,
as
m
i
s
s
i
n
g
ev
en
a
s
i
n
g
le
attac
k
in
s
ta
n
ce
ca
n
r
esu
l
t in
lar
g
e
-
s
ca
le
d
ata
en
cr
y
p
tio
n
a
n
d
s
y
s
te
m
d
is
r
u
p
tio
n
.
(
a)
(
b
)
(
c)
Fig
u
r
e
4
.
C
o
n
f
u
s
io
n
m
atr
ix
o
f
ML
m
o
d
el
s
: (
a)
DT
,
(
b
)
R
F,
a
n
d
(
c)
XGB
o
o
s
t
Me
an
w
h
ile,
XGB
o
o
s
t
p
r
o
d
u
ce
s
a
s
tr
o
n
g
F
1
-
s
co
r
e
o
f
0
.
9
1
1
5
,
in
d
icatin
g
b
alan
ce
d
p
er
f
o
r
m
an
ce
b
et
w
ee
n
p
r
ec
is
io
n
an
d
r
ec
al
l.
T
h
e
s
u
p
er
io
r
p
e
r
f
o
r
m
a
n
ce
o
f
en
s
e
m
b
le
-
b
a
s
ed
m
o
d
els
is
co
n
s
i
s
ten
t
w
i
th
p
r
ev
io
u
s
s
t
u
d
ies
s
h
o
w
i
n
g
th
at
b
ag
g
in
g
an
d
b
o
o
s
tin
g
tech
n
i
q
u
es
ar
e
h
ig
h
l
y
ef
f
ec
ti
v
e
in
h
an
d
lin
g
s
tr
u
c
tu
r
ed
tab
u
lar
d
atasets
w
it
h
h
eter
o
g
e
n
eo
u
s
s
tati
s
tical
p
atter
n
s
[
7
]
.
Fu
r
t
h
er
in
s
p
ec
tio
n
o
f
t
h
e
co
n
f
u
s
io
n
m
atr
ice
s
also
r
ev
ea
ls
t
h
at
m
o
s
t
m
is
cla
s
s
i
f
ic
atio
n
ca
s
e
s
o
cc
u
r
b
et
w
ee
n
b
e
n
ig
n
a
n
d
attac
k
tr
a
f
f
ic
i
n
s
ta
n
c
es
th
a
t
s
h
ar
e
s
i
m
i
lar
s
tatis
t
ical
ch
ar
ac
ter
i
s
tics
,
s
u
c
h
as
p
ac
k
e
t
r
ate
an
d
co
n
n
ec
t
io
n
d
u
r
atio
n
.
T
h
is
o
v
er
lap
in
d
icate
s
th
at
ce
r
tai
n
n
et
w
o
r
k
tr
a
f
f
ic
p
atter
n
s
e
x
h
ib
it
b
eh
av
io
r
al
s
i
m
ilar
it
ies,
w
h
ic
h
m
a
y
r
es
u
lt
i
n
o
cc
asi
o
n
al
f
al
s
e
-
p
o
s
i
tiv
e
Evaluation Warning : The document was created with Spire.PDF for Python.
T
E
L
KOM
NI
K
A
T
elec
o
m
m
u
n
C
o
m
p
u
t E
l
C
o
n
tr
o
l
Ma
ch
in
e
lea
r
n
in
g
a
n
d
d
ee
p
le
a
r
n
in
g
fo
r
r
a
n
s
o
mw
a
r
e
d
etec
tio
n
via
fea
t
u
r
e
d
ec
o
n
ta
min
a
tio
n
(
S
r
iya
n
to
)
939
p
r
ed
ictio
n
s
.
Nev
er
t
h
eles
s
,
th
e
o
v
er
all
n
u
m
b
er
o
f
FN
r
e
m
ai
n
s
r
elati
v
el
y
lo
w
,
p
ar
ticu
lar
l
y
in
t
h
e
RF
m
o
d
el,
d
em
o
n
s
tr
ati
n
g
s
tr
o
n
g
ca
p
ab
ili
t
y
i
n
id
en
ti
f
y
i
n
g
r
an
s
o
m
w
ar
e
-
r
elate
d
tr
af
f
ic
p
atter
n
s
.
T
h
e
r
esu
lt
s
co
n
f
ir
m
t
h
at
en
s
e
m
b
le
-
b
a
s
ed
ML
m
o
d
els
s
ig
n
i
f
ica
n
tl
y
o
u
tp
er
f
o
r
m
s
i
n
g
l
e
-
tr
ee
class
i
f
ier
s
.
Af
ter
f
ea
t
u
r
e
d
ec
o
n
tam
in
at
io
n
,
th
e
m
o
d
els
ar
e
f
o
r
ce
d
to
r
ely
o
n
g
en
u
i
n
e
b
eh
av
io
r
al
p
atter
n
s
o
f
n
et
w
o
r
k
tr
af
f
ic
r
ath
er
th
an
tr
iv
ial
d
ataset
ar
tif
ac
ts
,
p
r
o
d
u
cin
g
a
m
o
r
e
r
ea
lis
tic
e
v
alu
at
io
n
o
f
r
an
s
o
m
w
ar
e
d
etec
tio
n
ca
p
ab
ilit
y
.
T
ab
le
2
.
ML
m
o
d
el
p
er
f
o
r
m
a
n
ce
M
o
d
e
l
A
c
c
u
r
a
c
y
P
r
e
c
i
si
o
n
R
e
c
a
l
l
F1
-
sco
r
e
DT
0
.
8
7
5
1
0
.
8
4
9
9
0
.
9
3
9
0
0
.
8
9
2
3
RF
0
.
9
0
2
7
0
.
8
8
1
9
0
.
9
5
0
7
0
.
9
1
5
0
X
G
B
o
o
st
0
.
8
9
8
3
0
.
8
7
5
5
0
.
9
5
0
5
0
.
9
1
1
5
3
.
1
.
2
.
Dis
cr
i
m
ina
t
iv
e
cha
ra
ct
er
is
t
ics t
hro
ug
h RO
C
curv
e
a
na
ly
s
is
T
h
e
d
is
cr
i
m
i
n
ati
v
e
ab
ilit
y
o
f
t
h
e
M
L
m
o
d
els
i
s
f
u
r
t
h
er
e
v
al
u
ated
u
s
i
n
g
th
e
R
O
C
c
u
r
v
e
in
Fig
u
r
e
5
.
T
h
e
R
OC
cu
r
v
es
s
h
o
w
t
h
at
R
F
an
d
XGB
o
o
s
t
co
n
s
is
te
n
tl
y
ac
h
ie
v
e
h
i
g
h
er
T
P
r
ate
s
ac
r
o
s
s
m
u
lt
ip
le
class
i
f
icatio
n
t
h
r
es
h
o
ld
s
th
a
n
th
e
DT
m
o
d
el.
T
h
e
R
F
c
u
r
v
e
is
p
o
s
itio
n
ed
clo
s
e
s
t
to
t
h
e
to
p
-
le
f
t
co
r
n
er
,
in
d
icati
n
g
s
u
p
er
io
r
d
is
cr
i
m
i
n
a
tiv
e
ca
p
ab
ilit
y
.
I
n
I
DS
,
a
h
i
g
h
er
A
U
C
v
al
u
e
is
p
ar
tic
u
lar
l
y
d
esira
b
le
b
ec
au
s
e
it
in
d
icate
s
th
e
m
o
d
el
’
s
ab
ilit
y
t
o
m
ai
n
tai
n
h
ig
h
d
etec
t
io
n
r
ate
s
w
h
ile
m
i
n
i
m
izi
n
g
f
alse
alar
m
s
.
R
ed
u
ci
n
g
f
als
e
alar
m
s
is
e
s
s
e
n
tial
i
n
o
p
er
atio
n
al
n
et
w
o
r
k
en
v
ir
o
n
m
en
ts
to
p
r
ev
en
t
alar
m
f
ati
g
u
e
a
m
o
n
g
s
ec
u
r
it
y
a
n
al
y
s
t
s
[
9
]
,
[
1
0
]
.
T
h
e
s
tr
o
n
g
R
O
C
p
er
f
o
r
m
an
ce
o
f
e
n
s
e
m
b
le
m
o
d
els
al
s
o
s
u
g
g
est
s
th
a
t
co
m
b
in
in
g
m
u
ltip
le
DT
i
m
p
r
o
v
es
th
e
r
o
b
u
s
t
n
ess
o
f
class
i
f
ica
tio
n
b
o
u
n
d
ar
ies
w
h
en
d
ea
li
n
g
with
h
e
ter
o
g
en
eo
u
s
n
e
t
w
o
r
k
tr
af
f
ic
f
ea
t
u
r
es.
T
h
i
s
b
eh
av
io
r
is
p
ar
ticu
lar
l
y
b
en
e
f
icial
f
o
r
I
DS
d
ep
lo
y
ed
in
o
p
er
atio
n
al
telec
o
m
m
u
n
i
ca
tio
n
n
et
w
o
r
k
s
,
w
h
er
e
m
ai
n
tai
n
in
g
h
ig
h
d
etec
tio
n
s
en
s
iti
v
it
y
w
h
ile
co
n
tr
o
llin
g
f
alse
alar
m
s
is
es
s
en
tia
l
f
o
r
r
eliab
le
s
ec
u
r
ity
m
o
n
ito
r
i
n
g
.
Fig
u
r
e
5
.
R
OC
c
u
r
v
e
3
.
2
.
P
er
f
o
rm
a
nce
ev
a
lua
t
io
n
o
f
DL
m
o
del
s
T
h
is
s
ec
tio
n
ev
a
lu
ate
s
th
e
p
er
f
o
r
m
a
n
ce
o
f
D
L
ar
ch
itect
u
r
es,
in
clu
d
i
n
g
ML
P
,
1
D
-
C
NN,
an
d
L
ST
M,
in
d
etec
tin
g
r
an
s
o
m
w
ar
e
tr
a
f
f
i
c
u
s
i
n
g
t
h
e
d
ec
o
n
ta
m
i
n
ated
f
e
atu
r
e
s
et.
3
.
2
.
1
.
DL
t
ra
ini
ng
dy
na
m
ic
s
a
nd
co
nv
er
g
ence
a
na
ly
s
is
T
h
e
tr
ain
in
g
s
tab
ilit
y
o
f
D
L
m
o
d
el
s
is
an
al
y
ze
d
u
s
i
n
g
ac
c
u
r
ac
y
cu
r
v
es
s
h
o
w
n
in
Fi
g
u
r
e
6
,
w
h
ic
h
co
n
s
is
t
o
f
th
r
ee
s
u
b
f
i
g
u
r
es
r
ep
r
esen
tin
g
:
(
a)
ML
P
,
(
b
)
1
D
-
C
NN,
an
d
(
c)
L
ST
M
m
o
d
els.
A
s
illu
s
tr
ated
in
Fig
u
r
e
6
(
a)
,
th
e
M
L
P
m
o
d
el
d
e
m
o
n
s
tr
ates
s
tab
le
co
n
v
er
g
en
ce
b
et
w
ee
n
tr
ain
i
n
g
a
n
d
v
alid
atio
n
ac
cu
r
ac
y
,
in
d
icati
n
g
c
o
n
s
is
ten
t
lear
n
i
n
g
b
eh
av
io
r
w
it
h
o
u
t
s
i
g
n
i
f
ica
n
t
o
v
er
f
itti
n
g
.
F
ig
u
r
e
6
(
b
)
s
h
o
w
s
t
h
e
tr
ain
i
n
g
d
y
n
a
m
ics
o
f
th
e
1
D
-
C
NN
m
o
d
el,
w
i
th
t
h
e
v
al
id
atio
n
ac
c
u
r
ac
y
f
lu
c
tu
at
in
g
s
li
g
h
tl
y
b
e
f
o
r
e
s
tab
ilizin
g
a
s
tr
ain
i
n
g
p
r
o
g
r
ess
e
s
.
Si
m
ilar
l
y
,
Fig
u
r
e
6
(
c)
p
r
esen
ts
th
e
co
n
v
e
r
g
en
ce
p
atter
n
o
f
t
h
e
L
ST
M
m
o
d
el,
w
h
ich
al
s
o
ac
h
iev
e
s
s
tab
le
lear
n
in
g
b
eh
a
v
io
r
af
ter
s
ev
er
al
tr
ain
in
g
ep
o
ch
s
.
Evaluation Warning : The document was created with Spire.PDF for Python.
I
SS
N
:
1
6
9
3
-
6930
T
E
L
KOM
NI
K
A
T
elec
o
m
m
u
n
C
o
m
p
u
t E
l
C
o
n
tr
o
l
,
Vo
l.
24
,
No
.
3
,
J
u
n
e
20
26
:
9
33
-
9
44
940
(
a)
(
b
)
(
c)
Fig
u
r
e
6
.
T
r
ain
in
g
v
s
v
alid
atio
n
ac
cu
r
ac
y
c
u
r
v
e
s
o
f
DL
m
o
d
els:
(
a)
ML
P
,
(
b
)
1
D
-
C
NN,
an
d
(
c)
L
ST
M
Ov
er
all,
t
h
e
m
o
d
el
s
d
e
m
o
n
s
tr
ate
s
tab
le
co
n
v
er
g
e
n
ce
b
eh
a
v
i
o
r
d
u
r
in
g
tr
ai
n
i
n
g
.
T
h
e
u
s
e
o
f
m
i
n
-
m
a
x
n
o
r
m
aliza
t
io
n
an
d
th
e
A
d
a
m
o
p
tim
izer
h
elp
s
s
tab
ilize
g
r
ad
ien
t
u
p
d
ates
an
d
p
r
ev
en
ts
n
u
m
er
ical
in
s
tab
ilit
y
d
u
r
in
g
o
p
ti
m
izat
io
n
.
Ho
w
e
v
er
,
th
e
v
a
lid
atio
n
c
u
r
v
e
s
i
n
d
icate
th
at
d
ee
p
er
ar
ch
itect
u
r
es
s
u
ch
as
1
D
-
C
NN
an
d
L
ST
M
d
o
n
o
t
p
r
o
d
u
ce
s
ig
n
i
f
ican
t
p
er
f
o
r
m
a
n
ce
i
m
p
r
o
v
e
m
en
ts
co
m
p
ar
ed
to
th
e
s
i
m
p
ler
ML
P
m
o
d
el.
T
h
is
s
u
g
g
e
s
ts
th
a
t
t
h
e
tab
u
lar
s
tr
u
ctu
r
e
o
f
t
h
e
d
atase
t
d
o
es
n
o
t
s
tr
o
n
g
l
y
b
e
n
ef
it
f
r
o
m
ar
ch
ite
ctu
r
es
d
esi
g
n
ed
f
o
r
s
p
atial
o
r
s
eq
u
en
tial
f
ea
tu
r
e
le
ar
n
in
g
.
As
a
r
esu
lt,
s
i
m
p
ler
n
e
u
r
al
ar
ch
itectu
r
e
s
s
u
c
h
as
ML
P
ca
n
p
r
o
v
id
e
m
o
r
e
s
tab
le
lear
n
i
n
g
b
eh
a
v
io
r
w
it
h
o
u
t r
eq
u
ir
in
g
e
x
ten
s
i
v
e
co
m
p
u
t
atio
n
al
r
eso
u
r
ce
s
.
3
.
2
.
2
.
Co
nfusi
o
n
m
a
t
ri
x
a
na
ly
s
is
a
nd
DL
ev
a
lua
t
io
n
m
et
r
ics
T
h
e
co
n
f
u
s
io
n
m
a
tr
ices
p
r
ese
n
ted
i
n
Fi
g
u
r
e
7
illu
s
tr
ate
t
h
e
d
is
tr
ib
u
tio
n
o
f
cla
s
s
i
f
icatio
n
e
r
r
o
r
s
ac
r
o
s
s
DL
m
o
d
els,
i
n
clu
d
i
n
g
(
a)
ML
P
,
(
b
)
1
D
-
C
NN,
an
d
(
c)
L
STM
ar
ch
itectu
r
es,
en
ab
li
n
g
a
d
i
r
ec
t
co
m
p
ar
is
o
n
o
f
p
r
ed
ictio
n
er
r
o
r
s
am
o
n
g
t
h
e
ev
alu
a
ted
DL
m
o
d
els.
A
s
il
lu
s
t
r
ated
in
Fig
u
r
e
7
(
a)
,
th
e
ML
P
m
o
d
el
d
e
m
o
n
s
tr
ate
s
s
tr
o
n
g
cla
s
s
i
f
ica
tio
n
ca
p
ab
ilit
y
w
it
h
a
r
elati
v
el
y
lo
w
n
u
m
b
er
o
f
FN,
in
d
icati
n
g
it
s
ef
f
ec
t
iv
en
e
s
s
i
n
d
etec
ti
n
g
r
an
s
o
m
w
ar
e
tr
af
f
ic.
I
n
Fi
g
u
r
e
7
(
b
)
,
th
e
1
D
-
C
N
N
m
o
d
e
l
s
h
o
w
s
s
lig
h
tl
y
h
i
g
h
er
m
is
class
i
f
icatio
n
r
ates
co
m
p
ar
ed
to
ML
P
,
p
ar
ticu
lar
l
y
in
id
en
ti
f
y
i
n
g
ce
r
tai
n
attac
k
in
s
ta
n
ce
s
.
Si
m
ilar
l
y
,
Fig
u
r
e
7
(
c)
s
h
o
w
s
th
at
th
e
L
ST
M
m
o
d
el
al
s
o
p
r
o
d
u
ce
s
s
ev
er
al
m
i
s
clas
s
i
f
icatio
n
s
,
r
ef
lecti
n
g
li
m
itatio
n
s
i
n
ca
p
tu
r
in
g
m
ea
n
i
n
g
f
u
l
r
elatio
n
s
h
ip
s
w
it
h
i
n
th
e
tab
u
la
r
f
ea
tu
r
e
r
ep
r
esen
tatio
n
.
(
a)
(
b
)
(
c)
Fig
u
r
e
7
.
C
o
n
f
u
s
io
n
m
atr
ix
o
f
DL
m
o
d
el
s
: (
a)
ML
P
,
(
b
)
1
D
-
C
NN,
an
d
(
c)
L
ST
M
T
h
e
o
b
s
er
v
ed
m
i
s
clas
s
i
f
icati
o
n
s
m
ain
l
y
o
cc
u
r
in
s
a
m
p
l
es
th
at
e
x
h
ib
it
o
v
er
lap
p
in
g
s
tatis
t
ical
ch
ar
ac
ter
is
tic
s
b
et
w
ee
n
attac
k
an
d
b
en
ig
n
tr
af
f
ic
f
lo
w
s
.
T
h
is
f
in
d
i
n
g
h
i
g
h
l
ig
h
ts
t
h
e
i
n
h
er
e
n
t
d
if
f
ic
u
lt
y
o
f
s
ep
ar
atin
g
ce
r
tai
n
n
et
w
o
r
k
tr
a
f
f
ic
p
atter
n
s
s
o
lel
y
b
ased
o
n
ag
g
r
e
g
ated
s
tatis
tical
f
ea
t
u
r
es
.
Vis
u
al
in
s
p
ec
tio
n
s
h
o
w
s
t
h
at
t
h
e
M
L
P
ar
ch
itec
tu
r
e
p
r
o
d
u
ce
s
th
e
f
e
w
es
t
FN,
w
h
ic
h
is
p
ar
ticu
lar
l
y
i
m
p
o
r
tan
t
i
n
r
an
s
o
m
w
ar
e
d
etec
tio
n
s
ce
n
ar
io
s
.
Q
u
a
n
titati
v
e
p
er
f
o
r
m
a
n
ce
r
esu
l
ts
ar
e
s
u
m
m
ar
ized
in
T
ab
le
3
.
Evaluation Warning : The document was created with Spire.PDF for Python.
T
E
L
KOM
NI
K
A
T
elec
o
m
m
u
n
C
o
m
p
u
t E
l
C
o
n
tr
o
l
Ma
ch
in
e
lea
r
n
in
g
a
n
d
d
ee
p
le
a
r
n
in
g
fo
r
r
a
n
s
o
mw
a
r
e
d
etec
tio
n
via
fea
t
u
r
e
d
ec
o
n
ta
min
a
tio
n
(
S
r
iya
n
to
)
941
T
h
e
lo
w
er
r
ec
all
v
al
u
es
o
b
s
er
v
ed
in
1
D
-
C
NN
an
d
L
ST
M
i
n
d
icate
th
at
th
e
s
e
ar
ch
itectu
r
e
s
s
tr
u
g
g
le
to
ca
p
tu
r
e
m
ea
n
i
n
g
f
u
l
r
elatio
n
s
h
ip
s
w
i
th
i
n
th
e
tab
u
lar
f
ea
t
u
r
e
r
ep
r
esen
tatio
n
.
U
n
li
k
e
i
m
ag
e
o
r
ti
m
e
-
s
er
ies
d
atasets
,
th
e
UNSW
-
NB
1
5
f
ea
tu
r
es
ar
e
p
r
im
ar
il
y
s
tat
is
tical
ag
g
r
e
g
ates
o
f
n
et
w
o
r
k
tr
af
f
ic
b
eh
av
io
r
r
ath
er
th
a
n
s
eq
u
en
tial si
g
n
als.
T
ab
le
3
.
DL
m
o
d
el
p
er
f
o
r
m
a
n
ce
M
o
d
e
l
A
c
c
u
r
a
c
y
P
r
e
c
i
si
o
n
R
e
c
a
l
l
F1
-
sco
r
e
M
L
P
0
.
8
8
5
9
0
.
8
7
2
3
0
.
9
2
8
7
0
.
8
9
9
6
1D
-
C
N
N
0
.
8
6
8
3
0
.
8
6
9
0
0
.
8
9
5
9
0
.
8
8
2
3
L
S
T
M
0
.
8
7
0
4
0
.
8
6
5
9
0
.
9
0
4
6
0
.
8
8
4
8
3
.
3
.
Co
m
pa
ra
t
iv
e
dis
cu
s
s
io
n
ML
v
s
DL
E
x
p
er
i
m
e
n
tal
r
esu
lt
s
d
e
m
o
n
s
tr
ate
th
at
en
s
e
m
b
le
-
b
ased
ML
m
o
d
els
co
n
s
i
s
ten
tl
y
o
u
tp
e
r
f
o
r
m
DL
ar
ch
itect
u
r
es
o
n
d
ec
o
n
ta
m
i
n
at
ed
tab
u
lar
d
ata.
T
h
e
s
u
p
er
io
r
p
er
f
o
r
m
a
n
ce
o
f
RF
(
0
.
9
0
2
7
)
co
m
p
ar
ed
to
ML
P
(
0
.
8
8
5
9
)
h
ig
h
li
g
h
ts
t
h
e
e
f
f
ec
ti
v
en
e
s
s
o
f
b
ag
g
in
g
s
tr
ateg
ie
s
i
n
r
e
d
u
ci
n
g
v
ar
ia
n
ce
an
d
i
m
p
r
o
v
in
g
g
en
er
aliza
t
io
n
in
s
tr
u
ct
u
r
ed
d
atasets
.
T
h
is
f
i
n
d
in
g
is
co
n
s
is
ten
t
w
it
h
[
2
3
]
,
w
h
ic
h
r
ep
o
r
ted
th
at
b
o
o
ts
tr
ap
ag
g
r
eg
a
tin
g
s
ig
n
i
f
ica
n
tl
y
m
i
tig
a
tes o
v
er
f
itt
in
g
i
n
tr
ee
-
b
ased
m
o
d
els.
Fu
r
t
h
er
m
o
r
e,
th
e
o
b
s
er
v
atio
n
th
at
class
ical
ML
m
o
d
els
ca
n
m
atc
h
o
r
ex
ce
ed
DL
p
er
f
o
r
m
an
ce
o
n
s
tr
u
ct
u
r
ed
f
ea
t
u
r
e
r
ep
r
esen
tati
o
n
s
alig
n
s
w
it
h
[
2
4
]
.
A
r
e
c
e
n
t
c
o
m
p
r
eh
en
s
i
v
e
r
e
v
i
ew
[
2
5
]
,
al
s
o
em
p
h
a
s
i
z
e
s
th
a
t
i
n
r
an
s
o
m
w
ar
e
d
e
t
e
ct
i
o
n
,
m
o
d
e
l
p
e
r
f
o
r
m
an
c
e
is
h
ea
v
i
ly
in
f
lu
en
c
e
d
b
y
d
at
a
p
r
e
p
r
o
c
e
s
s
i
n
g
q
u
a
l
ity
an
d
th
e
s
u
i
t
a
b
il
i
ty
o
f
th
e
ch
o
s
en
a
r
ch
it
e
c
tu
r
e
r
a
th
e
r
th
an
m
o
d
el
c
o
m
p
l
ex
ity
a
l
o
n
e
.
I
n
th
is
c
o
n
t
ex
t
,
t
r
e
e
-
b
a
s
e
d
m
o
d
el
s
d
em
o
n
s
t
r
a
t
e
r
o
b
u
s
tn
e
s
s
ag
ai
n
s
t
i
r
r
e
l
ev
an
t
o
r
w
e
ak
ly
i
n
f
o
r
m
at
iv
e
f
e
atu
r
e
s
[
1
3
]
,
[
1
4
]
,
w
h
i
l
e
XG
B
o
o
s
t
ef
f
e
ct
iv
e
ly
c
a
p
t
u
r
es
c
o
m
p
l
ex
f
e
at
u
r
e
in
t
e
r
ac
t
i
o
n
s
th
r
o
u
g
h
g
r
a
d
i
en
t
b
o
o
s
ti
n
g
m
e
ch
an
is
m
s
[
6
]
.
T
h
e
r
elativ
el
y
h
i
g
h
er
p
er
f
o
r
m
an
ce
o
f
ML
P
co
m
p
ar
ed
to
1
D
-
C
NN
an
d
L
ST
M
ca
n
b
e
ex
p
lain
ed
b
y
th
e
m
i
s
m
a
tch
b
et
w
ee
n
m
o
d
el
in
d
u
cti
v
e
b
ias
an
d
d
ata
ch
ar
ac
ter
is
tics
.
T
h
e
UNSW
-
NB
1
5
d
ataset
co
n
s
is
ts
o
f
s
tatis
t
ical
ag
g
r
e
g
atio
n
f
ea
t
u
r
es
[
1
5
]
,
th
at
lack
e
x
p
licit
s
p
atial
o
r
te
m
p
o
r
al
d
ep
en
d
en
cies.
C
o
n
s
eq
u
e
n
tl
y
,
ar
ch
itect
u
r
es
s
u
c
h
as
C
NN
an
d
L
ST
M,
w
h
ich
ar
e
d
esig
n
ed
to
ex
p
lo
it
s
p
atial
lo
ca
lity
an
d
s
eq
u
en
tial
p
atter
n
s
,
d
o
n
o
t
p
r
o
v
id
e
ad
d
itio
n
al
lear
n
in
g
ad
v
a
n
ta
g
es
an
d
m
a
y
i
n
tr
o
d
u
ce
u
n
n
ec
es
s
ar
y
m
o
d
el
co
m
p
lex
it
y
,
lead
i
n
g
to
a
p
o
ten
tial
g
en
er
aliza
t
io
n
g
ap
[
1
2
]
.
T
h
ese
f
in
d
i
n
g
s
in
d
icate
th
at
in
cr
ea
s
i
n
g
ar
ch
itect
u
r
al
co
m
p
le
x
it
y
d
o
es
n
o
t
n
ec
es
s
ar
il
y
lead
to
i
m
p
r
o
v
ed
p
er
f
o
r
m
a
n
ce
i
n
tab
u
lar
i
n
tr
u
s
i
o
n
d
etec
tio
n
ta
s
k
s
.
I
n
s
tead
,
t
h
e
r
esu
lt
s
r
ei
n
f
o
r
ce
th
at
m
o
d
el
e
f
f
ec
ti
v
en
e
s
s
i
s
h
ig
h
l
y
d
ep
en
d
en
t
o
n
t
h
e
alig
n
m
e
n
t
b
et
w
ee
n
d
ata
s
tr
u
ctu
r
e
a
n
d
lear
n
i
n
g
ass
u
m
p
tio
n
s
.
I
n
th
i
s
s
tu
d
y
,
f
e
atu
r
e
d
ec
o
n
ta
m
i
n
atio
n
p
la
y
s
a
cr
u
cial
r
o
le
b
y
r
e
m
o
v
i
n
g
m
i
s
lead
in
g
attr
ib
u
tes,
f
o
r
cin
g
m
o
d
els
to
lear
n
g
e
n
u
i
n
e
b
eh
av
io
r
al
p
atter
n
s
r
at
h
er
t
h
an
e
x
p
lo
itin
g
h
id
d
en
d
ata
leak
ag
e.
T
h
is
p
r
o
v
id
es
a
m
o
r
e
r
ea
lis
tic
ev
al
u
atio
n
co
m
p
ar
ed
to
m
a
n
y
p
r
io
r
s
tu
d
ie
s
t
h
at
r
ep
o
r
t o
v
er
ly
o
p
ti
m
is
t
ic
r
esu
lt
s
.
Ho
w
e
v
er
,
it
is
i
m
p
o
r
tan
t
to
ac
k
n
o
w
led
g
e
s
ev
er
al
li
m
ita
tio
n
s
.
First,
th
e
ex
p
er
i
m
en
t
s
ar
e
co
n
d
u
cted
o
n
a
s
in
g
le
d
ataset
(
UNSW
-
NB
1
5
)
,
w
h
ich
m
a
y
li
m
it
g
e
n
er
al
izab
ilit
y
ac
r
o
s
s
d
if
f
er
en
t
n
et
w
o
r
k
e
n
v
ir
o
n
m
e
n
ts
.
Seco
n
d
,
alth
o
u
g
h
f
ea
tu
r
e
d
ec
o
n
ta
m
i
n
atio
n
i
m
p
r
o
v
es
e
v
alu
atio
n
r
eliab
ilit
y
,
it
m
a
y
al
s
o
r
e
m
o
v
e
p
o
ten
tial
l
y
u
s
e
f
u
l
h
ig
h
-
le
v
el
s
ta
tis
t
ical
i
n
d
icato
r
s
,
w
h
ic
h
co
u
ld
af
f
ec
t
m
o
d
el
p
er
f
o
r
m
a
n
ce
u
n
d
er
ce
r
tain
co
n
d
itio
n
s
.
Fu
t
u
r
e
w
o
r
k
s
h
o
u
ld
t
h
er
ef
o
r
e
in
v
e
s
ti
g
ate
cr
o
s
s
-
d
ata
s
et
v
alid
atio
n
a
n
d
ad
ap
tiv
e
f
ea
t
u
r
e
s
el
ec
tio
n
s
tr
ateg
ie
s
to
en
h
a
n
ce
m
o
d
el
r
o
b
u
s
t
n
es
s
.
Fro
m
a
p
r
ac
tical
p
er
s
p
ec
tiv
e
,
th
e
r
es
u
lts
s
u
g
g
es
t
t
h
at
li
g
h
t
w
eig
h
t
e
n
s
e
m
b
le
-
b
ased
ML
m
o
d
els
p
r
o
v
id
e
an
o
p
tim
al
b
alan
ce
b
et
w
ee
n
d
etec
tio
n
ac
cu
r
ac
y
a
n
d
co
m
p
u
tatio
n
al
ef
f
icie
n
c
y
.
T
h
is
is
p
ar
ticu
lar
l
y
r
elev
an
t
f
o
r
r
ea
l
-
ti
m
e
d
ep
lo
y
m
en
t
in
I
DS
w
it
h
i
n
telec
o
m
m
u
n
ica
tio
n
i
n
f
r
as
tr
u
ct
u
r
es,
clo
u
d
p
latf
o
r
m
s
,
an
d
I
o
T
en
v
ir
o
n
m
e
n
t
s
,
w
h
er
e
lo
w
lat
en
c
y
an
d
r
eso
u
r
ce
ef
f
icie
n
c
y
ar
e
cr
itical.
T
h
e
f
in
d
in
g
s
also
h
ig
h
li
g
h
t
th
at
i
m
p
r
o
v
i
n
g
d
ata
q
u
alit
y
a
n
d
f
ea
tu
r
e
i
n
teg
r
it
y
is
m
o
r
e
i
m
p
a
ctf
u
l
t
h
an
in
cr
ea
s
in
g
m
o
d
el
c
o
m
p
le
x
it
y
,
o
f
f
er
i
n
g
i
m
p
o
r
tan
t
g
u
id
a
n
ce
f
o
r
th
e
d
es
ig
n
o
f
ef
f
icie
n
t a
n
d
s
ca
lab
le
cy
b
er
s
ec
u
r
it
y
s
o
l
u
tio
n
s
.
4.
CO
NCLU
SI
O
N
T
h
is
s
tu
d
y
h
a
s
s
u
cc
es
s
f
u
ll
y
ev
alu
a
ted
th
e
p
er
f
o
r
m
a
n
ce
o
f
M
L
an
d
D
L
m
o
d
el
s
f
o
r
r
an
s
o
m
w
ar
e
d
etec
tio
n
u
s
in
g
a
r
i
g
o
r
o
u
s
f
ea
tu
r
e
d
ec
o
n
ta
m
in
at
io
n
p
r
o
to
co
l
o
n
th
e
UNSW
-
NB
1
5
d
ataset.
T
h
e
r
esu
lt
s
d
em
o
n
s
tr
ate
t
h
at
en
s
e
m
b
le
-
b
ased
ML
m
o
d
els
s
y
s
te
m
atica
ll
y
o
u
tp
er
f
o
r
m
m
o
r
e
co
m
p
lex
DL
ar
ch
itect
u
r
es
o
n
d
ec
o
n
ta
m
i
n
ated
tab
u
lar
d
ata.
Sp
ec
if
icall
y
,
th
e
R
F
al
g
o
r
ith
m
ac
h
ie
v
ed
th
e
h
i
g
h
e
s
t
d
etec
tio
n
in
te
g
r
it
y
w
it
h
an
ac
cu
r
ac
y
o
f
0
.
9
0
2
7
an
d
a
r
ec
all
o
f
0
.
9
5
0
7
,
w
h
ic
h
is
v
ita
l
f
o
r
m
i
n
i
m
izin
g
u
n
d
etec
ted
r
an
s
o
m
w
ar
e
th
r
ea
ts
.
Am
o
n
g
D
L
ar
ch
itect
u
r
es,
th
e
ML
P
p
r
o
v
ed
th
e
m
o
s
t
co
m
p
e
titi
v
e,
ac
h
ie
v
in
g
an
ac
c
u
r
ac
y
o
f
0
.
8
8
5
9
an
d
o
u
tp
er
f
o
r
m
i
n
g
1
D
-
C
NN
an
d
L
ST
M
d
u
e
to
its
s
u
itab
ilit
y
f
o
r
ag
g
r
e
g
ated
s
tati
s
tical
f
ea
t
u
r
es.
T
h
e
p
r
im
ar
y
co
n
tr
ib
u
tio
n
o
f
th
is
r
esear
ch
i
s
th
e
v
alid
atio
n
th
at
f
ea
t
u
r
e
d
ec
o
n
ta
m
i
n
atio
n
p
r
ev
en
t
s
o
v
er
l
y
o
p
ti
m
i
s
tic
r
es
u
lts
ca
u
s
e
d
b
y
d
ata
leak
ag
e,
t
h
er
eb
y
p
r
o
v
id
in
g
a
m
o
r
e
r
ea
lis
tic
a
n
d
d
ef
en
s
ib
le
ev
al
u
atio
n
Evaluation Warning : The document was created with Spire.PDF for Python.
I
SS
N
:
1
6
9
3
-
6930
T
E
L
KOM
NI
K
A
T
elec
o
m
m
u
n
C
o
m
p
u
t E
l
C
o
n
tr
o
l
,
Vo
l.
24
,
No
.
3
,
J
u
n
e
20
26
:
9
33
-
9
44
942
o
f
I
DS
r
eliab
ilit
y
.
T
h
e
i
m
p
lem
en
tatio
n
o
f
SMOT
E
s
u
cc
es
s
f
u
ll
y
ad
d
r
ess
ed
clas
s
i
m
b
ala
n
ce
,
en
s
u
r
in
g
h
i
g
h
d
etec
tio
n
s
en
s
iti
v
it
y
w
it
h
o
u
t
r
el
y
in
g
o
n
b
iased
d
ataset
ar
ti
f
ac
ts
.
T
h
ese
f
i
n
d
in
g
s
h
i
g
h
li
g
h
t
t
h
at
f
o
r
tab
u
la
r
c
y
b
er
s
ec
u
r
it
y
d
ataset
s
,
en
s
u
r
i
n
g
d
ata
i
n
te
g
r
it
y
t
h
r
o
u
g
h
f
ea
t
u
r
e
d
ec
o
n
ta
m
i
n
atio
n
ca
n
b
e
m
o
r
e
i
n
f
l
u
en
tia
l
th
a
n
in
cr
ea
s
i
n
g
m
o
d
el
co
m
p
lex
it
y
.
Fro
m
a
p
r
ac
tical
p
er
s
p
ec
tiv
e,
th
e
r
es
u
lts
s
u
g
g
est
t
h
at
e
n
s
e
m
b
le
-
b
ased
ML
m
o
d
els
o
f
f
er
a
n
ef
f
ec
ti
v
e
b
alan
ce
b
et
w
ee
n
d
etec
tio
n
ac
cu
r
ac
y
a
n
d
co
m
p
u
tatio
n
al
ef
f
i
cien
c
y
,
m
a
k
in
g
t
h
e
m
s
u
itab
le
f
o
r
d
ep
lo
y
m
e
n
t
i
n
r
ea
l
-
ti
m
e
I
DS
w
ith
in
telec
o
m
m
u
n
icat
io
n
n
et
w
o
r
k
s
an
d
clo
u
d
-
b
ased
in
f
r
astr
u
ctu
r
e
s
.
Fu
t
u
r
e
r
esear
ch
m
a
y
ex
p
lo
r
e
cr
o
s
s
-
d
atase
t
v
alid
at
io
n
an
d
th
e
in
teg
r
atio
n
o
f
th
e
s
e
m
o
d
el
s
i
n
to
r
ea
l
-
ti
m
e
ed
g
e
co
m
p
u
ti
n
g
en
v
ir
o
n
m
e
n
t
s
to
en
h
a
n
ce
r
an
s
o
m
w
ar
e
d
etec
tio
n
in
lar
g
e
-
s
ca
le
n
et
w
o
r
k
s.
F
UNDIN
G
I
NF
O
RM
AT
I
O
N
T
h
e
au
th
o
r
s
s
tate
th
at
n
o
f
u
n
d
in
g
w
a
s
u
s
ed
to
co
n
d
u
ct
th
is
r
esear
ch
.
T
h
e
r
esear
ch
er
s
’
o
w
n
r
eso
u
r
ce
s
s
u
p
p
o
r
ted
th
is
w
o
r
k
,
an
d
n
o
ex
ter
n
al
g
r
an
t
s
o
r
f
i
n
an
cia
l a
s
s
i
s
tan
ce
f
r
o
m
a
n
y
f
u
n
d
i
n
g
a
g
en
c
y
w
er
e
r
ec
eiv
ed
.
AUTHO
R
CO
NT
RIB
UT
I
O
NS ST
A
T
E
M
E
NT
T
h
is
j
o
u
r
n
al
u
s
e
s
th
e
C
o
n
tr
ib
u
to
r
R
o
les
T
ax
o
n
o
m
y
(
C
R
ed
iT
)
to
r
ec
o
g
n
ize
in
d
i
v
id
u
al
au
th
o
r
co
n
tr
ib
u
tio
n
s
,
r
ed
u
ce
au
t
h
o
r
s
h
ip
d
is
p
u
tes,
an
d
f
ac
ilit
ate
co
lla
b
o
r
atio
n
.
Na
m
e
o
f
Aut
ho
r
C
M
So
Va
Fo
I
R
D
O
E
Vi
Su
P
Fu
Sri
y
a
n
to
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
C
h
air
a
n
i Fa
u
zi
✓
✓
✓
✓
✓
✓
✓
Mo
h
d
Faizal
A
b
d
o
llah
✓
✓
✓
✓
✓
✓
Z
u
r
iati
✓
✓
✓
✓
✓
✓
✓
✓
C
:
C
o
n
c
e
p
t
u
a
l
i
z
a
t
i
o
n
M
:
M
e
t
h
o
d
o
l
o
g
y
So
:
So
f
t
w
a
r
e
Va
:
Va
l
i
d
a
t
i
o
n
Fo
:
Fo
r
mal
a
n
a
l
y
si
s
I
:
I
n
v
e
st
i
g
a
t
i
o
n
R
:
R
e
so
u
r
c
e
s
D
:
D
a
t
a
C
u
r
a
t
i
o
n
O
:
W
r
i
t
i
n
g
-
O
r
i
g
i
n
a
l
D
r
a
f
t
E
:
W
r
i
t
i
n
g
-
R
e
v
i
e
w
&
E
d
i
t
i
n
g
Vi
:
Vi
su
a
l
i
z
a
t
i
o
n
Su
:
Su
p
e
r
v
i
si
o
n
P
:
P
r
o
j
e
c
t
a
d
mi
n
i
st
r
a
t
i
o
n
Fu
:
Fu
n
d
i
n
g
a
c
q
u
i
si
t
i
o
n
CO
NF
L
I
C
T
O
F
I
N
T
E
R
E
S
T
ST
A
T
E
M
E
NT
T
h
e
au
th
o
r
s
d
ec
lar
e
th
at
th
e
y
h
av
e
n
o
k
n
o
w
n
co
m
p
eti
n
g
f
in
an
cial
in
ter
es
ts
o
r
p
er
s
o
n
al
r
el
atio
n
s
h
ip
s
th
at
co
u
ld
h
a
v
e
ap
p
ea
r
ed
to
in
f
l
u
en
ce
t
h
e
w
o
r
k
r
ep
o
r
ted
in
th
is
p
ap
er
.
DATA AV
AI
L
AB
I
L
I
T
Y
T
h
e
d
ata
th
at
s
u
p
p
o
r
t
th
e
f
i
n
d
in
g
s
o
f
t
h
is
s
tu
d
y
ar
e
o
p
en
ly
av
ai
lab
le
in
t
h
e
UNSW
-
N
B
1
5
d
ataset
r
ep
o
s
ito
r
y
p
r
o
v
id
ed
b
y
th
e
U
n
i
v
er
s
it
y
o
f
Ne
w
So
u
t
h
W
ales
(
UNSW
)
at
h
ttp
s
:/
/r
esear
ch
.
u
n
s
w
.
ed
u
.
a
u
/p
r
o
j
ec
ts
/u
n
s
w
-
n
b
1
5
-
d
ata
s
et
.
T
h
e
p
r
o
ce
s
s
ed
an
d
d
ec
o
n
tam
in
at
ed
d
ata
u
s
ed
in
th
i
s
r
esear
ch
ar
e
av
ailab
le
f
r
o
m
th
e
co
r
r
esp
o
n
d
in
g
au
t
h
o
r
u
p
o
n
r
ea
s
o
n
ab
le
r
eq
u
est.
RE
F
E
R
E
NC
E
S
[
1
]
R
.
A
.
M
.
A
l
sai
d
i
,
W
.
M
.
S
.
Y
a
f
o
o
z
,
H
.
A
l
o
l
o
f
i
,
G
.
A
.
-
M
.
T
a
u
f
i
q
-
H
a
i
l
,
A
.
-
H
.
M
.
Em
a
r
a
,
a
n
d
A
.
A
b
d
e
l
-
W
a
h
a
b
,
“
R
a
n
so
mw
a
r
e
D
e
t
e
c
t
i
o
n
u
s
i
n
g
M
a
c
h
i
n
e
a
n
d
D
e
e
p
L
e
a
r
n
i
n
g
A
p
p
r
o
a
c
h
e
s,”
I
n
t
e
r
n
a
t
i
o
n
a
l
J
o
u
r
n
a
l
o
f
A
d
v
a
n
c
e
d
C
o
m
p
u
t
e
r
S
c
i
e
n
c
e
a
n
d
Ap
p
l
i
c
a
t
i
o
n
s (I
J
AC
S
A)
,
v
o
l
.
1
3
,
n
o
.
1
1
,
2
0
2
2
,
d
o
i
:
1
0
.
1
4
5
6
9
/
i
j
a
c
sa.
2
0
2
2
.
0
1
3
1
1
1
2
.
[
2
]
A
.
R
a
i
z
z
a
a
n
d
A
.
A
l
g
a
r
n
i
,
“
R
a
n
so
mw
a
r
e
D
e
t
e
c
t
i
o
n
u
si
n
g
M
a
c
h
i
n
e
L
e
a
r
n
i
n
g
:
S
u
r
v
e
y
.
”
C
o
m
p
u
t
e
r
S
c
i
e
n
c
e
a
n
d
M
a
t
h
e
m
a
t
i
c
s
,
M
a
y
2
3
,
2
0
2
3
,
d
o
i
:
1
0
.
2
0
9
4
4
/
p
r
e
p
r
i
n
t
s
2
0
2
3
0
5
.
1
6
3
5
.
v
1
.
[
3
]
N
.
R
a
n
i
,
S
.
V
.
D
h
a
v
a
l
e
,
A
.
S
i
n
g
h
,
a
n
d
A
.
M
e
h
r
a
,
“
A
S
u
r
v
e
y
o
n
M
a
c
h
i
n
e
L
e
a
r
n
i
n
g
-
B
a
se
d
R
a
n
so
mw
a
r
e
D
e
t
e
c
t
i
o
n
,
”
A
d
v
a
n
c
e
s
i
n
I
n
t
e
l
l
i
g
e
n
t
S
y
s
t
e
m
s
a
n
d
C
o
m
p
u
t
i
n
g
,
S
p
r
i
n
g
e
r
S
i
n
g
a
p
o
r
e
,
p
p
.
1
7
1
–
1
8
6
,
2
0
2
2
,
d
o
i
:
1
0
.
1
0
0
7
/
9
7
8
-
9
8
1
-
16
-
6
8
9
0
-
6
_
1
3
.
[
4
]
I
.
Eme
t
e
v
e
k
e
,
O
.
A
d
e
y
e
y
e
,
a
n
d
O
.
Eme
h
i
n
,
“
T
h
e
R
o
l
e
o
f
Eme
r
g
i
n
g
T
e
c
h
n
o
l
o
g
i
e
s
i
n
A
d
v
a
n
c
i
n
g
E
d
g
e
C
o
mp
u
t
i
n
g
f
o
r
C
y
b
e
r
se
c
u
r
i
t
y
F
o
r
e
n
si
c
s,
”
I
n
t
e
r
n
a
t
i
o
n
a
l
J
o
u
rn
a
l
o
f
C
o
m
p
u
t
e
r
A
p
p
l
i
c
a
t
i
o
n
s
T
e
c
h
n
o
l
o
g
y
a
n
d
R
e
se
a
rc
h
,
v
o
l
.
1
3
,
n
o
.
1
0
,
p
p
.
1
1
1
–
1
2
4
,
2
0
2
4
,
d
o
i
:
1
0
.
7
7
5
3
/
I
JC
A
T
R
1
3
1
0
.
1
0
1
1
.
[
5
]
A
.
S
h
a
f
i
q
u
e
,
“
N
e
t
w
o
r
k
I
n
t
r
u
si
o
n
D
e
t
e
c
t
i
o
n
S
y
st
e
m
u
s
i
n
g
U
N
S
W
-
N
B
1
5
D
a
t
a
se
t
,
”
U
n
p
u
b
l
i
s
h
e
d
,
2
0
2
4
,
d
o
i
:
1
0
.
1
3
1
4
0
/
R
G
.
2
.
2
.
3
4
7
8
2
.
5
0
2
4
1
.
[
6
]
Z
.
Z
o
g
h
i
a
n
d
G
.
S
e
r
p
e
n
,
“
B
u
i
l
d
i
n
g
a
n
i
n
t
r
u
si
o
n
d
e
t
e
c
t
i
o
n
sy
st
e
m
o
n
U
N
S
W
-
N
B
1
5
:
R
e
d
u
c
i
n
g
t
h
e
m
a
r
g
i
n
o
f
e
r
r
o
r
t
o
d
e
a
l
w
i
t
h
d
a
t
a
o
v
e
r
l
a
p
a
n
d
i
m
b
a
l
a
n
c
e
,
”
C
o
n
c
u
rr
e
n
c
y
a
n
d
C
o
m
p
u
t
a
t
i
o
n
:
Pr
a
c
t
i
c
e
a
n
d
Ex
p
e
r
i
e
n
c
e
,
v
o
l
.
3
6
,
n
o
.
2
5
,
p
p
.
1
–
2
0
,
2
0
2
4
,
d
o
i
:
1
0
.
1
0
0
2
/
c
p
e
.
8
2
4
2
.
[
7
]
F
.
J.
A
L
z
a
h
e
r
a
n
d
A
.
A
l
Jaru
l
l
a
h
,
“
I
n
t
r
u
si
o
n
D
e
t
e
c
t
i
o
n
U
si
n
g
M
a
c
h
i
n
e
L
e
a
r
n
i
n
g
a
n
d
D
e
e
p
L
e
a
r
n
i
n
g
,
”
I
n
t
e
rn
a
t
i
o
n
a
l
J
o
u
rn
a
l
o
f
Evaluation Warning : The document was created with Spire.PDF for Python.