I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   1 5 ,   N o .   1 M a r c h   20 2 6 ,   pp.   1 3 8 ~ 1 5 1   I S S N:  2252 - 8776 DO I 10 . 11591/i ji c t . v 1 5 i 1 . pp 1 3 8 - 1 5 1             138       Jou r n al  h o m e page ht tp: // ij ict . iaes c or e . c om   d e c is io n  su p p or t  sy st e m  f or   m u s h r oo m  c la ssi f ic at io n  u s in N v e  B a ye si an   a lg or ith m       Vil c h o r   G .   P e r d id o 1 ,   T h e l m D P al aoag 2   1 D e pa r tm e nt   of  C o mpu te r  S c ie n c e C o ll e ge   of  I n f or ma ti o T e c hno l o g y   E duc a ti o n   N ue v a  V iz c a y a   S ta te  U ni ve r s it y , N u e v a  V iz c a y a , P hi li ppi n e s   2 C o ll e g e   of   I n f o r ma ti o T e c hn o l o g y  a nd C o mput e r  S c i e n c e , U n iv e r s it y   of  t h e  C o r di l le r a s , B a gui o  C it y P hi li ppi n e s       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve No v   28,   2024   R e vi s e J u l   29,   2025   A c c e pt e Oc t   7 ,   2025       Mu s h ro o m s   ar e   r i c h   i n   v i t a m i n s   an d   p ro t ei n s ,   a   w el l - k n o w n   s u p e rfo o d ,   h o w ev e r,   c as e s   o h ar m fu l   mu s h ro o m   co n s u m p t i o n   w o rl d w i d r e s u l t   i n   h al l u c i n at i o n s ,   i l l n e s s ,   o d e at h .   A   s i g n i f i c an t   ch al l en g i s   t h at   s o me   p o i s o n o u s   m u s h r o o m s   c l o s el y   r e s em b l e   e d i b l e   v ar i e t i es ,   m ak i n g   i t   d i ff i cu l t   fo mu s h ro o m   fo ra g e rs   t o   d i s t i n g u i s h   b e t w een   t h em .   T h i s   s t u d y   i n t ro d u ce d   K ab u T e a c h ,   d eci s i o n   s u p p o rt   s y s t em   (D SS)  d e s i g n e d   t o   cl as s i f y   mu s h ro o m s   b as e d   o n   t h ei m o rp h o l o g i c al   c h ar a c t e ri s t i c s   u s i n g   t h e   N v Bay e s   (N B)   al g o r i t h m .   T h e   cl as s i fi c at i o n   mo d el   w as   ap p l i ed   t o   a   r e al - w o r l d   d at as e t   o 8 , 1 2 4   i n s t an c e s   fro m   K a g g l e ,   c o n t ai n i n g   2 3   a t t ri b u t e s .   E v al u at i o n   me t ri c s ,   i n c l u d i n g   a ccu racy ,   r ec a l l ,   p reci s i o n ,   s p eci fi ci t y ,   an d   F1 - s c o r e ,   w e r u s e d   t o   as s e s s   t h e   c l as s i fi e r s   p e rfo r m an ce.   R e s u l t s   i n d i c at ed   t h at   t h e   NB   c l as s i fi c at i o n   al g o r i t h m   i n t e g rat e d   i n t o   K ab u T e a ch   a ch i e v ed   a   h i g h   accu ra cy   l ev e l   o 8 9 . 1 3 % ,   u s i n g   7 0 : 3 0   d at s p l i t   an d   5 - fo l d   c r o s s - v al i d at i o n   ap p ro ac h e s .   T h 0 . 9 8   A U ( ar e a   u n d e r   t h e   cu rv e )   v a l u fu rt h e r   c o n c l u d ed   t h at   t h e   mo d el   w as   e x cel l en t   i n   cl as s i f y i n g   b e t w een   ed i b l e   a n d   p o i s o n o u s   mu s h ro o m s .   T h e s fi n d i n g s   s h o w ed   t h at   K ab u T e a c h   i s   r e l i ab l c l as s i fi c at i o n   t o o l   t h at   a i d s   mu s h ro o m   f o rag e rs   i n   d i ff e r e n t i at i n g   m u s h r o o m s   an d   p ro mo t i n g   s af e co n s u m p t i o n   p rac t i ce s .   T h i s   i n n o v at i o n   i n   a g ri cu l t u ra l   t e ch n o l o g y   co u l d   p o t en t i al l y   r e d u ce   h e al t h   ri s k s   b y   mi n i m i zi n g   a cc i d e n t al   i n g e s t i o n   o t o x i m u s h r o o m s ,   u l t i m at el y   co n t ri b u t i n g   t o   p u b l i c   h e al t h   s afe t y .   K e y w o r d s :   A r e a   u n de r   t h e   c ur v e   C l a s s if i c a t i o n   m o de l   C r o s s - v a li da t i o n   De c i s i o n   s uppo r t   s y s t e m   K a b uT e a c h   Na ï v e   B a y e s   a l go r i t hm   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   V i l c h o r   G .   P e r di do     De pa r t m e n t   o f   C o m put e r   S c i e n c e ,   C o l l e ge   o f   I nf o r m a t i o n   T e c hn o l o g y   E duc a t i o n   Nue v a   V i z c a y a   S t a t e   Uni v e r s i t y   B a y o m b o n g,   Nue v a   V i z c a y a ,   P hil i pp i ne s   E m a i l v gpe r d i do @nv s u. e du. ph       1.   I NT RODU C T I ON   M us h r o o m s   a r e   i n c r e a s i n g ly   r e c o gni z e a s   o n e   o f   t h e   h e a l t hi e s t   f o o ds   due   to   t h e i r   r i c h   n ut r i t i o n a c o n t e n t ,   i nc l ud i n c a l c i u m ,   p h o s ph o r us ,   vi t a mi ns ,   a n pr o t e i n s .   T h e y   o f f e r   n u m e r o us   he a l t h   be n e f i t s ,   s uc h   a s   b o o s t i n im m u ni t y ,   a i d i ng  i n   w e i g h t   l o s s ,   a n c o m ba t i n c a n c e r   [ 1] .   De s p i t e   t h e i r   b e n e f i t s ,   d i s t i ngu i s hi ng   b e t we e n   e d i bl e   a n po i s o n o us   m us h r o o m s   r e m a in s   a   s i g nif i c a n t   c h a ll e n ge ,   a s   m a ny   s p e c i e s   r e s e m b l e   o n e   a n o t h e r ,   a n i n c o r r e c t   i de n t i f i c a t i o n   c a n   l e a to   s e v e r e   h e a l t h   c o n s e que n c e s   [ 2] .     T h e   n a t i o n a l   po i s o n   da t a   s y s t e m   i n   t h e   U ni t e S t a tes   r e c o r de d   133 , 700   c a s e s   o f   m u s h r oo m   e x po s ur e   b e t we e n   1999  a n 2016,   w i t h   a n   a dd i t i o n a l   6, 136  c a s e s   r e po r t e i n   2017  [ 3] .   I n   Ge r m a ny ,   h o s p i t a l   d a t a   f r o m   2000  to  2018   d o c um e n t e 4 , 412   h o s p i t a l i z a t i o n s   a n 22  f a t a l i t i e s   c a us e by   t h e   to xi c   e f f e c t s   o f   m us h r o o m   c o n s u m pt i o n   [ 4] .   Di s t i n gu i s hi ng  b e t we e n   e d i bl e   a n p o i s o n o us   m u s h r oo m s   i s   c h a ll e n g i ng  a n r e qu i r e s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       A   de c is ion  s uppor s y s tem   f or   mus hr oom  c las s if ication  us ing  N aïve   B ay e s ian  …  ( V il c hor   Gar c ia  P e r d ido )   139   s pe c i a li z e kn o w l e dg e .   S i n c e   m o s t   m us h r o o m s   a r e   i n e d i b l e ,   c o n s u mi ng  f o r a ge m u s h r o o m s   w i t h o ut  pr o pe r   i de n t i f i c a t i o n   i s   a   s e r i o us   mi s t a ke .   T h e   c o n s e qu e n c e s   o f   e a t i n po i s o n o us   m us h r o o m s   c o u l r a nge   f r o m     mi l s ym pt o m s   t o   de a t h .   A s   m u s h r oo m s   be c o m e   i n c r e a s i ng l y   po pu l a r   a s   a   f o o s o ur c e ,   t h e   d i f f i c u l t y   i vi s u a l ly   d i s t i n gu i s hi ng  po i s o n o us   v a r i e t i e s   f r o m   e d i bl e   o n e s   mi g h t   e x p l a i n   t h e   r i s i ng  n u m be r   o f   p o i s o ni ng   i nc i de n t s   [ 5] .   T h e   c l a s s if i c a t i o n   o f   o bj e c t s   i s   a n   i m po r t a n t   a r e a   w i t hi n   t h e   f i e l o f   da t a   m i n i ng,   a n i t s   a pp l i c a t i o e x t e n d s   to   a   v a r i e t y   o f   a r e a s .   W i t h   a d v a nc e m e nt s   i n   e m e r g i n t e c hn o l o g i e s ,   m a c hi ne   l e a r ni ng   ( M L )   ha s   b e c o m e   a   po we r f u l   t oo l   f o r   l e a r ni ng  f r o m   l a r ge ,   pr o bl e m - s pe c if i c   t r a i ni ng  da t a s e t s ,   e n a bli ng  t h e   a ut o m a t i o o f   i n t e l l i g e n t   m o de l   b u il d i ng  a n s o l vi ng  a s s o c i a t e t a s ks   [ 6] .   M L   h a s   b e c o m e   a   pi v o t a l   too l   i n   c l a s s if i c a t i o t a s ks ,   e n a bli ng  c o m put e r s   to  l e a r n   f r o m   d a t a   a n m a ke   pr e d i c t i o n s   w i t h o ut   e x p l i c i t   pr o gr a m mi ng.   C l a s s if i c a t i o n   i nv o l v e s   pr e d i c t i n c a t e g o r i c a l   o utco m e s   b a s e o n   i n put   f e a t ur e s   [ 7]   a n i s   w i de ly  us e i im a ge   c l a s s if i c a t i o n ,   pr e d i c t i v e   m o de li ng,   a n d a t a   m i n i ng  do m a i ns .   F o r   i n s t a n c e ,   w h e n   M L   mo de l s   a r e   a pp l i e t o   m us h r o o m   c l a s s if i c a t i o n ,   t h e y   c o u l d   h e l i de n t i f y   e d i bl e   a n po i s o n o us   s pe c i e s   ba s e o m o r p h o l o g i c a l   f e a t ur e s   [ 8] .   W i t h   t h e s e   m a s s i v e   c o l l e c t i o n s   o f   m u s h r oo m   da t a   a v a il a bl e ,   c l a s s i f yi n g   po i s o n o us   o r   to xi c   a n e d i bl e   m u s h r o o m s   i s   im p o r t a n t   to  a ddr e s s   t h e   g l o b a l   i s s ue   o f   m us h r o o m   p o i s o n i ng   [ 9] ,   e s pe c i a l ly   t t h e   l o c a l   c o m m u ni t i e s .   S e v e r a l   c l a s s if i c a t i o n   a l go r i t hm s   a r e   c o m m o nly   us e i n   ML ,   e a c h   w i t h   i t s   s t r e n gt h s   a n we a k n e s s e s .   T h e s e   i nc l ude   B a y e s i a n   n e t wo r ks ,   de c i s i o n   t r e e   ( DT )   i n duc t i o n ,   K - n e a r e s t   n e i g hb o r   ( K NN )   c l a s s i f i e r s ,   a n s uppo r v e c to r   m a c hi ne s   ( S VM )   [ 10 ] ,   [ 11 ] .   M o r e   a dv a n c e t e c hni que s   l i ke   r a n do m   f o r e s t s   ( R F ) e x t r e m e   gr a d i e n t   b o o s t i n ( XG B o o s t ) ,   a n Na ï v e   B a y e s   ( NB )   a r e   f r e que n t l y   e m p l o y e d   f o r   t h e i r   c o m put a t i o n a l   e f f i c i e n c y   a n a c c ur a c y   i n   s pe c i f i c   t a s ks   [ 12] ,   [ 13] .   A dd i t i o n a ll y ,   w i t h   t h e   h e l o f   de c i s i o n   s uppo r s y s t e m s   ( DSS )   a n t h e   i n t e gr a t i o n   o f   t h e s e   v a r i o us   M L   a l go r i t hm s ,   i t   pr o vi de s   a n   i nt e r a c t i v e   p l a t f o r m   to   a s s i s t   us e r s   i n   m a k i ng  i nf o r m e de c i s io n s .   A   DSS   a r c hi t e c t u r e   m o s t l y   c o n s i s t s   o f   t h e   da tab a s e   ( o r   kn o w l e dge   b a s e ) ,   t h e   m o de l   o r   a l go r i t hm ,   a n t h e   us e r   i n t e r f a c e   [ 14] .   T hi s   s t ud y   de v e l o pe a   DSS   a pp l i c a t i o n   t c l a s s if y   m u s h r oo m s   de pe n d i ng  o n   t h e i r   m o r ph o l o gi c a l   f e a t ur e s   o r   c h a r a c t e r i s t i c s .   T h e   a n a ly s i s   wa s   b a s e o n   t h e   e n d - us e r s   i n t e r a c t i o n   w i t h   t h e   s y s t e m .   T h e n   t h m us h r o o m   wa s   c l a s s i f i e u s i ng  t h e   NB   c l a s s if i c a t i o n   a l go r i t hm ,   a n t h e   r e s u l t s   w e r e   pr e s e n t e a s   a   f i na de c i s i o n   o n   wh e t h e r   i t   wa s   a n   e di bl e   o r   p o i s o n o us   m u s h r o o m .   T h e   s t udy   a l s o   w o ul l i ke   to  de t e r mi ne   t h e   pe r f o r m a n c e   o f   t h e   s y s t e m   w i t h   t h e   s e l e c t e c l a s s if i e r   m o de l   a pp li e t a   r e a l - wo r l da t a s e t .   C o m m o e v a l ua t i o n   m e a s ur e s   s o m e t i m e s   r e f e r r e to  a s   pe r f o r m a nc e   m e t r i c s ,   we r e   e m p l o y e to   m e a s ur e   t h e   e f f i c a c y   o r   e f f e c t i v e n e s s   o f   t h e   c l a s s i f i c a t i o n   m o de l .       2.   RE S E AR CH  M E T HO D   T hi s   s e c t i o n   de l ve s   i n t o   t h e   m us h r o o m   da t a s e a nd  t h e   m e t h o ds   us e f o r   c l a s s if i c a t i o n .   T h e   go a l   o f   t hi s   s t ud y   wa s   t h e   c l a s s if i c a t i o n   i f   m us h r o o m s   w e r e   e d i bl e   o r   p o i s o n o us   by   i n t e gr a t i n a   m a c hi ne - l e a r ni n g   t e c h ni que .   T hi s   c o u l b e   a c hi e ve by   de v e l o p i ng  K a b uT e a c h ,   a   DSS   t h a t   a n a l y z e t h e   i nput   c h a r a c t e r i s t i c s   a n c o nc l ud e pr e c i s e   de c i s i o n s   t h a t   l e t o   m us h r o o m   c l a s s if i c a t i o n .   T h e   c l a s s if i c a t i o n   m e t h o ds   we r e   d i vi de d   i n t o   f o ur   s t a ge s i )   da t a   s o u r c e ;   i i )   s a m p li ng;   ii i )   m u s h r oo m   c l a s s i f i c a t i o n;   a n i v )   m o de l   pe r f o r m a n c e   e v a l ua t i o n .   T h e   ge n e r a l   f l o o f   t h e   pr o c e s s   i s   i ll us t r a t e d   i n   t h e   c o n c e pt ua l   f r a m e wo r s h o wn   i n   F i gur e   1.           F i gur e   1 .   T h e   c o n c e pt ua l   f r a m e wo r o f   t h e   s t udy   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   1 M a r c h   20 2 6 :   13 8 - 15 1   140   T h e   pr o c e s s   b e ga n   w i t h   t h e   da t a   p r e pa r a t i o n .   T h e   da t a   s o u r c e   o f   t h e   s y s t e m   us e a   m u s h r oo m   da t a s e d o wnl o a de f r o m   a n   o pe n - s o ur c e   m us h r oo m   r e po s i t or y   o n   t h e   i n t e r n e t .   Da t a   pr o f i li ng  a n da t a   c l e a ni ng  a c t i vi t i e s   a r e   do n e   i n   t h e   f i r s t   s t a ge .   T h e   f i r s t   a c t i vi t y   i s   do ne   to   a n a ly z e   t h e   s t a t i s t i c a f e a t ur e s   i nc l ud i ng  t h e   da t a   s i z e   a n t y p e   o f   t h e   da t a .   T h e   l a tt e r   i s   c o n duc t e to   a v o i da t a   a n o m a li e s   a n i r r e gu l a r i t i e s   i n   de c i s i o n - m a k i n a n e ns ur e   t h e   r e l i a bil i t y   o f   da t a   f o r   m o r e   a c c ur a t e   p r e d i c t i v e   m o de l s .   Ne x t ,   t h e   e n r i c h e d   da t a   i s   up l o a de i n t o   t h e   s y s t e m   a n s p li t   i n t o   tr a i ni ng  a n t e s t i n da t a s e t s .   T h e s e   s a m p l e   da t a s e t s   a r e   s tor e i a   s e p a r a t e   t a bl e   i n   t h e   da t a ba s e .   I n   t h e   m us h r o o m   c l a s s i f i c a t i o n ,   t h e   tr a i ni ng  da t a s e t   i s   us e to   b u i l a n d   t r a i n   t h e   M L   c l a s s i f i c a t i o n   a l go r i t hm   t o   c o m e   up  w i t h   a   tr a i ne m o de l .   I n   a dd i t i o n ,   a   hy pe r pa r a m e t e r   t uni n m e c h a ni s m   i s   a dde to  r e v e a l   w h e t h e r   t h e   m o de l   i s   o v e r f i t t i n or   un de r f i t t i n g.   T hi s   v a li da t i o n   m o de l   s e l e c t s   t h e   b e s t   m o de l   c o nf i gur a t i o n   t i m pr o v e   t h e   r e l i a bil i t y   o f   t h e   m o de l   e v a l ua t i o n   ( c l a s s if i e r   m o de l ) .   On c e   t h e   f i na l   m o de l   i s   t un e up,   t h e n ,   t h e   K a b uT e a c h   wi t h   t h e   h e l o f   t h e   c l a s s if i e r   m o de l   l e a r ns   s o m e   ki n o f   pa tt e r n s   f r o m   t h e   tr a i ni n da t a s e t   a n a pp l i e s   t h e m   t o   t h e   t e s da t a s e to   b u i l a   de c i s i o n   i n   pr e d ict i n o r   c l a s s if yi ng  wh e t h e r   a n   i ns t a n c e   o f   t h e   t e s da t a   i s   e d i bl e   o r   a   p o i s o n o us   m us h r o o m .   P e r f o r m a n c e   m e t r i c s   s uc a s   t h e   c o nf us i o n   m a t r i x ,   a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   s pe c if i c i t y ,   a n F 1 - s c o r e ,   i n c l ud i ng  t h e   a r e a   un d e r   c ur v e   ( A UC )   r e c e i ve r   o pe r a t i n c h a r a c t e r i s t i c s   ( R O C )   s c o r e   a r e   pr e s e n t e t h r o ugh   a   vi s ua li z a t i o n   pa ge   o f   t h e   de v e l o pe s y s t e m .     2. 1.     Dat a   s ou r c e   T h e   da t a s e t   us e i n   t hi s   s t udy   w a s   c o l l e c t e f r o m   t h e   UC   i r vi ne   m a c hi ne   l e a r ni ng  ( UC I   M L )   r e po s i t o r y   t h r o ugh   t h e   K a gg l e   we b   po r t a l ,   a   p o p u l a r   o n l i ne   p l a t f o r m   f o r   da t a   s c i e n t i s t s   a n ML   e x pe r t s   o r   pr o f e s s i o n a l s   [ 15] .   T hi s   da t a s e t   wa s   d o n a t e to  U C I   M L   by   J e f f r e y   S c hli mm e r   o n   A pr i l   27,   1987,   i n c l ud i ng   de s c r i pt i o ns   o f   hy po t h e t i c a l   s a m p l e s   c o r r e s po n di ng  to   23   s pe c i e s   o f   g i ll e m us h r o o m s   i n   t h e   A gar icu s   a nd   L e piot a   F a m il y   o f   m us h r o o m s   [ 16] ,   [ 17] .   Da t a   p r e pr o c e s s i n g m o r ph o l o gi c a l   f e a t ur e s   a r e   e x t r a c t e a n us e i n   t h e   tr a i ni ng.   T h e s e   m o r p h o l o g i c a l   f e a t ur e s   ( a tt r i b ut e s )   a s   s um m a r i z e d   i n   T a bl e   we r e   us e i n   t h e   c l a s s i f i c a t i o n   o f   m us h r o o m s .   Da t a   pr e - p r o c e s s i n i nv o l ve s   pr e pa r i n t h e   da t a   f o r   t h e   M L   m o de l .   T hi s   da t a   m i n i ng  t e c hni que   i s   us e to  c o n v e r t   r a da t a   i n t o   a   m o r e   i n t e r pr e t a bl e   a n s t r uc t ur e d   f o r m a t   i n t e n de f o r   us e   a s   t r a i ni ng  da t a   b e f o r e   t h e   mi n i ng  pr o c e s s   [ 18 ] ,   [ 19 ] .   T hi s   s t ud y   e m p l o y e two  da t a   p r e - pr o c e s s i n s t a ge s .   Da t a   pr o f i li ng  wa s   t h e   f i r s t   s t a ge   whi c h   wa s   do n e   by   e x a mi n i ng  a n a n a ly z in i ns t a n c e s   o f   t h e   c o l l e c t e m u s h r oo m   da t a s e t   to   c o l l e c t   s t a t i s t i c s   a b o ut  i t s   da t a   c o n t e n t.   T h e r e   we r e   22  a tt r i but e s   t h a r e pr e s e n t e t h e   m o r ph o l o g i c a l   c h a r a c t e r i s t i c s   o f   t h e   m u s h r o o m   us e a s   t h e   b a s i s   f o r   de s i g ni ng  t h e   c l a s s if i e r   m o du l e   o f   t h e   DSS .       T a bl e   1.   A tt r i b ut e s   o f   m us h r o o m   de s c r i pt i o n   i n   t h e   da t a s e t   No   A tt r ib ut e   D e s c r ip ti o n a nd  v a lu e s   1   c a p s ha pe   b= be ll , c = c o ni c a l,   x = c o n v e x f = f la t , k= kno bb e d s = s unke n   2   c a p s ur f a c e   f = f ib r o us ,   g= gr oove s y = s c a l y , s = s moo th   3   c a p c o l or   n= br o w n , b= bu f f c = c in na m o n, g= gr a y , r = gr e e n , p= pi nk , u= pur pl e e = r e d, w = w hi t e y = y e l l o w   4   br ui s e s   t= br ui s e s , f = n o   5   o d o r   a = a lm o nd , l = a ni s e , c = c r e o s o t e y = f is h y f = f o u l , m= mus t y , n= n o n e , p= punge nt , s = s pi c y   6   gi ll  a tt a c hm e nt   a = a tt a c he d , d= de s c e ndi ng,  f = f r e e , n= n o t c he d   7   gi ll  s pa c in g   c = c l o s e , w = c r o w d e d, d= di s ta nt   8   gi ll  s iz e   b= br o a d , n= na r r o w   9   gi ll  c o l or   k= bl a c k , n= br o w n, b= bu f f , h= c h oc o la t e , g= gr a y , r = gr e e n o = o r a nge , p= pi nk,   u= pur pl e e = r e d , w = w hi t e y = y e ll o w   10   s ta lk  s ha pe   e = e nl a r gi ng , t = ta p e r in g   11   s ta lk  r oo t   b= bul bo us , c = c lu b, u= c up, e = e qua l , z = r hi z o m or phs , r = r oo t e d ? = mi s s in g   12   s ta lk  s ur f a c e  a b ove  r in g   f = f ib r o us y = s c a l y , k= s il k y , s = s moo th   13   s ta lk  s ur f a c e  b e l o w  r in g   f = f ib r o us y = s c a l y , k= s il k y , s = s moo th   14   s ta lk  c o l or  a bove   r in g   n= br o w n , b= bu f f c = c in na m o n, g= gr a y o = or a nge , p= pi nk , e = r e d, w = w hi te y = y e ll o w   15   s ta lk  c o l or  be l o w  r in g   n= br o w n , b= bu f f c = c in na m o n, g= gr a y o = or a nge , p= pi nk , e = r e d, w = w hi te y = y e ll o w   16   ve il  t y p e   p= pa r ti a l , u= uni v e r s a l   17   ve il   c o l o r   n= br o w n o = or a nge , w = w hi te y = y e ll o w   18   r in g numbe r   n= no ne o = o n e , t = two   19   r in g t y pe   c = c o bw e bb y , e =   e v a ne s c e nt f = f la r in g, l = la r g e , n= no n e , p= pe n da nt , s = s he a th in g, z = z o n e   20   s po r e  pr in c o l o r   k= bl a c k n= br o w n, b= bu f f , h= c h oc o la t e , g= gr e e n o = o r a ng e , u = pur pl e , w = w hi te y = y e l l o w   21   po pul a ti o n   a = a bunda nt , c = c lu s te r e d, n= nume r o us , s = s c a tt e r e d v = s e ve r a l,   y = s o li ta r y   22   ha bi ta t   g= gr a s s e s , l = le a v e s , m= me a d o w s , p= pa th s , u= ur ba n , w = w a s te , d= w o o ds   23   c la s s   T h is  i s  t he  t a r g e v a r ia bl e  t ha mus pr e di c or   f o r e c a s t;  a  v a lu e   of   e   de n ot e s  a  mus hr oo m i s   e di bl e  w he r e a s  a   v a lu e   of   p   in di c a t e s  a  po is o n o us  mus hr oo m.       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       A   de c is ion  s uppor s y s tem   f or   mus hr oom  c las s if ication  us ing  N aïve   B ay e s ian  …  ( V il c hor   Gar c ia  P e r d ido )   141   T h e   a tt r i b ut e   c l a s s   wa s   us e by   t h e   NB   a l go r i t hm   t o   c o m put e   t h e   pr o b a bil i t y   a n pr e d i c t   a n   i n s t a nc e   ( m us h r o o m )   wh e t h e r   i t   wa s   a n   e d i b l e   o r   p o i s o n o us   c l a s s .   E a c h   a tt r i b ut e   or   c h a r a c t e r   h a v a l u e s   t s e l e c t ,   a n v a l ue s   we r e   c o de d   o r   r e pr e s e n t e by   t e x t s .   T h e   gi ll   c o l o r   a tt r i b ut e   h a t h e   hi g h e s t   n u m b e r   o f   v a l ue s   wi t h   12  v a l ue s   w hil e   b r u i s e s ,   g il l   s i z e ,   s t a l s ha pe ,   v e il   t y pe ,   a n r i n n u m be r   a t t r i b ut e s   c o ns i s t   o f   t w o   v a l u e s .   Da t a   c l e a ns i ng  wa s   t h e   s e c o n s t a ge   a n wa s   c o n duc ted  us i n P y t h o n   l i br a r i e s .   T hi s   wa s   do n e   to  pr e v e n t   da t a   a n o m a li e s   by   e li mi na t i n or   r e m o vi ng  m i s s i ng  ( n u ll )   v a l ue s   a n dup l i c a t e f e a t ur e s   i n   t h e   m u s h r o o m   da t a s e [ 20] ,   [ 21] .   Da t a   tr a n s f o r m a t i o n   ( c a t e gor i c a l   t o   n um e r i c a l   o r   vi c e   v e r s a )   wa s   n o   l o n ge r   pe r f o r m e i n   t hi s   s t a ge   s i nc e   v a l ue s   o f   t h e   i ns t a n c e s   i t h e   da t a s e t   we r e   i n   c a t e g o r i c a l   f o r m .   T he   NB   a l go r i t hm   i s   a   c l a s s if i e r   t h a t   wa s   m o s t l y   a pp li e i n   t e x t   c l a s s if i c a t i o n ,   s o   pe r f o r m e we ll   w i t h   c a t e go r i c a l   i nput   v a r i a bl e s   c o m pa r e to  n u m e r i c a l   va l u e s   [ 22] .     2. 2.     S am p l in g   T h e   e f f e c t i v e n e s s   o f   M L   m o de l s   c o ul b e   t e s t e u s i n c r o ss - v a li da t i o n   ( C V)   t e c h ni que s .   T hi s   c o ul d   b e   pe r f o r m e by   s p li t t i n t h e   wh o l e   da t a   i n t tr a i ni ng  a n t e s t i n da t a s e t s   [ 23] .   T ge r e l i a bl e   f i nd i n gs   f r o m   a l l   o f   t h e   da t a ,   t h e   a c c ur a c y   o f   e a c h   K - m o de l s   r e s u l t s   i s   t h e n   a ve r a ge d.   T h e   pur po s e   o f   K - f o l CV   wa s   t r e m o v e   bi a s   f r o m   t h e   da t a .   I n   t hi s   pa pe r ,   a   5 - f o l CV   m e t h o w i t h   a   70:30  b a l a n c e   r a t i o   f o r   t r a i ni ng  a n d   t e s t i n wa s   a pp l i e w h e r e   t h e   wh o l e   da t a   wa s   d i vi de i n to   f i ve   ( 5)   f o l ds   a n r e pe a t e f i ve   ( 5)   t i m e s .     2. 3.     M u s h r oom   c l as s if icat ion   u s in t h e   Naïve   B aye s ian   a l go r it h m   T h e r e   wa s   n o   b e s t   ML   a l go r i t hm   a n us ua ll y   c r i t i c a l   a n d i f f i c u l t   t c h oo s e ,   h o we v e r ,   t h e   c o r r e c s e l e c t i o n   wa s   ne c e s s a r y   [ 24] .   F i n d i ng  a   s u i t a bl e   a lgo r i t hm   de p e n ds   o n   t h e   t y pe   o f   pr o bl e m   t o   s o l v e   [ 25]   a n d   o n   m a ny   f a c t o r s   s uc h   a s   t h e   s i z e ,   qua l i t y ,   a n t y p e   o r   n a t ur e   o f   da t a s e t s   [ 26] .   T h e   NB   a l go r i t hm   wa s   c h o s e a s   t h e   c l a s s if i c a t i o n   m o de l   f o r   s e v e r a l   r e a s o n s .   F i r s t ,   s i nc e   t h e   m a i n   o bj e c t i v e   o f   t hi s   s t udy   wa s   to  d e v e l o a   DSS   i n   t r a i ni ng  a   m o de l   f o r   pr e d i c t i o n ,   t h e r e f o r e   a   s upe r vi s e l e a r ni ng  t y pe   o f   ML   a l go r i t hm   wa s   n e e de d.   S e c o n d,   t h e   pu bl i c ly   a v a il a bl e   m us h r o o m   da t a s e t   c o n t a i n e 22  a t t r i b ut e s   ( i n de pe n de n t   v a r i a bl e )   w hi c h   we r e   us e to  c l a s s i f y   a   t a r ge v a r i a bl e   ( c l a s s )   wh e t h e r   e d i bl e   ( e )   or   p o i s o n o us   ( p )   c a t e g o r y ,   t h us   a   c l a s s i f i c a t i o t e c h ni que   w a s   n e c e s s a r y .   I n   a dd i t i o n ,   da t a s e t s   t h a t   h a m a ny   a t t r i b ut e s   c o ul b e   h a n d l e by   t h e   NB   a lgo r i t h m   [ 16] .   T hi r d,   i n s t a n c e s   ( r o ws )   i n   t h e   da t a s e t   we r e   o r ga ni z e by   s p e c i f i c   m o r p h o l o gi c a l   f e a t ur e s   o r   a tt r i b ut e s   a s   s h o w n   i n   T a bl e   1,   e a c h   w i t h   c a t e go r i c a l   v a l ue s   ( t e x t )   r e pr e s e n t i n t h e   p hy s i c a l   c ha r a c t e r i s t i c s   o f   m u s h r o o m s .   T h e   NB   a l go r i t hm   wa s   c o m m o nly   a pp l i e i n   v a r i o us   a pp li c a t i o ns   w hi c h   wa s   o f t e n   hi g hly   a pp l i e d   i n   t e x c l a s s if i c a t i o n ,   s pa m   f il t e r i ng,   s e n t i m e n t   a n a ly s i s ,   m e d i c a l   d i a g n o s i s ,   a n r e c o m m e n de r   s y s t e m s .   L a s t l y ,   w i t o v e r   8 , 000  r o ws   o f   da t a   f o un i t h e   da t a s e t ,   t hi s   a l go r i t hm   wa s   k n o wn   f o r   i t s   s i m p li c i t y ,   e f f i c i e n c y ,   a n d   e f f e c t i v e n e s s   w i t h   hi g h   a c c ur a c y   a n s pe e i n   h a nd l i ng  l a r ge   da t a s e t s   [ 17] ,   [ 20] .   M o de l   t r a i ni ng  a n de c i s i o n   b u il d i ng t he   NB   m o d e l   wa s   n ot   o nl y   s i m p l e   b ut   a l s o   e a s y   t o   b u i l d.   T hi s   c l a s s if i c a t i o n   a l go r i t hm   o pe r a t e o n   t h e   pr i n c i p l e   o f   c o n d i t i o n a l   i nde pe n de n c e ,   m e a ni ng  i t   a s s u m e d   t h a t   t h e   v a l ue   o f   e a c h   a t tr i b ut e   w i t hi n   a   s pe c if i c   c l a s s   d i n o t   de pe n o n   t h e   v a l u e s   o f   ot h e r   a tt r i b ut e s   [ 27] .   I m p l e m e n t i n t h e   NB   a l go r i t hm   t o   t h e   DSS   s y s t e m   i nv o l ve s e v e r a l   k e y   s t e ps   t h a t   e n s ur e a c c ur a te  m o de l   t r a i ni ng  a n e f f e c t i ve   c l a s s if i c a t i o n :   1)   L o a t h e   m us h r o o m   da t a s e t   f o r   da t a   pr o f i li ng  a n c l e a ni ng.   2)   D i vi de   o r   s pl i t   t h e   da t a s e t   i n t o   t w o:  tr a i ni n a n t e s t i n s u bs e t s .   3)   A pp ly   t h e   c l a s s if i c a t i o n   a l go r i t hm   t o   tr a i n   t h e   t r a i ni ng  s u b s e t s .   4)   T un e   up  t h e   t r a i n e m o de l   u s i n a   v a li da t i o n   t e c h ni que   to   c o m e   up  w i t h   a   f i na l   m o d e l .   5)   T h e   f i na l   ( c l a s s i e r )   m o de l   c l a s s i f i e s   m u s h r oo m s   us i ng  t h e   f o l l o w i n pr o c e dur e s :   a.   C a l c u l a t e   t h e   pr i o r   pr o b a bil i t y   f o r   e a c h   c l a s s   ( e   o r   p )   by   f i nd i ng  t h e   pr o p o r t i o n   o f   e a c h   t a r ge t   c l a s s   i n   t h e   t r a i ni n da t a .   b.   F o r   e a c h   f e a t ur e   i n   t h e   da t a s e t ,   de t e r m i ne   t h e   pr o b a bil i t y   ( li ke li h o o d)   o f   e a c h   po s s i bl e   va l ue   o c c ur r i ng  w i t hi n   e a c h   c l a s s .   c.   F o r   a   n e i ns t a n c e ,   c a l c u l a t e   t h e   po s t e r i o r   pr o b a bil i t y   u s i ng  t h e   f o r m u l a   i n   ( 1)   de r i ve f r o m   B a y e s   T h e o r e m .     (   |   ) =   (   |   )   .     ( ) ( )   ( 1 )     T h e   f o r m u l a   o f   NB   c l a s s if i c a t i o n   w i t h   m u l t i p l e   f e a t ur e s   1 , 2 , 3 ,   c o ul b e   e x t e n de i n   ( 2) .         (    |   1 , 2 , 3 ,   ) =   ( 1   |  )   .     ( 2   |  )   .     ( 3   |  ) (   |  )   .     (  ) ( 1 , 2 , 3 , )   ( 2)     L ike li hood   C las s   P r ior   P r obabil it y   P r obabil it y   P os te r ior   P r obabil it y   P r e dicto r   P r ior   P r obabil it y   P r obabil it y   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   1 M a r c h   20 2 6 :   13 8 - 15 1   142   wh e r e ,   (  | 1 , 2 , 3 , )   wa s   t h e   po s t e r i o r   p r o b a bi li t y   o f   a   m us hr oo m   b e i ng  i n   a   s pe c i f ic   c l a s s   ( e i t h e r   e   f o r   e d i bl e   o r   p   f o r   po i s o n o us )   g i v e n   t h e   f e a t ur e s   1 , 2 , 3 , ( 1 |  ) , ( 2 |  ) , ( 3 |  ) ( |  )   we r e   t h e   c o n d i t i o n a l   pr o b a bil i t i e s   ( l i k e l i h o o d)   o f   h o l i ke ly   i t   wa s   to  o b s e r v e   e a c h   f e a t ur e   ( m u s h r oo m   a tt r i b ut e s )   i f   t h e   m us h r o o m   b e l o n g s   to   t h a t   c l a s s ,   (  )   wa s   t h e   pr i o r   pr o b a bi li t y   o f   t h e   c l a s s ,   r e pr e s e n t i n t h e   l i k e l i h o o o f   a   m us h r o o m   be i n i n   t h a t   c l a s s   ( e   o r   p )   w i t h o ut   c o n s i de r i ng  a ny   f e a t ur e s ,   a n ( 1 |  ) , ( 2 |  ) , ( 3 |  ) ( |  )   wa s   t h e   tot a l   pr o b a bil i t y   o f   o b s e r vi ng  t h e   f e a t ur e s   X 1 , 2 , 3 ,   a c r o s s   a l l   c l a s s e s .   6)   T e s t   t h e   t e s t i n s u bs e t s   i n t t h e   c l a s s i e r   m o de l .   T he   c l a s s i f i c a t i o n   o ut c o m e   ( e d i b l e   o r   po i s o n o us )   wa s   de t e r m i ne by   t h e   c l a s s   w i t h   t h e   hi g h e s t   p o s t e r i o r   pr o b a bil i t y .     2. 4.     P e r f o r m an c e   m e as u r e s   an d   e val u at ion   T h e   f i na l   a c c ur a c y   o f   t h e   m o de l   wa s   a s s e s s e t h r o ugh   a   c o n f u s i o n   m a t r i x   ( e r r or   m a t r i x ) .   T y p i c a ll y ,   t h e   pe r f o r m a n c e   o f   c l a s s i f i c a t i o n   a l go r i t hm s   wa s   e v a l ua t e b a s e o n   t h e i r   o v e r a ll   r e s u l t s   o n   t h e   t e s t   da t a s e [ 17] ,   [ 28] .   I n   t hi s   c a s e ,   t h e   n u m be r   o f   e d i b l e   a n po i s o n o u s   m u s h r o o m s   t h a t   we r e   c or r e c t l y   a n i nc o r r e c t l y   c l a s s if i e by   t h e   c l a s s if i e r   c o u l be   s u mm a r i z e a nd  ge n e r a t e t h r o ugh   a   c o nf us i o n   m a t r i x .   T a bl e   s ho ws   t h e   c o nf us i o n   m a t r i x ,   a   t a b u l a r   r e pr e s e n t a t i o n   t h a i ll us t r a t e s   t h e   pe r f o r m a n c e   o f   a n   a l go r i t hm   o r   m o de l   in   c l a s s if i c a t i o n   t a s ks .       T a bl e   2.   Vi s ua li z a t i o n   o f   t h e   c o nf us i o n   m a t r i x   C la s s if ic a ti o n   V a lu e   p r e di c ti o ns   E di bl e   P o is o n o us   A c tu a v a lu e   E di bl e   T r u e   p o s it iv e  ( T P )   F a ls e   n e ga ti ve  ( F N )   P o is o n o us   F a ls e   p o s it i ve  ( F P )   T r u e   n e ga ti ve  ( T N )       B a s e o n   t h e   da t a   s h o wn   i n   t h e   c o nf us i o n   m a t r i x ,   t h e r e   we r e   c o m m o n   e va l ua t i o n   m e t r i c s   t h a t   c o ul d   b e   us e to   m e a s ur e   t h e   pe r f o r m a n c e   o f   t h e   NB   a l g o r i t hm   s pe c if i c a ll y   t o   i t s   a c c ur a c y ,   i nd i c a t i n t h e   p r e c i s i o o r   c o r r e c t n e s s   i n   c l a s s i f yi ng  e d i b l e   o r   p o i s o n o us   m us h r o o m s   f r o m   t h e   g i v e n   da t a s e t .   A c c ur a c y   wa s   c o m put e us i n t h e   f o r m u l a   i n   ( 3) .       =   (  +  ) (  +  +  +  )     100%   ( 3)     Ot h e r   m e t r i c s   we r e   a l s o   a ppl i e i n   t hi s   s t ud y .   P r e c i s i o n   c o u l b e   c o m put e i n   ( 4) ,   r e c a l l   wa s   c a l c u l a t e i n   ( 5) ,   a n S pe c i f i c i t y   c o u l be   s o l ve us i n t h e   f o r m u l a   i n   ( 6) .        =   (  ) (  +  )     100%   ( 4)       =   (  ) (  +    )     100%   ( 5)         =   (  ) (    +    )     100%   ( 6)     On   t h e   ot h e r   h a n d,   t h e   F 1 - s c o r e   wa s   t h e   h a r m o ni c   m e a n   o f   pr e c i s i o n   a n r e c a l l   w hi c h   c a n   be   c o m put e us i n t h e   f o r m u l a   i n   ( 7) .     1  =   2     (        ) (     +    )     100%   ( 7)     T h e   pe r f o r m a n c e   o f   t h e   m o de l   wa s   f ur t h e r   e v a l u a t e d   us i n t h e   R OC   c ur v e   a n t h e   A UC   m e t r i c s ,   whi c h   we r e   m o s t   us e i n   ML   to   e v a l ua t e   t h e   e f f e c t i v e n e s s   o f   a   t w o - c l a s s   c l a s s if i c a t i o n   m o de l   [ 29] .   T h e   R O C   c ur v e   wa s   c r e a t e by   p l o tt i n t h e   t r ue   p o s i t i v e   r a te   ( T P R ) ,   a l s o   kn o wn   a s   r e c a ll /s e ns i t i vi t y ,   a ga i ns t   t h e   f a l s e   po s i t i v e   r a t e   ( F P R )   a t   di f f e r e n t   t h r e s h o l l e v e l s ,   w hil e   t h e   A UC   s c o r e   wa s   a   s i n g l e   s c a l a r   v a l ue   t h a t   ga v e   a n   o v e r a l l   i nd i c a t i o n   o f   h o a c c ur a t e   t h e   c l a s s if i e r   c a n   d i f f e r e n t i a t e   b e t we e n   c l a s s e s   [ 30] .   T h e   A UC   s c o r e   c o ul b e   c o m put e us i n t h e   t r a p e z o i da l   r u l e   [ 31]   a f t e r   ge n e r a t i n t h e   R OC   c ur v e   b e c a us e   t h e   A UC   r e pr e s e n t e t h e   a r e a   be n e a t h   t he   c ur v e   [ 32] .   T h e   a r e a   o f   t h e   t r a pe z o i wa s   c a l c u l a t e f o r   e a c h   a d j a c e n t   pa i r   o f   po i n t s   (  ,    )   a n (  + 1 ,    + 1 )   us i n t h e   f o r m u la  s h o wn   i n   ( 8) .   T ge t   t h e   tot a l   AU C   s c o r e ,   s um   t h e   a r e a   o f   e a c h   t r a pe z o i a c r o s s   a l l   a d j a c e n t   po i n t s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       A   de c is ion  s uppor s y s tem   f or   mus hr oom  c las s if ication  us ing  N aïve   B ay e s ian  …  ( V il c hor   Gar c ia  P e r d ido )   143   A r e a = (  + 1    )   ×   ( + 1 +   ) 2     ( 8)     W h e r e ,   (  + 1      )   r e p r e s e n t e t h e   di f f e r e n c e   i n   F P R   b e t we e n   t w c o n s e c ut i v e   po i n t s ,   (  + 1   +    )   r e pr e s e n t e t h e   di f f e r e n c e   i n   F P R   b e t we e n   t w c on s e c ut i v e   po i n t s ,   1 2   a v e r a ge s   t h e   c o m bi ne h e i g h t   o f   t h e   t r a pe z o i to  a c c o un f o r   t h e   f o r m u l a   f o r   t h e   a r e a   o f   a   t r a pe z o i d,   A r e a   de n ot e t h e   c a l c u l a t e A UC   f o r   t h e   i n t e r v a l   b e t we e n   t h e   - t h   a n ( + 1 ) - t h   p o i n t s .   I n   ML ,   t h e   A UC   s c o r e   f o r   a   R OC   c ur v e   wa s   t y p ica l ly   e v a l ua t e o n   a   s c a l e   f r o m   to   1   [ 31] ,   [ 33] ,   w i t h   d i f f e r e n t   r a n ge s   o f t e n   i n t e r pr e t e us i n a   L i k e r t - s t y l e   r a t i n a s   s h o wn   i n   T a bl e   3.   A   s c o r e   j u s t   a b o v e   0. 5   s h o we t h e   m o de l   h a s   m i n im a l   pr e d i c t i v e   po we r ,   whi c h   wa s   u s ua ll y   i ns u f f i c i e n t   f o r   pr a c t i c a l   a pp li c a t i o ns .   Ge n e r a ll y ,   a n   R OC   A UC   s c o r e   o v e r   0. 8   wa s   r e ga r de a s   goo d ,   a n a b o v e   0. wa s   c o n s i de r e e x c e l l e n t .     T hi s   r a t i n s y s t e m   wa s   us e to  i n t e r pr e A UC   va l ue s   to  e v a l u a t e   c l a s s if i e r   e f f e c t i ve n e s s   a c r o s s   d i f f e r e n t   pr o b a bil i t y   t h r e s h o l ds .       T a bl e   3.   A UC - R OC   pe r f o r m a n c e   m e a s ur e m e n t   A U C   r a nge   R a ti ng   D e s c r ip ti o n   0.90  -   1.00   E xc e ll e nt   O ut s ta ndi ng dis c r im in a ti o n be tw e e c la s s e s .   0.80  -   0.90   G oo d   S tr o ng c la s s if i e r , r e li a bl e   f or  m o s a ppl ic a ti o ns .   0.70  -   0.79   F a ir   M o de r a te  di s c r im in a ti o n, us e f ul  i n ma n y  s c e na r i o s .   0.60  -   0.69   P oor   W e a k c la s s if ie r s o m e  i mp r ov e me nt   mi ght  b e  ne c e s s a r y .   0.50  -   0.59   V e r y   p oo r   B a r e l y  be t te r   th a n r a nd o m;  g e ne r a ll y  una c c e pt a bl e .   <  0.50    N o  di s c r im in a ti o n   T h e  m o d e p e r f or ms  n o  be t te r  t ha n r a nd o m c ha n c e .       3.   RE S UL T S   AN DI S CU S S I ON   T hi s   s t ud y   pr i m a r i ly   f o c us e o n   t h e   de v e l o p men t   o f   a   DSS   hi g hli g h t i n t h e   pot e n t i a l   o f   a e m b e dde a l go r i t hm   f o r   t h e   pr e c i s e   c l a s s if i c a t i o n   tas k.   T h e   DSS   i s   a   we b   a pp l i c a t i o n   de s i g n e f o r   m us h r o o m   p i c ke r s   o r   f o r a ge r s ,   a l l o w i ng  t h e m   to   i n t e r a c t   w i t h   t h e   s y s t e m   by   s e l e c t i n pr e de f i ne m o r pho l o g i c a c h a r a c t e r i s t i c s .   T h e   s y s t e m   t h e n   a ut o m a t i c a ll y   c l a s s i f i e s   t h e   m u s h r oo m   a s   e i t h e r   e d i b l e   o r   p o i s o n o us .   S e v e r a l   s t udi e s   h a ve   ut i li z e DSS   f o r   m u s h r oo m   c l a s s i f i c a t i o n;   h o we v e r ,   m o s t   o f   t h e s e   we r e   de s i g n e a n de p l o y e d   a s   m o bi l e   a pp li c a t i o n s   us i ng  i m a ge   pr o c e s s i n g   [ 34 ] [ 37] ,   whi l e   o t h e r s   we r e   pur e l y   c o m pa r is o n s   o f   a l go r i t hm s   w i t h   n o   a c t ua l   a pp l i c a t i o n   de ve l o p m e nt  [ 38] [ 41] .   T h e   s t udy   f o l l o we t h e   c o m m o n   c o m po n e n t s   i nv o l ve i n   b u il d i ng  a   DSS ,   whi c h   i n c l ude   da t a   s e l e c t i o n ,   t h e   de s i g ni ng  o f   us e r   i n t e r f a c e s ,   a n t h e   t r a i n i ng  o f   t h e   m o de l   a n t e s t i n o f   i t s   pe r f o r m a n c e .   T h e   pr e s e n t   s t udy   e x p l a i ns   t h e   r e s u l t s   o f   t h e s e   c o m po n e n t s ,   a s   i t   i s   de t a i l e i n   t h e   f o l l o w i ng  t h r e e   s u b - s e c t i o n s .     3. 1.     Dat a   p r e p ar at ion   an d   p r e p r oc e s s in g   A   r a da t a   o f   m u s h r oo m s   o b t a i ne f r o m   K a gg l e   [ 17] ,   a n   o n l i ne   da t a   s o ur c e ,   wa s   us e a s   t h e   da t a s e o f   t hi s   s t ud y .   T hi s   r a da t a   i s   o r i g i na ll y   s t o r e i a   c o m m a - s e p a r a t e v a l u e s   ( C S V)   f il e   a n 374  KB   o f   f il e   s i z e .   T hi s   s t ud y   ut i li z e P y t h o n   t c r e a t e   a   da t a s e f r o m   t h e   r a da t a   c o m m a n de i t h e   J up y t e r   Note b o o k.   I h a a   tot a l   n u m be r   o f   8, 124   da t a   s a m p l e s   [ 42] ,   [ 4 3 ]   wi t h   23   c o l u m ns   a s   s h o wn   i n   F i gur e   2.   T h e s e   c o l u m n s   we r e   t h e   22  m o r ph o l o g i c a l   c h a r a c t e r s   ( a tt r i b ut e s )   o f   m us h r o o m s   [ 8] ,   [ 16] ,   [ 18]   whi c h   we r e   i m p o r t a n to  c l a s s if y   o n e   ( 1)   t a r ge f e a t ur e   ( c l a s s ) ,   e i t h e r   a n   e d i bl e   ( e )   o r   a   p o i s o n o us   ( p )   t y p e   o f   m u s h r oom .   I wa s   f o u n t h a t   t h e r e   we r e   4 , 208  ( 51 % )   i ns t a n c e s   b e l o n g i ng  to   t h e   e d i bl e   c a t e gor y   w hil e   a   tot a l   n u m be r   o f   3, 916  ( 49% )   i ns t a n c e s   we r e   i n c l ude i n   t h e   po i s o n o us   c a t e g o r y   a s   s h o wn   i n   F i gur e   3.           F i gur e   2.   S tr uc t ur e   a n f e a t ur e s   o f   t h e   da t a   s o ur c e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   1 M a r c h   20 2 6 :   13 8 - 15 1   144       F i gur e   3.   C o un t   o f   t h e   e d i bl e   a n po i s o n o us   c l a s s e s       A dd i t i o n a ll y ,   s e e   F i gur e   4 ,   t h e   da t a   t y pe   o f   t h e s e   c o l u m ns   wa s   f o un o bj e c t s   a s   s h o wn   in    F i gur e   4( a ) ,   wh e r e   v a l ue s   c o n t a i n e t e x t s ,   t h us   th e   e x pe c t e t y pe   o f   da t a   f o r   e a c h   i n s t a n c e   ( r o w )   o f   t h e   da t a s e t   wa s   i n   c a t e go r i c a l   f o r m .   A s   m e n t i o n e d,   t h e   NB   a l go r i t hm   wa s   hi g hl y   a pp l i e i n   t e x t   c l a s s i f i c a t i o n .   I da t a   c l e a ni ng,   i de n t i f yi ng  m i s s i ng  wa s   n e c e s s a r y   i n   t hi s   s t ud y   pr i o r   to  t h e   t r a i ni ng  a n t e s t i ng  o f   t h e   c l a s s if i c a t i o n   a l go r i t hm .   B y   us i ng  b u il t - i n   f u n c t i o n s   i n   P y t h o n ,   i t   f o un o ut  t h a t   t h e r e   we r e   n o   n u l l   va l ue s   s h o w n   i n   F i gur e   4( b ) ,   t h us   t h e   da t a s e t   h a g oo da t a   qua l i t y .           ( a )   ( b )     F i gur e   4.   T h e   e x t r a c t e m us h r o o m   va r i a bl e s   f r o m   th e   da t a s e t   to  b e   us e i n   c l a s s i f i c a t i o n   c o ns i s t   o f     ( a )   o bj e c t   da t a   t y p e s   a n ( b )   n o n - n u l l   v a l ue s       3. 2.     T h e   DSS   f or   m u s h r oo m   c l as s i f icat ion   u s in Naïve   B aye s   a l gor it h m   T h e   de v e l o pe DSS   wa s   kn o wn   a s   Ka b uT e a c h ,   de s i g n e to   di f f e r e n t i a t e   o r   c l a s s if y   a   m u s h r oo m ,   e i t h e r   e d i b l e   ( e a t a bl e )   o r   p o i s o n o us   ( to xi c )   b a s e o n   i t s   m o r ph o l o g i c a l   f e a t ur e s   a s   t h e   i n pu t s .   T h e   f u n c t i o n a li t i e s   we r e   m a i n ly   de ve l o pe us i n L a r a v e l   11,   a n   o pe n - s o ur c e   P HP   f r a m e wo r k,   w hil e   us e r   i n t e r f a c e s   we r e   ge n e r a l ly   de s i g ne i n   B o ot s t r a p   5.   T h e   M a r i a DB   da t a b a s e   wa s   us e to   s to r e   t h e   da t a s e t s   us e dur i n t h e   tr a i ni ng   a n t e s t i n o f   t h e   NB   c l a s s if i c a t i o n   a l go r i t hm .   T h e   c l a s s if i e r   m o du l e   o f   t h e   s y s t e m   wa s   us e by   t he   f o r a ge s   ( m us h r o o m   p i c ke r s )   to  t e s t h e   c l a s s if i c a t i o n   o f   a   c o l l e c t e a n c h a r a c t e r i z e m us h r o o m .   Al l   m o r p h o l o g i c a l   c h a r a c t e r s   we r e   e n c o de d   by   c a r e f u ll y   s e l e c t i n v a l ue s   i t h e   c o m b o   b o x e s .   Af t e r   s e l e c t i n a l l   t h e   n e c e s s a r y   c h a r a c t e r s ,   t h e   s y s t e m   m a t c h e t h e s e   c h a r a c t e r s   w i t h   a ll   t h e   i ns t a n c e s   ( r e c o r ds )   f r o m   t h e   hi s t o r i c a l   da t a s e t   i n   t h e   da t a ba s e .   I f   n o n e   o f   t h e   e x a m p l e s   m a t c h e s ,   t h e n   t h e   NB   c l a s s i f i c a t i o n   a l go r i t hm   c l a s s i f i e s   t h e m   i n   F i gur e   5,   a s   e d i b l e   ( s e e     F i gur e   5( a ) )   or   p o i s o n o us   ( s e e   F i gur e   5( b ) ) ,   d e pe n d i ng  o n   whi c h   c a t e go r y   h a s   t h e   hi g h e s t   po s t e r i o r   pr o b a bil i t y ,   a n s to r e s   t h e m   i n   t h e   t e s t   da t a   s e i n   t h e   da t a b a s e .   3700 3800 3900 4000 4100 4200 4300 E di bl e Pois o n o u s Fre q u e n c y H i s t o g ram   o E d i b l e   an d   Po i s o n o u s   Mu s h ro o m s Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       A   de c is ion  s uppor s y s tem   f or   mus hr oom  c las s if ication  us ing  N aïve   B ay e s ian  …  ( V il c hor   Gar c ia  P e r d ido )   145       ( a )   ( b )     F i gur e   5.   T h e   c l a s s if i c a t i o n   o f   m us h r o o m s   us i ng  t h e   B a y e s   T h e o r e m   i n t e gr a t e d   i n t o   t h e   c l a s s if i e r   m o du l e   o f   K a b uT e a c h   pr e d i c t s   t w c l a s s e s   ( a )   e d i bl e   a n ( b )   po i s o n o us       3. 3.     P e r f o r m an c e   r e s u l t s   T m e a s ur e   t h e   e f f i c a c y   o f   t h e   pe r f o r m a n c e   o f   t h e   NB   c l a s s if i c a t i o n   a l go r i t hm   ( m o de l ) ,   K a b uT e a c h   pr o vi de a   m o du l e   w h e r e   i t   c o ul t r a i n   a n t e s t   t h e   m o de l .   T h e   s p l i t t i n o f   da t a   i n t t w da t a s e t s   a n K - f o l d   c r o s s - v a l i d a t i o n   a ppr o a c h e s   we r e   a pp l i e i t hi s   s t udy .   T hi s   s t ud y   a pp li e t h e   70:30  r a t i o   [ 43]   r a n do m   s p l i t t i n m e c h a n i s m ,   w h e r e   70%   ( 5, 686)   o f   t h e   d a t a   we r e   us e i n   t r a i ni ng  t h e   NB   c l a s s i f i c a t i o n   mo de l .   T h e   r e m a i n i ng  30%   ( 2 , 438)   we r e   e m p l o y e to   t e s t   o r   e v a l u a t e   i t s   pe r f o r m a n c e   o n   t h e   t r a i n e m o de l .   T h e   e v a l ua t i o n   m e t r i c s   we r e   de r i v e f r o m   t h e   r e s u l t i n c o nf us i o n   m a t r i x   o f   t h e   t e s t i n da t a   f e t o   t h e   a l go r i t hm  s h o w n   i n   F i gur e   ge n e r a t e by   t h e   K a b uT e a c h   s ys t e m .           F i gur e   6.   T h e   c o nf u s i o n   m a t r i x       F r o m   t hi s   c o nf us i o n   m a t r i x ,   t h e   a c t ua l   n u m be r   o f   e di bl e   m u s h r oo m s   i s   1, 274,   whi l e   t h e   n u m be r   o f   po i s o n o us   m u s h r oo m s   wa s   1, 164,   b ot h   s tor e i t h e   t e s t i n da t a s e t .   I n   t hi s   f i gur e ,   t h e   NB   c l a s s if i c a t i o n   m o de l   c o r r e c t l y   c l a s s i f i e 97. 72%   ( TP )   o f   t h e   e d i bl e   m u s h r o o m s ,   w i t h   2. 28%   ( FN )   c l a s s i f i e i nc o r r e c t l y .   O t h e   ot h e r   h a n d,   77. 66%   ( TN )   o f   t h e   po i s o n o us   m u s h r oo m s   we r e   c o r r e c t l y   i de n t i f i e d.   Ho we v e r ,   i t   mi s c l a s s if i e 22. 34%   ( FP )   a s   e di bl e ,   w hi c h   i s   a   s i g ni f i c a n t   n u m b e r   g i ve n   t h e   r i s o f   c o n s u mi ng  p o i s o n o us   m us h r o o m s .   W i t h   t h e s e   f i gur e s   i nd i c a t e f r o m   t he   c o nf us i o n   m a t r i x ,   t h e   NB   c l a s s i f i e r   pe r f o r m e we l l   w i t e d i bl e   m us h r o o m s   b ut   s t r uggl e w i t h   po i s o n o us   on e s ,   whi c h   c o u l l e a t o   p ot e n t i a l   h e a l t h   r i s ks .   W hil e   t h e   T P   r a t e   f o r   e d i bl e   m us h r o o m s   i s   pr o m i s i ng,   t h e   F P   r a t e   f o r   p o i s o n o us   m us h r o o m s   hi g hli g h t s   a   r i s a r e a   t h a n e e d s   i m pr o v e m e n t .   T hi s   s t ud y   s ugge s t s   t h a t h e   m o de l   c o u l i m pr o v e   t h e   m o de l s   a c c ur a c y ,   e s p e c i a ll y   f o r   i de n t i f y i ng  po i s o n o us   m us h r o o m s ,   whi c h   c o u l i nv o l v e   r e f i n i ng  f e a t ur e s ,   ga t h e r i n m o r e   da t a ,   o r   e x p l o r i n g   ot h e r   c l a s s if i c a t i o n   m o de l s .   M o r e o v e r ,   t h e   o v e r a l l   m o de l A c c ur a c y   r a t e   de r i ve f r o m   t h e   c o nf us i o n   m a t r i x   a n c o m put e us i n t h e   f o r m u l a   i n   ( 9) .       =   ( 1245   +   904 ) ( 1245   +   904   +   260   +     29 )     100       =   2149 2438     100 = 88 . 15           =   0 . 8 8 1 4 6 0 2 1 3 2 8 9 5 8 1 6     100 = 88 . 15%   ( r o un de to   t w de c i m a l   p l a c e s )   ( 9)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   1 M a r c h   20 2 6 :   13 8 - 15 1   146   B a s e o n   t hi s   c o m put a t i o n ,   t h e   m o de l   yi e l de a   high   a c c ur a c y   r a t e   o f   88. 15%   c or r e c t   c l a s s if i c a t i o n .   T hi s   i n d i c a t e t h a t h e   c l a s s if i e r   pe r f o r m e e f f e c t i v e ly   a n r e l i a bly   i n   d i s t i ngu i s hi ng  b e t we e n   e d i bl e   a n d   po i s o n o us   m us h r o o m s .   T hi s   l e v e l   o f   a c c ur a c y   i mp l i e t h a t h e   m o de l   s e r v e i t s   i n t e n de pur po s e   a n wa s   goo e n o ugh   to   b e   us e i n   r e a l - wo r l a pp l i c a t i o ns ,   f o l l o w i ng  t h e   e va l u a t i o n   s t a n da r ds   i T a bl e   a pp l i e i t h e   s t udy   o f   C r uz   [ 27] .   On   t h e   ot h e r   h a n d,   t h e   a c c ur a c y   o f   t h e   NB   c l a s s i f i c a t i o n   m o de l   i n   c l a s s if yi ng  m u s h r oo m s   wa s   e nh a nc e w i t h   t h e   i n t e gr a t i o n   o f   t h e   5 - f o l CV   t e c hni que .   T h e   r e s u l o b t a i ne a n   89. 13%   hi g h   a c c ur a c y   r a t e .   S e v e r a l   s t ud i e s   ha v e   u s e t h e   NB   c l a s s if i c a t i o n   m o de l   i n   m u s h r oo m   c l a s s if i c a t i o n   [ 16] ,   [ 18 ] ,   [ 44 ] ,   whi c c l o s e ly   r e s e m bl e s   t h e   a c c ur a c y   r a t e   a c hi e v e i n   t his   s t udy ,   goo e n o ugh   to   b e   a pp l i e i n   c l a s s i f yi ng  t h e   t y pe s   o f   po i s o n o us   a n e d i bl e   m us h r o o m s .   T h e   r e s u l t s   ob t a i n e f r o m   t h e   c r o s s - v a li da t i o n   a c c ur a c y   a n t h e   t e s t i n a c c ur a c y   im p li e t h a t   t h e   m o de l   pe r f o r m e c o ns i s t e n t l y   a c r o s s   d i f f e r e n t   s ub s e t s   o f   t h e   da t a   a n wa s   we l l - s u i t e f o r   pr a c t i c a l   a pp li c a t i o ns .   Ot h e r   m e t r i c s ,   s u c h   a s   pr e c i s i o n ,   r e c a l l ,   s pe c if i c i t y ,   F 1 - s c o r e ,   [ 44] ,   [ 45]   a n K - f o l c r o s s - v a l i da t i o n ,   we r e   a uto m a t i c a ll y   c o m pu t e by   K a b uT e a c h ,   a s   s h o wn   i n   F i gur e   7.           F i gur e   7.   T h e   pe r f o r m a n c e   m e t r i c s   o f   t h e   NB   c l a s s if i c a t i o n   m o de l       I n   t e r m s   o f   pr e c i s i o n ,   t h e   m o de l   c o r r e c t l y   i d e n t i f i e 82. 72%   e d i bl e   m us h r o o m s   a s   s h o wn   i n   ( 10 wh e n   i t   pr e di c t e a   m us h r o o m   to  b e   e d i bl e .   A   l o we r   pr e c i s i o n   i n d i c a t e s o m e   FP   ( p o i s o n o us   m us h r o o m s   c l a s s if i e a s   e d i bl e ) ,   whi c h   c o u l b e   r i s k y .          =   ( 1245 ) ( 1245   +   260 )     100          =   ( 1245 ) ( 1505 )     100 = ( 0 . 8 2 7 2 4 2 5 2 4 9 1 6 9 4 3 5     100 ) = 82 . 72 %   ( r o un de to   t w de c i m a l   p l a c e s )   ( 10 )     On   t h e   ot h e r   h a n d,   a   hi g h   pr e c i s i o n   o f   96. 89%   c o m put e i n   ( 1 1 )   f o r   p o i s o n o us   m us h r o o m s   m e a n t   t h a t   t h e   m o de l   wa s   ge n e r a ll y   a c c ur a t e   wh e n   i t   pr e d i c t e a   m us h r o o m   a s   po i s o n o us .   T hi s   hi g h   pr e c i s i o r e duc e t h e   l i ke l i h o o o f   e d i bl e   m us h r o o m s   be in f a l s e l y   c l a s s i f i e a s   po i s o n o us ,   whi c h   wa s   ge n e r a ll pr e f e r a bl e .   T hi s   r e s u l t   i m p li e s   t h a t   t h e   hi g h e r   pr e c is i o n   f o r   po i s o n o us   m us h r o o m s   s ugge s t e t h a t   t h e   c l a s s if i e r   wa s   c o n s e r v a t i v e ,   pr i o r i t i z i ng  s a f e t y   by   l e a ni ng  to wa r ds   c l a s s if yi ng  m u s h r oo m s   a s   po i s o n o us   unl e s s   i t   wa s   hi g hly   c o nf i de n t .   T hi s   wa s   a   be n e f i c i a l   t r a i t   f o r   h e a l t h - s e ns i t i ve   a pp l i c a t i o n s ,   a s   i t   m i n im i z e t h e   c h a n c e   o f   po i s o n o us   m u s h r oo m s   b e i ng  mi s c l a s s if i e a s   e d i ble.          =   ( 904 ) ( 904   +   29 )     10          =   ( 904 ) ( 933 )     100   0 . 9 6 8 9 1 7 4 7 0 5 2 5 1 8 7 6     100 = 96 . 89 %   ( r o un de to   t w de c i m a l   p l a c e s )   (1 1 )     T h e   r e c a ll   r e s u l t   c o m put e i n   ( 1 2 )   wa s   v e r y   hi g h   w i t h   97. 72% ,   i n d i c a t i n g   t ha t   n e a r l y   a ll   e d i b l e   m us h r o o m s   w e r e   c o r r e c t l y   i de n t i f i e by   t h e   m o de l .   T hi s   r e duc e t h e   c h a n c e   o f   e d i b l e   m us h r o om s   be i n g   mi s c l a s s if i e a s   po i s o n o us ,   whi c h   h e l pe f o r a ge r s   a v o i m i s t a ke nly   d i s c a r d i ng  s a f e   m u s h r oo m s .       =   ( 1245 ) ( 1245   +   29 )     10 0         =   ( 1245 ) ( 1274 )     100 = ( 0 . 9 7 7 2 3 7 0 4 8 6 6 5 6 2 0 1 )     100 = 97 . 72%   ( r o un de to   t w de c i m a l   p l a c e s )   (1 2 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       A   de c is ion  s uppor s y s tem   f or   mus hr oom  c las s if ication  us ing  N aïve   B ay e s ian  …  ( V il c hor   Gar c ia  P e r d ido )   147   S pe c i f i c i t y ,   o r   t h e   t r ue   n e ga t i ve   r a t e   ( T NR )   c o m p ut e d   i n   ( 1 3 ) ,   i n d i c a t e s   t h a t h e   c l a s s i f i e r   c o r r e c t ly   i de n t i f i e s   po i s o n o us   m us h r o o m s   77. 66%   o f   t h e   t i m e .   T hi s   i s   a   s i g ni f i c a n t   m e t r i c   b e c a us e   i t   r e f lec t s   t h e   m o de l s   e f f e c t i v e n e s s   i r e j e c t i n da n g e r o us   m u s h r o o m s .   W hil e   t h e   r e s u l t   i s   m o de r a t e l y   hi g h ,   e nh a n c i ng   s pe c i f i c i t y   c o u l f ur t h e r   e n s ur e   us e r   s a f e t y   by   mi n im i z i ng  t h e   n u m be r   o f   po i s o n o us   m u s h r o o m s   c l a s s i f i e a s   e d i bl e .         =   ( 904 ) ( 904   +   260 )     100         =   ( 904 ) ( 1164 )     100 = ( 0 . 7 7 6 6 3 2 3 0 2 4 0 5 4 9 8 3     100 ) = 77 . 66%   ( r o un de to  t w o   de c i m a l   p l a c e s )   (1 3 )     T h e   F1 - s c o r e   c a l c u l a t e us i n t h e   f o r m u l a   i n   ( 1 4 ) ,   whi c h   wa s   t h e   h a r m o n i c   m e a n   o f   r e c a l l   a n d   pr e c i s i o n   yi e l de 89. 60% ,   h i g hli g h t e t h a b ot h   m e t r i c s   pe r f o r m e we l l   a n we r e   b a l a nc e i n   t h e   m o de l c l a s s if i c a t i o n s .   T hi s   f ur t h e r   e x p l a i ne t h a hi g r e c a l l   wa s   pa r t i c u l a r ly   c r i t i c a l   b e c a us e   m i s c l a s s i f yi ng  a   po i s o n o us   m u s h r oo m   a s   e d i b l e   c o ul r e s u l t   i n   s e r io us   h e a l t h   r i s k s .   T h e   hi g h   r e c a l l   ( 97. 7% )   i n d i c a t e s   t h a t   t h e   m o de l   c o u l m i n im i z e   s uc h   r i s k s .   On   t h e   ot h e r   h a n d,   pr e c i s i o n   ( 82. 7% )   wa s   g oo d   b ut   c o ul b e   im p r o v e to  e ns ur e   f e we r   e d i bl e   m us h r o o m s   we r e   i nc o r r e c t l y   c l a s s if i e a s   po i s o n o us .     1  =   ( 2     ( 82 . 72     97 . 72 ) ( 82 . 72   +   97 . 72 ) )     100     1  =   ( 2     ( 8 0 8 3 . 3 9 8 4 ) ( 180 . 44 ) )     100   1  =   ( 2     44 . 7 9 8 2 6 2 0 2 6 1 5 8 2 8   )     100   1  =   ( 89 . 5 9 6 5 2 4 0 5 2 3 1 6 5 6   )     100 = 89 . 60%   ( r o un de to   t w de c i m a l   p l a c e s )   (1 4 )     T f ur t h e r   de t e r m i ne   t h e   de gr e e   o f   pe r f o r m a nc e   o r   e f f e c t i v e n e s s   o f   t h e   NB   a l go r i t hm ,   K a b uT e a c h   p l o tt e a   c h a r t   o f   t h e   R OC   c ur v e   a pp li e t o   t h e   t e s da t a   s h o w i n t h e   T P R   i n   t h e   y - a xi s   a ga i ns t   t h e   F P R   i n   t h e   x - a xi s   f o r   t h e   di f f e r e n t   t h r e s h o l ds   a s   s h o wn   i F i gur e   8.   T hi s   h e l pe t h e   a bil i t y   o f   t h e   a l go r i t hm   t d i f f e r e n t i a t e   b e t we e n   e d i b l e   a n po i s o n o us   c l a s s e s   i n   t h e   da t a s e t .   F r o m   t hi s   R OC   c ur v e   pr e s e n t e d,   t h e   A UC   [ 4 6] [ 48 ]   wa s   s u m m a r i z e d,   c o m put e us i n t h e   T r a pe z o i da l   ru l e ,   a n o b t a i n e a   s c o r e   o f   0. 98.   T h e   e f f e c t i v e n e s s   o f   a   m o de l   u s i ng  t hi s   m e t r i c   wa s   m e a s ur e d   f r o m   to  1.   A   hi g h e r   AU C   s c o r e   ( c l o s e   to  1)   i n d i c a t e b e t t e r   m o de l   pe r f o r m a nc e ,   l i k e   t h e   s t ud y   o f   [ 49]   whi c h   a ll   t h e   f o ur   m o de l s   u s e e xhi b i t e a   hi g h   AU C   s c o r e   o f   a b o v e   0. 90.   I n   t hi s   s t ud y ,   w i t h   t h e   AU C   v a l u e   c o m put e d,   i t   c l e a r l y   s h o we t h a t h e   NB   c l a s s i f i c a t i o n   m o de l   wa s   e x c e l l e n t   i n   c l a s s i f yi ng  be t we e n   e d i ble   a n po i s o n o us   m u s h r oo m s   a s   i n d i c a t e i n   T a bl e   3.   F ur t h e r m o r e ,   t h e   a c hi e v e A UC   s c o r e   m e a n s   t h a t   t h e r e   i s   a   v e r y   hi g h   pr o b a bil i t y   ( 98% )   t h a t h e   NB   c l a s s i f i c a t i o n   m o de l   c o r r e c t l y   d i s t i n gu i s h e s   a   r a n do m ly   c h o s e e d i bl e   m us h r o o m   a n a   r a n do m ly   c h o s e n   po i s o no us   o n e .   G i v e n   t hi s   hi g h   A UC   s c o r e ,   t hi s   s t ud y   s t r o n g ly   a gr e e s   w i t h   t h e   m o de l s   a bi li t y   t c or r e c t l y   c l a s s if y   m u s h r oo m s .   Ho we v e r ,   t h e   pr e s e n t   s t udy   s t i ll   s ugge s t s   f ur t h e r   v a li da t i o n   a n pot e n t i a l   im pr o v e m e n t s   f o r   e v e n   gr e a t e r   r e l i a bil i t y ,   e s pe c i a ll y   i r e a l - wo r l d   a pp l i c a t i o ns .           F i gur e   8.   T h e   t e s t i n da t a   pl o tt e d   i n   t h e   R OC   c ur ve   Evaluation Warning : The document was created with Spire.PDF for Python.