I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   43 ,   N o .   1 J ul y   2026 ,   pp .   1 14 ~ 1 26   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 43 .i 1 . pp1 14 - 1 26             114     Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   h y b r i d   CNN - a u t o e n c o d e r - S V M / X GBo o st   m o d e l   f o r   p o l y p h o n i c   o r c h e st r a l   i n st r u m e n t   c l a ssi f i c a t i o n       K e l v i n   Wy e th 1 ,   I m an   H e r w i d i an a   K ar to w i s as tr o 1, 2   1 D e p a rt m e n t   o f   C o m p u t e r   S c i e n c e ,   BIN U S   G ra d u a t e   P r o g ra m ,   B i n a   N u s a n t a ra   U n i v e r s i t y ,   J a k a rt a ,   In d o n e s i a   2 D e p a rt m e n t   o f   C o m p u t e r   E n g i n e e ri n g ,   F a c u l t y   o E n g i n e e ri n g ,   B i n a   N u s a n t a ra   U n i v e r s i t y ,   J a k a rt a ,   In d o n e s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   M a r   2 0 ,   2 026   R e v i s e J u n   2 2 ,   2026   A c c e pt e J u 2 9 ,   2026     P o l y pho ni c   o r c he s t r a l   r e c o r di ng s   po s e   s i g ni f i c a n t   c ha l l e ng e s   i n   m us i c   i nf o r m a t i o n   r e t r i e v a l   ( M I R )   du e   t o   t he i r   o v e r l a pp i ng   f r e que nc y   r a ng e s   a nd   t i m b r a l   s i m i l a r i t i e s   a m o ng   i ns t r um e n t   f a m i l i e s ,   w hi c h   c o m pl i c a t e   m ul t i - l a be l   i ns t r um e n t   c l a s s i f i c a t i o n.   P r i o r   s t ud i e s   ha v e   e xp l o r e d   t he   i nt e g r a t i o o f   c o n vo l ut i o na l   ne ur a l   ne t w o r ks   ( C N N ) - ba s e d   f e a t u r e   e xt r a c t i o n   w i t h   c l a s s i c a l   m a c hi ne   l e a r ni ng   ( M L )   c l a s s i f i e r s ,   o f t e o m o no pho ni c   o r   s i m pl e r   d a t a s e t s   l i k e   I R M A S .   B ut   t he   i n t e g r a t i o o f   de e l e a r ni ng   ( D L )   f e a t u r e   e xt r a c t i o n,   A ut o e nc o de r   ( A E ) - ba s e d   d i m e n s i o na l i t y   r e duc t i o n,   a n ML   c l a s s i f i e r s   f o r   po l y pho ni c   o r c he s t r a l   i n s t r um e nt   r e c o g ni t i o r e m a i n s   u nde r e x pl o r e d .   T hi s   s t udy   p r o po s e s   a   hy br i d   f r a m e w o r ut i l i z i ng   a   p r e - t r a i ne d   I nc e pt i o n   V 3   C N N   f o r   f e a t ur e   e x t r a c t i o f r o m   m e l - s pe c t r o g r a m s ,   f o l l o w e by   a o pt i o na l   50%   d i m e n s i o na l i t y   r e duc t i o v i a   A E ,   a nd   f i na l l y ,   c l a s s i f i c a t i o w i t h   s uppo r t   v e c t o r   m a c hi ne s   ( S V M )   o r   e xt r e m e   g r a d i e nt   bo o s t i ng   ( X G B oo s t ) E xpe r i m e nt s   w e r e   r un   o t w o   po l y pho ni c   da t a s e t s ,   O pe nM I C - 2018   a n d   O r c hs e t .   T h e   r e s u l t s   de m o ns t r a t e   t ha t   no n - A E   c o nf i g ur a t i o ns   g e ne r a l l y   o ut pe r f o r m   AE   v a r i a n t s .   T he s e   r e s ul t s   e x t e n d   pr i o r   s t ud i e s   s u c us i ng   po l y pho ni c   da t a s e t s .   T he   r e s u l t s   h i g hl i g ht   t he   p r a c t i c a l   v a l ue   o f   h y br i C N N - M L   pi pe l i ne s   a nd  t h e   t r a de - o f f s   o f   f e a t ur e   c o m pr e s s i o i n   M I R .   Ke y w or d s :   A ut o e n c o de r   CN N   i n f o r m a t i o r e t r i e v a l   M us i c     O r c h e s t r a l   i n s t r u m e nt   c l a s s i f i c a t i o n   po l y ph o n i c   a udi o   SVM   X G Boo s t   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   K e l v i n   W y e t h   Co m put e S c i e n c e   D e pa rt m e n t ,   M a s t e r   o f   Co m put e r   S c i e n c e B i na   N us a n t a ra   U ni v e r s i t y   J a ka rt a ,   I ndo n e s i a   E m a i l :   ke l v i n. w 500@ g m a i l . c o m       1.   I N TR O D U C TI O N   M a c hi n e   l e a rni n (M L ha s   p l a y e a   v i t a l   r o l e   i n   a ud i o   a n a l y s i s   f o r   de c a de s .   D uri n t h i s   t i m e ,   m us i c   i n f o r m a t i o r e t r i e v a l   (M IR a n d   a ud i o   s i g n a l   p r o c e s s i n g   h a v e   e vo l v e i n t o   c r uc i a l   r e s e a r c a r e a s   t ha t   b r i d ge   a r t i f i c i a l   i nt e l l i ge n c e   (A I)   w i t t h e   u n de r s t a n di ng  o f   m us i c .   T hr o ug h   M L ,   i n f o r m a t i o s uc a s   ge nr e ,   m o o d,   a n i n s t r u m e nt   a c t i v i t y   c a n   b e   a ut o m a t i c a l l y   e xt r a c t e f r o m   a ud i o   s i gna l s   [1] - [4] .   A m o n g   t h e s e ,   t h e   t a s o a ut o m a t i c   m us i c a l   i n s t rum e n t   r e c o gni t i o n   (A IR h a s   g a i n e i n c r e a s i ng  a t t e n t i o n.   Ide n t i fy i n w h i c i n s t r u m e nt s   a r e   p r e s e n t   i a   m us i c a l   e xc e r pt   s up po r t s   a ppl i c a t i o n s   s uc a s   m us i c   i nde xi n g ,   c o n t e nt - b a s e r e t ri e v a l ,   m us i c   r e c o m m e n da t i o n   s y s t e m s ,   a n d   i nt e l l i ge nt   m u s i c   p r o duc t i o n   [5] .   T h e r e   a r e   s e v e r a l   c h a l l e n ge s   i m us i c a l   i n s t r u m e n t   r e c o gn i t i o n .   I n s t r u m e n t   r e c o gn i t i o n   o m o n o ph o n i c   o r   m o n o t i m b ra l   r e c o r di n gs   ha s   a c h i e v e s t r o n g   pe r f o r m a n c e   i n   p r e v i o us   s t udi e s .   H ow e ve r ,   i n s t r u m e nt   r e c o gni t i o n   i po l y ph o ni c   m us i c ,   w h e r e   m ul t i pl e   i n s t r u m e nt s   p l a y   s i m u l t a n e o us l y ,   r e m a i n s   h i g h l y   c h a l l e n gi ng,   e v e n   f o r   p r e do m i na n t - i n s t r u m e n t   r e c o gn i t i o [6] .   O r c h e s t r a l   pe r f o r m a n c e s   a n r e c o r di ngs   t y pi c a l l y   f e a t ur e   i n s t r u m e nt s   o f   di f f e r e n t   f a m i l i e s   s uc a s   s t r i n gs ,   w o o d w i n ds ,   b r a s s ,   a n d   pe r c us s i o n   [7].   A s   a   r e s ul t ,   i n s t r u m e n t   b o un d a r i e s   b e c o m e   l e s s   di s t i ngui s ha b l e   t ha n   i m o n o ph o n i c   r e c o r di n gs ,   m a ki ng  r e l i a b l e   m ul t i - l a b e l   i n s t r um e nt   r e c o gn i t i o s ub s t a n t i a l l y   m o r e   c h a l l e ngi n g   [2] ,   [5 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         A   hy br i d   CNN - a ut o e nc ode r - SV M / X G B oos t   m od e l   f or   pol y ph oni c   or c h e s t r a l   i ns t r um e nt     ( Ke l v i n   W y e t h )   115   E a rl y   s t udi e s   i t h e   f i e l d   o f   M IR   r e l i e d   h e a v i l y   o n   t r a d i t i o na l   ML   a l go r i t h m s   t o   c l a s s i fy   i n s t r u m e n t s ,   s uc h   a s   s uppo rt   v e c t o r   m a c h i n e s   (S V M a n d   k - N e a r e s t   N e i g h b o r s   (kN N ) ,   w h i c h   w e r e   t ra i n e o n   ha n dc r a f t e f e a t ur e s   s uc h   a s   m e l - f r e qu e n c y   c e ps t r a l   c o e ff i c i e n t s   (M F CC)  o r   S o n o gra m s .   T h o s e   t e c hn i que s   a c hi e v e h i g c l a s s i f i c a t i o a c c u r a c y   o n   m o n o ph o n i c   o r   c l e a d a t a s e t s ,   l i ke   IR M A S   [1].   T h e   e m e r ge n c e   o f   de e l e a rni n g   (D L ),   pa rt i c u l a rl y   c o n vo l ut i o na l   n e u r a l   n e t w o r ks   (CN N s ),   h a s   s i g n i f i c a n t l y   c h a n ge h o w   m us i c a l   i n f o r m a t i o i s   p r o c e s s e d.   CN N s   a l l o w   di r e c t   l e a rni n f r o m   s pe c t r o gra m s   o r   e ve n   r a w   a ud i o   [8] .   P r e - t ra i n e CN N s ,   s uc a s   V G G i s h,   R e s N e t ,   a n d   I n c e pt i o n   V 3 ,   i ni t i a l l y   us e i i m a ge   c l a s s i f i c a t i o n ,   a r e   n o w   us e i a u di o   a na l y s i s .   S i n c e   a u di o   s pe c t r o gra m s   s h a r e   s t r uc t u ra l   c h a ra c t e ri s t i c s   w i t i m a ge s ,   CN N s   ha v e   b e e n   s h o w n   t o   l e a rn  di s c r i m i na t i v e   f e a t ur e s   f r o m   s pe c t r o g r a m - b a s e a ud i o   r e p r e s e n t a t i o n s   [9] .   S e v e r a l   s t ud i e s   ha v e   a l s o   e xpl o r e h y b r i a pp r o a c h e s   t ha t   c o m b i n e   D L   t o   e x t r a c t   o pt i m a l   a udi o   f e a t u r e s ,   w hi c a r e   t h e c l a s s i f i e w i t h   t r a d i t i o n a l   M L   c l a s s i f i e r s .   S uc c o m b i n a t i o n s   ha v e   de m o n s t r a t e p r o m i s i n pe r f o r m a n c e   i n   s e v e r a l   s t u di e s   [2] .   A n o t h e r   i m po r t a nt   de v e l o pm e n t   i s   t h e   us e   o f   a ut o e n c ode r s   (A E s )   i f e a t ur e   r e duc t i o n .   A E s   t r a n s f o r m   h i g h - d i m e n s i o na l   r e p r e s e n t a t i o n s   i n t o   c o m pa c t   l a t e n t   f e a t u r e s ,   r e duc i n g   r e du n da n c y   w h i l e   p r e s e r v i n g   i m po rt a nt   i n f o r m a t i o f r o m   t h e   o ri gi na l   f e a t u r e   r e p r e s e n t a t i o [10] ,   [11] .   T h o s e   pr e v i o us   s t udi e s   h a v e   r e po r t e d   p r o m i s i ng   r e s ul t s   us i n g   CN N - b a s e a r c h i t e c t ur e s   a n d   h y b r i CN N - M L   f r a m e w o r ks .   A l t h o ug h   A E s   ha v e   b e e n   w i de l y   us e f o r   di m e n s i o n a l i t y   r e duc t i o n ,   i t   r e m a i n s   u n c l e a w h e t h e r   c o m p r e s s i ng  CN N - de r i v e f e a t ur e   r e p r e s e n t a t i o n s   p r e s e r v e s   s u f f i c i e n t   d i s c ri m i n a t i v e   i n f o r m a t i o n   fo r   m u l t i - l a b e l   po l y ph o n i c   i n s t rum e n t   r e c o gn i t i o n .   F u r t h e rm o r e ,   e xi s t i ng  s t ud i e s   o f t e n   f o c us   o n   m o n o p h o n i c   r e c o r di n gs ,   s i ngl e - l a b e l   c l a s s i f i c a t i o n,   o r   ge n e ra l   m us i c   c l a s s i f i c a t i o n   t a s ks   ra t h e t ha n   po l y ph o n i c   o r c h e s t r a l   e n v i r o n m e n t s   w h e r e   m u l t i pl e   i n s t rum e n t   f a m i l i e s   o v e r l a p   s i m ul t a n e o us l y .   Co n s e que n t l y ,   t h e   e ff e c t i v e n e s s   of  c o m b i n i ng  CN N   f e a t u r e   e xt r a c t i o n ,   A E - b a s e d i m e n s i o na l i t y   r e duc t i o n ,   a nd  ML   c l a s s i f i e r s   f o r   m u l t i - l a b e l   o r c h e s t r a l   i n s t r u m e n t   r e c o gn i t i o r e m a i n s   u nde r e xp l o r e d.   T o   a dd r e s s   t h i s   g a p,   t h e   s t u dy   pr o po s e s   a   h y b r i d   f r a m e w o r fo r   i de nt i f y i n o r c h e s t ra l   i n s t r um e nt s   i n   po l y ph o n i c   m us i c .   T h i s   f ra m e w o r us e s   a   p r e - t r a i n e I n c e pt i o V 3   CN N   f o f e a t ur e   e xt ra c t i o n,   a   f ul l y   c o n n e c t e AE   f o r   f e a t u r e   c o m p r e s s i o n ,   a n d   t w o   ML   c l a s s i f i e r s ,   w hi c h   a r e   SVM   a n d   e xt r e m e   g r a d i e nt   bo os t i n g   (X G B o os t ),   f o r   m u l t i - l a b e l   c l a s s i f i c a t i o n.   T hi s   f ra m e w o r a i m s   t o   c o m b i n e   t h e   r e p r e s e n t a t i o n a l   s t r e n g t h   o f   DL   w i t t h e   c l a s s i f i c a t i o n   c a p a b i l i t i e s   o f   t r a d i t i o na l   ML   a l go r i t hm s .   T h e   r e s e a r c s e e ks   t o   a n s w e r   t h e   f o l l ow i n g   que s t i o n :   C a n   A E - b a s e di m e n s i o na l i t y   r e duc t i o n   i m p r o v e   t h e   e f fe c t i v e n e s s   of   CN N - de r i v e f e a t u r e s   f o m u l t i - l a b e l   o r c h e s t ra l   i n s t r u m e n t   r e c o gn i t i o us i n ML   c l a s s i f i e r s ?   T o   i n v e s t i ga t e   t hi s ,   w e   e v a l ua t e   t h e   m o de l   w i t t w o   o pe n   da t a s e t s .   T h e   t w o   da t a s e t s   w e r e   s e l e c t e t o   r e pr e s e nt   di f f e r e n t   r e c o r di n c o ndi t i o n s ,   w i t O pe n M IC - 2018   c o n t a i ni n g   di v e r s e   r e a l - w o r l d   m us i c   r e c o r di n gs   a nd  O r c h s e t   f o c us i n o n   po l y ph o n i c   o r c h e s t ra l   e xc e r pt s .   Co m p a r i s o n s   a r e   m a de   b e t w e e n   c o n f i gur a t i o n s   t ha t   us e   A E - b a s e f e a t ur e   r e duc t i o n   a n t ho s e   t ha t   do   n o t   t o   a s s e s s   t h e   e f fe c t   of   f e a t ur e   r e duc t i o n   o n   c l a s s i f i c a t i o pe r f o r m a n c e .   T h e   m a i c o nt r i b ut i o n s   o f   t h i s   s t udy   a r e   t hr e e f o l d.   F i r s t ,   t hi s   s t udy   s y s t e m a t i c a l l y   e v a l ua t e s   a   h y b r i CN N - A E - M L   f ra m e w o r f o r   m u l t i - l a b e l   o r c h e s t r a l   i n s t r u m e n t   r e c o gn i t i o n   i n   po l y ph o n i c   m us i c   c o nt a i n i n g   ov e r l a pp i n i n s t r u m e n t   f a m i l i e s .   S e c o n d,   t h e   s t u dy   e v a l ua t e s   t h e   e ff e c t   of   A E - b a s e di m e n s i o n a l i t y   r e duc t i o o n   t h e   pe r f o r m a n c e   o f   m ul t i - l a b e l   c l a s s i f i c a t i o o f   o r c h e s t ra l   i n s t rum e n t s .   T hi r d ,   c o m pa ri n g   a nd  e v a l u a t i ng  O pe n M IC - 2 018   a n d   O r c h s e t   d a t a s e t s   p r o v i de s   a ddi t i o n a l   i n s i g h t   i nt o   t h e   s t r e n gt h s   a nd  l i m i t a t i o n s   o c o m pr e s s e a n n o n - c o m p r e s s e de e fe a t u r e   r e p r e s e n t a t i o ns   i c o m pl e o r c h e s t r a l   M IR   s c e n a ri o s .       2.   TH E O R ETI C A B A S I S   E a rl y   s t udi e s   i n   M IR   p ri m a r i l y   r e l i e o n   ha n dc r a f t e a u di o   f e a t ur e s   s uc h   a s   M F CCs ,   C hr o m a ,   a n d   S pe c t r a l   Co nt ra s t ,   w h i c h   w e r e   s ub s e que n t l y   c l a s s i f i e us i n g   t ra di t i o na l   ML   a l go r i t hm s   s uc a s   SVMs ,   kN N a n d   R a n do m   F o r e s t s   [ 1],   [ 12] ,   [13] .   T h e   e m e r ge n c e   o f   DL ,   pa r t i c ul a rl y   CN N s   a nd   A E s ,   e na b l e hi e ra r c h i c a l   f e a t ur e   l e a rni n g   d i r e c t l y   f r o m   a udi o   r e p r e s e nt a t i o n s ,   l e a di n g   t o   s ub s t a nt i a l   i m p r o v e m e n t s   i a ud i c l a s s i f i c a t i o pe r f o r m a n c e   [14] ,   [15] .   W i t t h e   e m e r ge n c e   o f   DL ,   CN N - b a s e m o de l s   m a de   i t   p o s s i b l e   t o   e xt r a c t   f e a t u r e s   d i r e c t l y   f r o m   time - f r e que n c y   r e pr e s e n t a t i o n s   s uc h   a s   s pe c t r o gra m s   a n d   M e l - s pe c t r o gra m s .   T a e n z e r   e t   a l .   [8]  s t a t e   t h a t   a   c o m m o n a l i t y   a m o ng   D L   a pp r o a c h e s   f o A IR   i s   s u m m a ri z e d   i t hr e e   i de n t i c a l   p ha s e s :   p r e - p r o c e s s i n g ,   e m b e ddi n g,   a n d   c l a s s i f i c a t i o n.   T h e   p r e - p r o c e s s i n g   p ha s e   i nvo l ve s   t r a n s f o r m i ng   t h e   m us i c   w a v e fo r m   i n p ut   i n t o   a   s i m pl i f i e s i g n a l   r e p r e s e nt a t i o n,   l i ke   a   s pe c t r o gra m .   T h e   e m b e ddi n g   p ha s e   t h e n   t a ke s   t h e   p r e - pr o c e s s i n o ut pu t   a nd  c o n v e r t s   i t   i nt o   a   f e a t u r e   r e pr e s e nt a t i o n   f o r   c l a s s i f i c a t i o n.   T h e   c l a s s i f i c a t i o n   p h a s e   w i l l   t h e de t e c t   a nd   c l a s s i fy   t h e   i n s t rum e n t s   p r e s e nt   i t h e   f e a t ure   r e pr e s e nt a t i o n .   T h e s e   m o de l s   c a l e a rn  t i m b ra l   a n d   t e m po r a l   r e l a t i o n s hi ps   m o r e   e f fe c t i ve l y   t ha h a nd - c ra f t e f e a t u r e   m e t h o ds ,   l e a di ng   t o   s i g ni f i c a n t   a c c ur a c y   i m p r o v e m e n t s   i i n s t r u m e nt   r e c o gn i t i o n ,   ge nr e   c l a s s i f i c a t i o n,   a n d   m us i c   t a ggi ng  t a s ks .   Ch e n   e t   al .   [1 6]   i n v e s t i ga t e t h e   i nt e r p r e t a b i l i t y   of   C o n v o l ut i o n a l   N e u r a l   N e t w o r ks   f o r   m us i c a l   i n s t r u m e nt   r e c o gn i t i o n   b y   a n a l y z i n f e a t u r e - m a a c t i v a t i o n s   de r i v e f r o m   d i f f e r e n t   s pe c t r o gra m   r e p r e s e n t a t i o n s ,   i n c l ud i n g   l o g - M e l ,   M F CC ,   a n d   S T F T .   T h e i s t udy   de m o n s t ra t e d   h o w   v a r i a t i o n s   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   1 ,   J ul y   20 26 1 14 - 1 26   116   s pe c t r o gra m   t y pe   i n f l ue n c e   ke rn e l   r e s po n s e s   a nd  c l a s s   s e pa r a b i l i t y ,   o ffe r i n g   i n s i g h t   i nt o   h o w   CN N s   l e a rn  t i m b r a l   a nd   s pe c t ra l   d i s t i n c t i o n s   a m o ng   i n s t rum e n t s .   T hi s   w o r k   e m p ha s i z e s   t h e   i m po rt a n c e   o f   i n p ut   r e p r e s e n t a t i o n   de s i g n ,   w h i c h   s uppo r t s   t h e   us e   o f   M e l - s pe c t r o g r a m s   a s   a   pe r c e pt ua l l y   m e a n i n gf ul   f e a t u r e   do m a i i a a udi o - b a s e c l a s s i f i c a t i o t a s k.   A d di t i o na l l y ,   W a ng  [17]   p r e s e nt e a   DL   a pp r o a c f o m us i c   pe r f o r m a n c e   e v a l ua t i o t ha t   r e l i e o n   s pe c t r a l   a udi o   r e p r e s e n t a t i o n s ,   f ur t h e i l l us t ra t i n g   t h e   a ppl i c a b i l i t y   of  s pe c t r a l   a ud i o   r e p r e s e n t a t i o n s   i m us i c - r e l a t e ML   t a s ks .   R e c e n t   r e s e a r c ha s   a l s o   de m o n s t ra t e d   t h e   e ffe c t i ve n e s s   of   t ra n s f e r   l e a r ni n g   i M IR .   P r e - t ra i n e d   C N N   a r c h i t e c t u r e s   o ri gi na l l y   de s i gn e f o r   i m a ge   c l a s s i f i c a t i o n,   s uc h   a s   V G G i s h ,   R e s N e t ,   a nd  G o o gl e N e t   (Inc e pt i o n   V 3),   h a v e   b e e n   s uc c e s s f ul l y   a da pt e f o r   a udi o   a na l y s i s .   T s a l e r a   e t   al .   [9]   c o m pa r e m ul t i p l e   p r e - t r a i ne CN N s   fo r   a udi o   c l a s s i f i c a t i o n   a n f o un t ha t   bo t G o o gl e N e t   a n d   V G G i s pe r f o r m e d   c o m pe t i t i v e l y   w h e us e d   a s   f r o z e f e a t u r e   e xt ra c t o r s   o s m a l l - s c a l e   a udi o   d a t a s e t s .   T h e   a f o r e m e nt i o n e s t ud i e s   de m o n s t ra t e   t h a t   s pe c t r o gra m - b a s e r e p r e s e nt a t i o n s   a n d   t ra n s f e r - l e a rn i ng  s t ra t e gi e s   e n a b l e   CN N s   t o   l e a rn  di s c r i m i na t i v e   t i m b r a l   a n d   s pe c t ra l   pa t t e rn s   f r o m   m us i c a l   a u di o .   H ow e ve r ,   a s   i t   w a s   s t a t e b e fo r e ,   m o s t   e xi s t i n e v a l u a t i o n s   f oc us   o n   m o n o p h o n i c   r e c o r di ngs ,   p r e do m i n a nt - i n s t r u m e nt   r e c o gn i t i o n,   o ge n e ra l   a ud i o - c l a s s i f i c a t i o t a s ks ,   l e a v i n g   q ue s t i o n s   r e ga rdi n g   t h e   e f f e c t i v e n e s s   of  t r a n s f e r - l e a rn e CN N   r e p r e s e n t a t i o n s   i n   po l y ph o n i c   o r c he s t r a l   e n v i r o n m e n t s   w h e r e   m u l t i pl e   i n s t r u m e nt   f a m i l i e s   o ve r l a p   s i m ul t a n e o us l y .   S e ve r a l   s t udi e s   ha v e   e xpl o r e d   c o m b i ni n g   CN N s   w i t c l a s s i c a l   M L   c l a s s i f i e r s   t o   b a l a n c e   pe r f o r m a n c e   a n d   c o m put a t i o na l   e f f i c i e n c y .   P r a b a v a t h y   e t   al .   [ 1]   e xpl o r e t h e   us e   of   S V M   a n k - N e a r e s t   N e i gh b o r s   ( kN N )   c l a s s i f i e r s   t ra i n e d   o M F C C   a n d   S o n o g r a m   f e a t ur e s ,   r e po rt i n g   a a c c u r a c y   of   99. 29 %   f o r   m o n o ph o n i c   r e c o r di ngs .   T h e   a u t h o r s   s ugge s t e t h a t   f ut u r e   w o r s h o ul d   e xpl o r e   DL   a pp r o a c h e s .   B ui l di ng  o n   t h i s   f o un da t i o n ,   t h e   s a m e   a u t h o r s   l a t e i n c o r po r a t e G o o gl e N e t   a s   a   de e f e a t ur e   e xt ra c t o r   b e fo r e   a pp l y i n S V M   a n d   kN N   c l a s s i f i c a t i o o t h e   IR M A S   da t a s e t ,   a c hi e v i n g   a   s l i g h t l y   h i g h e r   a c c ura c y   of   99. 37% ,   a n d   t h e   a ut h o r s   f ur t h e r   s ugge s t e t h e   us e   o f   pr e - t r a i n e CN N   a r c h i t e c t ur e s   a n d   a   b r o a de r   ra n ge   o f   i n s t r u m e nt   c l a s s e s   i n   f ut u r e   s t u di e s   [2] .   L i   e t   al .   [18]   de v e l o pe a   m u l t i - s c a l e   de e f e a t ur e   f us i o a p p r o a c h   f o b i rd s o n g   c l a s s i f i c a t i o t h a t   c o m b i ne s   c o n v o l ut i o na l   f e a t u r e   e x t ra c t o r s   w i t t ra d i t i o na l   M L   c l a s s i f i e r s .   T he i e xpe ri m e nt s   de m o n s t ra t e   t ha t   i nt e g ra t i ng   hi e ra rc hi c a l   CN N   f e a t u re s   w i t t r e e - b a s e d   a nd   ke rne l - b a s e m o de l s   c a i m p r o v e   ge n e ra l i z a t i o a c r o s s   d i v e r s e   a c o us t i c   c o n d i t i o n s .   S i m i l a rl y ,   A s hra f   e t   a l .   [ 19 ]   i nt ro d uc e d   a   h y b ri d   CN N - R N N   v a ri a nt   m o de l   f o m us i c   c l a s s i f i c a t i o n,   c a p t u ri ng   b o t s pe c t ra l   a nd   t e m po ra l   c ha ra c t e ri s t i c s   o f   m us i c a l   s i g na l s .   T h e i f i nd i ngs   de m o n s t ra t e d   t ha t   c o m b i ni ng   c o n v o l u t i o na l   a nd   re c u rre nt   l a y e r s   i m p r o v e s   c l a s s i f i c a t i o a c c u ra c y   ove p u r e   CN N   b a s e l i n e s ,   i nd i c a t i ng   t he   a dv a nt a ge s   o f   h y b ri d   f e a t u r e   l e a rni ng .   In  a n o t h e s t udy ,   G a e t   al .   [20]   p r o po s e a   h y b r i d   p i pe l i n e   f o r   m us i c   ge nr e   c l a s s i f i c a t i o t h a t   i n t e g r a t e s   v a r i a t i o n a l   m o de   de c o m po s i t i o (V M D a n d   a i m p r o v e w h a l e   o pt i m i z a t i o n   a l go r i t hm   (IW O A fo r   f e a t u r e   s e l e c t i o n ,   f o l l o w e by   a X G B oo s t   c l a s s i f i e f o r   f i n a l   p r e di c t i o n .   T h e i m e t h o a c h i e v e s upe ri o a c c ur a c y   c o m pa r e d   t o   c o n v e n t i o na l   n e u r a l   n e t w o r ks ,   de m o n s t ra t i n g   t ha t   g r a d i e nt - b o os t e de c i s i o n - t r e e   e n s e m b l e s   s uc h   a s   X G B o o s t   c a n   e f fe c t i ve l y   c o m pl e m e n t   f e a t ur e - e n g i n e e ri n a pp r o a c h e s .   T h e s e   f i n d i n gs   s uppo r t   t h e   us e   o f   X G Boo s t   a s   a   c l a s s i f i e w i t hi h y b r i d   de e p - f e a t ur e   l e a rni n g   pi pe l i n e s .   L i u   e t   al .   [3]   pr o po s e a n   i n s t r u m e n t - r e c o gn i t i o f r a m e w o r t h a t   f us e s   m ul t i p l e   a ud i o   f e a t ur e s ,   w h i c h   i n c l ude   M F CCs ,   c hr o m a ,   a nd   s pe c t ra l   c o n t ra s t ,   a nd   c l a s s i f i e s   t h e m   w i t X G B oo s t .   T h e i r e s ul t s   s h o w   t h a t   e n s e m b l e   g r a d i e nt - bo os t i n g   m o de l s   o ut pe r f o r m   s e v e r a l   de e p - l e a rni n b a s e l i n e s   o n   s t r uc t u r e d ,   t a b ul a f e a t u r e   r e p r e s e nt a t i o n s .   T h e   s t u di e s   s ugge s t   t ha t   X G B o os t   c a s e r v e   a s   a e f fe c t i v e   dow n s t r e a m   c l a s s i f i e f o r   s t ruc t u r e f e a t u r e   r e p r e s e n t a t i o n s   a n d   m a y   t h e r e f o r e   b e   s ui t a b l e   f o r   us e   w i t hi n   h y b r i de e p - f e a t ur e   l e a rn i ng  pi pe l i n e s .   Co l l e c t i v e l y ,   t h e s e   s t udi e s   s ugge s t   t ha t   c o m b i ni n g   de e f e a t u r e   e xt ra c t i o w i t t ra di t i o na l   ML   c l a s s i f i e r s   c a p r o v i de   s t r o n g   c l a s s i f i c a t i o pe r f o r m a n c e   w h i l e   po t e n t i a l l y   r e duc i n g   t r a i n i ng   c o m pl e xi t y   c o m pa r e w i t f ul l y   e n d - to - e n DL   m o de l s .   N e v e r t h e l e s s ,   m o s t   s t ud i e s   e v a l ua t e   h y b r i a r c hi t e c t u r e s   o m o n o ph o n i c   r e c o r di n gs ,   g e nr e   c l a s s i f i c a t i o t a s ks ,   o n o n - o rc h e s t r a l   a u di o   da t a s e t s ,   l i m i t i ng  u nde r s t a n d i n o t h e i r   e f f e c t i v e n e s s   fo r   po l y ph o n i c   o r c h e s t ra l   i n s t r u m e nt   r e c o gni t i o n.   B e s i de s   D L   a nd   M L   c o m b i na t i o n s ,   r e s e a r c h e r s   ha v e   i nc r e a s i n g l y   fo c us e o di m e n s i o na l i t y   r e duc t i o n   t o   i m p r o v e   m o de l   ge n e ra l i z a t i o n   a n d   r e duc e   c o m p ut a t i o na l   de m a nds .   A E s ,   w h i c h   a r e   u n s upe r v i s e n e u r a l   n e t w o r ks   de s i g n e t o   l e a rn  c o m pa c t   l a t e nt   r e p r e s e nt a t i o n s ,   ha v e   b e c o m e   a   po pul a c h o i c e   fo r   t h i s   purpo s e .   B e r a hm a nd   e t   al .   [10]   p r o v i de   a   de t a i l e s u r v e y   of   A E   a r c h i t e c t ur e s ,   e m p ha s i z i ng   t h e i a b i l i t y   t e nh a n c e   f e a t u r e   e ff i c i e n c y   a n m i ni m i z e   o v e r f i t t i n i n   hi g h - di m e n s i o n a l   da t a .   P a s i n i   e t   al .   [21]   i nt r o duc e d   M us i c 2L a t e nt ,   a   c o n s i s t e n c y   A E   f r a m e w o r de s i g n e f o r   c om pa c t   a ud i o   r e p r e s e n t a t i o n   l e a rn i ng.   T h e i r   m o de l   e n f o r c e s   l a t e nt - s pa c e   c o n s i s t e n c y   be t w e e n   i nput   a n d   r e c o n s t ruc t i o n,   e n a b l i ng  e f f i c i e n t   a ud i o   c o m pr e s s i o n   w i t h o ut   s i g ni f i c a n t   l o s s   o f   pe r c e pt ua l   qu a l i t y .   T h e   s t udy   hi g h l i g ht s   t h e   a b i l i t y   of   AE s   t o   c a pt u r e   s a l i e nt   s pe c t r a l - t e m po r a l   f e a t ur e s   i m us i c a l   d a t a ,   r e i n f o r c i n t h e i r   s ui t a b i l i t y   fo r   di m e n s i o na l i t y   r e duc t i o n   i n   h y b r i d   l e a rn i ng  a r c hi t e c t u r e s .   I n   a n o t h e A E - b a s e s t udy ,   N e l l a s   e t   a l .   [11]   de m o n s t r a t e t ha t   Co n v o l ut i o n a l   A E c o ul a c hi e v e   goo c l a s s i f i c a t i o r e s ul t s ,   e v e n   w i t s ub s t a nt i a l l y   c o m pr e s s e f e a t ur e   s e t s .   A E s   ha v e   b e e n   a ppl i e t o   M IR   pr o b l e m s ,   s uc h   a s   m us i c   ge nr e   c l a s s i f i c a t i o n   a n a udi o   de n o i s i n [22] .   A   r e l a t e s t udy   b y   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         A   hy br i d   CNN - a ut o e nc ode r - SV M / X G B oos t   m od e l   f or   pol y ph oni c   or c h e s t r a l   i ns t r um e nt     ( Ke l v i n   W y e t h )   117   K um a r   e t   al .   [23]   us e s   s pe c t r o gra m   a n c hr o m a   r e pr e s e nt a t i o n s   a n pu t s   t h e m   i nt o   a   s t a c ke A E   b e f o r e   us i n g   a   s o f t m a c l a s s i f i e f o r   c l a s s i f i c a t i o n .   I t   s ub s t a nt i a l l y   i m p r o v e s   a c c ur a c y   ove r   c o n v e n t i o n a l   a pp r o a c h e s .   X e t   a l .   [24]   c o n d uc t e a   c o m pa ra t i v e   e v a l ua t i o n   o f   s e ve r a l   m ul t i - l a b e l   c l a s s i f i c a t i o n   m e t h o ds   o r e a l - w o r l da t a s e t s .   T h e i r   f i n d i n gs   hi g h l i g ht   t h e   i m po rt a n c e   of   c l a s s i f i e r   s e l e c t i o n   i m u l t i - l a b e l   l e a rn i n g   s c e n a r i o s ,   w h i c h   i s   r e l e v a n t   t o   po l y ph o n i c   i n s t r u m e nt   r e c o gn i t i o n   w h e r e   m u l t i pl e   i n s t r u m e nt   l a b e l s   m a y   o c c ur   s i m ul t a n e o us l y .   O t h e r e c e n t   s t udi e s   h a v e   c o n t i n ue d   t o   e xp l o r e   DL   a r c h i t e c t u r e s   f o r   m us i c a l   i n s t r u m e nt   de t e c t i o n .   K o s t r z e w a   e t   al .   [25 ]   c o n duc t e e xpe r i m e n t s   t o   de t e c t   m us i c a l   i n s t rum e n t s   p r e s e nt   i a a udi o   s i g na l .   T h e i s t udy   us e M F CC   f e a t u r e s   a n d   c o m pa r e d   s e v e r a l   n e u r a l   n e t w o r a r c h i t e c t ur e s ,   i n c l udi ng   a   de n s e   n e u ra l   n e t w o r k ,   a   CN N ,   a   n e u ra l   c l a s s i f i e c o m m i t t e e ,   a nd  v o t i ng  c l a s s i f i e r s .   T h e   e xpe r i m e nt s   w e r e   c a rri e o ut   o n   t h e   M e dl e y - s o l o s - D B   da t a s e t ,   w h i c c o n t a i n s   o v e r   2 0, 00 0   s o l o   r e c o r di n gs   o f   i n di v i du a l   i n s t r um e nt s .   T h e   s t udy   a c h i e v e g o o r e s ul t s   o n   m o n o ph o n i c   r e c o r di n gs   o f   s o l o   i n s t rum e n t s .   H ow e ve r ,   r e c o gn i z i n g   i n s t r u m e nt s   i po l y ph o ni c   o r c h e s t ra l   r e c o r di ngs   r e m a i n s   c h a l l e n gi ng,   m o t i v a t i n t h e   h y b r i CN N - A E - Cl a s s i f i e a pp r o a c p r o po s e i t hi s   s t udy .   S e c h e t   e t   al .   [26]   p r o po s e a   hi e ra r c h i c a l   DL   f ra m e w o r f o r   de t e c t i n g   m i n o r i t y   i n s t rum e n t s   i po l y ph o n i c   o r c h e s t ra l   r e c o r di n gs .   T h e i m o de l   i n t r o duc e s   s pe c i a l i z e s ub - c l a s s i f i e r s   t o   a d d r e s s   c l a s s   i m b a l a n c e ,   w h i c i s   p r e v a l e nt   i da t a s e t s   w h e r e   do m i na nt   i n s t r u m e nt s   s uc a s   s t r i ngs   o ve r s ha do w   l e s s - r e p r e s e n t e o n e s   l i ke   b ra s s   o r   w oo dw i n ds .   T h e   s t udy   a c h i e ve d   i m p r o v e r e c o gn i t i o n   o f   m i n o r i t y   c l a s s e s   t hr o ugh  hi e ra r c hi c a l   f e a t u r e   l e a rni n g   a nd  a da pt i v e   w e i gh t i n g   s t ra t e gi e s .   T h e   r e s e a r c h   s h o w s   t h e   i m po r t a n c e   of  a dd r e s s i n c l a s s   i m b a l a n c e   w h e n   e v a l u a t i n po l y ph o n i c   o r c h e s t r a l   i n s t r u m e n t   r e c o gn i t i o n   s y s t e m s ,   pa r t i c u l a rl y   w h e m i n o ri t y   i n s t r u m e nt   f a m i l i e s   a r e   u n de rr e p re s e n t e d.   In  s u m m a r y ,   p r e v i o us   s t udi e s   de m o n s t r a t e   t h e   e f fe c t i ve n e s s   o f   CN N - b a s e f e a t ur e   e xt ra c t i o n ,   A E - b a s e di m e n s i o na l i t y   r e duc t i o n,   a n d   ML   c l a s s i f i e r s   w h e n   a p pl i e d   i n d i v i dua l l y   o r   w i t hi h y b r i d   f ra m e w o r ks .   T h e s e   m e t h o ds   w e r e   s e l e c t e be c a us e   t h e y   pr o v i de   c o m pl e m e nt a r y   s t r e n g t h s :   CN N s   e n a b l e   hi e ra r c h i c a l   f e a t ur e   e xt ra c t i o n,   A E s   r e duc e   f e a t ur e   r e du n da n c y   t hr o ug h   l a t e n t - s pa c e   c o m pr e s s i o n,   S V M s   pe r f o r m   e ffe c t i ve l y   i n   h i g h - di m e n s i o na l   f e a t u r e   s pa c e s ,   a nd  X G B oo s t   offe r s   r o b us t   e n s e m b l e - b a s e c l a s s i f i c a t i o n   c a pa b i l i t i e s .   H ow e ve r ,   l i m i t e e v i de n c e   e xi s t s   r e ga rdi n g   w h e t h e r   A E - c o m pr e s s e CN N   e m b e ddi n gs   i m p r o ve   m ul t i - l a b e l   i n s t rum e n t   r e c o gn i t i o n   i po l y ph o n i c   o r c h e s t ra l   r e c o r di ngs ,   p a r t i c ul a rl y   a c r o s s   da t a s e t s   w i t h   di f fe r i n g   a c o us t i c   c h a ra c t e ri s t i c s .   Co n s e que n t l y ,   t h e   p ra c t i c a l   b e n e f i t s   a nd  l i m i t a t i o n s   o f   di m e n s i o na l i t y   r e duc t i o n   w i t hi h y b r i d   CN N - M L   a r c h i t e c t u r e s   r e m a i i n s uff i c i e n t l y   u n de r s t o o d.   T hi s   g a p   m o t i v a t e s   t h e   pr o po s e i n v e s t i ga t i o n   us i n g   O pe n M I C - 2018   a n O r c h s e t   a s   c o m pl e m e n t a r y   e v a l ua t i o da t a s e t s .       3.   M ET H O D   3. 1 .     O v e r v i e w   o th e   p r o p o s e d   s ys te m   T h e   p r o po s e s y s t e m   i s   a   CN N - A E - M L   a r c h i t e c t u r e .   T h e   p r o po s e s y s t e m   c o n s i s t s   o f   f i v e   s t a ge s :   a udi o   p r e p r o c e s s i n g   a n d   M e l - s pe c t r o gra m   ge n e r a t i o n,   f e a t ur e   e xt ra c t i o w i t h   a   p r e - t ra i n e d   CN N   ( I n c e pt i o v 3),   di m e n s i o na l i t y   r e duc t i o w i t h   a n   A E ,   c l a s s i f i c a t i o us i n g   S V M   a n X G B o o s t ,   a n d   f i na l l y ,   pe r f o r m a n c e   e v a l ua t i o us i n g   s t a nda r d   m e t ri c s ,   na m e l y   S ubs e t   A c c ur a c y ,   F 1 - S c o r e   (M i c r o   a n d   M a c r o ),   R O C - A U C   (M i c r o   a n d   M a c r o ),   a nd   m e a a v e r a ge   p r e c i s i o ( m A P ).   T h e y   a r e   s t a n d a r d   m e t ri c s   f o r   c o m pa ri n g   m ul t i - l a b e l   m e t h o ds   a c r o s s   v a ri o us   do m a i n s   [ 27] .   A ddi t i o n a l l y ,   c o n f us i o n   m a t ri c e s   w e r e   us e t o   ga uge   t h e   pe r f o r m a n c e   of   t h e   c l a s s i f i e by   c o m pa ri n g   t h e   p r e di c t e d   l a b e l s   t o   t h e   a c t ua l   l a b e l s   [28] .   F 1 - S c o r e   b a pl o t s   w e r e   us e t v i s ua l l y   c o m pa r e   F 1 - S c o r e s   f o r   e a c l a b e l .   T h e   r e s e a r c f r a m e w o r c a b e   s e e n   i F i gu r e   1 .     3. 2 .     D atas e ts   T h e   p r o po s e s y s t e m   w a s   e v a l ua t e us i n t w o   pub l i c l y   a v a i l a b l e   po l y ph o n i c   a ud i o   da t a s e t s :   O pe n M IC - 2 018  a n O r c h s e t ,   b o t h   a c c e s s i b l e   t hr o ug h   t h e   Z e n o do   r e po s i t o r y .   T h e   O r c h s e t   d a t a s e t   w a s   de ve l o pe by   Bo s c h   e t   a l .   [29 ]   f o t h e   s t udy   of   do m i n a nt   m e l o di c   i n s t r u m e n t   i de nt i f i c a t i o i o r c h e s t r a l   r e c o r di n gs .   It   c o nt a i n s   64  e xc e r p t s   t a ke n   f r o m   c l a s s i c a l   m u s i c   m a de   by   f a m e c o m pos e r s ,   s uc h   a s   B e e t h o ve n ,   D vo ř á k ,   a n d   H a y dn .   T h e   a nn o t a t i o n s   c l a s s i f y   t h e   do m i na nt   i n s t rum e n t   g r o ups   i nt o   t hr e e   g r o ups :   s t r i ngs ,   w i n ds ,   a nd  b r a s s .   B e c a us e   of   i t s   e m p ha s i s   o po l y ph o n i c   o rc h e s t r a l   t e xt u r e s   a nd  r e a l i s t i c   e n s e m b l e   t i m b r e s ,   O r c h s e t   p r o v i de s   a   s t r o n b e n c h m a r f o r   e v a l ua t i n g   c l a s s i f i c a t i o n   m o de l s   un de r   c o n t r o l l e a n m us i c a l l y   a ut h e n t i c   c o n di t i o n s .   M e a n w hi l e ,   t h e   O pe n M IC - 20 18  d a t a s e t ,   de v e l o pe by  H um phr e y   e t   al .   [3 0],   c o m pri s e s   a pp r o xi m a t e l y   20, 000   s h o r t   a udi o   c l i ps   i . o g f o r m a t .   E a c c l i p ,   t a ke n   f r o m   m us i c   f r o m   v a ri o us   ge nr e s ,   i s   a nn o t a t e d   f o r   t h e   p r e s e n c e   o f   o n e   o m o r e   i n s t rum e n t s ,   c ov e r i n g   a   b r o a d   ra n ge   o f   ge nr e s   a n d   r e c o r di n g   e n v i r o n m e n t s .   W i t 20   i n s t r um e nt   l a b e l s ,   O pe n M IC - 20 18   i s   w i de l y   r e g a r de d   i t h e   M IR   c o m m u ni t y   a s   a   s t a n d a r d   b e n c hm a rk  f o r   m u l t i - l a b e l   i n s t r u m e n t   r e c o gn i t i o n.   B ut ,   i t   m us t   go   t hr o ugh  a   f i l t e ri n g   p r o c e s s ,   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   1 ,   J ul y   20 26 1 14 - 1 26   118   w h i c h   o n l y   i n s t r u m e n t s   c o rr e s po n di ng  t o   o r c h e s t ra l   s t r i ng,   w i n d,   a n b r a s s   f a m i l i e s   w e r e   r e t a i n e f o r   t h i s   s t udy .   T o ge t h e r ,   t h e s e   t w o   da t a s e t s   e na b l e   a   c o m p r e h e n s i v e   e v a l ua t i o o f   t h e   p r o po s e s y s t e m .   F o r   a l l   c l a s s i f i c a t i o n   e xpe r i m e nt s ,   t h e   d a t a s e t   w a s   di v i de i nt o   t r a i n i n g   a nd  t e s t i n g   s ub s e t s   us i ng  a 80: 20  s p l i t .   H y pe r pa ra m e t e r   o pt i m i z a t i o w a s   pe r f o r m e e xc l us i v e l y   o n   t h e   t r a i n i ng  s ub s e t   us i n G r i dS e a r c hCV   w i t c r o s s - v a l i da t i o n ,   w hi l e   t h e   h e l d - o ut   t e s t i n g   s ub s e t   w a s   us e o nl y   fo r   f i n a l   pe r f o r m a n c e   e v a l ua t i o n.   A   f i xe ra n do m   s e e o f   42  w a s   us e t hr o ug h o ut   da t a s e t   s pl i t t i n g   a nd   m o de l   t r a i ni n g   t o   e n s u r e   r e p r o duc i b i l i t y .           F i gu r e   1 .   R e s e a r c f ra m e w o r o f   t h e   p r o po s e h y b r i CN N - AE - c l a s s i f i e m o de l   f o r   o r c h e s t ra l   i n s t rum e n t   c l a s s i f i c a t i o us i ng  t h e   o r c h s e t   a n d   O pe n M I C - 2018   d a t a s e t s       3. 3 .     I m p l e m e n tati o n   T h e   i m p l e m e n t a t i o f o l l ow s   a   p i pe l i n e   c o n s i s t i ng   o f   fo ur   m a i s t a ge s :   a ud i o   p r e p r o c e s s i n g,   f e a t u r e   e xt ra c t i o us i ng  a   p r e - t ra i n e I n c e pt i o V CN N ,   f e a t u r e   c o m pr e s s i o us i n g   a   f ul l y   c o n n e c t e AE ,   a n d   c l a s s i f i c a t i o us i n g   e i t h e S V M   o X G B oo s t .   T h e   e xpe ri m e nt   w a s   e xe c ut e i a   P y t h o v i r t u a l   e n v i r o nm e nt ,   ut i l i z i n de di c a t e J upy t e r   N o t e boo ks   f o r   e a c h   da t a s e t   du r i ng  t h e   p r e p r o c e s s i n a n d   f e a t ur e   e xt ra c t i o n   s t a ge s   t o   m a i nt a i da t a   s e pa r a t i o n .   I t h e   f i r s t   s t a ge ,   a ud i o   s i g na l s   f r o m   b o t d a t a s e t s   a r e   t ra n s f o r m e i n t o   M e l - s pe c t r o gra m   r e p r e s e n t a t i o n s .   M e l - s pe c t r o g r a m s   w e r e   ge n e ra t e us i n t h e   L i b r o s a   l i b ra r y ,   w h i c h   i nt e rn a l l y   a ppl i e s   a   s h o rt - t i m e   f o ur i e t ra n s f o r m   (S T F T f o l l ow e by   a   M e l   f i l t e r   b a n k   p r o j e c t i o n   t o   c o n v e r t   f r e que n c y   c o m po n e n t s   i n t o   a   pe r c e pt u a l l y   r e l e v a n t   s c a l e   a s   s h o w n   i F i gu r e s   2   a n d   3 .   T w o   s e pa ra t e   n o t e b oo ks   w e r e   us e f o r   t h i s   s t a ge ,   o n e   f o r   e a c d a t a s e t .   I t h e   s e c o n d   s t a ge ,   t he   f e a t u r e s   o f   t he   m e l - s pe c t r o g ra m s   a r e   e xt ra c t e d   w i t a   p re - t ra i ne d   I n c e p t i o V CN N   m o de l .   T h e   o u t pu t   c o n s i s t s   o f   20 4 8 - d i m e n s i o na l   f e a t u r e   v e c t o r s   r e p r e s e nt i ng   t he   s pe c t ra l   a nd   t e m po ra l   c h a ra c t e ri s t i c s   o f   e a c M e l - s pe c t ro g ra m .   D u ri ng   t hi s   s t e p ,   t h e   O pe nM I C - 2 01 8   d a t a s e t   i s   f i l t e r e d .   O nl y   o r c he s t ra l   i ns t ru m e nt s   a re   ke p t   a nd   l a b e l l e d   w i t s t ri ng s ,   w i nd s ,   a nd   b ra s s .   T he   f i l t e ri ng   e ns u re s   c o n s i s t e nc y   w i t O r c hs e t ’s   l a b e l l i ng .   S i m i l a rl y ,   t w o   s e p a ra t e   no t e b o o ks   w e r e   us e d   f o t hi s   s t a ge ,   o n e   f o e a c d a t a s e t .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         A   hy br i d   CNN - a ut o e nc ode r - SV M / X G B oos t   m od e l   f or   pol y ph oni c   or c h e s t r a l   i ns t r um e nt     ( Ke l v i n   W y e t h )   119   In  t h e   t hi r d   s t a ge ,   t h e   e xt ra c t e f e a t u r e s   p a s s   t hr o ug a A E .   T h e   A E   c o m p r e s s e s   t h e   204 8 - di m e n s i o na l   v e c t o r s   i nt o   10 24 - d i m e n s i o na l   l a t e nt   r e p r e s e nt a t i o n s .   T h e   A E   i s   t r a i n e d   s e pa r a t e l y   fo r   e a c h   da t a s e t   us i ng  t h e   A da m   o pt i m i z e r   w i t h   m e a s qua r e d   e rr o r   (M S E l o s s ,   p r o v i di n g   a   r e duc e y e t   di s c r i m i na t i v e   f e a t ur e   s p a c e   f o r   c l a s s i f i c a t i o n .   T h e   f o ur t h   a n f i n a l   s t a ge   i s   c l a s s i f i c a t i o n   w i t h   e i t h e SVM   o r   X G B oo s t .   E a c h   c l a s s i f i e r   i s   t ra i n e d   a n o pt i m i z e v i a   G r i dS e a r c hCV   t o   de t e r m i n e   t h e   b e s t   h y pe r pa ra m e t e r s .   T w o   c o n f i gura t i o n s   a r e   e v a l ua t e d:   CN N + Cl a s s i f i e r ,   w hi c us e s   CN N   f e a t u r e s ,   a n d   CN N + A E + Cl a s s i f i e r,   w h i c us e s   A E - c o m p r e s s e f e a t ur e s .   Cl a s s i f i c a t i o n   r e s ul t s   a r e   e v a l ua t e w i t h   m u l t i - l a b e l   m e t r i c s ,   s uc h   a s   F 1 - s c o r e ,   S u b s e t   A c c ur a c y ,   m A P ,   a n R O C - A U C,   a l o n g   w i t h   c o n f us i o m a t ri c e s   a n F 1 - s c o r e   b a pl o t s   f o r   qua l i t a t i v e   c o m pa ri s o n.     3. 3 . 1.   A u d i o   p r e p r o c e s s i n g   i n to   m e l - s p e c tr o gr am s   A l l   a udi o   f i l e s   f r o m   bo t h   d a t a s e t s   a r e   f i r s t   c o n v e r t e t o   m o n o   a n r e s a m pl e t o   16  kH z   t o   m a i nt a i n   a   c o n s i s t e n t   s a m pl i n ra t e .   T h e   w a v e fo r m s   a r e   t h e n   t ra n s f orm e i nt o   M e l - s pe c t r o gra m s   us i n t h e   P y t h o l i b ra r y ,   L i b r o s a .   T hi s   t r a n s f o r m a t i o n   c a pt u r e s   p a t t e rn s   o f   f r e que n c y   a n t i m e   t ha t   a r e   pe r c e pt u a l l y   m e a n i ngf ul   t o   h u m a h e a r i ng.   T h e   M e l - s pe c t r o g r a m s   w e r e   ge n e r a t e u s i ng  64  M e l   b a n ds ,   a   m a xi m u m   f r e que n c y   of   8   kH z ,   a nd  a   h o l e n g t o f   256  s a m pl e s .   T h e   r e s ul t i n g   s pe c t r o gra m s   w e r e   c o n v e r t e t o   t h e   de c i b e l   s c a l e   us i n g   L i b r o s a ' s   po w e r _t o _db   f un c t i o n.   T h e   r e s ul t i n M e l - s pe c t ro gr a m s   a r e   s t o r e a s   N um P y   (. n py a rra y s   t s i m pl i fy   l o a di n a n d   c o m put a t i o n   i n   t h e   n e xt   s t a ge s .   T o   m e e t   t h e   i nput   r e qui r e m e n t s   o f   t h e   p r e - t ra i n e CN N   m o de l ,   t h e   I n c e pt i o V 3,   e a c s pe c t r o g r a m   i s   r e s ha pe i nt o   a   t hr e e - c ha nn e l   R G B   i m a ge   a nd  r e s i z e t o   299× 299  pi xe l s .   T h e s e   s t e ps   e n s u r e   u n i f o r m i t y   b e t w e e n   d a t a s e t s   a n d   h e l p   t h e   CN N   f o c us   o n   m e a n i n gf ul   f r e que n c y   r e l a t i o n s hi ps   r a t h e t ha i rr e l e v a n t   v a r i a t i o n s   i n   l o ud n e s s   o r   s c a l e .           F i gu r e   2 .   M e l - S pe c t r o gra m   s a m pl e   f r o m   O pe n M IC - 2 018           F i gu r e   3 .   M e l - s pe c t r o gra m   s a m pl e   f r o m   o r c h s e t       3. 3 . 2.   O p e n M I C - 20 18  F i l te r i n g   T h e   O pe n M IC - 20 18  da t a s e t   r e qu i r e s   a a ddi t i o n a l   f i l t e ri n g   s t a ge   s o   t h a t   i t   m a t c h e s   t h e   o r c h e s t r a l   t a xo n o m y   us e i O r c h s e t .   T h e   o ri gi na l   da t a s e t   i n c l ude s   20  i n s t r u m e n t   c l a s s e s ,   m a n y   of   w h i c a r e   n o t   t y pi c a l l y   fo un i n   a n   o r c h e s t ra .   D u r i ng  t h e   f i l t e ri n p r o c e s s ,   i n s t rum e n t s   c o r r e s po n d i n t o   t h e   t hr e e   t a r ge t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   1 ,   J ul y   20 26 1 14 - 1 26   120   o r c h e s t r a l   f a m i l i e s   w e r e   r e t a i n e d.   V i o l i n,   c e l l o ,   a n b a s s   w e r e   g r o upe a s   s t ri n gs ;   f l ut e   a nd  c l a ri n e t   w e r e   gr o upe a s   w i n ds ;   t r u m pe t   a nd  t r o m b o n e   w e r e   g r o upe a s   b ra s s .   I n s t r u m e n t   c l a s s e s   t h a t   di d   n o t   b e l o n t o   t h e   t a r ge t   o r c h e s t r a l   f a m i l i e s   w e r e   e xc l ude f r o m   t h e   e xpe ri m e n t .   A f t e r   t h e   O pe n M IC - 20 18  f i l t e r i ng  p r o c e s s ,   4, 418   c l i ps   re m a i f r o m   t h e   o r i g i n a l   20 , 000 .   E a c s a m pl e   i s   l a b e l e a c c o r di ng   t o   o n e   o m o r e   o f   t h e   o r c h e s t ra l   f a m i l i e s ,   f o l l o w i n a   m ul t i - l a b e l   f o r m a t   t ha t   pa r a l l e l s   t h e   s t r uc t u r e   o f   t h e   O r c h s e t   d a t a s e t .   T hi s   a l i g nm e nt   m a ke s   c r o s s - da t a s e t   e v a l u a t i o po s s i b l e   un de s i m i l a c l a s s   de f i n i t i o n s   a n d   r e c o r di ng   c o n di t i o n s .   D e s pi t e   t h a t ,   t h e   r e s ul t i ng   l a b e l   di s t r i b ut i o r e m a i n e i m b a l a n c e a c r o s s   i n s t r u m e n t   f a m i l i e s .   S t ri n g   i n s t r um e nt s   a ppe a r e m o r e   f r e que nt l y   t h a b ra s s   a n d   w i n d   i n s t r u m e nt s .   T h e   o ri gi na l   c l a s s   d i s t r i b ut i o n   w a s   r e t a i n e t o   pr e s e r v e   t h e   da t a s e t s '   r e a l i s t i c   c h a ra c t e ri s t i c s   a nd  t o   e v a l ua t e   m o de l   pe r f o r m a n c e   u n de r   na t u ra l l y   i m b a l a nc e c o n di t i o n s .   Cl a s s   i m b a l a n c e   w a s   pa rt i a l l y   a dd r e s s e t hr o ug h y pe r pa ra m e t e o pt i m i z a t i o o f   t h e   S V M   c l a s s i f i e r ,   w hi c i n c l ude d   e v a l ua t i o o f   di f fe r e nt   c l a s s - w e i gh t   c o n f i gu r a t i o n s   w i t h i n   G ri dS e a r c h CV   l a t e r   o n.   T h e   c l a s s - w e i gh t   pa ra m e t e r   a l l o w s   gr e a t e e m pha s i s   t o   b e   a s s i g n e t o   u nde rr e p r e s e nt e c l a s s e s   du ri n g   t ra i ni n g .   N o   a d di t i o na l   r e s a m p l i ng  t e c hn i que s ,   s uc h   a s   o v e r s a m p l i n o r   s y n t h e t i c   s a m pl e   ge n e ra t i o n ,   w e r e   a ppl i e d.   T h e   l a b e l   di s t ri b ut i o n s   f o r   e a c da t a s e t   by   t h e   e n d   o f   t h e   p r o c e s s   a r e   s h o w n   i F i g u r e s   a n d   5 .               F i g u re   4 .   L a b e l   d i s t r i b u t i o b a p l o t   f o O p e nM I C - 2018   F i gu r e   5 .   L a b e l   d i s t r i b ut i o n   b a pl o t   f o r   o r c h s e t       3. 3 . 3.   F e atu r e   Ex tr ac t i o n   w i th   C N N   (I n c e p t i o n   V 3)   F e a t u r e   e xt r a c t i o n   i s   pe r f o r m e us i n I n c e pt i o n   V p r e - t ra i n e o Im a ge N e t .   I t hi s   s t udy ,   t h e   n e t w o r i s   us e a s   a   f i xe d   f e a t ur e   e xt ra c t o r ,   m e a n i ng   t ha t   n o   f i n e - t u ni n g   i s   pe r f o r m e a n d   a l l   p r e - t r a i n e w e i ght s   r e m a i u n c ha n ge d.   T h e   f i n a l   c l a s s i f i c a t i o l a y e r   i s   r e m o v e a n d   r e pl a c e w i t a i de nt i t y   l a y e r ,   a l l o w i n g   a c t i v a t i o n s   f r o m   t h e   pe n u l t i m a t e   l a y e r   t o   b e   e xt r a c t e a s   2 048 - d i m e n s i o na l   f e a t u r e   v e c t o r s .   T h e s e   v e c t o r s   s e r v e   a s   c o m pa c t   r e p r e s e n t a t i o n s   o f   t h e   M e l - s pe c t r o gra m s   a n d   a r e   s ub s e que n t l y   us e f o r   di m e n s i o na l i t y   r e duc t i o a nd  c l a s s i f i c a t i o n.   T h e   p r e - t ra i n e In c e pt i o n   V 3   m o de l   c o n t a i n e 25, 1 12, 264  pa r a m e t e r s .   T h e   f e a t ur e   e xt ra c t o r   w a s   p r e - t ra i n e a n d   us e o n l y   fo r   fo r w a r d   i n f e r e n c e .   N o   f i n e - t u n i ng  o In c e pt i o V 3   w a s   pe r f o r m e d.   T h i s   r e duc e s   c o m put a t i o na l   c o s t   c o m pa r e d   t o   t ra i ni n g   t h e   n e t w o r f r o m   s c r a t c w h i l e   r e t a i ni n g   t h e   b e n e f i t s   o f   t ra n s f e r   l e a rn i ng.     3. 3 . 4.   D i m e n s i o n al i ty   R e d u c ti o n   w i th   A E   T o   r e duc e   f e a t ur e   r e du nda n c y   a nd  c o m put a t i o na l   c o m pl e xi t y ,   a   f ul l y   c o n n e c t e AE   w a s   i m p l e m e nt e i P y T o r c h.   T h e   A E   c o n s i s t s   o f   a n   e n c o de r   a n d   a   de c o de r   n e t w o r k.   T h e   e n c o de r   c o m pr e s s e s   t h e   2048 - di m e n s i o na l   CN N   f e a t u r e   v e c t o r   i n t o   a   10 24 - di m e n s i o na l   l a t e nt   r e pr e s e nt a t i o t hr o ug a i nt e rm e di a t e   hi dde n   l a y e r   c o n t a i n i ng  15 36  n e u r o n s .   T h e   de c o de r   m i rr o r s   t h i s   s t ruc t u r e   by   r e c o n s t r uc t i n t h e   l a t e nt   r e p r e s e n t a t i o b a c t o   t h e   o ri g i n a l   f e a t u r e   d i m e n s i o n.   T h e   l a t e n t   d i m e n s i o w a s   s e t   t o   1 024,   c o rr e s po n d i n g   t a   50 r e duc t i o n   f r o m   t h e   o ri gi na l   2048 - di m e n s i o na l   CN N   f e a t u r e   s p a c e .   T hi s   c o n f i gu r a t i o n   w a s   s e l e c t e a s   a   pra c t i c a l   c o m pr o m i s e   i nt e n de d   t o   r e duc e   f e a t u r e   di m e n s i o na l i t y   w h i l e   r e t a i ni n g   s uf f i c i e n t   i n f o r m a t i o f o r   dow n s t r e a m   c l a s s i f i c a t i o n.   M o r e   a g g r e s s i v e   c o m pr e s s i o m a y   i n c r e a s e   i n f o r m a t i o l o s s ,   w h e r e a s   s m a l l e r e duc t i o n s   p r o v i de   l i m i t e c o m put a t i o n a l   b e n e f i t s .   A E s   w e r e   s e l e c t e b e c a us e   t h e y   l e a rn  n o nl i n e a f e a t u r e   r e p r e s e n t a t i o n s ,   w hi l e   c o n v e n t i o n a l   di m e n s i o n a l i t y - r e duc t i o m e t h o ds   s uc a s   P CA ,   c l us t e r i n g - b a s e r e duc t i o n ,   o w a v e l e t - b a s e a pp r o a c h e s   m a y   n o t   p r e s e r v e   c o m pl e r e l a t i o n s h i ps   w i t hi h i g h - di m e n s i o na l   CN N   e m b e dd i ngs .   R e L U   a c t i v a t i o f un c t i o n s   a r e   a ppl i e a f t e r   e a c h   hi dde l a y e r .   T h e   m o de l   i s   t ra i n e f o r   100  e po c h s   us i n t h e   A da m   o pt i m i z e w i t h   a   l e a rni n g   r a t e   o f   0. 001  ( 1 - e 3).   MSE   i s   us e a s   t h e   r e c o n s t r uc t i o n   l o s s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         A   hy br i d   CNN - a ut o e nc ode r - SV M / X G B oos t   m od e l   f or   pol y ph oni c   or c h e s t r a l   i ns t r um e nt     ( Ke l v i n   W y e t h )   121   f un c t i o n,   a l l o w i n t h e   n e t w o r t o   l e a rn  l a t e n t   r e p r e s e n t a t i o n s   t ha t   p r e s e r v e   i m po rt a nt   i n f o r m a t i o n   f r o m   t h e   o r i gi na l   CN N   f e a t u r e s   w h i l e   r e duc i ng  d i m e n s i o n a l i t y   by   50 %.   T h e   p r o po s e A E   c o n t a i n s   9 , 443 , 328   t r a i n a b l e   pa ra m e t e rs .   T ra i ni n g   a nd   v a l i d a t i o l o s s e s   a r e   m o n i t o r e t hr o ug h o ut   t h e   t ra i n i n g   p r o c e s s   t o   e v a l ua t e   c o nv e r ge n c e   a n r e c o n s t r uc t i o n   pe r f o r m a n c e .   T h e   r e s ul t i n 1024 - d i m e n s i o n a l   l a t e n t   f e a t u r e s   a r e   s ub s e que n t l y   us e a s   i n p ut s   f o r   t h e   S V M   a n d   X G B oo s t   c l a s s i f i e r s .   A l t h o ug t h e   p r o po s e f r a m e w o r i n t r o duc e s   a ddi t i o na l   c o m put a t i o n a l   o v e rh e a t hr o ug h   A E   t r a i ni n g ,   t h e   CN N   f e a t u r e   e xt ra c t o r e m a i n s   f r o z e n   a n d   i s   us e o n l y   fo r   i n f e r e n c e ,   m a ki n g   t h e   o v e r a l l   c o m put a t i o n a l   b u r de n   l o w e r   t ha n   t ha t   o f   e n d - to - e n CN N   f i n e - t u ni n g.   A   f ul l y   c o n n e c t e A E   w a s   s e l e c t e d   b e c a us e   t h e   i nput   c o n s i s t s   o f   2048 - di m e n s i o na l   f e a t ur e   v e c t o r s   e xt r a c t e by   In c e pt i o n   V r a t h e r   t ha n   s p a t i a l   f e a t ur e   m a ps ,   m a k i n g   de n s e   l a y e r s   a   n a t u ra l   c h o i c e   f o r   r e pr e s e n t a t i o n   l e a rni n g.     3. 3 . 5.   C l as s i f i c ati o n   w i th   S V M   an d   X G B o o s t   T h e   c o m pr e s s e f e a t ur e s   p r o duc e by   t h e   A a r e   s ub s e que n t l y   us e a s   i n pu t s   f o r   t w o   ML   c l a s s i f i e r s :   s uppo r t   v e c t o r   m a c h i n e   (S V M a n X G B o o s t .   F o S V M ,   a   o n e - vs - r e s t   (O v R s t r a t e g y   i s   e m pl oy e t o   s uppo r t   m u l t i - l a b e l   c l a s s i f i c a t i o n.   H y pe r pa r a m e t e o pt i m i z a t i o n   i s   pe r f o r m e us i ng  G r i dS e a r c hCV   w i t h   t hr e e - f o l c r o s s - v a l i da t i o n .   T h e   s e a r c h   s pa c e   i n c l u de s   t h e   r e gul a ri z a t i o pa ra m e t e r   ( C),   ke rn e l   t y pe   (l i n e a r   a nd  R B F ),   ke rn e l   c o e ff i c i e n t   (g a m m a ),   a n c l a s s - w e i ght   s e t t i ngs .   F o X G B oo s t ,   m ul t i - l a b e l   c l a s s i f i c a t i o n   i s   i m pl e m e n t e us i n a   M u l t i O ut p ut C l a s s i f i e r   w r a ppe r.   H y pe r pa r a m e t e r s   a r e   o pt i m i z e us i n G ri dS e a r c hCV   w i t h   t hr e e - f o l c r o s s - v a l i da t i o n.   T h e   s e a r c h   i n c l ude s   t h e   n u m b e r   o f   e s t i m a t o r s ,   t r e e   de pt h,   l e a rni n g   ra t e ,   s ub s a m p l i n g   ra t i o ,   c o l um s a m p l i n g   ra t i o ,   a n d   r e gul a r i z a t i o p a ra m e t e r s .   G P U   a c c e l e r a t i o n   i s   ut i l i z e du r i ng  t ra i n i n g   t o   r e duc e   c o m put a t i o n a l   t i m e .   T w o   e xpe r i m e n t a l   c o n f i gu r a t i o n s   a r e   e v a l ua t e d.   T h e   f i r s t   us e s   t h e   o r i gi na l   2048 - di m e n s i o n a l   CN N   f e a t ur e s   d i r e c t l y   (CN N   +   Cl a s s i f i e r ) ,   w hi l e   t h e   s e c o n us e s   t h e   1024 - d i m e n s i o n a l   A E - c o m p r e s s e f e a t ur e s   (CN N   +   A E   +   C l a s s i f i e r ) .   T h i s   r e s ul t s   i f o ur   m o de l   v a ri a nt s :   CN N   +   S V M ,   CN N   +   A E   +   S V M ,   CN N   +   X G Boo s t ,   a nd  CN N   +   A E   +   X G B o os t .   M o de l   pe r f o r m a n c e   i s   e v a l ua t e d   us i n g   S ub s e t   A c c ur a c y ,   m A P ,   M i c r o   F 1 - S c o r e ,   M a c r o   F 1 - S c o r e ,   M i c r o   R O C - A U C,   a n M a c r o   R O C - A U C.   Co n f us i o n   m a t ri c e s   a nd  pe r - c l a s s   F 1 - s c o r e   v i s ua l i z a t i o n s   a r e   a ddi t i o na l l y   us e t o   a na l y z e   c l a s s i f i c a t i o n   b e ha v i o r   a c r o s s   i n s t rum e n t   f a m i l i e s .   T o   a s s e s s   r e s ul t   s t a b i l i t y ,   a l l   e xpe r i m e nt s   w e r e   r e pe a t e t hr e e   t i m e s   u n de i de nt i c a l   c on f i gu ra t i o n s .   B e c a us e   f i xe r a ndo m   s e e ds   a n d   de t e r m i n i s t i c   p r e p r o c e s s i n p r o c e dur e s   w e r e   us e d,   a l l   ru n s   p r o duc e i de n t i c a l   e v a l ua t i o n   r e s ul t s .   Co n s e que n t l y ,   s t a n d a r d   de v i a t i o n s   a r e   n o t   r e po r t e d .       4.   R ES U LTS   A N D   D I S C U S S I O N   F i gu r e s   6   a nd  s h o w   t h e   c o n v e r ge n c e   b e ha v i o r   o f   t h e   A E   du ri n g   t ra i ni n g .   F o r   b o t d a t a s e t s ,   t h e   r e c o n s t r uc t i o n   l o s s   de c r e a s e s   s t e a di l y   fo r   b o t h   t ra i ni n g   a nd  v a l i da t i o s e t s ,   i n di c a t i ng  t h a t   t h e   A s uc c e s s f ul l y   m i ni m i z e s   r e c o n s t r uc t i o n   e rr o a nd  l e a rn s   s t a b l e   l a t e n t   re pr e s e n t a t i o n s .   N o   s e ve r e   di v e r ge n c e   b e t w e e n   t r a i ni n g   a n d   v a l i da t i o l o s s   w a s   o b s e r v e fo r   O pe n M IC - 2 0 18,   i ndi c a t i n g   s t a b l e   A E   t ra i ni n g   a n d   r e a s o na b l e   ge n e ra l i z a t i o n.   H ow e v e r ,   t h e   O r c h s e t   h a a   w i de ni n g a b e t w e e n   t r a i n i ng  a n d   v a l i d a t i o n   l o s s   a f t e r   a pp r o xi m a t e l y   20  e po c h s ,   w hi c h   w o ul i n d i c a t e   m i l d   o ve r f i t t i n g.   T h e   pe r f o r m a n c e   c o m pa ri s o i t h e   c l a s s i f i c a t i o p h a s e ,   f o r   e a c h   m o de l   o e a c h   da t a s e t ,   O pe n M IC - 2018   a nd  O r c h s e t ,   c a b e   s e e n   i T a b l e s   1   a nd   2 ,   w i t t h e   b e s t   m o de l s   a n d   t h e   b e s t   m e t r i c   s c o r e s   f o r   e a c h   da t a s e t   hi g hl i g ht e i b o l d.   O n c e   a ga i n ,   t h e   c o m pa ri s o n   i s   b e t w e e n   f o ur   m o de l s ,   w h i c a r e   CN N   +   S V M ,   CN N   +   A E   +   S V M ,   CN N   +   X G B oo s t ,   a nd  CN N   +   A E   +   X G Boo s t .   T h e   m e t ri c s   us e w e r e   S ub s e t   A c c ur a c y ,   m A P ,   m a c r o   a n m i c r o   F 1 - s c o r e ,   a n d   m a c r o   a n d   m i c r o   R O C - A U C.   T h e   r e s ul t s   w e r e   a s   f o l l o w s :               F i gu r e   6 .   A E   t r a i n i ng  a n d   v a l i d a t i o l o s s   f o r   O pe n M IC - 2 018   F i gu r e   7 .   A E   t r a i n i ng  a n d   v a l i d a t i o l o s s   f o r   o r c h s e t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   1 ,   J ul y   20 26 1 14 - 1 26   122   T a b l e   1 .   M o de l   pe r f o r m a n c e   c o m pa ri s o n   o n   t h e   O pe n M IC - 2 018  d a t a s e t   M o d e l   S u b s e t   A c c u ra c y   m A P   F1 - M a c ro   F1 - M i c r o   RO C - A U ( m a c r o )   RO C - A U ( m i c r o )   CN N   +   A E   +   S V M   0 . 4 6 7   0 . 5 1 8   0 . 6 3 7   0 . 6 5 4   0 . 7 2 7   0 . 7 2 6   C N N   +   S V M   0 . 5 6 2   0 . 5 5 8   0 . 6 6 7   0 . 6 8 5   0 . 7 4 9   0 . 7 5 5   CN N   +   A E   +   X G B o o s t   0 . 5 2 0   0 . 5 0 0   0 . 5 7 0   0 . 6 2 4   0 . 6 7 7   0 . 7 1 4   CN N   +   X G B o o s t   0 . 5 3 6   0 . 5 3 8   0 . 6 1 9   0 . 6 6 4   0 . 7 0 8   0 . 7 4 2       T a b l e   2 .   M o de l   pe r f o r m a n c e   c o m pa ri s o n   o n   t h e   o r c h s e t   d a t a s e t   M o d e l   S u b s e t   A c c u ra c y   m A P   F1 - M a c ro   F1 - M i c r o   RO C - A U ( m a c r o )   RO C - A U ( m i c r o )   CN N   +   A E   +   S V M   0 . 2 3 1   0 . 4 8 3   0 . 5 8 3   0 . 6 5 0   0 . 5 6 8   0 . 6 5 5   CN N   +   S V M   0 . 3 8 5   0 . 4 9 9   0 . 5 1 0   0 . 6 8 4   0 . 5 4 3   0 . 7 0 1   CN N   +   A E   +   X G B o o s t   0 . 3 8 5   0 . 4 8 1   0 . 5 1 1   0 . 7 1 8   0 . 5 5 2   0 . 7 3 0   C N N   +   X G Bo o s t   0 . 5 3 9   0 . 5 0 6   0 . 5 2 9   0 . 7 5 7   0 . 5 9 1   0 . 7 7 5       A s   de t a i l e i T a b l e   1,   t h e   CN N   +   S V M   m o de l   a c h i e v e t h e   b e s t   ov e r a l l   pe r f o r m a n c e   a c r o s s   a l l   e v a l ua t i o m e t ri c s   f o r   t h e   O pe n M I C - 2018   da t a s e t .   T h e   o r i g i na l   2048 - d i m e n s i o n a l   CN N   f e a t u r e s   c o n s i s t e n t l y   o ut pe r f o r m e t h e   A E - c o m pr e s s e f e a t ur e s   o n   b o t h   da t a s e t s ,   s ugge s t i ng  t ha t   t h e   c o m p r e s s e r e p r e s e n t a t i o n   di s c a r de i n f o r m a t i o us e f ul   f o r   i n s t r u m e nt   di s c ri m i na t i o n .   T h e   c o n f us i o n   m a t r i c e s   a n d   F 1 - s c o r e   pl o t s   a r e   v i s i b l e   i F i gu r e s   8   a n 9 .   T h e   c o n f us i o n   m a t r i c e s   i F i gu r e   8   r e v e a l   t ha t   s t ri n gs   F i gu r e   8 ( a )   w e r e   i de n t i f i e m o r e   r e l i a b l y   t ha t h e   o t h e i n s t rum e n t   f a m i l i e s ,   a c hi e v i n g   t h e   l a r ge s t   n u m b e r   o f   t r ue   po s i t i v e   pr e d i c t i o n s .   I c o n t ra s t ,   w i n ds ,   a s   s h o w n   i F i gu r e   8 (b ),   p r o duc e t h e   l o w e s t   F 1 - s c o r e ,   s ug ge s t i n g   g r e a t e o ve r l a w i t o t h e r   i n s t r u m e n t   c l a s s e s   i n   t h e   CN N   f e a t u r e   s pa c e .   B ra s s ,   a s   s h o w n   i n   F i gu r e   8 (c ),   a c hi e v e m o de r a t e   pe r f o r m a n c e ,   w i t h   r e l a t i v e l y   hi g r e c a l l   b ut   l o w e r   p r e c i s i o n ,   i ndi c a t i n g   t h a t   t h e   c l a s s i f i e r   t e n de t o   o ve r - p r e di c t   t h e   p r e s e n c e   o f   b r a s s   i n s t r u m e nt s .   T h e   pe r - c l a s s   F 1 - s c o r e   a na l y s i s   s h o w n   i F i gu r e   9   s h o w s   t h a t   s t r i ngs   (0)   a c h i e v e t h e   hi g h e s t   c l a s s i f i c a t i o pe r f o r m a n c e   w i t h   0. 7 5,   f o l l ow e by   b r a s s   (3)   w i t 0. 6 a n d   w i n ds   (2)   w i t h   0 . 60 .   F o r   t h e   O r c h s e t   da t a s e t ,   t h e   CN N   +   X G B o os t   m o de l   a c h i e v e t h e   b e s t   o v e r a l l   pe r f o r m a n c e   a c r o s s   m o s t   m e t ri c s ,   i n c l u di n g   S ub s e t   A c c ura c y   a n d   R O C - A U C,   a s   s e e n   f r o m   t h e   r e s ul t s   i T a b l e   2.   A l t h o ug CN N   +   A E   +   S V M   a c hi e v e t h e   hi g h e s t   F 1 - M a c r o   s c o r e ,   i t s   pe r f o r m a n c e   o n   o t h e r   m e t ri c s   w a s   c o m pa r a t i v e l y   l o w e r .   O v e r a l l ,   t h e   o ri gi na l   CN N   f e a t u r e s   p r o v i de s t r o n ge di s c r i m i na t i v e   i n f o r m a t i o n   t ha t h e   A E - c o m pr e s s e r e p r e s e n t a t i o n s ,   j us t   l i ke   O pe n M IC - 2018 .           (a )   (b )         (c )     F i gu r e   8 .   Co n f us i o n   M a t ri c e s   fo r   t h e   CN N   +   S V M   M o de l   o O pe n M I C - 2018   f o r   c l a s s e s :   ( a )   s t r i ngs ,     (b w i n ds ,   a n d   (c b r a s s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752         A   hy br i d   CNN - a ut o e nc ode r - SV M / X G B oos t   m od e l   f or   pol y ph oni c   or c h e s t r a l   i ns t r um e nt     ( Ke l v i n   W y e t h )   123       F i gu r e   9 .   F 1 - S c o r e   B a r   P l o t   f o r   t h e   CN N   +   S V M   M o de l   o n   O pe n M IC - 2 018       A s   s e e n   i n   t h e   c o n f us i o n   m a t ri c e s   i n   F i gu r e   1 0,   t h e   c l a s s i f i e pr e d i c t e t h e   s t r i ng  c l a s s   f o r   n e a r l y   a l l   s a m pl e s ,   a s   s h o w n   i n   F i g u r e   10 (a ) ,   r e s ul t i n i n   pe r f e c t   r e c a l l   b ut   l o w e r   pr e c i s i o due   t o   f a l s e   po s i t i v e s .   W i n ds ,   a s   s h o w n   i n   F i gu r e   1 0 (b ),   a c hi e v e a   m o r e   b a l a n c e t ra de - o ff   be t w e e n   p r e c i s i o n   a n d   r e c a l l .   I n   c o n t ra s t ,   t h e   c l a s s i f i e r   f a i l e t o   i de n t i fy   a n y   b r a s s   s a m pl e s   a s   s h o w n   i F i gu r e   10 ( c ) ,   p r o duc i n g   z e r o   t r ue   po s i t i v e s .   Co n s e que n t l y ,   t h e   M a c r o   F 1 - s c o r e   of   0. 529  w a s   c o n s i de r a b l y   l ow e r   t ha n   t h e   M i c r o   F1 - s c o r e   of  0. 757 .   T h e   pe r - c l a s s   F 1 - s c o r e   a n a l y s i s   s h o w n   i n   F i gu r e   1 1   r e v e a l s   s ub s t a nt i a l   v a r i a t i o n   a m o n i n s t r u m e nt   f a m i l i e s .   S t r i ngs   a c h i e v e t h e   h i g h e s t   F 1 - s c o r e   w i t h   0 . 82 ,   f o l l ow e by   w i n ds   w i t h   0 . 77 ,   w h e r e a s   b r a s s   ob t a i n e a F 1 - s c o r e   of   0. 00.   T h e   O r c h s e t   da t a s e t   c o n t a i n s   a   r e l a t i v e l y   s m a l l   n u m b e r   o f   s a m pl e s ,   w h i c h   m a y   i n c r e a s e   t h e   s e n s i t i v i t y   of   pe r f o r m a n c e   m e t ri c s   t o   i n d i v i dua l   c l a s s i f i c a t i o e rr o r s   a nd  l i m i t   t h e   ge n e ra l i z a b i l i t y   of   t h e   r e po r t e r e s ul t s .           (a )   (b )         (c )     F i gu r e   10 .   Co n f us i o n   M a t ri c e s   fo r   t h e   CN N   +   X G B oo s t   m o de l   o n   o r c h s e t   f o r   c l a s s e s :   ( a s t r i ngs ,   (b w i n ds ,   a n (c b ra s s   Evaluation Warning : The document was created with Spire.PDF for Python.