I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   3 J u n e   20 25 ,   p p .   2998 ~ 3 0 0 9   I SS N:  2088 - 8 7 0 8 ,   DOI 1 0 . 1 1 5 9 1 /ijece. v 15 i 3 . pp 2 9 9 8 - 3 0 0 9           2998       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Deep learni ng  f o r  predic ting drug - rela ted  p ro blems   in dia betes   pa tient s       F a t im a   M .   Sm a di,  Q a s em   A.   Al - Ra da ideh   D e p a r t me n t   o f   I n f o r m a t i o n   S y st e ms,   Y a r mo u k   U n i v e r si t y ,   I r b i d ,   J o r d a n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   2 8 ,   2 0 2 4   R ev is ed   J an   3 ,   2 0 2 5   Acc ep ted   J an   1 6 ,   2 0 2 5     M a c h in e   lea rn i n g   a n d   d e e p   lea rn in g   h a v e   m a d e   a d v a n c e in   th e   h e a lt h c a re   d o m a in .   In   th is   stu d y ,   we   a im  to   a p p l y   d e e p   lea rn i n g   m o d e ls  to   p re d ict  th e   d ru g - re late d   p r o b lem (DRP s sta tu fo d iab e tes   p a ti e n ts .   Also ,   t o   d e term in e   th e   a p p r o p riate   m o d e to   u se   fo c las sifica ti o n   u si n g   d e e p   lea rn in g   a lg o rit h m o m a c h in e   lea rn in g   m e th o d to   i n v e sti g a te  wh ich   o n e   p e rfo rm e d   b e tt e re su lt f o tab u lar  d a ta  b y   c o m p a ri n g   t h e   a c h iev e d   d e e p   lea rn in g   re su lt with   th e   m a c h in e   lea rn i n g   m e th o d s   t o   f ig u re   o u w h ich   o n e   g iv e s   b e tt e re su lt s.  T o   a p p ly   th e   d e e p   l e a rn in g   m o d e ls,  t h e   sa m e   c rit e ria  th a we re   a p p li e d   in   th e   p re v i o u st u d y   h a v e   b e e n   imp lem e n ted   i n   t h is  i n v e stig a ti o n ,   a n d   t h e   sa m e   d a tas e wa u se d .   Th e   re su lt s   sh o w   th a t   th e   m a c h in e   lea rn in g   a lg o rit h m e sp e c ially   th e   ra n d o m   fo re sts  f o p re d icti n g   th e   D RP sta tu s   o u t p e rfo rm   t h e   d e e p   lea rn i n g   m o d e ls.  F o c las sifica ti o n   tas k s   in   h e a lt h c a re   fo tab u lar  d a ta,  t h e   fi n d i n g s   o th is   stu d y   sh o w   th a t   m a c h in e   lea rn in g   m e th o d a re   th e   a p p ro p riate   m o d e in ste a d   o u sin g   d e e p   lea rn in g   to   a p p l y   c las sifica ti o n .   K ey w o r d s :   Dee p   lear n in g   Dee p   n eu r al  n etwo r k s   Hy p er p ar a m eter   o p tim izatio n   L o n g - s h o r t te r m   m e m o r y   n etwo r k s   Ma ch in lear n in g   T ab u lar   d ata   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Fatim M.   Sm ad i   Dep ar tm en t o f   I n f o r m atio n   Sy s tem s ,   Yar m o u k   Un iv er s ity   I r b id   2 1 1 6 3 ,   J o r d an   E m ail: f atim a. s m ad i1 3 @ g m ail. co m       1.   I NT RO D UCT I O N   R ec en tly ,   with   lar g am o u n ts   o f   d ata  b ec o m in g   av ailab le  a n d   th im p r o v em e n in   m em o r y   h an d lin g   ca p ab ilit ies o f   th co m p u ter s   m ak in g   th p r o ce s s   o f   h an d lin g   h u g am o u n ts   o f   d ata  ea s ier ,   an d   th p r o g r ess   o f   m ac h in lear n in g   a n d   d ee p   lea r n in g   alg o r ith m s   [ 1 ] ,   [ 2 ] .   Ho w ev er ,   tab u lar   d ata  is   th m o s p r ev alen d ata  ty p e   em p lo y ed   in   m a n y   r ea l - wo r ld   ap p licatio n s .   I is   u s ed   in   v ar io u s   f ield s ,   in clu d in g   m ed icin e,   f r au d   d etec tio n ,   co m p u ter   v is io n ,   an d   d is ea s d iag n o s tic  [ 3 ] .   I n   r ec e n y ea r s ,   d ee p   lear n i n g   h as  g ain ed   lo t   o f   tr ac tio n   in   d ata  m in in g   d u r in g   th e   last   s ix   y ea r s ,   th e   ter m   “d ee p   lear n in g   was  co i n ed   in   2 0 0 6   [ 4 ] .   I is   u s ed   to   in v esti g ate  h ea lth ca r e   to p ics  i n   o r d er   to   im p r o v p atien ca r [ 5 ] .   Ho wev er ,   d ee p   lear n in g   is   c o m p u tatio n al  m eth o d   t h at  allo ws  m ac h in es  t o   an aly ze   d ata  lik e   th h u m an   b r ain .   T h u s ,   it  is   s p ec ial  ty p o f   m ac h in le ar n in g   th at  in v o lv es  d ee p e r   lev el.   Als o ,   d ee p   lear n in g   d if f er s   f r o m   a   n eu r al  n etwo r k   in   th at  it   h as  m a n y   l ay er s   an d   n e u r o n s   in   b ig   n u m b er s .   On   th o th e r   h an d ,   th u s o f   d ee p   lear n i n g   h as  ev o l v ed   in   m a n y   ar e as  in   th f o llo win g   ap p licatio n s   s u ch   as  s p ee ch   r ec o g n itio n ,   m ed ical  r esear ch   in   ca n ce r   r esear c h   to   a u to m ati ca lly   d etec ca n ce r   ce lls ,   m e d ical  im ag in g ,   d r u g s   d is co v er y ,   a n d   n atu r al  lan g u ag p r o ce s s in g   [ 1 ] [ 5 ] .   Dee p   n eu r al  n etwo r k s   ( DNN)   tr ain ee   th n etwo r k   th r o u g h   f ee d - f o r war d   n eu r al  n etwo r k s   an d   u s b ac k p r o p ag atio n .   T h s tr u ct u r al  b u ild in g   b lo ck   o f   d ee p   lea r n in g   is   th p er ce p tr o n   ( n e u r o n ) .   Dee p   lea r n in g   co n tain s   th in p u lay e r ,   h id d e n   lay er s ,   an d   o u tp u la y er   [ 4 ] I n   ad d itio n ,   th DNN  is   ch ar ac ter ized   th at  it  h as  m o r th an   o n h id d en   lay er ,   t h d ir ec tio n   o f   th in f o r m atio n   in   th n etwo r k   is   f o r war d   ( t h er ar n o   cir cles)   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Dee p   lea r n in g   fo r   p r ed ictin g   d r u g - r ela ted   p r o b lems in   d ia b etes p a tien ts   ( F a tima   M.  S ma d i )   2999   f r o m   in p u to   th o u tp u t h r o u g h   h id d en   lay e r s ,   also   k n o wn   as  m u lti - lay e r   p er c ep tr o n   ( ML P)  [ 6 ] Fu r th er m o r e ,   th lo n g - s h o r ter m   m em o r y   n etwo r k s   ( L STM )   im p lem en m o r co m p lex   r ec u r r en u n it  with   g ates  to   co n tr o w h at  in f o r m atio n   is   p ass ed   th r o u g h .   Als o ,   it  is   c o n s id er ed   s tate - of - th e - ar m o d el   [ 7 ] Ho wev er ,   t h L STM   c o n tain s   m em o r y   b l o ck s   th at   co n tr o th in f o r m atio n   f lo w,   t h k ey   b u ild in g   b lo c k   b eh in d   L STM   is   th g ates,  th e   m em o r y   ce lls   in   L STM   lay er s   in ter ac with   ea ch   o th er   v ia  g ates,  an d   th g ates   ar r esp o n s ib le  f o r   en a b lin g   t h L STM   to   b ab le  t o   ad d   o r   r em o v i n f o r m atio n   to   its   ce l s tate.   I n   ad d itio n ,   T h L STM   f o llo ws  th m ain   f o u r   s tep s f o r g ettin g   ir r elev a n h is to r y ,   th en   p er f o r m in g   c o m p u tatio n s   to   s to r r elev an in f o r m atio n ,   u p d atin g   th e   in ter n al   s tate,   an d   f in all y   g e n er atin g   th o u tp u to   b e   an   in p u to   th e   n ex t   L STM   lay er .   T r ain in g   L STM   n etwo r k   ap p lied   th b ac k p r o p ag atio n   m eth o d   [ 8 ] ,   [ 9 ] .   As  f o r   u s in g   d ee p   lear n in g   te ch n iq u es  i n   th e   Hea lth ca r e   ar ea .   Kim   et   a l.   [ 1 0 ]   u s ed   th e   d ee p   b elief   n etwo r k   ( DB N)   an d   d if f er e n m ac h in lear n in g   alg o r ith m s   to   p r ed ict  ca r d io v ascu lar   r is k   p r ed ictio n   ( lo r is k   an d   h ig h   r is k ) ) .   T h a u th o r s   e v alu ated   th m o d els  u s in g   th r e p er f o r m an ce   m etr ics  ( ac cu r a cy ,   s p ec if icity ,   an d   s en s itiv ity ) .   T h n aïv B ay e s   ( NB )   m o d el  o b tain e d   ( 7 9 %,   6 3 %,   8 4 %),   l o g is tic  r eg r ess io n   ( L R )   m o d el   o b tain ed   ( 8 0 %,   6 9 %,   8 2 %),   s u p p o r v ec t o r   m ac h i n ( SVM)   m o d el  o b tain ed   ( 7 1 %,   1 0 0 %,   7 1 %),   r an d o m   f o r ests   ( R F)  m o d el  o b tain ed   ( 7 7 %,   6 1 %,   8 2 %),   d ee p   b eli ef   n etwo r k   ( DB N)   m o d el  o b tain ed   ( 7 5 %,   8 2 %,   7 4 %),   a n d   a   s tatis tical  DB m o d el  o b tain ed   ( 8 3 ,   7 3 %,   8 7 %),   th r esu lts   s h o wed   th at   t h s tatis tical  DB N   m o d el  o u tp er f o r m ed   t h o th e r   class if ier s .     Ko r o tco v   et  a l.   [ 1 1 ]   u s ed   SVM,   R F,  an d   lo g is tic  lin ea r   r e g r ess io n   to   c o m p ar e   th p er f o r m an ce   o f   d if f er en m ac h i n lear n in g   al g o r ith m s   to   th d ee p   n eu r al  n etwo r k s   ( DNN)   to   p r ed ict  d r u g   d is co v er y .   T h e   r esu lts   o f   th p er f o r m an ce   m etr ics  s h o wed   ac cu r ac y ,   p r ec i s io n ,   an d   r ec all,   r esp ec tiv ely .   T h DNN  m o d el  o b tain ed   ( 8 7 %,  6 8 %,  7 0 %),   SVM  m o d el  o b tain ed   ( 8 3 %,  5 9 %,  7 4 %),   lo g is tic  lin ea r   r eg r ess io n   m o d el   o b tain ed   ( 7 8 %,  5 8 %,  7 4 %),   R m o d el  o b tain ed   ( 7 9 %,  5 9 %,  7 0 %),   th r esu lts   s h o wed   th at  th DNN  m o d el  o u tp er f o r m ed   th m ac h i n lea r n in g   alg o r ith m s .     Oth er   r esear ch   u s ed   d ee p   lear n in g   an d   m ac h in lear n i n g   to   p r ed ict  b r ain   tu m o r s   in   th b r a in   [ 1 2 ] ,   th e   au th o r s   u s ed   d ee p   lear n i n g   an d   m ac h in lear n in g   alg o r ith m s   to   p r ed ict  b r ain   tu m o r s   in   th b r ain .   T h ey   u s ed   th d ee p   n eu r al   n etwo r k   a n d   k - n ea r est  n eig h b o r   alg o r it h m s   ( k - NN)   in   th eir   s tu d y .   T h r esu lts   o f   t h p er f o r m an ce   m etr ics  s h o wed   ac cu r ac y ,   p r ec is io n ,   an d   r ec al l,  r esp ec tiv ely .   T h e   DNN  m o d el  o b tain e d   ( 9 6 %,   9 7 %,   9 7 %),   k - n ea r est  n eig h b o r   m o d el  with   k =1   o b tain ed   ( 9 5 %,   9 5 %,   9 5 %),   T h k - N m o d el  with   k =3   o b tain ed   ( 8 6 %,   8 9 %,   8 6 %).     Ay o n   a n d   I s lam   [ 1 3 ]   u s ed   DNN  to   d iag n o s d iab etes  ( ab s en ce   an d   p r esen t ) .   T h e   r e s u lts   o f   th e   p er f o r m an ce   m etr ics  f o r   ten - f o ld s   s h o wed   ac cu r ac y ,   s p ec if icity ,   an d   s en s itiv ity ,   r esp e ctiv ely .   T h e   DNN   m o d el  o b tain ed   ( 9 7 %,   9 6 %,   9 7 %).     M a s s a r o   e t   a l .   [ 1 4 ]   u s e d   L ST M ,   L S T M   u s i n g   a r t i f i ci a l   r ec o r d s   ( L S T M - AR ) ,   a n d   M L t o   p r e d i c d i a b e t e s   b y   c l as s i f y i n g   d i a b e te s   s ta t u s   a n d   n o - d i a b e t es   s t at u s .   T h e   r e p o r t e d   r e s u l t   o f   t h e   p e r f o r m a n c e   m e t r i c s   s h o w e d   a c c u r a c y .   T h e   L S T m o d e l   o b t a i n e d   ( 7 5 % ) ,   L S T M - A R   m o d e l   o b t a i n e d   ( 8 4 % ) ,   a n d   M L P   m o d e l   o b t a i n e d   ( 7 7 % ) ,   b y   a p p l y i n g   t h e   L S T M - AR   t h e r e   w as  a n   im p r o v e m e n t   i n   r es u l ts   c o m p ar e d   w i t h   M L a n d   L S T M .   T i g g a   a n d   G a r g   [ 1 5 ]   u s e d   L R ,   k - N N ,   SV M ,   N B ,   d ec is i o n   t r e ( D T ) ,   a n d   R F   t o   p r e d ic t   t y p e   2   d i a b e t es  p a t i e n ts .   T h e   r es u l ts   o f   t h e   p e r f o r m a n c e   m e t r i cs   s h o w e d   a c c u r a c y .   T h e   L R   m o d e o b t a i n e d   ( 8 5 % ) ,   k - N N   m o d e o b t a i n e d   ( 7 7 % ) ,   S V M   m o d e l   o b t a i n e d   ( 8 6 % ) ,   N B   m o d e l   o b t a i n e d   ( 8 0 % ) ,   D T   m o d e l   o b t a i n e d   ( 8 4 % ) ,   a n d   t h e   R F   o b t ai n e d   ( 9 4 % ) .   T h e   r e s u l t s   s h o w e d   t h a t   t h e   R F   m o d e l   o u tp e r f o r m e d   t h e   o t h e r   a l g o r i t h m s .     Sh war tz - Z iv   an d   Ar m o r   [ 1 6 ]   d em o n s tr ated   th at  wh en   wo r k i n g   with   tab u lar   d ata  in   class if i ca tio n   an d   r eg r ess io n ,   d ee p   lear n in g   m o d els  ar n o all  y o u   n ee d .   I n   t h eir   s tu d y ,   th ey   co m p ar ed   tr e en s em b le  m o d els  s u ch   as  XGBo o s with   d ee p   l ea r n in g   m o d els  to   s ee   w h ich   o f   th e m   g i v es  b etter   r esu lts   f o r   tab u lar   d ata.   T h e   s tu d y   f o u n d   th at  th XGBo o s o u tp er f o r m s   th d ee p   m o d els,  it  r eq u ir es  m u ch   less   tu n in g .   So ,   th e y   r ec o m m en d   u s in g   e n s em b le  m o d els wh en   u s in g   ta b u lar   d ata.   Hair an an d   Priy an to   [ 1 7 ]   u s e d   SVM  an d   R co m b in ed   wit h   th s y n th etic  m in o r ity   o v er   s am p lin g   tech n iq u e   ( SMOT E ) ,   e d ited   n ea r est  n eig h b o r s   ( E NN) ,   an d   h y b r id   SMOT E - E NN  m et h o d s .   T h r ep o r ted   r esu lt  o f   th p er f o r m an ce   m et r ics  s h o wed   ac cu r ac y ,   s en s itiv ity ,   an d   s p ec if icity ,   r esp ec tiv ely .   T h SVM  with   SMOT E   m o d el  o b tain ed   ( 7 4 %,   7 0 %,   7 7 %),   SVM  with   E NN  m o d el  o b tain ed   ( 8 5 %,   8 5 %,   8 6 %),   SVM  with   SMOT E - E NN  m o d el  o b tain e d   ( 9 0 %,   9 1 %,   8 8 %),   R with   SMOT E   m o d el  o b tain ed   ( 8 2 %,   8 6 %,   7 8 %),   R F   with   E NN  m o d el   o b tain e d   ( 8 7 %,   8 6 %,   8 7 %),   R with   SMOT E - E NN  m o d el   o b tain e d   ( 9 5 %,   98% 9 2 %).   T h e   f in d in g s   s h o wed   th at  th R F   with   SMOT E - E NN   m o d el  o u tp er f o r m ed   SMOT E   an d   E NN  in d iv id u ally   in   ter m s   o f   av er a g p er f o r m a n ce .   C h u   et  a l.   [ 1 8 ]   u s ed   DNN  to   d ev elo p   a   ca r d io v ascu lar   d is e ase  ( C VD )   r is k   p r ed ictio n .   T h r esu lts   o f   th p er f o r m an ce   m etr ics  s h o wed   ac cu r ac y ,   s p ec if icity ,   an d   s en s itiv ity   r esp ec tiv ely .   T h D NN  m o d el  o b tain e d   ( 8 7 . 5 0 %,   8 7 . 2 3 %,   8 8 . 0 6 %).   T h s tu d y   c o n tr ib u tes  b y   ap p ly in g   d ee p   lear n i n g   tech n iq u es   to   n ew  d ata  th at   h as  n o b ee n   ap p lied   b ef o r u s in g   d ee p   lear n in g   m o d els,  th d ata  was  co llected   f r o m   s ix   M ajo u r   h o s p itals   i n   J o r d an   esp ec ially   f o cu s in g   o n   d iab etic  p atien ts   t o   p r ed ict  th s tatu s   o f   d r u g - r el ated   p r o b lem s .   B y   co m p ar in g   th r esu lts   o f   d ee p   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   2 9 9 8 - 3 0 0 9   3000   lear n in g   tech n iq u es  with   m a ch in lear n in g   m eth o d s ,   th e   s tu d y   ac h iev es  h i g h   ac cu r a cy   in   DR s tatu s   p r ed ictio n   a n d   o u tp er f o r m s   p r ev io u s   s tu d ies.  T h is   s tu d y   h ig h lig h ts   f o u n d atio n   f o r   f u tu r r esear c h   in   p r ed ictin g   d r u g - r elate d   p r o b le m s .   M a n y   r e s e a r c h e r s   h a v e   u s e d   d e e p   l e a r n i n g   m o d e l s   a n d   m a c h i n e   l e a r n i n g   m e t h o d s   i n   h e a l t h c a r s y s te m s   s u c h   as   b r e a s t   ca n c e r ,   b r a i n   c a n c e r ,   a n d   d r u g   d i s c o v e r y   [ 1 9 ] ,   [ 2 0 ] W h e n   h a n d l i n g   c l a s s i f i c at i o n   t a s k s   i n   d a t a   m i n i n g   w it h   t a b u l a r   d at a   in   h e a l t h c a r e   s y s te m s ,   it   b e c o m e s   u n c l e a r   t o   d e t e r m i n e   w h i c h   m o d e l   t o   u s e   d e e p   l e a r n i n g   m o d e l s   o r   m a c h i n e   l ea r n i n g   t e c h n i q u e s .   D ee p   l e a r n in g   m o d e l s   h a v e   s h o w n   t h e   a b il i t y   t o   h a n d l e   la r g d a t a s et s ,   b u t   t h e y   r e q u i r e   c o m p u t a t i o n a l   r es o u r c e s   a n d   la r g e   a m o u n t s   o f   d a t a .   H o w e v er ,   m a c h i n e   l e a r n i n g   m e t h o d s ,   a r e   k n o w n   f o r   t h e i r   e f f e c t i v e   p r a c ti c a l ,   a n d   e as y   im p l e m e n t a t i o n .   T h is   s t u d y   a i m s   t o   i n v e s t i g a t e   t h b e s t   s t r u c t u r e   o f   t h e   u s e d   d e e p   l e a r n i n g   t e c h n i q u e s   ( D N N   a n d   L S T M )   t o   p r e d i c t   t h e   s t at u s   o f   d r u g - r e l a t e d   p r o b l e m s ,   a n d   w h e t h e r   t o   a p p l y   d e e p   l e a r n i n g   m o d e l s   o r   m a c h i n e   l e a r n i n g   m e t h o d s   w h e n   d e a l i n g   w i t h   t a b u l a r   d a t a   f o r   c l ass i f i c at i o n .   T o   p e r f o r m   t h i s ,   t h e   s a m e   d a ta s et   u s e d   i n   t h e   [ 2 1 ]   h a s   b e e n   u s ed .   I n   a d d i t i o n ,   w e   c o m p a r e d   t h e   r e s u l ts   o b t a i n e d   f r o m   d e e p   l e a r n i n g   m o d e l s   wi t h   t h e   m a c h i n e   l e a r n i n g   cl a s s i f i e r s .         2.   RE S E ARCH   M E T H O D   T h m ain   p u r p o s o f   th is   s tu d y   is   to   in v esti g ate  th b est  s tr u ctu r o f   t h DNN  an d   L STM   to   p r ed ict   th s tatu s   o f   d r u g - r elate d   p r o b lem s .   Als o ,   to   f in d   o u th e   ef f ec o f   a p p ly in g   d ee p   lear n in g   co m p ar ed   with   th e   m ac h in lear n in g   m eth o d s .   Ad d itio n ally ,   wh et h er   to   ap p ly   d ee p   lear n i n g   m o d els  o r   m ac h in e   lear n in g   m eth o d s   wh en   d ea lin g   with   ta b u lar   d ata  f o r   class if icatio n .   Als o ,   to   f in d   o u w h ich   will  g iv h ig h   p er f o r m an ce   f o r   tab u lar   d ata  c o m p a r ed   wit h   th s tu d y   in   [ 2 1 ] T o   p er f o r m   th is   s tu d y ,   th e   m eth o d o lo g y s   im p lem en tatio n   is   s u b d iv id ed   in t o   s ev er al  s tep s .   Fig u r 1   s u m m ar izes th o v e r all  m eth o d o lo g y   s tep s   in   d etail.   T h d ee p   lear n i n g   m o d els  th at  wer ex p er im e n te d   in   th is   s tu d y   ar b r ief ly   d esc r ib ed   in   th f o llo win g   s u b s ec t io n .   Dee p   lear n i n g   o r   n eu r al  n etwo r k s   b o o k s   will p r o v id e   d etailed   d escr ip ti o n .           Fig u r 1 .   T h r esear ch   m eth o d o lo g y       DNN  ar e   k in d   o f   n eu r al  n e two r k   in s p ir ed   b y   t h d esig n   o f   th h u m a n   n er v o u s   s y s te m   an d   t h b r ain s   ar ch itectu r e   [ 2 2 ] .   Ad d itio n ally ,   DNN  ch ar ac ter ized   th at  it  h as  m o r th an   o n h id d en   lay er ,   th e   d ir ec tio n   o f   th i n f o r m atio n   i n   th n etwo r k   is   f o r war d   ( th er ar n o   cir cles)   f r o m   in p u to   th o u t p u th r o u g h   h id d en   lay e r s ,   it  also   k n o wn   a s   ML [ 6 ] [ 1 3 ] Ho wev er ,   t h lay er s   o f   th DNNs   ar e   th in p u lay er ,   h id d en     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Dee p   lea r n in g   fo r   p r ed ictin g   d r u g - r ela ted   p r o b lems in   d ia b etes p a tien ts   ( F a tima   M.  S ma d i )   3001   lay er s   ( m u ltip le  h id d e n   lay er s ) ,   an d   o u tp u la y er .   T h e   h id d en   lay er s   lo ca tio n   is   lo ca ted   b etwe en   th in p u t   lay er   an d   th o u tp u lay er .   Al th o u g h   t h in p u lay er   is   r esp o n s ib le  f o r   p ass in g   th in p u ts   f r o m   th d ataset  to   th n ex t   lay er ,   th e   h i d d en   lay er s   ar r esp o n s ib le  f o r   ap p ly i n g   th e   n o n - lin ea r   tr a n s f o r m ati o n ,   a n d   th e   o u tp u lay er   is   r esp o n s ib le  f o r   p r o d u cin g   th o u tp u t.  Fu r th er m o r e,   th ess en tial  elem en ts   o f   DNN  ar n eu r o n s ,   weig h ts ,   n o n - lin ea r   ac tiv atio n   f u n ctio n ,   an d   b ias.  I n   DNN   th er e   is   f u lly   co n n ec ted   la y er   th at   is   d ef in e d   th r o u g h   th d e n s class   wh il ev er y   n e u r o n   in   th lay e r   is   co n s id er ed   an   in p u to   th n eu r o n s   in   th n ex t   lay er s ,   th m o d el  u s es  s to ch asti g r ad ien d escen in   tr ain in g   th m o d el.   As  well,   T h DNN  tr ain in g   g o in g   th r o u g h   p h ases   th at  s tar ts   w i th   f o r war d   p r o p a g atio n   f o llo wed   b y   th b ac k p r o p a g atio n   an d   th ad ju s tm en t   p r o ce s s   [ 2 3 ]   T h f o r war d   p r o p ag atio n   m et h o d   in   t h n eu r al  n etwo r k   p ass es  th d ata  th r o u g h   th n etw o r k   s tar tin g   with   th in p u lay er   b y   p ass in g   m u ltip le  in p u ts   at  o n ce .   E ac h   in p u v alu ( )   n ee d s   to   b m u ltip lied   b y   th e   co r r esp o n d in g   weig h ts   ( )   an d   th en   ad d e d   with   all   th o th e r   r esu lts   f o r   ea ch   n e u r o n ,   th e n   ca lcu latin g   th e   s u m   o f   th weig h ted   in p u ts   to   ea ch   n e u r o n ,   an d   th b ias  ( )   is   ad d ed   i n   ( 1 ) ,   th en   ap p l y in g   n o n - lin ea r   ac tiv atio n   f u n ctio n .   T h r esu lt  o f   th ac tiv atio n   f u n ctio n   is   co n s id er ed   an   o u t p u f o r   th la y er   an d   an   in p u f o r   th n eu r o n s   in   th n ex t h id d en   lay er .   T h is   p r o ce s s   will b ap p lied   in   ea ch   lay er   u n til we   r ea ch   th o u tp u t la y e r   to   g et  th p r ed ictio n   ( )   [ 8 ] .     = +        (1 )     T h b ac k p r o p ag atio n   m eth o d   is   u s ed   to   m in im ize  th er r o r   i n   th n etwo r k ,   wh e n   n e u r al  n etwo r k   is   tr ain ed   u s in g   f o r war d   p r o p a g a tio n   b y   r a n d o m ly   i n itializin g   t h weig h ts   o f   all   n eu r o n s   t o   a p p ly   t h p r ed ictio n ,   i f   th p r ed ictio n   f o r   th m o d el  is   in co r r ec ( er r o r   in   th p r ed ictio n ) ,   th b ac k p r o p ag ati o n   m u s b u s ed   to   m in im ize  th er r o r ,   wh ich   is   ca lcu lated   b y   th d if f er en ce   b etwe en   th o u tp u f r o m   th f o r war d   p r o p ag atio n   ( p r ed ictio n   o u tp u t)   an d   th e   ex p ec ted   o u tp u ts   ( d esire d   o u tp u t) .   T h e   g o al  is   to   let  th e   er r o r   c lo s to   ze r o .   W h en   th p r ed ictio n   er r o r   is   g en er at ed   th r o u g h   th f o r war d   p r o p a g atio n ,   it will b in   h ig h   n u m b er ,   b y   ap p ly in g   th b ac k war d   p r o p ag atio n   f r o m   th o u tp u lay er   an d   u p d atin g   t h weig h ts   to   ac h ie v th e   f ir s l ay er ,   th e n   ap p ly in g   th f o r war d   p r o p ag atio n   f o r   t h s ec o n d   tim an d   g en er ati n g   th p r e d ictio n   er r o r   f o r   th s ec o n d   tim e,   th m o d el  k ee p s   d o in g   th ese  s tep s   f o r   all  s am p les  in   th tr ain in g   d ata  u n til  th s p ec if ied   ep o c h s   ar r ea ch ed   an d   th er r o r   is   m in im ized   [ 8 ] .   T h L STM   n etwo r k s   is   co n s i d er ed   a   s p ec ial  ty p e   o f   r ec u r r en n e u r al  n etwo r k s   ( R NN) .   I h as  a n   in p u lay er ,   L STM   h id d en   la y er s ,   an d   an   o u tp u lay e r .   Acc o r d in g   t o   T ak eu c h i   et  a l.   [ 2 4 ] ,   th R NN  h as  d if f icu lty   in   tr ain in g   b ec au s o f   th v an is h in g   g r ad ien p r o b lem ,   th u s   th L STM   o v er co m es  th is   p r o b lem   b y   co m p o s in g   an   in p u g ate,   an   o u tp u g ate,   an d   f o r g et  g ate.   Ho wev er ,   th L STM   ar ch itectu r co n tain s   s et  o f   m em o r y   b lo ck s ,   ea c h   b l o ck   c o n tain in g   r ec u r r en tly   c o n n ec t ed   m em o r y   ce lls   th at  ar e   co n n ec ted   v ia  g ates  th at   allo th L STM   to   a d d   o r   r e m o v i n f o r m atio n   f r o m   th e   c ell.   T h e   m em o r y   ce ll’s   ac tiv a tio n   f u n ctio n   allo ws  s to r in g   s tate  f o r   eith er   s h o r m o m e n o r   an   e x ten d e d   a m o u n o f   tim e.   Als o ,   ea ch   m em o r y   ce ll  ap p lies   s ev er al  s tep s   to   m o v e   th e   s tate  to   t h n ex L STM   h id d en   lay er   a n d   i m p lem en t   th s am e   p r o ce s s   to   r ea ch   th e   o u tp u lay er .   T h L STM   is   tr ain ed   th r o u g h   f o r war d   p r o p a g atio n   an d   b ac k p r o p a g atio n   m eth o d s   [ 2 5 ] T h e r e   ar m an y   ap p licatio n s   o f   L ST s u ch   as  Au to m atic  im ag c ap tio n   g en er atio n   an d   au to m atic  tr an s latio n   o f   th tex t.  Als o ,   th L STM   h as b ec o m in cr ea s in g ly   u s ed   in   h ea lth   ca r in   r ec e n t y ea r s .     2 . 1 .     E x perim ent s   d esig n   I n   th is   s tu d y ,   we   u s ed   th e   s am m eth o d   th at   was  u s ed   in   th p r ev io u s   s tu d y   [ 2 1 ] ,   th cr o s s - v alid atio n   m eth o d   with   1 0   f o l d s   h as b ee n   ap p lied   to   b u ild   th d ee p   lear n in g   p r ed ictiv m o d els . T h f o llo win g   s tep s   wer e   f o llo wed   to   p er f o r m   th is   s tu d y :     a.   Usi n g   th cr o s s - v alid atio n   wit h   1 0   f o ld s   in   d ee p   lear n i n g   m o d els.   b.   T u n in g   th h y p er - p ar am eter s   to   g et  th b est  s tr u ctu r f o r   th DNN  an d   L STM   th r o u g h   b u ild in g   an d   tr ain in g   th m o d els b y   th tr ai n in g   d ata.   c.   Usi n g   th test in g   d ata  to   ap p ly   th p r ed ictio n .   d.   Usi n g   th co n f u s io n   m atr ix   m etr ics to   ev alu ate  th d ee p   lear n in g   m o d els.   e.   C o m p ar in g   th e   ev alu ated   m o d el  r esu lts   with   th p r ev io u s   s tu d y   [ 2 1 ] .     2 . 2 .     P er f o r m a nce  m e a s ures t o   ev a lua t e   t he  mo dels   T o   ev alu ate  th d ee p   lear n i n g   m o d els,  th s am cr iter ia  th at  wer ap p lied   f o r   th p r ev io u s   s tu d y   [ 2 1 ]   h av b ee n   im p lem en ted   in   th i s   in v esti g atio n .   Mo r eo v er ,   th e   o v er all  p er f o r m an ce   m etr ics  wer g en er ated   v ia   th co n f u s io n   m etr ics  to   d is c o v er   th m o d el’ s   p er f o r m an c in clu d i n g   ac cu r ac y ,   s en s itiv ity ,   an d   s p ec if icity .   T h co n f u s io n   m etr ics we r ca lcu lated   u s in g   ( 2 ) - ( 4 ) :     Acc u r ac y    +   +  +  +      ( 2 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   2 9 9 8 - 3 0 0 9   3002   Sen s itiv ity     +      ( 3 )     Sp ec if icity     +      ( 4 )       3.   RE SU L T S AN D I SCU SS I O N   W attem p ted   to   tu n e   th b est  n etwo r k   s tr u ctu r t o   ac h iev e   th b est  p er f o r m a n ce .   T h e r wer m an y   d if f er en v alu es  f r o m   h y p e r - p ar am eter s   to   tr ain   th DNN  a n d   L STM   m o d els  to   e n h an ce   it  an d   g et  th b est  p er f o r m an ce   o f   th DNN  an d   L STM   m o d els  b ased   o n   m an y   ex p er im en ts   to   ch o o s th b est  s tr u ctu r o f   th DNN  an d   L STM .   Ap p ly in g   t h p r o ce s s   o f   tr ain in g   th m o d el  with   th wr ite  h y p er - p ar a m eter s   is   b ased   o n   ex p er im en ts   an d   r esu lts   b y   tr i al  an d   er r o r .   I d ep e n d s   o n   th e   ex p er ien ce   with   m an y   ex p e r im en ts   b y   tu n in g   th e   class if ier   m o d el,   it  tak es   tim an d   ef f o r to   tu n th h y p e r - p ar am eter s ,   wh en   tu n i n g   h y p er - p ar a m eter s ,   we  h av to   s elec s o m p ar am eter s   with   th co r r ec co n f ig u r atio n   f o r   ea ch   p ar am ete r   o n e   at  tim an d   th en   co n tin u to   co n f i g u r t h n ex p ar am eter   an d   s o   o n   to   g et  t h e   b est p er f o r m an ce   y o u   a r lo o k in g   f o r   [ 2 3 ] .     3 . 1 .    Dee neura l net wo rk s   e x perim ent s   a nd   re s ults   T h DNN  alg o r ith m   was  u s ed   to   cr ea te  th class if ier   m o d el,   we  ap p lied   th cr o s s - v alid atio n   m eth o d .   B ased   o n   s ev er al  ex p e r im en ts ,   we  s tar ted   b y   d ef in in g   th b aselin ar ch itectu r to   s tar b u ild in g   th m o d el  o f   th d ee p   n eu r al  n etwo r k s   m o d el  with   th h y p er - p ar am eter s   s p ec if ied .   T h b aselin ar c h itectu r th at  was  u s ed   to   s tar b u ild in g   th DNN  m o d el:  f u lly   co n n ec ted   n eu r al  n etwo r k   with   th r ee   h id d e n   lay er s   with   3 1   n eu r o n s   in   ea ch   h id d en   lay er ,   r esp ec ti v ely ,   th e   ac tiv atio n   f u n ctio n   f o r   ea c h   lay e r   was  r ec tifie d   lin ea r   u n it  ( R eL U ) ,   th e   d r o p o u was  0 . 5 ,   f o r   th e   o p ti m izer   was  Ad am ,   th ep o c h s   was  5 0 ,   an d   th b atch   s ize  was  3 2 .   T h r esu lts   f o r   th b aselin wer ac cu r ac y 8 8 . 5 4 ,   s en s itiv ity 8 7 . 5 0 ,   an d   s p ec if icity 8 9 . 5 8 .   T h f o llo wi n g   ex p er im e n ts   wer e   p er f o r m ed   to   g et  th b est s tr u c tu r f o r   th DNN  m o d el.     3 . 1 . 1 .   T un t he  nu m ber  o f   hid den ne uro ns   in ea ch  h idd e n la y er   T h f o llo win g   e x p er im e n ts   wer u s ed   to   tu n t h n u m b er   o f   h id d e n   n e u r o n s   in   ea c h   h i d d en   lay er .   T ab le  1   d is p lay s   th ex p er im en r esu lts   o n   d if f er en n u m b er s   o f   h id d en   n eu r o n s .   W h en   u s in g   7 8 ,   1 0 9 ,   1 2 4 ,   1 5 5 ,   an d   1 7 1   h id d e n   n eu r o n s   in   th th r ee   h id d e n   lay er s ,   we  test ed   th ese  n eu r o n s   with   ep o ch s   ( 5 0 ) ,   an d   b atch   s ize  ( 3 2 ) ,   th b est  r esu lt  o cc u r r ed   wh en   we  u s ed   th 1 2 4   h id d en   n eu r o n s ,   th er was  an   i m p r o v e m en in   th e   r esu lts   u n til  we  r ea ch ed   th e   1 2 4   h id d en   n eu r o n s   u s ed   in   t h e   DNN  m o d el,   af ter   ( 1 2 4 )   we  n o ted   th at  th e r was  n o   im p r o v em e n t in   th r esu lts ,   we  co n clu d e d   th at  ( 1 2 4 )   h id d en   n eu r o n s   u s ed   in   th DNN  m o d el  was th b est.       T ab le  1 .   T h h id d en   n e u r o n s   ex p er im en f o r   DNN   N u mb e r   o f   h i d d e n   n e u r o n s     A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   78   9 0 . 1 0   9 1 . 6 6   8 8 . 5 4   1 0 9   8 9 . 0 6   8 8 . 5 4   8 9 . 5 8   1 2 4   9 1 . 1 4   8 8 . 5 4   9 3 . 7 5   1 5 5   8 8 . 5 4   9 2 . 7 0   8 4 . 3 7   1 7 1   8 7 . 5 0   9 4 . 7 9   8 0 . 2 0       3 . 1 . 2 .   T un t he  nu m ber  o f   hid den la y er s   T h f o llo win g   e x p er im en ts   w er u s ed   t o   tu n e   th n u m b er   o f   h i d d en   lay er s .   T a b le  2   d is p lay s   th e   ex p er im en r esu lts   o n   d if f e r e n n u m b er s   o f   h id d en   lay er s .   W h en   u s in g   3 ,   4 ,   5 ,   6 ,   a n d   7   h id d en   lay e r s ,   we  test ed   th ese  h id d en   la y er s   with   ( 1 2 4 )   h id d en   n eu r o n s   in   e ac h   h id d en   lay e r   r esp ec tiv ely ,   ep o ch s   ( 5 0 ) ,   an d   b atch   s ize  ( 3 2 ) ,   th b est  r esu lt  o cc u r r e d   wh e n   we  u s ed   t h r ee   h id d en   lay er s ,   we  c o n clu d e d   th at  th n u m b er   o f   h id d en   lay e r s   u s ed   in   th D NN  m o d el  was  th b est,  as  th er was  n o   im p r o v em en i n   th r esu lts   wh en   in cr ea s in g   th n u m b er   o f   h id d en   lay er s .         T ab le  2 .   Nu m b er   o f   h id d en   la y er s   ex p er im e n t f o r   DNN   N u mb e r   o f   h i d d e n   l a y e r s     A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   3   9 1 . 1 4   8 8 . 5 4   9 3 . 7 5   4   8 6 . 9 7   8 9 . 5 8   8 4 . 3 7   5   8 5 . 4 1   9 0 . 6 2   8 0 . 2 0   6   7 9 . 6 8   9 6 . 8 7   6 2 . 5 0   7   7 2 . 9 1   9 5 . 8 3   5 0 . 0 0     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Dee p   lea r n in g   fo r   p r ed ictin g   d r u g - r ela ted   p r o b lems in   d ia b etes p a tien ts   ( F a tima   M.  S ma d i )   3003   3 . 1 . 3 .   T un t he  E po ch s   f o DNN   T h f o llo win g   e x p er im en ts   w er u s ed   to   tu n th ep o ch s .   T ab le  3   d is p lay s   th ex p er im en t   r esu lts   o n   d if f er en E p o ch s .   W h en   u s in g   5 0 ,   2 0 0 ,   3 0 0 ,   4 0 0 ,   an d   5 0 0   e p o ch s ,   we  test ed   th ese  ep o ch s   with   ( 1 2 4 )   h id d e n   n eu r o n s   in   ea ch   h id d en   lay e r   r esp ec tiv ely ,   with   th r ee   h i d d en   lay er s ,   an d   b atch   s ize  ( 3 2 ) ,   th b est  r esu lt   o cc u r r e d   wh en   we  u s ed   4 0 0   e p o ch s ,   th er e   was  an   im p r o v em en in   th r esu lts   u n til  we  r ea c h ed   th 4 0 0   ep o c h s   in   th DNN  m o d el,   af ter   4 0 0   ep o ch s ,   we  n o ted   t h at  th er e   was  n o   im p r o v em e n in   t h r es u lts ,   we  co n clu d e d   th at  ( 4 0 0 )   ep o ch s   u s ed   in   t h DNN  m o d el  wer th b est.       T ab le  3 .   Nu m b er   o f   E p o ch s   ex p er im en f o r   DNN   N u mb e r   o f   E p o c h s     A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   50   9 1 . 1 4   8 8 . 5 4   9 3 . 7 5   2 0 0   9 5 . 3 1   9 7 . 9 1   9 2 . 7 0   3 0 0   9 4 . 7 9   9 4 . 7 9   9 4 . 7 9   4 0 0   9 5 . 5 7   9 5 . 3 1   9 5 . 8 3   5 0 0   9 2 . 7 0   9 5 . 8 3   8 9 . 5 8       3 . 1 . 4 .   T un t he  ba t ch  s ize  f o DNN   T h f o llo win g   ex p er im e n ts   w er u s ed   to   t u n e   th b atch   s ize .   T ab le   4   d is p lay s   th e   ex p e r im en r esu lts   o n   d i f f er en t   b atch   s izes .   W h en   u s in g   1 6 ,   3 2 ,   6 4 ,   1 2 8 ,   a n d   2 5 6   b atch   s ize,   we  test ed   th e s b atch   s izes  with   ( 1 2 4 )   h i d d en   n e u r o n s   in   ea ch   h id d en   lay er   r esp ec tiv ely ,   wit h   th r ee   h i d d en   lay er s ,   an d   ep o ch s   ( 4 0 0 ) ,   th e   b est  r esu lt  o cc u r r e d   wh en   we  u s ed   3 2   b atch   s ize ,   we  c o n clu d e d   t h at  th 3 2 - b atch   s ize  u s ed   in   th DNN  m o d el  was  th b est,  as th er was n o   im p r o v em en t in   th r esu lts   wh en   te s tin g   d if f er en t e p o ch s .       T ab le  4 .   Nu m b er   o f   b atch   s ize  ex p er im en f o r   DNN   N u mb e r   o f   b a t c h   si z e     A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   16   9 4 . 7 9   9 4 . 7 9   9 4 . 7 9   32   9 5 . 5 7   9 5 . 3 1   9 5 . 8 3   64   9 5 . 3 1   9 8 . 9 5   9 1 . 6 6   1 2 8   9 6 . 8 7   9 8 . 9 5   9 4 . 7 9   2 5 6   9 2 . 7 0   9 6 . 8 7   8 8 . 5 4       3 . 1 . 5 .   T un t he  dro po ut  r a t f o DNN   T h e   f o l l o w i n g   e x p e r i m e n t s   we r e   u s e d   t o   t u n e   t h e   d r o p o u t .   T a b l e   5   d i s p l a y s   t h e   e x p e r i m e n t   r e s u l ts     o n   d i f f e r e n t   d r o p o u t   r a t es .   W h e n   u s i n g   2 0 % ,   3 0 % ,   4 0 % ,   a n d   5 0 %   d r o p o u t   r a t es ,   w e   t e s t e d   t h e s e   d r o p o u t s   wi t h   ( 1 2 4 )   h i d d e n   n e u r o n s   i n   e a c h   h i d d e n   l a y e r   r e s p e ct i v e l y ,   w i t h   t h r e e   h i d d e n   l a y e r s ,   a n d   e p o ch s   ( 4 0 0 ) ,   a n d   b a t c h   s i z e   ( 3 2 ) ,   t h e   b e s t   r e s u lt   o c c u r r e d   w h e n   w e   u s e d   5 0 %   ( 0 . 5 )   d r o p o u t   r a t e ,   w e   c o n c l u d e d   t h a t   t h e   0 . 5   d r o p o u t     u s e d   i n   t h e   D N m o d e l   w as  t h e   b e s t ,   as   t h e r e   w a s   n o   im p r o v e m e n t   i n   t h e   r es u l ts   wh e n   t e s ti n g   d i f f e r e n d r o p o u t s .       T ab le  5 .   Nu m b er   o f   d r o p o u t e x p er im en ts   f o r   DNN   N u mb e r   o f   d r o p o u t s     A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   0 . 2   9 5 . 3 1   9 8 . 9 5   9 1 . 6 6   0 . 3   9 6 . 3 5   9 8 . 9 5   9 3 . 7 5   0 . 4   9 3 . 7 5   9 7 . 9 1   8 9 . 5 8   0 . 5   9 5 . 5 7   9 5 . 3 1   9 5 . 8 3       3 . 1 . 6 .   T un t he  a ct iv a t io n f u nct io f o DNN   T h f o llo win g   ex p e r im en ts   wer u s ed   to   tu n th ac ti v atio n   f u n ctio n .   T ab le  6   d i s p lay s   th e   ex p er im en r esu lts   o n   d if f er en ac tiv atio n   f u n ctio n s .   W h en   u s in g   R eL U,   T a n h ,   a n d   Sig m o id   ac tiv atio n   f u n ctio n s ,   we  test ed   th ese  ac ti v atio n   f u n ctio n s   with   ( 1 2 4 )   h i d d en   n eu r o n s   in   ea ch   h id d e n   lay er   r esp ec tiv ely with   th r ee   h id d e n   lay er s ,   an d   ep o ch s   ( 4 0 0 ) ,   d r o p o u ( 0 . 5 ) ,   a n d   b atch   s ize  ( 3 2 ) ,   th b est  r esu lt  o cc u r r ed   wh e n   we  u s ed   R e L ac tiv atio n   f u n ctio n ,   we  co n cl u d ed   th at  th R eL ac tiv atio n   f u n ctio n   u s e d   in   th DNN  m o d el  was  th b est,  a s   th er was   n o   im p r o v em en in   th r esu lts   wh en   test in g   d if f er en ac tiv atio n   f u n ctio n s .   Acc o r d in g ly ,   Fig u r 2   s u m m a r izes th s tr u ctu r o f   DNN.         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   2 9 9 8 - 3 0 0 9   3004   T ab le  6 .   T h ac tiv atio n   f u n cti o n s   ex p er im e n t f o r   DNN   Th e   a c t i v a t i o n   f u n c t i o n   A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   R e L U   9 5 . 5 7   9 5 . 3 1   9 5 . 8 3   Ta n h   9 4 . 2 7   9 5 . 8 3   9 2 . 7 0   S i g m o i d   9 3 . 7 5   9 4 . 7 9   9 2 . 7 0           Fig u r 2 .   T h s tr u ctu r o f   d ee p   n eu r al  n etwo r k s       3 . 2 .     L ST M   net wo rk s   ex perim ent s   a nd   re s ults   B ased   o n   s ev er al  ex p er im en ts ,   we  s tar ted   b y   d ef in in g   th b aselin ar ch itectu r to   s tar b u ild in g   th m o d el  o f   t h L STM   with   th h y p er - p ar am eter s   s p ec if ied .   T h r esu lts   f o r   th b aselin ar ch itectu r wer e   Acc u r ac y 8 6 . 4 5 ,   Sen s itiv ity 8 4 . 3 7 ,   an d   Sp ec i f icity 8 8 . 5 4 .   T h n u m b er   o f   L STM   lay er s   was  ( 3 ) ,   th h id d en   n eu r o n s   wer ( 4 7 )   in   ea ch   L STM   lay er ,   th ep o ch s   wer ( 5 0 ) ,   th b atch   s ize  was  ( 1 6 ) ,   th d r o p o u was  ( 0 . 3 ) ,   an d   th e   o p tim izer   was  Ad am .   T h e   f o llo win g   ex p er im en ts   wer p er f o r m e d   to   g et   th b e s s tr u ctu r f o r   t h L STM   m o d el.       3 . 2 . 1 .   T un t he  nu m ber  o f   hid den ne uro ns   in ea ch  L S T M   la y er s   T h f o llo win g   e x p er im e n ts   wer u s ed   to   tu n t h n u m b er   o f   h id d e n   n e u r o n s   in   ea c h   h i d d en   lay er .   T ab le  7 ,   d is p lay s   th e   ex p e r im e n r esu lts   o n   d if f e r en t n u m b e r s   o f   h i d d en   n eu r o n s .   W h en   u s i n g   3 1 ,   6 2 ,   7 8 ,   1 0 9 ,   an d   1 2 4   h i d d en   n eu r o n s   in   th e   th r ee   h id d en   lay e r s ,   we  test ed   th ese  n eu r o n s   with   ep o c h s   ( 5 0 ) ,   b atch   s ize  ( 1 6 ) ,   an d   d r o p o u t ( 0 . 3 ) ,   th b est r es u lt o cc u r r e d   wh en   we  u s ed   th e   3 1   h id d en   n e u r o n s ,   th e r was a n   im p r o v em en t in   th r esu lts   wh en   test ed   3 1   h i d d en   n eu r o n s   u s ed   i n   th L STM   m o d el,   af ter   ( 3 1 )   we  n o ted   th at  th er e   was  n o   im p r o v em e n t in   th r esu lts ,   we  co n clu d e d   th at  ( 3 1 )   h id d e n   n eu r o n s   u s ed   i n   th L STM   m o d el  was th b est.       T ab le  7 .   T h h id d en   n e u r o n s   ex p er im en f o r   L STM   N u mb e r   o f   h i d d e n   n e u r o n s     A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   31   8 8 . 0 2   8 4 . 3 7   9 1 . 6 6   62   8 4 . 8 9   8 8 . 5 4   8 1 . 2 5   78   8 2 . 8 1   9 1 . 6 6   7 3 . 9 5   1 0 9   8 8 . 0 2   8 5 . 4 1   9 0 . 6 2   1 2 4   8 7 . 5 0   8 4 . 3 7   9 0 . 6 2       3 . 2 . 2 .   T un t he  nu m ber  o f   L ST M   la y er s   T h f o llo win g   e x p er im e n ts   wer u s ed   t o   tu n th e   n u m b er   o f   L STM   h id d en   lay er s .   T a b le  8   d is p lay s   th ex p er im en r esu lts   o n   d if f er en n u m b er s   o f   L STM   h id d en   lay er s .   W h en   u s in g   3 ,   4 ,   5 ,   6 ,   an d   7   L STM   h id d en   la y er s ,   we  test ed   th ese  h id d en   lay er s   with   ( 3 1 )   h id d en   n eu r o n s   in   ea ch   L STM   h id d en   la y er     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Dee p   lea r n in g   fo r   p r ed ictin g   d r u g - r ela ted   p r o b lems in   d ia b etes p a tien ts   ( F a tima   M.  S ma d i )   3005   r esp ec tiv ely ,   ep o c h s   ( 5 0 ) ,   an d   b atch   s ize  ( 1 6 ) ,   a n d   d r o p o u ( 0 . 3 ) ,   th b est  r esu lt  o cc u r r ed   wh en   we  u s ed   f iv e   L STM   h id d en   lay er s ,   th er w as  an   im p r o v em en in   th r esu lts   u n til  we  r ea ch ed   th f iv L STM   lay er s   u s ed   in   th L STM   m o d el,   af te r   f iv e   L STM   lay er s   we  n o ted   th a th er was  n o   im p r o v em en t   in   th e   r esu lts ,   we   co n clu d e d   th at  f iv L STM   lay er s   u s ed   in   th L STM   m o d el  wer th b est.       T ab le  8 .   Nu m b er   o f   h id d en   la y er s   ex p er im e n t f o r   L STM   N u mb e r   o f   LST M   l a y e r   A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   3   8 8 . 0 2   8 4 . 3 7   9 1 . 6 6   4   8 6 . 4 5   9 1 . 6 6   8 1 . 2 5   5   8 8 . 0 2   8 2 . 2 9   9 3 . 7 5   6   8 6 . 9 7   8 3 . 3 3   9 0 . 6 2   7   8 6 . 4 5   8 6 . 4 5   8 6 . 4 5       3 . 2 . 3 .   T un t he  epo chs   f o L ST M     T h f o llo win g   e x p er im en ts   w er u s ed   to   tu n th ep o ch s .   T ab le  9   d is p lay s   th ex p er im en t   r esu lts   o n   d if f er en t   E p o ch s .   W h en   u s in g   5 0 ,   1 0 0 ,   2 0 0 ,   3 0 0 ,   an d   4 0 0   e p o ch s ,   we   test ed   th ese   ep o c h s   with   ( 3 1 )   h id d en   n eu r o n s   in   ea ch   L STM   h id d e n   lay er s   r esp ec tiv ely ,   with   f iv L STM   h id d en   lay er s ,   a n d   b atch   s ize  ( 1 6 ) ,   th e   b est  r esu lt  o cc u r r e d   wh en   we  u s ed   5 0   ep o c h s ,   we  co n clu d ed   th at  th 5 0   ep o ch s   u s ed   i n   th L STM   m o d el   wer th b est,  as th er was n o   im p r o v em e n t in   th r esu lts   wh en   test in g   d if f er e n t e p o c h s .       T ab le  9 .   E p o ch s   ex p er im en t f o r   L STM   N u mb e r   o f   E p o c h s     A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   50   8 8 . 0 2   8 2 . 2 9   9 3 . 7 5   1 0 0   8 8 . 0 2   8 5 . 4 1   9 0 . 6 2   2 0 0   9 0 . 6 2   9 0 . 6 2   9 0 . 6 2   3 0 0   9 0 . 1 0   9 7 . 9 1   8 2 . 2 9   4 0 0   9 2 . 7 0   9 7 . 9 1   8 7 . 5 0       3 . 2 . 4 .   T un t he  ba t ch  s ize  f o L ST M     T h f o llo win g   ex p er im en ts   wer u s ed   to   tu n t h b atc h   s ize.   T ab le  1 0   d is p lay s   th e   ex p er im e n r esu lts   o n   d if f er e n b atch   s ize s .   W h en   u s in g   1 6 ,   3 2 ,   6 4 ,   1 2 8 ,   an d   2 5 6   b atch   s ize ,   we  test ed   th ese  b atch   s izes  with   ( 3 1 )   h i d d en   n eu r o n s   in   e ac h   L STM   h id d en   la y er s   r esp ec tiv ely ,   with   f iv L STM   h id d en   lay er s ,   d r o p o u ( 0 . 3 ) ,   an d   e p o ch s   ( 5 0 ) ,   th e   b es r esu lt  o cc u r r ed   wh en   we  u s ed   3 2   b atc h   s ize,   th e r was  a n   i m p r o v e m en in   th e   r esu lts   wh en   test ed   3 2   b atc h   s ize  u s ed   in   th L STM   m o d el,   af ter   ( 3 2 )   we  n o ted   th at  th er was  n o   im p r o v em e n t in   th r esu lts ,   we  co n clu d e d   th at  ( 3 2 )   b atch   s ize  u s ed   in   th L STM   m o d el  wa s   th b est.       T ab le  10.   B atch   s ize  ex p e r im e n t f o r   L STM   N u mb e r   o f   b a t c h   si z e     A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   16   8 8 . 0 2   8 2 . 2 9   9 3 . 7 5   32   8 6 . 9 7   7 9 . 1 6   9 4 . 7 9   64   8 5 . 9 3   8 0 . 2 0   9 1 . 6 6   1 2 8   8 4 . 8 9   8 5 . 4 1   8 4 . 3 7   2 5 6   8 4 . 8 9   8 3 . 3 3   8 6 . 4 5       3 . 2 . 5 .   T un t he  dro po ut  ra t f o L ST M     T h f o llo win g   ex p er im en ts   w er u s ed   to   tu n th e   d r o p o u t.  T ab le  1 1   d is p lay s   th ex p er i m en r esu lts   o n   d i f f er en t   d r o p o u r ates.  W h en   u s in g   2 0 %,  3 0 %,   4 0 %,  a n d   5 0 d r o p o u r ates,  we   test ed   th ese  d r o p o u ts   with   ( 3 1 )   h id d e n   n eu r o n s   in   ea ch   L STM   h id d en   lay er s   r e s p ec tiv ely ,   with   f iv L STM   h id d en   lay er s ,   an d   ep o ch s   ( 5 0 ) ,   an d   b atch   s ize  ( 3 2 ) ,   th e   b est  r esu lt  o cc u r r ed   wh en   we  u s ed   4 0 ( 0 . 4 )   d r o p o u r ate,   t h er was  a n   im p r o v em e n in   th r esu lts   wh en   test ed   0 . 4   d r o p o u ts   u s ed   in   th L STM   m o d el,   af te r   ( 0 . 4 )   we  n o ted   th at  th e r e   was  n o   im p r o v em e n in   th e   r e s u lts ,   we  co n clu d ed   th at  ( 0 . 4 )   d r o p o u u s ed   in   th L STM   m o d el  was  th b est.   Acc o r d in g ly ,   Fig u r 3   s u m m a r izes th s tr u ctu r o f   L STM .   Af ter   tr y in g   m an y   ex p er im e n t s   to   f in d   o u th b est  s tr u ctu r e,   th tr ials   s h o wed   th at  th b est  s tr u ctu r f o r   th e   DNN  alg o r ith m   was  w h en   u s in g   1 2 4   h id d en   n e u r o n s   in   th r ee   h id d en   la y er s ,   with   a   d r o p o u r ate   o f   0 . 5 ,   ep o ch s   ( 4 0 0 ) ,   b atch   s ize  ( 3 2 ) ,   an d   R eL ac tiv atio n   f u n ctio n .   Als o ,   th tr ials   s h o wed   th at  th b est s tr u ctu r f o r   th L STM   alg o r ith m   was  wh en   u s in g   3 1   h i d d en   n eu r o n s   in   f iv L STM   h id d e n   lay er s ,   with   d r o p o u t   r ate  0 . 4 ,   ep o ch s   ( 5 0 ) ,   an d   b atch   s ize  ( 3 2 ) .   s im ilar   s p ec if icity   ac h iev ed   b y   th DNN  a n d   L STM   m o d els  is   o b s er v ed .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   2 9 9 8 - 3 0 0 9   3006   W h er ea s   th ac cu r ac y   an d   t h e   s en s itiv ity   f o r   th DNN  m o d el  wer h ig h er   th a n   th L ST m o d el.   T ab le  1 2   d em o n s tr ates th r esu lts   f o r   t h DNN  an d   L STM   to   g et  th e   b est s tr u ctu r e.       T ab le  1 1 .   N u m b er   d r o p o u t e x p er im en t f o r   L STM   N u mb e r   o f   d r o p o u t s     A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   0 . 2   8 6 . 9 7   8 1 . 2 5   9 2 . 7 0   0 . 3   8 6 . 9 7   7 9 . 1 6   9 4 . 7 9   0 . 4   8 7 . 5 0   7 9 . 1 6   9 5 . 8 3   0 . 5   8 6 . 4 5   7 9 . 1 6   9 3 . 7 5           Fig u r 3 .   T h s tr u ctu r o f   lo n g - s h o r t te r m   m e m o r y   n etwo r k s       T ab le  1 2 .   Su m m ar y   o f   th e   r esu lts   o b tain ed   b y   DNN  an d   L S T b est s tr u ctu r e   C l a s si f i e r s   H y p e r p a r a me t e r s   O p t i o n s   A c c u r a c y   %   S e n s i t i v i t y   %   S p e c i f i c i t y   %   DNN   N o .   o f   h i d d e n   n e u r o n s   [ 7 8 , 1 0 9 , 124 , 1 5 5 , 1 7 1 ]   9 1 . 1 4   8 8 . 5 4   9 3 . 7 5   N o .   o f   h i d d e n   l a y e r s   [ 3 , 4 , 5 , 6 , 7 ]   9 1 . 1 4   8 8 . 5 4   9 3 . 7 5   Ep o c h s   [ 5 0 , 2 0 0 , 3 0 0 , 4 0 0 , 5 0 0 ]   9 5 . 5 7   9 5 . 3 1   9 5 . 8 3   B a t c h   si z e   [ 1 6 , 32 , 6 4 , 1 2 8 , 2 5 6 ]   9 5 . 5 7   9 5 . 3 1   9 5 . 8 3   D r o p o u t   [ 0 . 2 , 0 . 3 , 0 . 4 , 0 . 5 ]   9 5 . 5 7   9 5 . 3 1   9 5 . 8 3   A c t i v a t i o n   f u n c t i o n   [ R e L U ,   T a n h ,   S i g m o i d ]   9 5 . 5 7   9 5 . 3 1   9 5 . 8 3   DNN  b e st   st r u c t u r e   [ 1 2 4 , 3 , 4 0 0 , 3 2 , 0 . 5 ]   9 5 . 5 7   9 5 . 3 1   9 5 . 8 3   LSTM   N o .   o f   h i d d e n   n e u r o n s   [ 31 ,   6 2 , 7 8 , 1 0 9 , 1 2 4 ]   8 8 . 0 2   8 4 . 3 7   9 1 . 6 6   N o .   o f   LST M   l a y e r s   [ 3 , 4 , 5 , 6 , 7 ]   8 8 . 0 2   8 2 . 2 9   9 3 . 7 5   Ep o c h s   [ 50 , 1 0 0 , 2 0 0 , 3 0 0 , 4 0 0 ]   8 8 . 0 2   8 2 . 2 9   9 3 . 7 5   B a t c h   si z e   [ 1 6 , 32 , 6 4 , 1 2 8 , 2 5 6 ]   8 6 . 9 7   7 9 . 1 6   9 4 . 7 9   D r o p o u t   [ 0 . 2 , 0 . 3 , 0 . 4 , 0 . 5 ]   8 7 . 5 0   7 9 . 1 6   9 5 . 8 3   L S T M   b e st   st r u c t u r e   [ 3 1 , 5 , 5 0 , 3 2 , 0 . 4 ]   8 7 . 5 0   7 9 . 1 6   9 5 . 8 3       T h f in d in g s   o f   t h is   s tu d y   in d icate   th at  th e   o b tain ed   r esu lts   s h o wed   th at   th b est  s tr u ctu r f o r   t h e   DNN  alg o r ith m   was w h en   u s in g   1 2 4   h id d en   n e u r o n s   in   th r e h id d en   lay e r s ,   with   d r o p o u t r ate  o f   0 . 5 ,   ep o c h s   ( 4 0 0 ) ,   b atch   s ize  ( 3 2 ) ,   a n d   R eL ac tiv atio n   f u n ctio n .   Als o ,   th b est  s tr u ctu r e   f o r   th L STM   alg o r ith m   was  wh en   u s in g   3 1   h id d en   n e u r o n s   in   f iv e   L STM   h id d en   lay er s ,   with   a   d r o p o u t   r ate   ( 0 . 4 ) ,   ep o ch s   ( 5 0 ) ,   a n d   b atch   s ize  ( 3 2 ) .   Ad d itio n ally ,   t h ex p er im en t   r esu lts   s h o wed   t h at  th e   DNN  o b tain e d   a n   a cc u r ac y   o f   9 5 . 5 7 %,   s en s itiv ity   o f   9 5 . 3 1 %,  an d   s p ec if icity   o f   9 5 . 8 3 %.  On   th o th er   h an d ,   th L STM   o b tain ed   an   ac cu r ac y   o f   8 7 . 5 0 %,   s en s itiv ity   o f   7 9 . 1 6 %,  an d   s p ec if icity   o f   9 5 . 8 3 %.   Af ter   co m p ar in g   th e   r esu lts   f o r   th e   d ee p   lear n in g   m o d els  an d   th m ac h in lear n in g   alg o r ith m s   p ar ticu lar ly   th r an d o m   f o r ests   f o r   p r ed ict in g   th d r u g - r elate d     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Dee p   lea r n in g   fo r   p r ed ictin g   d r u g - r ela ted   p r o b lems in   d ia b etes p a tien ts   ( F a tima   M.  S ma d i )   3007   p r o b lem s   ( DR Ps )   s tatu s   ap p lie d   in   [ 2 1 ] ,   t h r a n d o m   f o r ests   alg o r ith m   o u tp er f o r m e d   th e   d e ep   lear n in g   m o d els  in   ter m s   o f   ac cu r ac y   a n d   s en s itiv ity   wh en   wo r k in g   with   tab u lar   d ata  in   class if icatio n   task s .   I n   th h ea lth ca r e   f ield ,   ac cu r ac y   is   ess en tial.  C h o o s in g   th ap p r o p r iate  m o d e f o r   th d ata  ca n   h av m ajo r   ef f ec o n   p atien t   o u tco m es.  Ou r   s tu d y   r ec o m m en d s   th at  p h ar m ac is ts   s h o u ld   u s m ac h in lear n in g   m eth o d s   wh en   wo r k in g   o n   id en tify in g   t h DR Ps   s ta tu s   o f   d iab etic  p atien ts   f o r   class if icatio n   task s   in   h ea lth ca r to   in c r ea s th q u ality   o f   h ea lth ca r s er v ices a n d   i d en tif y   th DR Ps   s tatu s   f o r   d iab etic  p atien ts .   T h p r im ar y   o b jectiv o f   th is   s tu d y   was  to   ap p ly   d ee p   lear n i n g   m o d els  to   p r ed ict  th DR P s   s tatu s   o f   d iab etes  p atien ts .   W in v esti g ate  th b est  s tr u ctu r o f   th e   DNN  an d   L STM   to   p r e d ict  th s tatu s   o f   d r u g - r elate d   p r o b lem s .   Mo r e o v er ,   t o   f in d   o u th ef f ec o f   ap p ly i n g   d ee p   lear n in g   co m p a r ed   with   m ac h in lear n in g   m eth o d s .   Ad d itio n ally ,   wh eth er   to   ap p ly   d ee p   lear n in g   m o d els  o r   m ac h in lear n in g   m et h o d s   wh en   d ea lin g   with   tab u lar   d ata  f o r   class if icatio n   an d   to   f in d   o u wh ic h   will  g iv h i g h   p er f o r m an c e   f o r   ta b u lar   d ata  co m p ar ed   with   th s tu d y   in   [ 2 1 ] .   C h o o s in g   th r ig h t m o d el  f o r   t h tab u lar   d ata  d ep en d s   o n   o u r   u n d er s tan d i n g   o f   th n atu r o f   th d ata,   wh eth er   to   u s d ee p   lear n i n g   o r   m ac h in lear n in g .   As  d em o n s tr ated   in   th s tu d y   [ 1 6 ] ,   th au th o r s   co m p a r ed   tr ee   en s em b le  m o d els s u ch   as XG B o o s t   with   d ee p   lear n in g   m o d els to   d eter m in wh ich   p e r f o r m s   b etter   r esu lts   f o r   ta b u lar   d ata.   T h eir   r esu lts   s h o wed   th at   th e   XGBo o s o u t p er f o r m s   th e   d ee p   lear n i n g   m o d els  an d   r e q u ir es  m u ch   less   tu n in g .   T h er ef o r e,   i n s tead   o f   ap p l y in g   d ee p   lear n i n g   m o d els  wh en   wo r k in g   with   tab u lar   d ata,   t h ey   r ec o m m en d   u s in g   en s em b le   m o d els.  Ad d itio n ally ,   o u r   r es u lts   s h o th at  m ac h in lea r n i n g ,   p ar ticu lar ly   th r an d o m   f o r ests   m eth o d   a p p lie d   in   [ 2 1 ] ,   p er f o r m e d   b etter   th an   p r ev io u s   s tu d ies  with   h ig h   ac cu r ac y   ( 9 7 . 3 9 %),   s p ec if icity   ( 9 5 . 8 3 %),   a n d   s en s itiv ity   ( 9 8 . 9 5 %)  as  s h o wn   in   T ab le  1 3 .   T ab le  1 3 ,   s u m m ar iz es  th p er f o r m an ce   co m p ar is o n   o f   d ee p   lear n i n g   a n d   m ac h i n lear n in g   with   p r e v io u s   s tu d ies.   Acc o r d in g   to   Al - R ad aid eh   et   a l.   [ 2 1 ] ,   th r an d o m   f o r ests   m eth o d   ac h iev ed   th f o llo w in g   r esu lts   ac cu r ac y   o f   9 7 . 3 9 %,  s en s itiv ity   o f   9 8 . 9 5 %,  an d   s p ec if icity   o f   9 5 . 8 3 % ) .   I n   t h is   s tu d y ,   th e   ex p er im e n r esu lts   s h o wed   th at   th DNN  o b tain ed   an   ac cu r ac y   o f   9 5 . 5 7 %,  s en s itiv ity   o f   9 5 . 3 1 %,  a n d   s p e cif icity   o f   9 5 . 8 3 %.   Ad d itio n ally ,   th L STM   o b tain ed   an   ac cu r ac y   o f   8 7 . 5 0 %,  s en s itiv ity   o f   7 9 . 1 6 %,  an d   s p e cif icity   o f   9 5 . 8 3 %.   W h en   co m p a r in g   th e   r esu lts   o f   th e   DNN  an d   L STM   with   th e   r an d o m   f o r ests   r esu lts ,   we  n o ted   th at  th e   r an d o m   f o r ests   alg o r ith m   ap p l ied   in   [ 2 1 ]   h as  ac h iev ed   th s am s p ec if icity   m etr ic  r esu lts   co m p ar ed   with   th e   DNN  an d   L STM   m o d els  as  s h o wn   in   T ab le  1 3 .   Ad d itio n ally ,   we  n o ted   th at  th r an d o m   f o r ests   o u tp er f o r m ed   th r esu lts   o f   th DNN  i n   ter m s   o f   ac c u r ac y   with   a n   in cr e ase  o f   ( 1 . 8 2 %)  an d   s en s itiv ity   with   an   in cr ea s o f   ( 3 . 6 4 ) .   Als o ,   it  o u tp er f o r m ed   th r esu lts   o f   th L STM   in   ter m s   o f   ac cu r ac y   with   an   in cr e ase  o f   ( 9 . 8 9 %)  an d   s en s itiv ity   with   an   in cr ea s o f   ( 1 9 . 7 9 %).     As  r esu lt,  wh en   co m p ar in g   th r esu lts ,   it  was  f o u n d   th at  u s in g   m ac h in lear n i n g   alg o r ith m s   p ar ticu lar ly   th r an d o m   f o r ests   u s ed   in   [ 2 1 ]   to   p r e d ict  th DR Ps   s tatu s   o b tain ed   th b est  r esu lts   co m p ar ed   to   th d ee p   lear n in g   m o d els  in   ter m s   o f   ac cu r ac y   an d   s en s itiv ity   wh en   wo r k in g   with   tab u lar   d ata  in   class if icatio n   task s .   C o m p ar ed   to   d ee p   lear n in g   m o d els,  th m ac h in lear n i n g   alg o r ith m s   ap p lied   in   [ 2 1 ]   ap p ea r   to   b e   m o r e   ef f ec tiv e   an d   o f f er   a   s ig n if ican im p r o v e m en o v e r   p r ev io u s   d ee p   lea r n in g   m o d els  in   ter m s   o f   ac cu r a cy   an d   s en s itiv ity   a s   well  as  im p r o v ed   o u tco m e s .   I n   ad d itio n ,   tu n in g   th d e ep   lear n in g   h y p er - p ar am eter s   to   ac h iev e   th e   b est  s tr u ctu r e   is   c o m p lex   p r o ce s s   th at  d ep e n d s   o n   tr ial  an d   er r o r   a n d   r eq u ir es   tim e   an d   ef f o r t.   I also   r eq u ir es  l o n g   r u n - tim to   tr ain   th m o d el,   u n lik m ac h in lear n in g   wh ich   r eq u ir es  less   tim an d   ef f o r t.    T h d ata  u s ed   in   th is   s tu d y   was  co llected   f r o m   s ix   m ajo r   h o s p itals   in   J o r d a n .   B ec au s o f   th is   r eg io n al  r estrictio n ,   t h d ataset  m ay   b s k ewe d   to war d   th p ar ticu lar   r eg io n s   wh er th ese  h o s p itals   ar lo ca ted   an d   m i g h n o r ep r esen t   lar g e   p o p u latio n s ,   s u ch   as  th o s e   in   t h US.   Fu tu r r esear c h   s h o u ld   ex p a n d   th d ata  to   in clu d d ata   f r o m   o th er   r eg i o n s   an d   p o p u latio n s .   T h is   w ill  im p r o v e   th g en er aliza b ili ty   o f   th m ac h in lear n in g   m eth o d   an d   o f f er   a   d ee p er   u n d er s tan d i n g   o f   d r u g - r elate d   p r o b lem s   ac r o s s   d if f er en g eo g r ap h ic   g r o u p s .       T ab le  1 3 .   p er f o r m an ce   co m p ar is o n   b etwe en   t h ap p lied   d ee p   lear n in g   m o d els an d   p r e v i o u s   s tu d ies   S t u d i e s   M o d e l s   A c c u r a c y   %   S p e c i f i c i t y   %   S e n s i t i v i t y   %   [ 1 0 ]   S t a t i st i c a l   D B N   83   73   87   [ 1 1 ]   DNNs   87   -   -   [ 1 2 ]   DNNs   96   -   -   [ 1 3 ]   DNNs   97   96   97   [ 1 4 ]   LSTM   u s i n g   A R   ( LST M - A R )   84   -   -   [ 1 5 ]   RF   94   -   -   [ 1 7 ]   R F   w i t h   S M O T E - EN N   95   92   98   [ 1 8 ]   DNNs   87   87   88   [ 2 1 ]   RF   97   95   98   O u r   st u d y   ( D N N )   DNNs   95   95   95   O u r   st u d y   ( LSTM )   LSTM   n e t w o r k s   87   95   79     Evaluation Warning : The document was created with Spire.PDF for Python.