I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 ,   p p .   4 5 6 5 ~ 4 5 7 8   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 14 .i 6 . p p 4 5 6 5 - 4 5 7 8          4565     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Em o V i be:  A I - dr i v e n m ul ti m o da l  em o ti o n an a l y s i s   f o r m ent a l  he a l th  v i a  s o c i a l  m ed i a  d a s hbo a rds       Dee pa li Vo ra ,   Ary a n Sha rma ,   M ud it   G a rg ,   Ste v F r a ncis   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e   a n d   En g i n e e r i n g ,   S y m b i o si s   I n st i t u t e   o f   T e c h n o l o g y   P u n e S y mb i o si s I n t e r n a t i o n a l     ( D e e me d   U n i v e r si t y ) ,   P u n e ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma r   1 2 ,   2 0 2 5   R ev is ed   Sep   8 ,   2 0 2 5   Acc ep ted   Oct  1 8 ,   2 0 2 5       M o n i to ri n g   m e n tal  h e a lt h   v ia   so c ial  m e d ia  o ften   u t il ize s   u n imo d a l   a p p ro a c h e s,   su c h   a se n ti m e n t   a n a ly sis   o n   tex t   o r   sin g le - sta g e d   ima g e   c a teg o riza ti o n ,   o r   e x e c u tes   e a rl y   fe a tu re   f u sio n .   Ho we v e r,   in   re a l - wo rld   c o n tex ts  w h e re   e m o ti o n a re   c o n v e y e d   v ia  te x t,   e m o ji s,   a n d   ima g e s,  u n imo d a a p p r o a c h   lea d to   o b sc u re d   d e c isio n - m a k in g   p a t h wa y a n d   o v e ra ll   d imin ish e d   p e rfo rm a n c e .   T o   o v e rc o m e   th e se   li m it a ti o n s,   we   p r o p o se   Emo Vib e ,   a   h y b r id   m u lt imo d a AI  fra m e wo rk   fo e m o ti v e   a n a ly sis.  Emo Vib e   u se a tt e n ti o n - b a se d   la te  fu sio n   stra teg y ,   w h e re   tex e m b e d d i n g s   a re   g e n e ra ted   fro m   b i d irec ti o n a e n c o d e re p re se n tati o n s   fro m   tra n sfo rm e rs  ( BERT )   a n d   v is u a fe a tu re s   a re   e x trac ted   b y   v isio n   tr a n sfo rm e r S u b se q u e n tl y ,   e m o ti c o n   v e c to rs  li n k e d   to   a v a tars   a re   p ro c e ss e d   in d e p e n d e n t ly .   Late r,   t h e se   in d e p e n d e n t   d a ta  fe a tu re a re   i n teg ra te d   a h ig h e lev e ls,  e n h a n c in g   i n terp re tab il it y   a n d   p e rfo rm a n c e .   I n   c o n tras t   to   e a rly   fu sio n   m e th o d a n d   in te g ra ted   m u lt imo d a larg e   lan g u a g e   m o d e l ( LL M s )   li k e   CLIP ,   F lam in g o ,   G P T - 4 V,  M e n taLLaM A,  a n d   d o m a in - a d a p ted   m o d e ls  li k e   Emo BERT a ,   Emo Vi b e   p re se rv e m o d a li ty - s p e c ifi c   c o n tex t with o u p re m a tu re   fu si o n .   T h is  a rc h i tec tu re   sa v e p ro c e ss in g   c o st ,   a ll o win g   f o r   c lea re r,   u n a m b ig u o u ra ti o n a li z a ti o n   a n d   e x p la n a ti o n s.  Emo Vib e   o u t p e rfo rm u n imo d a b a se li n e a n d   e a rly   fu sio n   m o d e ls,  o b tain i n g   8 9 . 7 %   a c c u ra c y   o n   G o Emo ti o n s,   F ER ,   a n d   Affe c tNe t,   c o m p a re d   t o   BER T' 8 7 . 4 %   a n d   Re sN e t - 5 0 ' 8 4 . 2 % ,   re sp e c ti v e ly .   F u rt h e rm o re ,   a   c u sto m iza b le ,   re a l - ti m e ,   p riv a c y - a wa re   d a sh b o a r d   i c re a ted ,   su p p o rt in g   p h y sic ian s   a n d   e n d   u se rs.  Th is  tec h n o lo g y   e n a b les   sc a lab le  a n d   p ro a c ti v e   in terv e n ti o n   o p ti o n s   a n d   fo ste rs  u se se lf - a wa re n e ss   o m e n tal  h e a l th .   K ey w o r d s :   Af f ec tiv s tate  esti m atio n   E m o tio n   d ash b o ar d     Hy b r id   tr an s f e r   lear n in g   L ate - f u s io n   M u l t i m o d a l   e m o t i o n   r e c o g n i t i o n   R ea l - tim m o n ito r in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Dee p ali  Vo r a   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   Sy m b io s is   I n s titu te  o f   T ec h n o l o g y   Pu n e   Sy m b io s is   I n ter n atio n al  ( Dee m ed   Un iv er s ity )     L av ale,   Mu ls h i,  Pu n e,   Ma h ar a s h tr 4 1 2 1 1 5 ,   I n d ia   E m ail: d ee p ali. v o r a@ s itp u n e. ed u . in       1.   I NT RO D UCT I O   Me n tal  h ea lth   is   s ig n if ican co m p o n en o f   f ee lin g   g o o d   h ea lth - wis e.   I in f lu e n ce s   em o tio n al,   p s y ch o lo g ical,   an d   s o cial  f ac to r s   th at  d ictate  h o in d iv i d u als  th in k ,   f e el,   an d   in ter ac t.   W ith   to d ay ' s   v er y   co n n ec ted   d ig ital  er a,   s o cial  m ed ia  s ites   ar p lace s   wh er p e o p le  ca n   ex p r ess   th em s elv es  an d   lear n   [ 1 ] .   W h ile  th ese  s ite s   in cite  d i s cu s s io n ,   th ey   also   cr ea te  d if f er en k in d   o f   s o cial  b o n d in g   th at  f o r ce s   u s   to   co m p ar o u r s elv es  to   o th er s .   C y b er b u lly in g   an d   em o tio n al  d is tr ess   ex ac er b ate  m en tal  h ea lth   is s u es  s u ch   as  d ep r ess io n ,   lo n elin ess ,   an d   a n x iety .   T h e   W o r ld   Hea lth   Or g a n izatio n   es tim ates  th at  alm o s 9 7 0   m illi o n   p eo p le  g l o b ally   a r im p ac ted   b y   m e n tal  h ea lth   d is o r d er s ,   an d   I n d ia  alo n ac c o u n ts   f o r   o v er   1 9 7   m illi o n   c ases ,   in d icatin g   an   u r g en n ee d   f o r   s ca lab le  an d   a cc ess ib le  m en tal  h ea lth   m o n it o r in g   s o lu tio n s   [ 2 ] [ 3 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 4 5 6 5 - 4 5 7 8   4566   So cial  m ed ia  s ites   ar ex p ec ted   to   r ea ch   a   g lo b al  u s er   b ase  o f   6 . 0   b illi o n   b y   2 0 2 8 .   B ein g   d o u b le - ed g ed   s wo r d ,   th ey   en a b le  u s er s   to   ex p r ess   em o tio n s   an d   g ain   ap p r o v al  to   en h an ce   s o cial  co n n ec ted n ess .   On   th o th er   h an d ,   th e y   m ag n if y   th ad v er s p h en o m en o n   o f   s o cial  co m p ar is o n ,   cy b er b u lly in g ,   an d   r elian ce   o n   ex ter n al  ap p r o v al   b y   lik es  an d   co m m e n ts .   T h ese  r elatio n s   wo r s en   p s y ch o l o g ical  d is o r d e r s ,   s u ch   as  an x iety ,   d ep r ess io n ,   a n d   lo s elf - estee m .   Acc o r d in g   to   o n e   s tu d y ,   m an y   in d iv id u als   ex p er ie n ce   m en tal  in s tab ilit y   an d   s elf - d o u b t b ec au s o f   th c u lt u r o f   s o cial  co m p ar is o n   wh ic h   is   en co u r a g ed   o n   th in ter n et   [ 4 ] .   T h ese  b a r r ier s   ar b ec o m in g   m o r an d   m o r well - k n o wn ,   b u th s co p o f   cu r r e n tly   av ailab le  m eth o d s   o f   m en tal  h ea lth   ev alu atio n   r e m ain s   lo w.   Un i m o d al  in f o r m atio n   is   u s ed   in   m o s s tu d ies  an d   th is   ap p r o ac h   f ails   to   ap p r ec iate   th in tr icac y   o f   ex p r ess io n   o f   em o tio n   [ 5 ] Sin g le - im a g e - b ased   em o tio n   d etec tio n   a n d   s en tim en an aly s is   b ased   o n   tex alo n ar ju s two   in s tan ce s   o f   th is .   Ad d itio n ally ,   s in ce   th ese  m o d els  ty p ically   u tili ze   r etr o s p ec tiv ass ess m en ts   in s tead   o f   r e al - tim f u n ctio n ality ,   th ey   m is s   s ig n if ican t   o p p o r tu n ities   f o r   tim ely   in ter v en tio n   [ 6 ] .   Hu m an   f e elin g s   ar n o co n v e y ed   in   s in g le  s en ten ce   d u to   th eir   in ter n al  co m p lex ity .   C u r r en m o d els  ca n n o ef f icie n tly   lev er ag t h elab o r ate  m u ltimo d al  en v ir o n m e n g en e r a ted   wh en   p ictu r o r   em o ji d escr ib es a   u s er ' s   em o tio n al  r esp o n s e   [ 7 ] .   T h is   wo r k   s u g g ests   an   AI   m u ltimo d al  ap p r o ac h   to   id e n tif y in g   em o tio n al  s tates  f r o m   s o cial  m ed ia  em o tico n s ,   im ag es,  an d   tex t.   I ad o p ts   h y b r id   tr an s f er   lea r n in g   to   m atch   in ter - m o d al  f ea tu r es  an d   u tili ze s   s tr o n g er   m o d els  s u c h   as   v is io n   tr a n s f o r m e r s   f o r   im a g es  an d   b id ir ec tio n al   en co d er   r e p r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T )   f o r   tex t.  T h is   ap p r o ac h   ca n   id en tify   c o m p lex   em o tio n al  s tates,  in cl u d in g   co n tr ad icto r y   em o tio n s   o r   am b ig u o u s   ex p r ess io n s ,   f r eq u en tly   o v er lo o k e d   b y   cu r r en m eth o d s .   T h e   r ea l - tim ca p ab ilit y   en ab les  p r o ac tiv m en tal  h ea lt h   s cr ee n in g   an d   tr ea tm en t,  with   p er s o n alize d   b e h av io r al   d a s h b o ar d   m a k in g   it   u s ef u f o r   g en e r al  u s er s   an d   h ea lth ca r p r o v id er s .   T h m o d el  f o llo ws  eth ical  s tan d ar d s   a n d   in clu d es  p r iv ac y - en h an cin g   ca p ab ilit ies f o r   m a n ag in g   s en s itiv u s er   d ata  s ec u r ely .   T h lis t o f   k ey   c o n tr ib u tio n s   o f   th is   wo r k   in clu d es:     E m o Vib is   a   m u ltimo d al  AI   f r am ewo r k   co m b in in g   tex t,   i m ag es,  an d   em o tico n s   th r o u g h   late  f u s io n   f o r   r ea l - tim an d   ac c u r ate  em o tio n   r ec o g n itio n .     Hy b r id   tr an s f er   lear n in g   d esig n ,   in teg r atin g   p r e - tr ain ed   m o d els  ( B E R T ,   R e s Net - 5 0 )   w ith   b e s p o k e   lo n g   s h o r t - ter m   m em o r y   ( L STM )   an d   co n v o lu tio n al  n eu r al  n etwo r k   ( C NN )   d esig n s   to   m ax i m is e   d o m ain - s en s itiv em o tio n   d etec tio n .     An   in n o v ative   r eal - ti m e   s o cial  m ed ia  em o ti o n al  d as h b o a r d   ( S MED)   f o r   in te r activ m o n it o r in g   o f   em o tio n al  tr en d s   an d   tim ely   i n ter v en tio n .     C o m b in in g   p r i v ac y - p r eser v in g   m eth o d s   an d   eth ical  d ata  p r ac tices  to   s ec u r ely   p r o ce s s   s e n s itiv m en tal  h ea lth   d ata.     L ar g e - s ca le  b e n ch m ar k in g   o n   Go E m o tio n s ,   FER,  a n d   Af f ec tNet  d atasets   with   b etter   p er f o r m a n c e   ( ac cu r ac y   o f   u p   to   8 9 . 7 %)  t h a n   u n im o d al  an d   ea r ly   f u s io n   b aselin es.   T h s u g g ested   f r am ewo r k   s ig n if ican tly   ad v a n ce s   co m p r e h e n d in g   an d   en h a n cin g   p s y c h o l o g ical  well - b ein g   in   th d ig ital  ag e,   u tili zin g   c u ttin g - ed g m ac h i n lear n i n g   m o d els  an d   m u ltimo d al  i n teg r a tio n .   T h e   f o llo win g   wer f o u n d   to   b e   th p r i n cip al   r esear ch   q u esti o n s   to   g u id th s tu d y :   i)   R Q1 d esig n   m u lt im o d al  p latf o r m   to   in teg r ate  an d   ass ess   em o tico n s ,   tex t,  an d   im ag es  o n   s o cial  m ed ia  f o r   d etec tin g   b e h av io r al   p atter n s   s u ch   a s   an x iety ,   an g er ,   a n d   d ep r ess io n ii)   R Q2 h y b r id   tr an s f er   lear n in g   is   a p p lied   to   e n h a n ce   ac cu r ac y   an d   r eliab ilit y   in   em o tio n   d etec tio n   in   n u m er o u s   m o d alities an d   iii)  R Q3 d ev elo p   an   em o ti o n al  d ash b o a r d   in   r ea l - tim f o r   c o m p r e h en s iv v is u aliza tio n   th at  en ab les tim ely   an d   c u s to m ized   m en tal  h ea lth   ca r e.   T h is   p ap er   is   d iv id ed   in to   s e v en   s ec tio n s .   Sectio n   2   is   th liter atu r r ev iew .   T h m eth o d o lo g y   is   d escr ib ed   in   s ec tio n   3 .   T h im p lem en tatio n   is   d escr ib ed   i n   s ec tio n   4 .   S ec tio n   5   p r esen ts   th f in d in g s   an d   co m m en ts .   Sectio n   6   p r esen ts   th m ain   c o n clu s io n s   an d   im p licatio n s .   Fin ally ,   s ec tio n   7   o u tlin es  u p co m in g   wo r k ,   an d   f o llo we d   b y   lis t o f   r ef er e n ce s .       2.   L I T E R AT U RE   R E VI E W   T h in ter s ec tio n   o f   AI   an d   m o n ito r in g   o f   m en tal  h ea lth   h as  r esu lted   in   m ass iv r esear ch   in   em o tio n   r ec o g n itio n   u s in g   d ig ital  d ata   o n   lar g s ca le.   E ar lier   r esear ch   u s ed   s in g le - m o d al  d ata ,   s u ch   as  tex an d   im ag es,  to   id en tify   b eh a v io r al  tr aits ,   b u it  f ailed   to   ca p tu r e m o tio n al  ex p r ess io n s   o n   s o cia m ed ia.   Ad v a n ce d   n atu r al  lan g u ag p r o ce s s in g   ( NL P )   an d   co m p u ter   v is io n   m o d els  allo wed   th d e v elo p m en o f   m u ltimo d al  s y s tem s ,   r esu ltin g   in   m o r c o n tex t - b ased   m en tal  h ea lth   m o n i to r in g .   Hy b r id   tr an s f er   lear n i n g   an d   d ata  f u s io n   m eth o d s   ad d r ess   m o d ality - s p ec if ic  s h o r tco m in g s .   L ate  f u s io n   ar c h itectu r es,  f o r   i n s tan ce ,   en h an ce   class if icatio n   ac cu r ac y   b y   alig n in g   in f o r m ati o n   in   tex t,   im ag es,   an d   em o tico n s .   I s s u es  p er s is t,  h o wev er ,   s u ch   as  co m p u tin g   r eq u ir em e n ts ,   p r iv ac y ,   a n d   r ea l - tim an aly s is   ca p ab ilit y .   T ab le  1   ca p tu r es  in f lu en tial  f in d in g s ,   m eth o d o lo g ies,  an d   co n tr ib u tio n s   in   p r io r   wo r k ,   estab lis h in g   th g o als an d   s co p o f   th is   r esear ch .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         E mo V ib e:   A I - d r iven   mu ltimo d a l e mo tio n   a n a lysi s   fo r   men ta l h ea lth   …  ( Dee p a li V o r a )   4567   T ab le  1 .   Su m m a r y   o f   k e y   s tu d ies o n   m u ltimo d al  em o tio n   d et ec tio n   Ref   M e t h o d o l o g y   D a t a s e t   u s e d   P e r f o r ma n c e   Li mi t a t i o n s   M o d a l i t y   u se d   N o so l o g y   f o c u se d   [ 8 ]   B ER T - b a se d   t e x t   su mm a r i z a t i o n   w i t h   d e p r e ss i o n   d e t e c t i o n   D A I C - W O Z   F1 - sc o r e :   0 . 8 1   ( v a l i d a t i o n   set )   To k e n   l e n g t h   l i m i t a t i o n   o f   B ER m o d e l s   Te x t   D e p r e ss i o n   [ 9 ]   H y b r i d   d e e p   l e a r n i n g   mo d e l   c o m b i n i n g   F a st T e x t ,   C N N ,   a n d   LSTM   f o r   d e p r e ss i o n   S o c i a l   me d i a   ( Tw i t t e r ,   R e d d i t )   I mp r o v e d   a c c u r a c y   o v e r   st a t e - of - t h e - a r t   mo d e l s   Li mi t e d   t o   t e x t - b a s e d   d a t a ;   r e q u i r e s   f e a t u r e   e n g i n e e r i n g   Te x t   D e p r e ss i o n   [ 1 0 ]   S i g n a l - i ma g e   e n c o d i n g   w i t h   d e e p   l e a r n i n g   f o r   e mo t i o n a l   st a t e   r e c o g n i t i o n   R e a l - w o r l d   sen s o r   d a t a   9 8 . 5 a c c u r a c y   f o r   e m o t i o n   c l a ss i f i c a t i o n   S mal l   t r a i n i n g   d a t a se t ,   l i mi t e d   t o   se n so r   d a t a   P h y s i o l o g i c a l   sen s o r s,  i ma g e   M e n t a l   w e l l - b e i n g ,   e m o t i o n a l   s t a t e s   [ 1 1 ]   D e e p   l e a r n i n g   w i t h   c o n t e x t u a l   e m o t i o n   d e t e c t i o n   u si n g   i m a g e   d a t a   EM O TI C ,   M S C O C O ,   A D E2 0 K   mA P :   7 9 . 6 %   O n l y   c o n si d e r s   i ma g e   d a t a ,   r e q u i r e s   c o n t e x t u a l   u n d e r s t a n d i n g   I mag e   ( b o d y   l a n g u a g e ,   c o n t e x t )   Emo t i o n   d e t e c t i o n   ( c o n t e x t u a l )   [ 1 2 ]   F u n c t i o n a l   n e t w o r k   c o n n e c t i v i t y   w i t h   d e e p   l e a r n i n g   f o r   me n t a l   h e a l t h   rs - f M R I   d a t a   ( b r a i n   i ma g i n g )   I mp r o v e d   a c c u r a c y   La c k   o f   i n t e r p r e t a b i l i t y   i n   d e e p   l e a r n i n g   mo d e l s   N e u r o i ma g i n g   (rs - f M R I )   M e n t a l   h e a l t h   ( d e p r e ssi o n ,   st r e ss,   a n x i e t y )   [ 1 3 ]   Ti me - e n r i c h e d   m u l t i m o d a l   t r a n sf o r mer f o r   d e p r e ssi o n   d e t e c t i o n   Tw i t t e r ,   R e d d i t ,   mu l t i m o d a l   d a t a se t s   F1 - sc o r e :   0 . 9 3 1   ( Tw i t t e r ) ,   0 . 9 0 2   ( R e d d i t )   R e q u i r e p r e c i s e   t i m e   i n f o r m a t i o n   b e t w e e n   p o st s f o r   o p t i m a l   r e s u l t s   Te x t ,   i m a g e   ( Emo B ER T a ,   C LI P   e mb e d d i n g s)   D e p r e ss i o n   [ 1 4 ]   M a c h i n e   l e a r n i n g   f o r   mu l t i m o d a l   me n t a l   h e a l t h   d e t e c t i o n   ( p a ssi v e   se n si n g )   S o c i a l   me d i a ,   smar t p h o n e s,   w e a r a b l e   d e v i c e s,  a u d i o ,   a n d   v i d e o   V a r i e b y   a p p r o a c h ,   g e n e r a l l y   i m p r o v e w i t h   f u s i o n   R e q u i r e c a r e f u l   f u si o n   o f   f e a t u r e s   f r o m h e t e r o g e n e o u d a t a   Te x t ,   a u d i o ,   v i d e o ,   w e a r a b l e s   M u l t i p l e   men t a l   h e a l t h   d i s o r d e r s   ( d e p r e ssi o n ,   a n d   a n x i e t y )   [ 1 5 ]   M o b i l e - b a s e d   a p p l i c a t i o n   f o r   p r e v e n t i n g   a n d   t r e a t i n g   men t a l   h e a l t h   i ss u e s   M o b i l e   a p p l i c a t i o n   d a t a se t   N o   s p e c i f i c   p e r f o r m a n c e   met r i c s wer e   p r o v i d e d   Li mi t e d   t o   m o b i l e   a p p   f u n c t i o n a l i t y   a n d   a c c e ss  t o   h e a l t h   d e p a r t me n t s   M o b i l e   a p p ,   b e h a v i o r a l   t r a c k i n g   M e n t a l   h e a l t h   d i s o r d e r s i n   a d o l e sce n t s   [ 1 6 ]   B ER T - b a se d   c l a ss i f i c a t i o n   f o r   p h o b i a   su b t y p e i n   t w e e t s   N o v e l   t w e e t   d a t a se t   ( 8 1 1 , 5 6 9   t w e e t s)   F1 - sc o r e :   7 8 . 4 4 ( b i n a r y ) ,   2 4 . 0 1 %   ( mu l t i - c l a ss)   Li mi t e d   t o   t e x t   d a t a ;   n o t   a p p l i c a b l e   t o   a l l   p h o b i a   s u b t y p e s   Te x t   P h o b i a ,   a n x i e t y   [ 1 7 ]   M a c h i n e   l e a r n i n g   f o r   men t a l   h e a l t h   d e t e c t i o n   u si n g   p a ss i v e   se n s i n g   M u l t i p l e   p a ss i v e   s e n s i n g   d a t a se t s   V a r i e s w i t h   t h e   met h o d   a p p l i e d   P r i v a c y   c o n c e r n s:   r e q u i r e s   f u s i o n   o f   mu l t i - s o u r c e   d a t a   Te x t ,   i m a g e ,   a u d i o ,   w e a r a b l e s,   v i d e o   V a r i o u s m e n t a l   h e a l t h   d i so r d e r ( g e n e r a l )   [ 1 8 ]   M a c h i n e   l e a r n i n g   f o r   e mo t i o n   d e t e c t i o n   a n d   sen t i m e n t   a n a l y si s   1 2 3   p a p e r s   r e v i e w e d   V a r i e b y   m e t h o d   Li mi t e d   t o   sen t i m e n t   a n a l y si s ;   d a t a   a n d   a p p l i c a t i o n   d o m a i n - f o c u s e d   Te x t   Emo t i o n   d e t e c t i o n ,   sen t i m e n t   a n a l y si s   [ 1 9 ]   M e n t a l   h e a l t h   a n a l y si i n   so c i a l   me d i a   p o st s (s u r v e y )   S o c i a l   me d i a   ( Tw i t t e r ,   R e d d i t ,   S i n a   W e i b o )   V a r i e b y   m e t h o d   a n d   d a t a se t   La c k s s t a n d a r d i z e d   met r i c a c r o ss   st u d i e s;   s i g n i f i c a n t   v a r i a t i o n i n   a p p r o a c h e s.   Te x t   D e p r e ss i o n ,   st r e ss,   su i c i d e   r i sk   [ 2 0 ]   I n t e r p r e t a b l e   me n t a l   h e a l t h   a n a l y si s   u s i n g   l a r g e   l a n g u a g e   mo d e l s (L LM s)   S o c i a l   me d i a   ( Tw i t t e r ,   R e d d i t )   S t a t e - of - t h e - a r t   i n t e r p r e t a b i l i t y   a n d   a c c u r a c y   R e q u i r e d o ma i n - sp e c i f i c   f i n e - t u n i n g l i m i t e d   o p e n - so u r c e   d a t a se t s   Te x t ,   i m a g e   ( v i a   LL M )   M e n t a l   h e a l t h   ( g e n e r a l )   [ 2 1 ]   M u l t i m o d a l   l e a r n i n g   w i t h   t r a n sf o r mers   f o r   m e n t a l   h e a l t h   a n a l y s i s   S o c i a l   me d i a   a n d   m u l t i m o d a l   d a t a se t s   V a r i e b y   a p p l i c a t i o n   N e e d s   e x t e n s i v e   d a t a   a n d   m u l t i p l e   mo d a l i t i e s ;   c h a l l e n g e s wi t h   i n t e r - mo d a l i t y   Te x t ,   a u d i o ,   i ma g e   G e n e r a l   men t a l   h e a l t h   a n a l y si s   [ 2 2 ]   M u l t i m o d a l   a n a l y s i s fo r   d e p r e ss i o n   d e t e c t i o n   i n   so c i a l   me d i a   Tw i t t e r   ( 8 , 7 7 0   a n n o t a t e d   u sers)   I mp r o v e d   F 1 - sc o r e   o v e r   u n i mo d a l   a p p r o a c h e s   C h a l l e n g e s wi t h   r e a l - t i me   d e p l o y me n t ;   n e e d   f o r   e t h i c a l   d a t a   u sa g e   Te x t ,   i m a g e ,   v i d eo   D e p r e ss i o n ,   su i c i d a l   t e n d e n c i e s       R ec en m u ltimo d al  L L f r a m ewo r k s   h av g r ea tly   im p r o v ed   v is io n - lan g u ag co m p r eh e n s io n .   C L I P   [ 2 3 ]   co n s tr u cts  jo in em b ed d i n g s   v ia  co n tr asti v p r etr ain in g Flam in g o   [ 2 4 ]   in tr o d u ce s   v is u al  co n tex ts   in to   L L Ms  th r o u g h   g ate d   cr o s s - at ten tio n GPT - 4V   [ 2 5 ]   p r o v id es  u n if ied   ap p r o ac h   f o r   m u ltimo d al  r ea s o n in g an d   Me n taL L aM A   [ 1 9 ]   f o cu s es  o n   in ter p r etab ilit y   f o r   m en t al  h ea lth   ev alu atio n .   W h ile  th ese  ap p r o ac h es  ar v alu ab le,   m o s m o d els  u tili ze   ea r ly ,   o r   to k en - le v el  f u s io n ,   wh ich   ten d s   to   d im in is h   m o d ality - s p ec if ic   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 4 5 6 5 - 4 5 7 8   4568   attr ib u tes an d   s u f f er   f r o m   h ig h   co m p u tatio n al  co s ts .   I n   co n tr ast,  E m o Vib u tili ze s   atten tio n - g u id e d   late  f u s io n   to   m ain tain   in d ep en d en h ig h - lev el  em b ed d in g s ,   alig n   th em ,   an d   n eu tr alize   co n f licts   b ef o r m er g i n g .   T h is   also   ap p lies   to   em o tico n   r ep r esen tatio n s ,   wh ich   en a b les  b e tter   in ter p r etab ilit y ,   r ed u ce d   r eso u r ce   u s ag e,   an d   r ea l - tim r esp o n s iv en ess   f o r   clin ician - f ac in g   d ash b o a r d s .   C u r r en r esear ch   h ig h lig h ts   s ev er al  ess en tial  ch allen g es  in   m u ltimo d al  AI   s y s tem s   f o r   m en tal  h ea lth .   Un im o d al  ap p r o ac h es f ail  to   c o n s id er   th co m p lex ity   o f   em o tio n al  ex p r ess io n s   co n v e y ed   t h r o u g h   s ev er al  d ata  ty p es  lead in g   to   im p r ec is o r   lack in g   ju d g m e n ts .   Fu r th er m o r e,   p r iv ac y   an d   eth ical  co n ce r n s   m ak d ata   g ath er in g   a n d   an al y s is   m u ch   m o r co m p lex ,   an d   th lack   o f   r ea l - tim m o n ito r in g   h as  m ad it  m o r d if f icu lt  to   ac q u ick ly .   Fu r th er m o r e,   a lth o u g h   ex is tin g   m u ltimo d al   m o d els  in   [ 1 4 ] [ 1 5 ] [ 1 7 ] [ 1 9 ]   ex h ib it  p o ten tial,  th ey   h a v d if f icu lty   s tr ik in g   c o m p r o m is b etwe en   co m p u tin g   ec o n o m y   an d   ac c u r ac y .   Sin ce   m o d els   f r eq u e n tly   en co u n ter   co n s tr ai n ts   b ec au s o f   th s ca r city   o f   h ig h - q u ality ,   o p e n - s o u r ce   tr ai n in g   d ata  as  in   [ 1 6 ] [ 1 8 ] [ 2 0 ]   t h er is   n o tab l v o id   in   in teg r atin g   lar g e - s ca le,   m u ltimo d al  d atasets .   Fu r th er m o r e ,   m an y   tech n iq u es  ar e   s till   h in d er ed   b y   th e   d if f icu lty   o f   f in e - t u n in g   LLMs   u s in g   d o m ain - s p ec if i d ata   [ 2 1 ] .   T h ese  s h o r tco m in g s   h ig h lig h th e   n ee d   f o r   m u ltimo d al  f r am ewo r k   th at  ad d r ess es  th s ca lab ilit y   an d   in ter p r etab ilit y   o f   AI   s y s tem s   in   r ea l - tim s ce n ar io s   f o r   tr u s two r th y ,   s ca lab le,   an d   m o r ally   s o u n d   m en tal   h ea lth   ev alu atio n .   T h E m o Vib m o d el,   p o s t - f u s io n   m eth o d o lo g y ,   p r eser v es  m o d ality - s p ec if ic   p r o p er ties   wh ile   r eso lv in g   cr o s s - m o d al  co n f li cts  b y   u s in g   atten tio n .   I co m b in es  p r e - tr ain ed   m o d els  s u ch   as  B E R T   an d   R esNet - 5 0   with   cu s to m ized   L STM   an d   C NN  ar ch itectu r with   h ig h   p er f o r m a n ce   an d   lo co m p u tatio n a l   co m p lex ity .   I n ter esti n g ly ,   it  i n co r p o r ates  em o tico n s ,   tex t,  a n d   im ag es  t o   p r o v id e   h ig h   co n tex tu al  s en s itiv ity   to war d s   em o tio n al  cu es.   T h e   f r am ewo r k   is   o p tim ized   f o r   r ea l - tim d ep lo y m en t   with   o p tim ized   p ip elin es  a n d   lig h co n f ig u r atio n s ,   en a b lin g   s ca lab le  an d   r esp o n s iv e   em o ti o n   tr ac k in g .   E m o Vib r e m ed i es  d ef icits   in   f u s io n   s tr ateg y ,   m o d ality   f u s io n ,   in ter p r etab ilit y ,   an d   s ca lab ilit y ,   p r o v i d in g   r o b u s t,  eth ical,   an d   f u ll - f led g e d   s o lu tio n   f o r   AI - b ased   m e n tal  h ea lth   an aly s is   o n   th in ter n et.   Mu ltimo d al  em o tio n   r ec o g n it io n   h as  co m lo n g   way ,   y et  th ex is tin g   m o d els  h av m o d ality   co n f lict,  ex p en s iv co m p u tati o n al  co s t,  lim ited   r ea l - tim p er f o r m a n ce ,   an d   in s ec u r p r i v a cy .   I n   ea r ly   m eth o d s   o f   f u s io n ,   m o d ality - s p ec if ic  k n o wled g is   lik ely   to   b d ilu te d   an d   p er f o r m a n ce   d e g r ad e d .   Mo s m o d els  d o   n o t   f o cu s   o n   em o tico n s ,   wh ich   a r n ee d ed   to   d ec o d n u an ce d   em o tio n al  r esp o n s es  in   s o cial  m ed ia  p o s ts .   T o   m itig ate  th ese  r estrictio n s ,   th e   p r esen r ep o r t   p r o p o s es  s ca lab le,   eth ical  an d   r ea l - tim m u ltimo d al  m o d el  o n   late  f u s io n ,   h y b r id   t r an s f er   lea r n in g   a n d   em o tico n   r o b u s t in te g r atio n   to   e n h an ce   em o tio n al  an aly s is .       3.   M E T H O D   m u ltimo d al  m en tal  h ea lth   a s s es s m en f r am ewo r k   is   en v is io n ed   to   tr a n s ce n d   th s h o r tc o m in g s   o f   u n im o d al  s o lu tio n s   b y   c o m b in in g   s o cial  m e d ia  tex t,  i m ag es,  an d   e m o tico n s .   L e v er ag in g   c u ttin g - ed g m ac h in lear n i n g / d ee p   lear n in g   m eth o d s ,   th s y s tem   will  o f f er   r ea l - tim u s er   m en tal  h ea lth   in s ig h ts   in   ter m s   o f   in d icato r s   o f   a n x iety ,   a n g er ,   an d   d ep r ess io n .   T h r esu ltin g   SME will  v is u ally   r ep r esen em o tio n al  tr en d s   am o n g   u s er s   an d   p r o f ess io n al s ,   en ab lin g   ea r ly   d etec tio n   an d   o n g o in g   m o n ito r in g .   T h d ata   co llectio n   m o d u le  co llects  m u ltimo d al  d ata  th r o u g h   s o cial  m e d ia  API s ,   g r o u p in g   it  b y   e m o tio n al   ca te g o r ies  an d   ap p ly in g   s tan d ar d ized   f o r m ats.  Pre p r o c ess in g   o p er atio n s   ar ap p lied   to   all  m o d ality   ty p es  an d   s tr ict  q u ality   co n tr o l   g u ar an tees  d ata  r eliab ilit y   f o r   ac cu r ate  m o d el  p r e d ictio n s .   T h o v er all  s tr u ctu r o f   th en v is ag ed   E m o Vib e   f r am ewo r k   is   d ep icted   in   Fig u r es 1   an d   2 ,   s h o win g   two   d if f e r en t stag es o f   th p i p elin e.   Fig u r 1   illu s tr ates th e   f ir s p h ase,   s tar tin g   f r o m   th e   d ata  co llectio n   m o d u le.   I is   wh er tex co n te n t,  em o tico n s ,   an d   im ag es  ar e   m in ed   f r o m   s o cial  m ed ia  u s in g   API   in teg r atio n .   T h p r e - p r o ce s s in g   o p er atio n s   ar m o d ality - d ep en d en t:  tex t   d ata  is   to k en ized   an d   p a d d ed ,   im ag es  r esized   an d   a u g m en t ed ,   wh ile  em o tico n s   ar tr an s l ated   in to   s en tim en t   class es.  E ac h   m o d ality   m u s t b clea n ed   an d   n o r m alize d   h e r e   in   p r ep a r atio n   f o r   p ar allel  p r o ce s s in g .   T h p r im ar y   an al y s is   m o d u l e   co m b i n es  a n   L S T M   te x a n a ly s is   m o d el   a n d   C N i m a g a n a ly s is   m o d el.   T r ai n i n g   ea ch   m o d el   i n d i v i d u all y   a n d   f u s i n g   t h ei r   o u t p u ts   i n   a   c r o s s - m o d al   i n te r a cti o n   la y e r   i m p r o v es   th e   s y s t em ' s   a b i lit y   t o   m a k e   ac c u r at e   e m o ti o n al   p r e d i cti o n s .   Pr e - tr ai n e d   m o d els   a r e   o p ti m iz ed   u s i n g   h y b r i d   tr a n s f e r   l ea r n i n g ,   e n s u r i n g   m ax i m u m   s y s t e m   p e r f o r m an ce   o n   r ea l - w o r l d   d at a.   T h m o d el  c an   ca p t u r f i n e - g r ai n e d   e m o ti o n al   p att er n s   t h at   u n i m o d al   s y s t em s   t en d   t o   m is s   d u e   t o   c o m b i n i n g   s e p a r a te   m o d al it y - s p ec i f i c   m o d els  an d   f u s i o n   c o m p o n en t .   Du to   t h ei r   s tat e - of - t h e - a r ca p a cit y   t o   p e r c ei v e   s e m an t ic   n u a n ce s   a n d   co n t ex tu al   r ela ti o n s h i p s ,   p r e - t r ain e d   m o d els   li k e   B E R T   an d   Dis tilB E R T   we r e   u til iz ed   f o r   t ex t   p r o ce s s i n g   [ 2 6 ] .   T h m o d els  wer f in e - tu n ed   f o r   d o m ain - s p ec if ic  u s to   en h an ce   th eir   p e r f o r m an ce   o n   d at asets   s u ch   as  Go E m o tio n s .   Pre - t r ain ed   m o d els  s u ch   as  VGG - 1 6   a n d   R esNet - 5 0   wer em p lo y e d   f o r   im ag e   d ata  to   lev er ag th eir   r o b u s f ea tu r ex tr ac tio n   ab ilit y ,   p ar ticu lar ly   f o r   f ac ial  ex p r ess io n   r ec o g n itio n   [ 2 7 ] .   C u s to m   C NN  an d   L STM   m o d els  wer e   also   cr ea ted   to   s tr ik e   co m p r o m is b etwe en   c o m p u tatio n a ef f ec tiv en ess   an d   f lex ib ilit y   to   s p ec if ic  d ata  p r o p er ties .   T o   im p r o v d o m ain - s p ec if ic  p er f o r m an ce ,   h y b r id   c o n f ig u r atio n s   wer e   cr ea ted   b y   f u s in g   th e   ad v a n tag es o f   p r e - tr ai n ed   m o d els with   u n iq u d esig n s .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         E mo V ib e:   A I - d r iven   mu ltimo d a l e mo tio n   a n a lysi s   fo r   men ta l h ea lth   …  ( Dee p a li V o r a )   4569       Fig u r 1 .   Pro p o s ed   s y s tem   ar c h itectu r e - p h ase  1           Fig u r 2 .   Pro p o s ed   s y s tem   ar c h itectu r e - p h ase  2       Fig u r 2   illu s tr ates  th s ec o n d   s tag e,   i n   wh ich   p r o ce s s ed   in p u ts   ar in p u to   s p ec ialized   m o d el   s tr ea m s an   L STM - b ased   s tr ea m   f o r   s eq u en tial  tex d ata ,   C NN - b ased   s tr ea m   f o r   v is u al  in p u t,  an d   a   s y m b o lic  m ap p in g   s tr ea m   f o r   em o tico n s .   T h ese  s tr ea m s '   o u tp u ts   ar e   in p u t   to   m u ltimo d al  f u s io n   lay er ,   wh er atten tio n - b ased   late  f u s io n   is   p er f o r m ed   to   r eso l v co n f licts   ac r o s s   m o d alities   an d   d y n am ically   weig h   co n tr ib u tio n s   f r o m   ev e r y   s t r ea m .   Ou r   f u s io n   lay er   im p lem en ts   tr an s f o r m er - b ased   s ca led   d o t - p r o d u ct  atten tio n .   Giv en   m o d ality - s p e cif ic  q u er y   Q,   k ey   K,   an d   v alu m atr ices,  we  co m p u te   as i n   ( 1 ) .        ( , , ) =   (  )   ( 1 )     W h er   is   th d im en s io n ality   o f   th k e y   v ec to r s .   W em p lo y   m u lti - h ea d   atten tio n   with   h   p ar allel  h ea d s co n ca ten atin g   an d   lin ea r ly   p r o jectin g   th eir   o u tp u ts to   allo th m o d el  to   jo in tly   atten d   to   in f o r m atio n   f r o m   d if f er en r e p r esen tatio n   s u b s p ac es   [ 2 8 ] .   T h is   co m b in ati o n   m ec h an is m   en s u r es  th at  ev er y   m o d ality ' s   h ig h - lev el  s em an tic  f ea tu r es  ar alig n ed   co n te x tu ally   b ef o r f in al  class if icatio n .   C u r r en tly ,   wh en   co n f lictin g   em o tio n   s co r es  o cc u r   f o r   tex t,  v is io n ,   an d   em o tico n   s tr ea m ,   E m o Vib ca lcu lates  th eir   f in al  p r ed ictio n   as  th av er ag o f   th th r ee   m o d ality   s co r es,  wh ile  m ain tain in g   eq u al  weig h f o r   ea ch   s co r e.   Alth o u g h   th is   ap p r o ac h   p r ev en ts   o v er -   o r   u n d e r - em p h asizin g   an y   o n co n tr i b u tio n ,   it  m ay   m in im ize  u s in g   th m o s d ep en d ab le   m o d ality   u n d er   p ar ticu lar   cir c u m s tan ce s .   As th s y s tem ' s   u s er   in ter f ac e,   th d ash b o ar d   m o d u le  co m b i n es d ata  in s ig h ts   in to   an   attr ac tiv d esig n   th at  d is p lay s   em o tio n al  s h if ts   an d   r ea l - tim b eh av i o r al   tr en d s .   I n   ad d itio n ,   th e   d ash b o ar d   ca n   tr ac k   m etr ics  ac r o s s   s p ec if ic  tim ef r am es  lik d aily ,   wee k ly ,   o r   m o n th l y .   Fo r   co n s u m er s   a n d   m e n tal  h e alth   ex p er ts ,   to o ls   lik lin ch ar ts ,   b ar   g r ap h s ,   an d   tr en d   lin es  d e p ict  em o tio n al  s tates  ac r o s s   tim e,   m ak in g   th e m   an   in d is p en s ab le   d ec is io n - s u p p o r t to o l.   Sin ce   m e n t al   h ea l th   i n f o r m at i o n   is   p e r s o n a l,   t h e   a r c h it ec tu r h as   r o b u s p r i v ac y   a n d   s e c u r ity   c o n t r o ls   to   p r o te ct  u s e r   in f o r m a ti o n .   An o n y m i za ti o n   s y s t em s   e n s u r d at p r iv ac y   b y   eli m i n at in g   p er s o n al   i d e n ti f i er s   d u r i n g   co lle cti o n   [ 2 9 ] .   R o le - b ase d   a cc ess   c o n t r o ls   l im i a cc e s s   to   d ata   t o   t h e   a p p r o v e d   u s e r s ,   w h il en cr y p ti o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 4 5 6 5 - 4 5 7 8   4570   s ec u r es   d at a   w h e n   it   is   tr a n s m itte d   a n d   s t o r e d .   Asi d e   f r o m   o f f er in g   t ec h n ic al   s af eg u ar d s ,   t h e   s y s t em   ad d r ess es   b r o ad er   et h i ca c o n c er n s   r eg a r d in g   its   u s ag e.   T h e   a p p r o a c h   em p l o y s   a d v a n c e d   p r e p r o c ess in g   m et h o d s   th at   en s u r e   s o u n d   d a ta   h a n d li n g   to   a v er t   m is in te r p r eta ti o n   o f   d il ig en tl y   s el ec te d   c o n te n t   o r   i n f la te d   b ias .   B y   s h u n n i n g   a n   o v e r - r eli an ce   o n   an y   m o d a lit y ,   m o d al  c o n te x t u a an al y s is   d ec r e ases   t h e   li k e li h o o d   o f   m is c lass i f i ca ti o n .   A n   e th ica a n d   t r an s p a r en en v i r o n m en f o r   d ea li n g   wit h   s e n s it iv e   m en tal   h ea lt h   i n f o r m a ti o n   is   es ta b lis h e d   b y   h o n es an d   et h ic al   s ta n d a r d s   m a in tai n e d   t h r o u g h   o p e n   u s e r   co n s en p r o ce s s es   [ 3 0 ] .   s y s tem atic  ev alu atio n   p r o ce d u r is   ap p lied   to   th e   f r am ew o r k   to   en s u r its   r eliab ilit y   an d   s tr en g th .   s tr atif ied   tr ain in g - v alid atio n - test in g   r atio   en s u r es  p r o p er   r ep r esen tatio n   o f   all  em o tio n a class es,  an d   cr o s s - v alid atio n   is   em p lo y ed   t o   p r e v en o v e r f itti n g   a n d   p r o v i d b alan ce d   m o d el  ev al u atio n s .   C o n f u s io n   m atr ices   ar an aly ze d   to   i d en tify   a n d   c o r r ec co m m o n   m is class if icati o n s .   T o   co n f ir m   th s y s tem ' s   u s ef u ln ess   in   ac tu al   en v ir o n m en ts ,   its   r ea l - tim p er f o r m an ce   is   also   test ed   i n   d if f e r en d ata  l o ad s ,   m ea s u r in g   laten c y   an d   s ca lab ilit y   [ 3 1 ] .   T h d esig n   an d   ap p licatio n   o f   th f r am ewo r k   r est  o n   s o m ass u m p tio n s .   T h f r am ewo r k   ass u m e s   p u b licly   av ailab le  s o cial  m e d ia  d ata  ca n   in f o r m   u s er s '   m en tal  h ea lth   s tatu s es,  as  u s er - g en er ate d   co n te n ca r r ies  u s ef u in f o r m atio n   ab o u em o tio n al  h ea lth .   T h s y s tem   also   ass u m es  ac ce s s   to   h ig h - p er f o r m an ce   co m p u tin g   r eso u r ce s   in   o r d er   to   d ea with   lar g m u ltimo d al   d atasets '   tr ain in g   an d   r ea l - tim d ep lo y m en t.   T h e   p r o ject  d e v elo p ed   o n   an   HP  Z 8   GPU  wo r k s tatio n   with   tw o   AM R ad eo n   PR W 6 8 0 0   GPUS  an d   3 2   GB   R AM   to   ac ce ler ate  tr ain in g .   T h s y s tem   p r esu m es  th at  m u lt im o d al  d ata  im p r o v es  d etec tio n   o f   s u b tle  m en tal  h ea lth   m ar k e r s   b y   co n v ey i n g   m o r in f o r m atio n   ab o u em o ti o n s   th an   an y   s in g le  m o d ality .   L astl y ,   th s y s tem   d ep en d s   o n   s tr ict  p r iv ac y   r eg u latio n s   to   g u ar an tee   m o r al  c o m p lian ce   with o u s ac r if icin g   o p en n ess   in   d at a   p r o ce s s in g .   T h e   war n in g   th r es h o ld s   o f   th d ash b o ar d   an d   p e r s o n aliza tio n   f ea tu r es  en ab le  e x p er ts   an d   u s er s   to   cu s to m ize  th eir   ex p e r ien ce .       4.   I M P L E M E NT A T I O N   D E T AIL S   T h p r o p o s ed   m u ltimo d al  f r a m ewo r k   i n teg r ates  v a r io u s   d at m o d alities   an d   late   f u s io n   is   em p lo y ed   in   th m u ltimo d al  f u s io n   p r o c ess   to   p r eser v m o d ality - s p ec i f ic  f ea tu r es,  allo win g   tex t,   im a g es,  an d   em o tico n s   to   b p r o ce s s ed   s ep ar ately   b ef o r th eir   o u tp u ts   ar m er g ed   [ 3 2 ] .   L ate  f u s io n   was  ch o s en   b ec au s it  p r ev en ts   f ea tu r d ilu tio n   an d   m ak es  m o r ac cu r ate  an d   s u b tle  em o ti o n al  p r ed ictio n s   [ 3 3 ] .   L STM s   ar g o o d   at  d ea lin g   with   co n tex tu al   an d   s eq u e n tial  d ata  th eir   u s f o r   tex a n al y s is   was  s u p p o r ted .   Ho wev er ,   th B E R T s   h ig h   co m p u tin g   n ee d s   m ad e   it  im p r ac tical  f o r   r ea l - tim u s e.   As  C NNs  wo r k   ef f ec tiv ely   with   s m all  d atasets ,   th ey   wer s elec ted   f o r   im ag an aly s is .   No r m aliza tio n   in   tex t p r o c ess in g   is   tak en   ca r o f   b y   n atu r al  lan g u ag to o lk it   ( NL T K )   an d   T en s o r Flo w.   Op en C tr an s f o r m s   im a g es  an d   m ap s   em o tico n s   to   ca teg o r ies  o f   s en tim en ts .   Usi n g   p ar allel  p r o ce s s in g   an d   h ig h ly   o p tim ize d   p ip elin d esig n s ,   th s y s tem   r ed u ce s   laten cy   ev en   wh en   wo r k in g   with   lar g v o lu m es o f   d ata.   T h e   im p lem en ted   s y s tem   is   o r g an ized   as f o llo ws .     4 . 1   Da t a   c o llect io n a nd   prepa ra t io n   R eg ar d in g   d ataset  s elec tio n ,   th f r am ewo r k   em p lo y s   d atasets   lik Go E m o tio n s   [ 3 4 ]   f o r   tex t - b ased   em o tio n   lab els  an d   FER   [ 3 5 ] / Af f ec tNet   [ 3 6 ]   f o r   im ag e - b ased   em o ti o n   r ec o g n itio n .   T h e   G o E m o tio n s   d ataset,   d ev elo p e d   b y   Go o g le  R esear ch ,   in clu d es  tex d ata   th at  ca p tu r es  co m p lex   em o tio n al  n u an ce s .   T h d ataset  d is tr ib u tio n   an d   ex am p les ar illu s tr ated   in   Fig u r 3 .           Fig u r 3 .   T e x t a n d   em o tico n   d ata  s am p le       T h FER  an d   Af f ec tNet  d at asets   co n tain   im ag es  o f   f ac i al  ex p r ess io n s   co r r esp o n d in g   to   v ar io u s   em o tio n al  s tates.  Fig u r 4 ,   w h ich   ap p ea r s   as  f o llo w ,   p r o v id es  r ep r esen tativ s am p les  o f   f ac ial  ex p r ess io n s .   T h Fig u r es  4 ( a )   to   4 (f) a n g er ,   d ig ested ,   f ea r f u l,  h ap p y ,   n eu tr al,   an d   s ad ,   p r esen th e   r an g o f   em o tio n s   an aly ze d ,   h ig h lig h tin g   th d i v er s ity   o f   em o tio n al  ex p r ess io n s   ca p tu r ed   v ia  th s u b f ig u r es.   T h f r am ewo r k   f u r th er   ex a m in es e m o tio n s   f r o m   m u ltid im en s io n al  p er s p ec tiv e,   m ak in g   it m o r s en s itiv to   s u b tle  em o tio n al  cu es  with in   co n ten g e n er ate d   o n   s o cial  m e d ia.   T o   ac h iev d ataset  ef f icien cy ,   it' s   s o r ted   b y   em o tio n   a n d   m o d ality ,   with   im ag es  ca teg o r ized   b y   tag g ed   ex p r ess io n s   an d   tex f iles   b y   em o tio n   wh ich   h elp s   in   r ap id   d ata  ac ce s s   wh en   th m o d el  is   b ein g   tr ain ed   an d   test ed .   T h s y s tem   u p d ates  th d ata  with   th latest  r elev an t   m ater ial  in   s o cial  m ed ia  in   r ea l - tim e,   k ee p in g   p ac with   ch an g in g   p atter n s   o f   lan g u ag u s ag e,   s lan g ,   an d   v is u al  m o d es  o f   ex p r ess io n .   T im e - b ased   r elev an ce   e n tails   r eg u lar   u p d atin g   o f   d ata  r e p r esen tin g   r ea l - tim Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         E mo V ib e:   A I - d r iven   mu ltimo d a l e mo tio n   a n a lysi s   fo r   men ta l h ea lth   …  ( Dee p a li V o r a )   4571   em o tio n al  s tates.  I t   is   ca p ab le   o f   h an d lin g   th e   m o s r ec e n t r en d s   o f   u s er   ac tiv ities   to   r em ain   q u ic k   to   en a b le   u s ef u m o n ito r in g   in   r ea ti m e.   Fig u r 4   p r esen ts   v is u al  s am p le  f r o m   th ese  d atasets ,   h ig h lig h tin g   t h d iv er s ity   o f   em o tio n al  ex p r ess io n s   ca p tu r ed   v ia  Fig u r es 4 ( a)   to   4 ( f ) .     I n   th is   r esear ch ,   all  s o cial  m e d ia  d ata  em p l o y ed   we r g ath e r ed   f r o m   p u b licly   ac ce s s ib le  s o u r ce s   b y   th p latf o r m ' s   ter m s   o f   s er v ice.   T o   en s u r eth ical  co n s id er ati o n s ,   we  en s u r ed   d ata  u s co m p lied   with   r elev an g u id elin es  f o r   r esp o n s ib le  AI   r esear ch ,   s u c h   as  r esp ec f o r   u s er   p r iv ac y   an d   co n s en wh er n ec ess ar y .   I n   ad d itio n ,   we  test ed   f o r   lan g u a g e,   g eo g r ap h y ,   a n d   d e m o g r a p h ic  r ep r esen tatio n   b iases ,   an d   we  will  co n tin u to   r ed u ce   s u ch   b iases   in   s u b s eq u en t w o r k   th r o u g h   m o r b ala n c ed   an d   d iv er s d ata  s am p lin g   ap p r o ac h es.             ( a)   ( b )   ( c)           ( d )   ( e)   (f)     Fig u r 4 .   Sam p le  im a g d atas et  lab els s h o win g   em o tio n s   th r o u g h   f ac ial  ex p r ess io n s   of   (a an g er ,     ( b )   d is g u s ted ,   ( c)   f ea r f u l ,   ( d )   h ap p y ,   ( e)   n e u tr al ,   an d   ( f )   s ad       4 . 2   Da t a   prepro ce s s ing   Sp ec ial  p r ep r o ce s s in g   is   n ee d ed   f o r   ea c h   ty p o f   d ata.   T h Ker as  to k en izer   is   u s ed   to   co n v er wo r d s   in to   in teg er   in d ices.  Fu r th er   p r o ce s s in g   s an itizes  th tex t,   elim in atin g   s p ec ial  c h ar ac te r s   an d   s to p   wo r d s .   Seq u en ce s   ar p ad d e d   to   p r e d eter m in ed   len g th   o f   1 0 0   to k e n s   f o r   n o r m alizin g   in p u s h ap e s   f o r   p r o ce s s in g   in   b atch es,  o p tim izin g   c o m p u tin g   ef f icien c y ,   a n d   en h a n cin g   m o d el  p e r f o r m an ce .   Pictu r d at is   p r ep r o ce s s ed   b y   r esizin g   im ag es  to   1 5 0 × 1 5 0   p ix els  f o r   cu s to m   m o d els  an d   2 2 4 × 2 2 4   p i x els  f o r   R esNe t - 5 0   an d   VGG - 1 6 .   Scalin g   p ix el   v alu es  b etwe en   0   an d   1   e n h an ce s   g r ad ie n d es ce n ef f icien c y   a n d   m o d el   co n v er g en ce .   Var io u s   d ata  au g m en tatio n   tech n iq u es   im p r o v g e n er aliza tio n   an d   s tr en g th en   th d ataset,   allo win g   o p tim al  m o d el   p er f o r m an ce   in   r ea l - wo r ld   ap p licatio n s .   E m o tico n s   ar e   n ec ess ar y   m ar k er s   o f   e m o tio n al  co n ten t.  T o   ad eq u ately   ex p r ess   th eir   m ea n in g ,   th ey   ar ass o ciate d   with   p r e - d ef in e d   s en tim en t ta g s .   Fo r   in s tan ce ,   th "             em o tico n   is   u s ed   f o r   h ap p in e s s ,   wh ile  th "                 em o ji  is   u s ed   f o r   m ela n ch o ly .   B y   p r o v i d in g   co n tex to   t h e   tex d ata,   th is   m ap p in g   allo ws  th alg o r ith m   to   co n s id er   ca s es  wh er em o tico n s   r ein f o r ce   o r   r e f u te  th e   s en tim en ex p r ess ed   in   t h t ex t.  T h s y s tem   o f f er s   m o r co m p lete  a n d   i n tr icate   e m o tio n al  p r o f ile  b y   in clu d in g   em o tico n s   in   th em o tio n al  an aly s is ,   s ig n if ican tly   en h an cin g   its   ab ilit y   to   in ter p r et  s o cial  m ed ia  u s er   ex p r ess io n s .     4 . 3   M o del  a rc hite ct ure  dev elo pm ent   T h m o d el   s tr u ct u r s ep a r at es   te x t   a n d   im ag p r o ce s s in g   b e f o r f u s io n   t o   e x tr ac u s e f u p atte r n s   b y   ea c h   s u b m o d e l,  a n d   t h f u s i o n   l ay e r   m e r g es  i n s i g h ts   to   p r o d u ce   t h o v e r a ll  o u t p u t.   T h e   t ex t   m o d e e m p l o y s   L STM   l a y e r s   f o r   s eq u en ce   d ata .   1 2 8 - u n it   L STM   lea r n s   s e n t en ce   w o r d   r el ati o n s h i p s   as   is   o p ti m al   f o r   r e co g n iz in g   m o o d   c h a n g es   an d   e m o ti o n al   t o n e   b e ca u s e   i t   c a n   m ai n ta in   lo n g   te x t   s eq u en ce s .   A   d e n s e   l ay er   wit h   R eL U   a cti v a ti o n   b o o s ts   in te r p r et ati v e   p o we r   o f   w ea k   e m o tio n a l   s i g n als .   O u t p u is   p r o j e cte d   t o   d e p r ess i o n ,   an x i et y ,   an g e r ,   a n d   n eu tr al   c a teg o r i es.   A   3 - la y e r   C NN   m o d el   wit h   i n c r e asi n g   f i lte r   s i ze s   ( 3 2 ,   6 4 ,   1 2 8 )   a n d   Ma x Po o l in g   l a y e r s   is   u s e d   f o r   s p ati al  in f o r m a ti o n .   I p r o d u c es  h ie r a r c h i ca l   f ac i al  ex p r e s s io n   f ea tu r es   f r o m   ed g es   t o   l ar g e r   s t r u ct u r es   li k e   s m iles   o r   f r o wn s .   A   d e n s e   la y e r   wit h   R e L U   a cti v at io n   f i n e - t u n es   t h e   f ea tu r es ,   r es u lt in g   in   d at f o r   th f i n al   c lass i f ic ati o n   l ay e r ,   p r o d u ci n g   t h r ee   e m o ti o n   cl ass es:   h a p p y ,   s ad ,   a n d   an g r y .   T h e   h y b r i d   B E R T + L ST a r c h it ec tu r co m b i n e d   t h e   s e q u e n ti al  p r o ce s s i n g   p o we r   o f   L ST wit h   t h co n t ex tu al   ad v a n t a g es o f   B E R T .   Fi g u r 5   ill u s t r a tes th h y b r i d   te x t - p r o c ess in g   m o d el ,   wh ic h   u s es   B E R T   e m b e d d i n g s   a n d   an   L S T M   la y er   t o   le ar n   s e m a n tic   r i c h n ess   a n d   s e q u e n ti al   d e p en d e n cies .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 4 5 6 5 - 4 5 7 8   4572   T o   ad ju s th f ea tu r es  to   th p ar ticu lar   d o m ain   r e q u ir em e n ts   o f   th FER/ Af f ec tNet   d atasets ,   th e   R esNet - 5 0 +CNN   h y b r id   m o d el  f ir s ex tr ac ted   h ig h - lev el  f e atu r es  f r o m   p ictu r d ata  u s in g   R esNe t - 5 0 .   T h ese   f ea tu r es  wer t h en   s en v ia   a   b esp o k e   C NN  lay er .   Usi n g   p r e - tr ain ed   in f o r m atio n   an d   a d ju s tin g   to   d o m ain - s p ec if ic  task s   wer b alan ce d   b y   th ese  h y b r i d   ar r an g em e n ts .   Fig u r 6   illu s tr ates  th h y b r i d   im ag e - p r o ce s s in g   m o d el  th at  c o m b in es  R esNet - 5 0 ' s   p r e - tr ain ed   f ea t u r es  with   cu s to m   C NN  h ea d   t o   im p r o v f ac ial  em o tio n   d etec tio n   ac cu r ac y .   T h m u ltimo d al  f u s io n   lay e r   tr ig g er s   h y b r id   tr a n s f er   lear n in g   p r o ce s s   to   c o m b in e   th e   im ag an d   tex m o d el  o u tp u ts   th er e b y   i m p r o v i n g   u n d er s tan d i n g   ac r o s s   th m o d alities .   Ad d itio n ally ,   th f u s io n   lay e r   im p r o v es  in te r p r etab ilit y   t h r o u g h   co m b in in g   tex t,  im a g e s ,   an d   em o tico n   d ata  in to   a   s in g le  en tity ,   th u s   p r o v id i n g   m o r in teg r ated   ex p lan atio n   o f   em o tio n al  s tates  th at  is   u s ef u in   d is t in g u is h in g   co m p lex   em o tio n al  p atter n s .   An   atten tio n   lay er   d y n am ically   b ala n ce s   f ea tu r es  r eso lv in g   co n f licts   ar is in g   wh en   m o d alities   p r esen co n f lictin g   v iews  wh ile  h ig h lig h tin g   co n tex tu ally   r ele v an f ea tu r es.  T h atten tio n   m ec h an is m   s u p p o r ts   th s y s tem   in   h an d lin g   co m p lex   em o ti o n al  s tates,  th u s   en s u r in g   f air   p r ed ictio n s   ac r o s s   all  th m o d alities .   T h m u ltimo d al  f u s io n   ar ch itectu r e   o f   Fig u r 7   f u s es  o u tp u ts   o f   th te x an d   im ag e   m o d els   ( as  well  a s   s en tim en t - m ap p ed   em o tico n s )   b ased   o n   atten tio n - b ased   late  f u s io n .   T h is   ar ch itectu r en ab les  th e   s y s tem   to   weig h   in p u ts   ad a p tiv ely   b ased   o n   c o n tex tu al   r e lev an ce ,   wh ich   is   m o s ef f ec tiv in   co n f lictin g   em o tio n al  s ig n als b etwe en   m o d alities .           Fig u r 5 .   Hy b r id   tex t - b ased   m o d el  to   d eter m in an d   m ap   em o tio n   f r o m   tex t           Fig u r 6 .   Hy b r id   im a g e - b ased   m o d el  f o r   f ac ial  em o ti o n   d etec tio n   an d   m ap p in g           Fig u r 7 Pro p o s ed   m u ltimo d a l f u s io n   m o d el  to   co m b in tex t u al,   im ag an d   em o tico n   m o d el  o u tp u ts     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8         E mo V ib e:   A I - d r iven   mu ltimo d a l e mo tio n   a n a lysi s   fo r   men ta l h ea lth   …  ( Dee p a li V o r a )   4573   4 . 4 .    M o del  t ra ini ng   a nd   ev a l ua t io n   T r ain in g   a n d   test in g   ar e   in   p h ases .   I n itially ,   all  m o d ality - s p ec if ic  m o d els  ar tr ain e d   in d e p en d en tly .   L ater ,   th ey   a r co llectiv ely   r ef in ed   th r o u g h   f u s io n   lay e r .   T h tex t   m o d el   is   s u p er v i s ed   f in e - tu n e d   f o r     1 6   ep o c h s   with   Ad am W   o p tim izer ,   in itial  lear n in g   r ate  2 × 1 0 ⁻⁵,   weig h d ec ay   0 . 0 1 ,   b atch   s ize  6 4 ,   d r o p o u 0 . 1 ,   an d   v alid atio n   s p lit  2 0 %.  E a r ly   s to p p in g   with   3   e p o ch s   o f   n o   im p r o v e m en t.  T h im ag e - b ased   m o d els  ar tr ain ed   f o r   u p   to   3 2   e p o ch s   u n d er   th s am co n d itio n s ,   in itia lear n in g   r ate  o f   o p tim izer   1 × 1 0 ⁻⁴,   b atch   s ize  3 2 ,   d r o p o u 0 . 1 ,   v alid atio n   s p lit  2 0 %,  an d   ea r ly   s to p p in g   a 3   s tatic   ep o ch s .   Hig h - lev e em b ed d in g s   ar co n ca ten ated   af te r   ev er y   b ac k b o n c h ec k p o in in   th e   late - f u s io n   lay er .   J o in f in e - t u n in g   is   co n d u cte d   f o r     1 0   ep o ch s   u s in g   Ad am W   o p tim izer ,   lear n in g   r ate  1 ×1 0 ⁻⁵,   weig h d ec ay   0 . 0 1 ,   d r o p o u 0 . 1 ,   an d   v alid ated   af ter   2   ep o ch s   with   n o   im p r o v em en t.   Mo d el  p er f o r m a n ce   is   m ea s u r ed   an d   s u p p lem en te d   with   tr ac k in g   u s in g   ap p r o p r iate  m etr ics lik m ea n   ab s o lu te  er r o r ,   ca teg o r ical  cr o s s - en tr o p y   lo s s ,   ac cu r ac y   an d   co n f u s io n   m atr ices .   T h is   s etu p   ac h iev es  in d u s tr y - s tan d ar d   r eso u r ce   u tili za tio n   an d   a d ap tiv e   m o d el   co n v er g e n ce   f o r   m u ltimo d al   em o tio n   an al y s is .     4 . 5   Da s hb o a rd  inte g ra t i o n a nd   re a l - t im a na l y s is   SME o f f er s   la y   u s er s   an d   m en tal  h ea lth   p r ac titi o n e r s   im m ed iate  ac ce s s   to   e m o tio n al   t r en d s .   T h d ash b o ar d   d is p lay s   em o tio n al  d ata  in   v ar io u s   ch ar ts   t o   id en tify   em o tio n al  p atter n s   an d   n ec ess ar y   in ter v en tio n s   b y   p r ac titi o n er s .   Fig u r 8   p r esen ts   th SME D,   th v is u al  in ter f ac lay er .   I o f f er s   r ea l - tim e   v is u aliza tio n s   u s in g   lin g r a p h s ,   em o tio n   d is tr ib u tio n   ch ar ts ,   an d   aler t   s y s tem s   f o r   s i g n if ican em o tio n al   s h if ts .   T h d ash b o a r d ' s   ar ch itectu r s u p p o r ts   r ea l - tim u p d ates,  m ak in g   it  p r ac tical  to o f o r   clin ician s   an d   en d - u s er s .   T h is   d ash b o ar d   also   in clu d es  aler m ec h an is m s   t h at  m ay   s ig n al  s ig n if ican em o tio n al  ch an g es  o n   s o m p r ed e f in ed   th r esh o ld s .   F o r   ex am p le,   s u p p o s th u s er ' s   em o tio n al  s tate  ch an g es  r a p i d ly .   I f   th ey   h av a   s ig n if ican in cr ea s in   t h eir   a n x iety   o r   d e p r ess io n   lev els,  t h s y s tem   aler ts   th em   alm o s im m ed iately   s o   th at   th ey   ca n   s ee k   a d eq u ate  s u p p o r t o r   in ter v e n tio n   in   g o o d   tim e.             Fig u r 8 .   SME D   p r o to ty p e       5.   RE SU L T S AN D I SCU SS I O N   T wo   o f   th p r e - tr ain e d   m o d els ,   B E R T   an d   Dis tilB E R T ,   wer em p lo y e d   f o r   tex d ata   an aly s is ,   an d   an   L STM   m o d el  as  well  as  h y b r id   m o d el  u s in g   an   L ST ar ch itectu r with   B E R T   em b ed d in g s .   B E R T   p er f o r m ed   o u ts tan d in g   s em an tic  u n d er s tan d in g   an d   co n tex t u al  n u an ce s   o n   t h Go E m o tio n s   d ataset,   with   an   ac cu r ac y   o f   8 7 . 4 %.  Dis tilB E R T   was  s lig h tly   lo wer ,   with   an   ac cu r ac y   o f   8 5 . 9 %,  b u wit h   less   co m p u tatio n al   r eso u r ce s .   T h L STM   m o d el  i n - h o u s h ad   r o b u s s eq u en tial  p r o ce s s in g   ca p ab ilit ies,  ac h iev in g   an   ac cu r ac y   o f   8 3 . 6 %,  b u was  n o ca p ab le  o f   d etec tin g   co m p le x   s em an tic  r elatio n s h ip s .   B len d in g   s eq u e n ce   m o d ellin g   with   p r e - tr ain ed   em b e d d in g s ,   th h y b r id   ar ch itectu r o f   B E R T   em b ed d in g s   co u p led   with   a n   L STM ,   en h an ce d   p er f o r m an ce ,   lead i n g   to   a   f in a l a cc u r ac y   o f   8 8 . 2 %.   R esNet - 5 0   an d   VGG - 1 6   wer u s ed   to   tr ain   th d ataset,   an d   C NN  lay er   an d   cu s to m   C NN  m o d el  wer ex p er im e n ted   with .   VG G - 1 6 ,   with   its   p lain   a r ch itectu r e,   f ar e d   p o o r ly   with   8 2 . 9 a cc u r ac y   o n   th e   FER   d ataset,   with   R esNet - 5 0 ,   at  8 4 . 2 %.  T h c u s to m   C NN  o p tim ally   weig h ed   f ea t u r ex tr ac t io n   an d   e f f icien cy   at   8 1 . 5 %.   T h e   h y b r id   R esNet - 5 0 +CNN  co n f ig u r atio n ,   b ased   o n   p r e - tr ain ed   f ea tu r es  an d   d o m ain   ad ap tatio n ,   y ield ed   8 5 . 1 %.  late  f u s io n   m eth o d   d y n am ically   co m b in es  m u ltip le  m o d els  an d   ac h iev es  b ette r   p er f o r m an ce .   C o n tex tu al  atten tio n   n etwo r k s   b alan ce   m o d alities   an d   s et tle  d is p u tes  an d   r ep o r p r ec is io n   o f   8 9 . 7 %,  h ig h er   th an   ea r ly   a n d   in d iv id u al  f u s io n   m o d els   ( 7 8 . 4 %).   T h p e r f o r m an ce   m etr ics  f o r   ea ch   co n f ig u r atio n   o n   th e   FER  an d   Go E m o tio n s   d atasets   ar co m p iled   in   T ab le   2 ,   an d   th e   g r a p h ical  r ep r esen tatio n   is   in   Fig u r 9 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 4 5 6 5 - 4 5 7 8   4574   T ab le  2 .   Mo d el  p er f o r m a n c o n   Go E m o tio n s   an d   FER  d atasets   M o d e l   M o d a l i t y   A c c u r a c y   ( %)   P r e c i s i o n   R e c a l l   F1 - sc o r e   D a t a s e t   Pre - t r a i n e d   B ER T   Te x t   8 7 . 4   0 . 8 5   0 . 6   0 . 8 5   G o Em o t i o n s   Pre - t r a i n e d   D i st i l B ER T   Te x t   8 5 . 9   0 . 8 3   0 . 5   0 . 8 4   G o Em o t i o n s   C u s t o m LST M   Te x t   8 3 . 6   0 . 8 1   0 . 2   0 . 8 1   G o Em o t i o n s   H y b r i d   B E R T+ LST M   Te x t   8 8 . 2   0 . 8 7   0 . 8   0 . 8 7   G o Em o t i o n s   Pre - t r a i n e d   R e sN e t - 50   I mag e   8 4 . 2   0 . 8 2   0 . 3   0 . 8 2   F ER   Pre - t r a i n e d   V G G 1 6   I mag e   8 2 . 9   0 . 8   0 . 1   0 . 8   F ER   C u s t o m C N N   I mag e   8 1 . 5   0 . 7 8   0 . 7 9   0 . 7 9   F ER   H y b r i d   R e sN e t - 5 0 + C N N   I mag e   8 5 . 1   0 . 8 4   0 . 8 5   0 . 8 4   F ER   Ea r l y   f u s i o n   M u l t i m o d a l   7 8 . 4   0 . 7 7   0 . 7 6   0 . 7 6   F u se d   D a t a s e t :   G o Em o t i o n a n d   F E R   C u s t o l a t e   f u s i o n   ( P r o p o s e d )   M u l t i m o d a l   8 9 . 7   0 . 8 8   0 . 9   0 . 8 9   F u se d   D a t a s e t :   G o Em o t i o n a n d   F E R           Fig u r 9 .   C o m p a r ativ p e r f o r m an ce   o f   m o d els o n   Go E m o ti o n s   an d   FER  d atasets       T o   ass es s   g en er aliza b ilit y ,   th f r am ewo r k   was  ev alu ated   o n   s ec o n d   d ataset,   in clu d in g   Af f ec tNet   f o r   im ag es  an d   Go E m o tio n s   f o r   tex t.  C o n s is ten p atter n s   em er g ed   in   th r esu lts ,   with   th late  f u s io n   m o d el  co n tin u in g   to   p er f o r m   b etter .   T h ass ess m en t m ea s u r es f o r   th is   d ataset  ar s h o wn   in   T ab le  3 ,   an d   its   g r ap h ical  r ep r esen tatio n   is   in   Fig u r e   1 0 .       T ab le  3 .   Mo d el  p er f o r m a n ce   o n   Go E m o tio n s   an d   Af f ec tNet  d atasets   M o d e l   M o d a l i t y   A c c u r a c y   ( %)   P r e c i s i o n   R e c a l l   F1 - S c o r e   D a t a s e t   Pre - t r a i n e d   B ER T   Te x t   8 7 . 4   0 . 8 5   0 . 8 6   0 . 8 5   G o Em o t i o n s   Pre - t r a i n e d   D i st i l B ER T   Te x t   8 5 . 9   0 . 8 3   0 . 8 5   0 . 8 4   G o Em o t i o n s   C u s t o m LST M   Te x t   8 3 . 6   0 . 8 1   0 . 8 2   0 . 8 1   G o Em o t i o n s   H y b r i d   B E R T+ LST M   Te x t   8 8 . 2   0 . 8 7   0 . 8 8   0 . 8 7   G o Em o t i o n s   Pre - t r a i n e d   R e sN e t - 50   I mag e   8 2 . 3   0 . 8 1   0 . 8 2   0 . 8 1   A f f e c t N e t   Pre - t r a i n e d   V G G - 16   I mag e   8 1 . 2   0 . 7 9   0 . 8   0 . 7 9   A f f e c t N e t   C u s t o m C N N   I mag e   7 9 . 8   0 . 7 6   0 . 7 7   0 . 7 7   A f f e c t N e t   H y b r i d   R e sN e t - 5 0 + C N N   I mag e   8 3 . 4   0 . 8 2   0 . 8 3   0 . 8 2   A f f e c t N e t   Ea r l y   f u s i o n   M u l t i m o d a l   7 6 . 5   0 . 7 5   0 . 7 4   0 . 7 5   F u se d   D a t a s e t :   G o Em o t i o n a n d   A f f e c t N e t   C u s t o l a t e   f u s i o n   ( P r o p o se d )   M u l t i m o d a l   8 8 . 9   0 . 8 7   0 . 8 8   0 . 8 7   F u se d   D a t a s e t :   G o Em o t i o n a n d   A f f e c t N e t       SME is   also   u s ef u in   in te r p r etin g   th ese  r esu lts .   T h la te  f u s io n   m o d el   allo ws  an   a ctio n ab le,   r elev an t,  an d   ac cu r ate   f o r ec a s b y   r em o v in g   tech n ical  o u tp u t - v er s u s - r ea l - wo r ld - ap p licatio n s   m is m atch es.     I r eg is ter s   f ea tu r es  b etwe en   m o d alities   d y n am ically ,   b o o s t ed   b y   p r e - tr ain e d   an d   task - s p ec if ic  m o d els,  an d   p er f o r m s   well  co n s is ten tly .   T h m eth o d   g ath er s   c o m p lem e n tar y   a n d   co n tex t u ally   r elate d   in f o r m atio n   f r o m   Evaluation Warning : The document was created with Spire.PDF for Python.