I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia I n t e ll ig e n c e  ( I J - AI )   V ol .   14 , N o.   2 A pr il  2025 , pp.  1518 ~ 1530   I S S N 2252 - 8938 ,   D O I 10.11591/ ij a i. v 14 .i 2 .pp 1518 - 1530          1518       Jou r n al  h om e page ht tp : // ij ai . ia e s c or e .c om   D e e p   l e ar n i n g - b ase d   t e c h n i q u e s   f or   vi d e o   e n h an c e m e n t ,   c om p r e ss i on   an d   r e st or at i on       R e d ou an e   L h ia d i ,   A b d e s s am ad   Jad d ar A b d e la li   K aaou ac h i   N a t i ona l   S c hool   of   bus i ne s s   a nd   M a na ge m e nt ,   U ni ve r s i t y   of   M oha m m e d   1s t ,   O uj da ,   M or oc c o       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d   J ul  30, 2024   R e vi s e O c 29, 2024   A c c e pt e N ov 14, 2024       Video  processing  is  essential  in  entertainment,  surveillance,  and  communi cation.  This  research  presents   strong  framework   that  im proves  video  clarity  and  decreases  bitrate  via  advanced  restorati on  and  compressi on  methods.  The  suggested  framewo rk  m erges  various  deep   learning  models  such  as  super - resolutio n,  d eblurring,  denoising and   frame  int erpolat ion,  in  additio to  competent   compressi on   model.  Video  frames   ar first  compressed   using  the  libx26 codec   in  order  to   reduce  bitrate   and  s torage  needs.  After  compression,  restoration  techniques  deal  with   issues  like   noise,  blur,  and  loss  of  detail.  The  video  restoration   transformer  (VRT)  use deep  learning  to  greatly  enhance   video  quality  by  reducing  compression  artifac ts.  The frame resolution is improved by  the super - resolutio n model,  moti on blur  is  fixed  by  the   deblurring  model,  and  noise  is   reduced  by   the  de noising  model,  resulting  in  clearer  frames.  Frame  interpolation   creates  add itional  frames  between  existing  frames  to   create  smoother   video  v iewing  experience.  Experimen tal  finding show  that  this   system  succe ssfully   improves  video  quality  and  decrea ses  artifac ts,  providing  better  per ceptual  quality  and  fidelity.  The  real - time  processing  capabilities  of  the  tech nology  make  it  well - suited  for  use  in  video  streaming,   surveillance,  and  digital  cinema.   K e y w o r d s :   D e e p   le a r ni ng   R e a l - time   pr oc e s s in g   R e s to r a ti on   m ode ls   S upe r - r e s ol ut io n   V id e o   pr oc e s s in g   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   R e doua ne   L hi a di   N a ti ona l   S c hool   of   bus in e s s   a nd   M a na g e m e nt ,   U ni ve r s it y   of   M oha m m e d   1s t   O uj da ,   M or oc c o   E m a il :   lh ia di .r e doua ne @ gm a il .c om       1.   I N T R O D U C T I O N   T he   a dve nt   of   de e le a r ni ng  ha s   r e vol ut io ni z e vi d e r e s to r a t io by  e na bl in th e   de ve lo pm e nt   of   s ophi s ti c a te m od e ls   c a pa bl e   of   und e r s ta ndi ng  c om pl e x   da ta   r e la ti ons hi ps   a nd   a c hi e vi ng   s upe r io r   r e s ul ts .   C onvolut io na ne ur a ne twor ks   ( C N N s )   a nd   a tt e nt io m e c h a ni s m s   a r e   a th e   f or e f r ont   of   th e s e   a dv a nc e m e nt s a ddr e s s in va r io us   a s pe c ts   of   vi de qua li ty in c lu di ng  r e s ol ut io e nha nc e m e nt s ha r pne s s   im pr ove m e nt a nd   noi s e   r e duc ti on  [ 1] [ 2] I c ont r a s t,   tr a di ti ona vi de r e s to r a ti on  te c hni que s w hi c r e ly   on  h e ur is ti c - ba s e d   m e th ods   a nd  m a nua ll c r a f te f e a tu r e s of te s tr uggl e   to   e f f e c ti ve ly   m a na ge   in tr ic a te   de gr a da ti on  pa tt e r ns   a nd  c om pr e s s io a r ti f a c ts   [ 3] D e e l e a r ni ng  m ode ls le ve r a gi ng  C N N s e x c e a c a pt ur in hi e r a r c hi c a r e pr e s e nt a ti ons   a nd   e nha nc in g   vi de qua li ty   by   pr ovi di ng  tr a ns la ti on  in va r ia nc e   a nd  r obus p a tt e r r e c ogni ti on  [ 4] [ 5] F ig ur e   il lu s tr a te s   th e   tr a di ti ona vi de c om pr e s s io n   pr oc e s s out li ni ng  it s   k e c om pone nt s   a nd  w or kf lo w T hi s   vi s ua r e pr e s e nt a ti on  hi ghl ig ht s   th e   li m it a ti ons   a nd  c ha ll e nge s   of   c onve nt io na te c hni que s , p a r ti c ul a r ly  i n m a na gi ng c om pr e s s io a r ti f a c ts  a nd de gr a da ti on pa tt e r ns .   D e s pi te   s ig ni f ic a nt   a dva n c e m e nt s ,   not a bl e   ga ps   r e m a in   in   pr e vi ous   r e s e a r c h.  F or   e x a m pl e w hi le   s om e   s tu di e s   ha ve   e xpl or e th e   im pa c of   c om pr e s s io a r ti f a c t s   on  vi de qua li ty   [ 4] th e r e   ha s   b e e li m it e f oc us   on  how   a dva nc e r e s to r a ti on  te c hni que s   in f lu e nc e   th e   e f f e c ti ve ne s s   of   c om pr e s s io m ode ls P r e vi ous   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       D e e p l e ar ni ng - bas e d t e c hni que s  f o r  v id e o e nhan c e m e nt , c om p r e s s io n and r e s to r at io n   ( R e douane  L hi adi )   1519   w or ha s   of te c onc e nt r a te on  e it he r   r e s to r a ti on  o r   c om pr e s s io n,  w it a   c om pr e he ns iv e   f r a m e w or k   in te gr a ti ng  bot a s pe c t s   be in not a bl a bs e nt F ur th e r m or e th e   gr ow in de m a nd  f or   hi gh - qua li ty   di gi ta l   vi de c ont e nt   ha s   he ig ht e n e th e   ne e f or   r e a l - ti m e   a ppl ic a ti on   of   a dva nc e r e s to r a ti on  m ode ls   in   f ie ld s  s uc a s  vi de o s tr e a m in g,  s ur ve il la nc e , a nd digi ta c in e m a  [ 5] [ 6] .   T hi s   pa pe r   a im s   to   f il th e s e   voi ds   by  in tr oduc in a in nova ti ve   f r a m e w or th a c om bi ne s     c ut ti ng - e dge   r e s to r a ti on  a nd   c om pr e s s io te c hni que s T hi s   r e s e a r c h   e nha nc e s   vi d e qua li ty   a nd  r e duc e s   c om pr e s s io a r ti f a c ts   by  us in a dva n c e m ode ls   li ke   s up e r - r e s ol ut io n,  de bl ur r in g,  de noi s in g,  a nd  f r a m e   in te r pol a ti on  in   c om bi na ti on   w it th e   li bx265  c om p r e s s io c ode c O ur   m e th od  e nha nc e s   vi de qua li ty   a nd   a c c ur a c y w hi le  a l s o pr ovi di ng r e a l - ti m e  pr oc e s s in g f e a tu r e s , m a ki ng i id e a f or  va r io us  us e s .           F ig ur e  1. B lo c k di a gr a m  i ll us tr a ti ng t he  c onve nt io na m e th od of  vi de o c om pr e s s io n       2.   M O T I V A T I O N     C onve nt io na vi de r e s to r a ti on  te c hni que s   f a c e   s ig ni f ic a nt   c ha ll e nge s   in   m a na gi ng  c om pr e s s io a r ti f a c ts   a nd  e nha nc in vi s ua qua li ty T r a di ti ona m e th ods w hi c of te r e ly   on  he ur is ti c   a ppr oa c he s   a nd   m a nua ll c r a f te f e a tu r e s s tr uggl e   to   a ddr e s s   th e   c om pl e de gr a da ti on  pa tt e r ns   in tr oduc e dur in vi de c om pr e s s io n.  R e c ogni z in g   th e s e   li m it a ti ons th is   r e s e a r c in tr o duc e s   a in nova ti ve   vi de r e s to r a ti on  pi pe li ne   th a le ve r a ge s  t he   s tr e ngt hs  of   de e p l e a r ni ng  m ode ls   a nd c ut ti ng - e dge  c om pr e s s io n a lg or it hm s .   O ur   pr opos e pi pe li ne   in te gr a te s   a dva nc e d e e le a r ni ng  te c hni que s in c lu di ng  s upe r - r e s ol ut io n,  de bl ur r in g,  a nd  de noi s in g,  w it a   hi gh - pe r f or m a nc e   c om pr e s s io a lg or it hm s pe c if ic a ll th e   li bx265  c ode c   [ 5] . T hi s  i nt e gr a ti on be gi ns  w it h c om pr e s s in g t he  i nput  vi de o f r a m e s  us in g l ib x265, whic h e f f e c ti ve ly  r e duc e s   bi tr a te   a nd  s to r a ge   r e qui r e m e nt s S ubs e que nt ly th e   c om pr e s s e f r a m e s   a r e   pr oc e s s e th r ough  our   vi de o   r e s to r a ti on  m odul e w he r e   pr e tr a in e de e le a r ni ng  m ode ls   a ddr e s s   a r ti f a c ts   a nd  e nha nc e   vi de qua li ty F ig ur e   pr ovi de s   a   vi s ua l   r e pr e s e nt a ti on   of   th e   tr a di ti ona vi de r e s to r a ti on  w or kf lo w out li ni ng  it s   pr oc e s s e s   a nd  in he r e nt   li m it a ti ons T hi s   il lu s tr a ti on  s e r ve s   a s   a   f ounda ti on  f or   unde r s ta ndi ng  how   ou r   a ppr oa c h   im pr ove s   upon  c onve nt io na m e th ods B c om bi ni ng  a dv a nc e r e s to r a ti on  m ode ls   w it c ut ti ng - e dge   c om pr e s s io te c hni que s ,   our   pi pe li ne   a im s   to   s ig ni f ic a nt ly   e nha nc e   vi s ua f id e li ty   a nd   pe r c e pt ua l   qua li ty M or e ove r our   f r a m e w or is   de s ig ne to   be   a da pt a bl e   a nd  s c a la bl e m a ki ng  it   s ui ta bl e   f or   di ve r s e   vi de pr oc e s s in a ppl ic a ti ons in c lu di ng  vi de s tr e a m in g,  s ur ve il la nc e a nd  di gi ta e nt e r ta in m e nt   [ 4] .     T he   c ol la bor a ti on  be twe e de e le a r ni ng - ba s e r e s to r a ti on  m ode ls   a nd  e f f ic ie nt   c om pr e s s io a lg or it hm s   of f e r s   pr om is in a dva nc e m e nt s   in   vi de qua li ty   e nh a nc e m e nt a ddr e s s in bot c ur r e nt   li m it a ti ons   a nd  f ut ur e   ne e ds  i n t he  f ie ld .           F ig ur e  2. S c he m a ti c  r e pr e s e nt a ti on of  t r a di ti ona vi de o r e s to r a ti on pr oc e s s     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  2 A pr il  2025 1518 - 1530   1520   3.   R E L A T E D  WORK   R e c e nt ly th e r e   ha ve   be e not a bl e   de v e lo pm e nt s   in   m e th ods   f or   c om pr e s s in im a ge s   C onvolut io na a ut oe nc ode r s   [ 5]   s how   pot e nt ia f or   e f f e c ti ve   c om pr e s s io w it pr e s e r ve im a ge   qua li ty .   F ur th e r m or e c om p r e s s io te c hni que s   th a a r e   opt im iz e f r om   one   e nd  to   a not he r   a nd  us e   tr a ns f or m s   ba s e d   on  f r e que nc ha ve   s how be tt e r   r e s ul ts   in   r e duc in bi t r a t e   w it hout   c om pr om is in pe r c e pt ua qua li ty .   A s s e s s in c om pr e s s io a lg or it hm s   f r e que nt ly   in c lu de s   s ubj e c ti ve   qua li ty   e va lu a ti ons   [ 6] w hi c r e ve a im por ta nt   in f or m a ti on  a bout   th e   pe r c e iv e qua li ty   of   c om pr e s s e vi de o s D e e le a r ni ng  te c hni que s   [ 7]   a r e   now   be in us e e f f e c ti ve ly   f or   im a ge   c om pr e s s io by   ut il iz in e nd - to - e nd  le a r ni ng  to   e nha nc e   c om pr e s s io n   pe r f or m a nc e S upe r - r e s ol ut io te c hni que s   in   vi de pr oc e s s in ha ve   be c om e   popula r   f or   im pr ovi ng  th e   r e s ol ut io of   vi de s e que nc e s   in   r e a l - ti m e   a ppl ic a ti ons   [ 8] T r a ns f or m e r - ba s e te c hni que s   s uc a s   S w in I R   ha ve   di s pl a ye im pr e s s iv e   out c om e s   in   im a ge   e nha nc e m e nt   dut ie s   li ke   s upe r - r e s ol ut io a nd  de noi s in g.   R e c e nt   pr ogr e s s   in   vi de s upe r - r e s ol ut io ha s   be e c onc e nt r a te on  e nha nc in f e a tu r e   p r opa ga ti on  a nd   a li gnm e nt   te c hni que s le a di ng  to   im pr ove pe r f or m a nc e   in   vi de s upe r - r e s ol ut io a s s ig nm e nt s   [ 8]   B a s ic   r e s e a r c on  ne c e s s a r e le m e nt s   f or   im pr ovi ng  vi de qua li ty   [ 8]   ha s   of f e r e im por ta nt   unde r s ta ndi ng  of   th e   c r uc ia a s pe c ts   th a im pa c m od e e f f e c ti ve ne s s S ubs ta nt ia l   a dva nc e m e nt s   ha ve   be e a c hi e v e in   th e   a r e a   of  vi de o de bl ur r in g t e c hni que s , s pe c if ic a ll y by uti li z in g c a s c a de d de e p l e a r ni ng me th ods  t ha e xpl oi te m por a da ta   to   im pr ove   de bl ur r in e f f ic ie nc [ 8] .   D e e le a r ni ng  te c hni que s   ha ve   be e a ppl ie to   vi de de bl ur r in g   w it a   f oc us   on  r e duc in m ot io bl ur   a r ti f a c ts w hi c l e a ds   t e nha nc e d   vi s ua l   qua li ty   in   ha ndh e ld   vi de r e c or di ngs .   M e th ods   s u c a s   e nha nc e d e f or m a bl e   vi de r e s to r a ti on  ( E D V R )   ha ve   e f f e c ti ve ly   ut il iz e e nha nc e de f or m a bl e   c onvolut io na ne twor ks   to   pr oduc e   r e m a r ka bl e   out c om e s   in   di f f e r e nt   vi de r e s to r a ti on  ta s ks   li ke   s upe r - r e s ol ut io or   de bl ur r in g.  M or e ove r e xi s ti ng  vi de de bl ur r in te c hni que s   [ 8]   ha ve   in c or por a te bl ur - in va r ia nt   m ot io e s ti m a ti on  m e th od s   to   im pr ove   de bl ur r in a lg or it hm   e f f e c ti ve ne s s .   T unde r s ta nd  th e   a ppr oa c de s c r ib e in   th is   s e c ti on,  a nd  to   il lu s tr a te   th e   pr oc e s s e s   in vol ve in   de bl ur r in g,  F ig ur e   pr e s e nt s   a   vi s ua de pi c ti on of  t he  f lo w  a nd ke y s ta ge s  ne c e s s a r y f or  unde r s ta ndi ng t he  de bl ur r in g t e c hni que .           F ig ur e  3. F lo w c ha r of  i m a ge  de bl ur r in g p r oc e s s       D e bl ur r in a lg or it hm :       =         +         w he r e   n   is  t he  noi s e   a f f e c ti ng t he  i m a ge   f     I nput b lu r r y w it n o is y i m a ge   f   .     D e c onvolut io n:   t he   pr oc e s s   in vol ve s   r e s to r in th e   or ig in a i m a ge   g   f r om   th e   obs e r ve im a ge   f   us in th e   bl ur  ke r ne p .     N on - bl in de c onvolut io n:   if   th e   bl u r   ke r ne p   is   known  or   ob ta in a bl e non - bl in de c onvolut io m e th ods   a r e  a ppl ie d.     R e c ons tr uc ti on:   or ig in a im a ge   g   is  r e c ons tr uc te d u s in g s pe c if ic  de c onvolut io n ope r a to r s .     O ut put c le a r   a nd nois e - f r e e  i m a ge   g .       4.   M E T H O D   4.1.   D at a aq c u as it io n  an d   p r e p r oc e s s in g   I n or de r  t o c ol le c th e  ne c e s s a r y vi de o da ta  f or  our  e xpe r im e nt s , w e  e m pl oye d a   P yt hon  s c r ip th a m a ke s   us e   of   th e   F F m pe li br a r y.  T he   s c r ip is   d e s ig ne to   w o r w it dyna m ic   vi de da ta s e t s in c lu di ng  th e   " your   ow vi de o" a nd  it   e xt r a c t s   s in gl e   f r a m e s   a a   s te a dy  f r a m e   r a te   of   15   f r a m e s   pe r   s e c ond.     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       D e e p l e ar ni ng - bas e d t e c hni que s  f o r  v id e o e nhan c e m e nt , c om p r e s s io n and r e s to r at io n   ( R e douane  L hi adi )   1521   T hi s   f r a m e   r a te   gua r a nt e e s   e xt e ns iv e   c ove r a g e   of   c ont e nt   a nd  r e s ol ut io ns w hi c in   tu r n   e na bl e s   th or ough   te s ti ng of  our  hybr id  c om pr e s s io n a nd r e s to r a ti on  a ppr oa c [ 9] .       4.2.   C om p r e s s io n  m od e l   T pr e s e r ve   a   s a ti s f a c to r pe r c e pt ua qu a li ty   of   th e   in put   vi d e o,  w e   ha v e   ut il iz e a   lo s s s tr a te gy  ba s e on  hi gh   e f f ic ie nc vi de o c odi ng  ( H E V C )   to   de c r e a s e   it s  bi tr a te I or de r   to   a c c om pl is th is ,   w e   c r e a te a   P yt hon  f unc ti on  th a m a ke s   us e   of   th e   F F m pe li br a r y.   T hi s   f unc ti on  e nc ode s   th e   in put   vi de ut il iz in g   th e   " li bx265"   c ode c   w it a   de s ig na te c on s ta nt   r a te   f a c to r   ( C R F )   va lu e   [ 10] F ur th e r m or e w e   ha ve   in c lu de a   r e duc ti on  in   r e s ol ut io of   th e   vi de f r a m e s   to   one - f our th   of   th e ir   or ig in a s iz e   in   or de r   to   f ur th e r   lo w e r   th e   bi tr a te T he   f unc ti on  ne e d s   th e   pa th   to   th e   vi d e f il e   in put th e   pa th   to   th e   vi de f il e   out put   f or   c om pr e s s io n,  a nd  opt io na pa r a m e te r s   li ke   C R F   va lu e   a nd  out put   r e s ol ut io n. T he   C R F   va lu e   is   ty pi c a ll in   th e   r a nge   of   28,  s tr ik in a   ba la nc e   be twe e n c om pr e s s io e f f ic ie nc a nd  vi s ua q ua li ty T he   out put   r e s ol ut io is   dow ns c a le to   one - f our th   of   th e   or ig in a vi de r e s ol ut io to   f a c il it a te   e f f ic ie nt   pr oc e s s in a nd  s to r a ge T a ppl y   th e   de s ir e vi de s c a li ng  a nd  c om pr e s s io s e tt in gs w e   c ons tr uc th e   F F m pe c om m a nd.  T h e   " li bx265"   c ode c   is   us e to   e nc ode   th e   vi de f r a m e s   w it th e   s pe c if ie d   C R F   v a lu e r e s ul ti n in   a   lo s s c om pr e s s io n   pr oc e s s   th a r e du c e s   th e   vi de o’ s   bi tr a te  w hi le   pr e s e r vi ng  pe r c e pt ua ll r e le v a nt   in f or m a ti on.  T he   c om pr e s s e vi de o   is   th e s a ve to   th e  s pe c if ie d f il e  pa th , r e a dy f or  s ubs e que nt  pr oc e s s in a nd e va lu a ti on  [ 11] .     4.3.   R e s t or at io n  m od e l   4.3.1.  O ve r al f r a m e w or k   T he   r e s to r a ti on  m ode c om pr is e s   two   ty pe s   of   f r a m e s :   I L Q r e pr e s e nt in a   s e que nc e   of   lo w - qua li ty   in put  f r a m e s , a nd  I H Q , i ndi c a ti ng high - qua li ty  t a r ge f r a m e s . W it hi n t hi s  c ont e xt :     T to ta num be r  of  f r a m e s ,     H he ig ht   of  e a c h f r a m e  ( ups c a le d) ,     W w id th   of  e a c h f r a m e  ( ups c a le d) ,     C in num be r   of  i nput  c ha nne ls ,     C out num be r   of  out put  c ha nne ls ,     s ups c a li ng  f a c to r  f or  t a s ks  l ik e  vi de s upe r - r e s ol ut io n,     RT num be r   of   f r a m e s  i n t he  s e que nc e .   T he   pr opos e d   vi de r e s to r a ti on  tr a ns f or m e r   ( V R T )   is   d e s ig ne to   e nha nc e   T H Q   f r a m e s   f r om   TLQ   f r a m e s a ddr e s s in va r io us   vi de r e s to r a ti on  ta s ks   s uc a s   s u pe r - r e s ol ut io n,  de bl ur r in g,  a nd  de noi s in g.     T he   tr a ns f or m a ti on  pr oc e s s   in vol ve s   two   pr im a r c om pon e nt s f e a tu r e   e xt r a c ti on  a nd  r e c ons tr uc ti on.    T he  goa of  t he  V R T  i s  t o r e s to r e   T H Q   f r a m e s  f r om   TLQ   f r a m e s  e f f e c ti ve ly .            x      x      x      r e pr e s e nt s  hi gh - qua li ty  t a r ge f r a m e s .          x     x     x     r e pr e s e nt s  a   s e que nc e  of   lo w - qua li ty  i nput  f r a m e s .     4.3.2.  F e at u r e   e xt r ac t io n   S ha ll ow   f e a tu r e s    x x x   a r e   f ir s e xt r a c te f r om   I LQ   th r ough  a   s in gl e   s pa ti a 2D   c onvolut io n.  S ubs e que nt ly a   m ul ti - s c a le   ne twor is   ut il iz e to   s ync hr oni z e   f r a m e s   a va r io us   r e s ol ut io ns   b y   in te gr a ti ng  dow ns a m pl in g   a nd   te m por a m ut ua s e lf - a tt e nt io ( T M S A )   to   e xt r a c f e a tu r e s   a t   di f f e r e nt   s c a le s S ki p c onne c ti ons  a r e  i nt r oduc e d f or   f e a tu r e s  a id e nt ic a s c a le s pr oduc in g de e p f e a tu r e s    x x x     4.3.3.  R e c on s t r u c t io n   T he   HQ   f r a m e s   a r e   r e c ons tr uc te d   th r ough  th e   c om bi na ti on  of   s ha ll ow   a nd  de e p   f e a tu r e s .     G lo ba r e s id ua le a r ni ng  s tr e a m li ne s   th e   pr oc e s s   of   f e a tu r e   le a r ni ng  by  pr e di c ti ng  s ol e ly   th e   di f f e r e nc e   be twe e th e   bi li ne a r ly   ups a m pl e LQ   s e que nc e   a nd  th e   a c tu a HQ   s e que n c e T h e   r e c ons tr uc ti on  m odul e s   di f f e r   ba s e on  th e   s pe c if ic   r e s to r a ti on  ta s ks f or   in s ta nc e s ub - pi xe c onvolut io la ye r s   a r e   e m pl oye f or   vi de s upe r - r e s ol ut io n , w he r e a s  a   s in gl e  c onvolut io n l a ye r  i s  a d e qua te  f or  vi de o de bl ur r in g .     4.3.4.  L os s   f u n c t io n   I s  e m pl oye d t tr a in   th e  V R T   m ode l.  I is  de f in e d a s  f ol lo w s :     = (     ) 2 +   2         I R H Q   s ta nds   f or   th e   r e c ons tr uc te HQ   s e que n c e w hi le   I HQ   i s   th e   gr ound - tr ut HQ   s e que nc e w it be in a   s m a ll  c ons ta nt  t ypi c a ll s e to  10 −3 to  pr e ve nt  di vi s io n by z e r o.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  2 A pr il  2025 1518 - 1530   1522   4.3.5.  T e m p or al   m u t u al  s e lf - at t e n t io n   I s   e m pl oye to   to   jo in tl a li gn  c ha r a c te r is ti c s  a c r os s   two  f r a m e s G iv e a   r e f e r e nc e   f r a m e   f e a tu r e   X R   a nd a  s uppor ti ng f r a m e  f e a tu r e   X S , t he  que r Q R , ke K S , a nd va lu e   V S   a r e  c om put e d i n t he  f ol lo w in g m a nne r :       Q R   =   X R   ·   P Q K S   =   X S   ·   P ,   V S   =   X S   ·   P V       W he r e   P Q P K , a nd  P V   r e pr e s e nt  pr oj e c ti on ma tr ic e s . T he  c om p ut a ti on of  t he  a tt e nt io n m a A   is  a s  f ol lo w s :     =   ( )       a n d   us e d   f o r   w e i g h t e d   s u m   of   V S      ( , , ) =   ( )       4.3.6.  P ar al le w ar p in g   F e a tu r e   w a r pi ng  is   im pl e m e nt e a t   th e   c onc lu s io of   e ve r ne twor s ta ge   to   e f f e c ti ve ly   a ddr e s s   s ig ni f ic a nt   m ove m e nt s T he   opt ic a l   f lo w s   of   a dj a c e nt   f r a m e   f e a tu r e s   X t - 1   a nd  X t + 1   a r e   c om put e f or   e a c f r a m e   f e a tu r e   X t a nd  s ubs e que nt ly   w a r pe to w a r ds   f r a m e   X t   a s   ̂ t - 1   a nd  ̂ t + 1   us in ba c kw a r a nd  f or w a r w a r pi ng t e c hni que s . T h e  or ig in a f e a tu r e  i s  c om bi ne d w it h t he   di s to r te d f e a tu r e s  a nd t he n pr oc e s s e d t hr ough a   m ul ti - la ye r   pe r c e pt r on  ( M L P )   to   m e r ge   th e   f e a tu r e s   a nd  r e du c e   th e ir   di m e ns io na li ty M or e   s pe c if ic a ll y,  a   m ode f or   f lo w   e s ti m a ti on   pr e di c ts   th e   r e s id ua f lo w a nd  de f or m a bl e   c onvolut io is   e m pl oye d   to   a c hi e ve   de f or m a bl e   a li gnm e nt .   F ig ur e   il lu s tr a te s   th e   f r a m e w or k   a r c hi te c tu r e   of   our   w or ( l ib x265+ V R T )   T hi s   f ig ur e   pr ovi de s   a   c om pr e he ns iv e   ove r vi e w   of   how   our   pr opos e vi de r e s to r a ti on  te c hni que   in te gr a te s   w it th e   li bx265   c om pr e s s io c ode c I de pi c ts   th e   va r io us   c om pone nt s   in vol ve in   th e   P a r a ll e W a r pi ng   pr oc e s s   a nd  th e ir   in te r a c ti ons he lp in to   vi s ua li z e   th e   w or k f l ow   a nd  th e   r ol e   o f   e a c e le m e nt   in   e nha nc in g   vi de o r e s to r a ti on.           F ig ur e  4. T he  f r a m e w or k a r c hi te c tu r e  of  our  w or k ( l ib x265+ V R T )   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       D e e p l e ar ni ng - bas e d t e c hni que s  f o r  v id e o e nhan c e m e nt , c om p r e s s io n and r e s to r at io n   ( R e douane  L hi adi )   1523   5.   E X P E R I M E N T S  A N D  R E S U L T S   5.1.   C om p r e s s io n  t as k   V id e c om pr e s s io of te in tr oduc e s   a r ti f a c ts   th a de gr a de   vi s ua qua li ty T m it ig a te   th e s e   is s u e s ,   w e   e m pl oye a dv a nc e de e le a r ni ng  m ode l s   to   r e s to r e   hi gh - qua li ty   f r a m e s   f r om   c om pr e s s e in put s .   I ni ti a ll y, w e  us e d a  c onvolut io na a ut oe nc ode r  f or  i m a ge  c om pr e s s io n, f ol lo w in g t he  m e th od de m ons tr a te d by   J e al [ 2] .   T hi s   m ode r e duc e s   f il e   s iz e   w hi le   pr e s e r vi ng  vi s ua in f or m a ti on,  s e tt in th e   f ounda ti on  f or   th e   s ubs e que nt  r e s to r a ti on t a s ks .   T he   c om pr e s s io ta s in vol ve s   e nc odi ng  vi de f r a m e s   u s in th e   li bx265  c ode c   to   r e duc e   bi tr a te   a nd  s to r a ge   r e qui r e m e nt s   [ 3] .   I ni ti a ll y,  in put   f r a m e s   a r e   pa r ti ti one in to   c odi ng  tr e e   uni ts   ( C T U s )   a nd  unde r go  in tr a   or   in te r   pr e di c ti on  f o r   e f f ic ie nt   da ta   r e pr e s e nt a ti on.  T r a ns f or m   a nd  qua nt iz a ti on  pr oc e s s e s   a r e   a ppl ie to   s pa ti a ll a nd  te m por a ll c or r e la te da ta E nt r opy  c odi ng  te c hni que s   li ke   c ont e xt   a da pt iv e   bi na r a r it hm e ti c   c odi ng  ( C A B A C )   a r e   th e e m pl oye f or   e f f ic ie nt   bi ts tr e a m   ge ne r a ti on.  A   de bl oc ki ng  f il te r   is   a ppl ie t o   r e duc e  a r ti f a c ts .   F ig ur e   pr e s e nt s   th e   r e s ul ts   of   th e   c om pr e s s io ta s k,  s how in th e   or ig in a f r a m e   a lo ngs id e   th e   c om pr e s s e f r a m e .   T he   li bx265  c ode c   a c hi e v e a   pe a s ig na l - to - noi s e   r a ti ( P S N R )   of   31.469  dB s tr uc tu r a s im il a r it in de x   ( S S I M )   of   0.801,  a nd   m ul ti - s c a le   s tr uc tu r a s im il a r it in de x   ( MS - S S I M )   of   0.801.     T hi s  r e pr e s e nt s  a  s ig ni f ic a nt   im pr ove m e nt  ove r  pr e vi ous  m e th o ds , w it h a  P S N R  i nc r e a s e  of   + 1.4 dB .           F ig ur e  5. C om pr e s s io n t a s k output       T he   P S N R   a nd  S S I M   m e tr ic s   pr ovi de   in s ig ht s   in to   th e   vi s ua qua li ty   of   th e   c om pr e s s e f r a m e   c om pa r e to   th e   or ig in a l.   T he   c a lc ul a ti ons   f or   th e s e   m e tr ic s   r e ve a th a th e   c om pr e s s io pr oc e s s   m a in ta in s   a   hi gh  le ve of   vi s ua f id e li ty   de s pi te   th e   r e duc ti on  in   f il e   s iz e .   T a bl e   il lu s tr a te s   th a our   a ppr oa c h   de m ons tr a te s   s ubs ta nt ia im pr ove m e nt s   a c r os s   ke m e tr ic s w it a   not a bl e   in c r e a s e   in   P S N R   ( + 1.4  dB )   a nd   e nha nc e m e nt s   in   S S I M   a nd  M S - S S I M   by  + 0.12  on  a ve r a ge A lt hough  our   bi tr a te   r e duc ti on  is   s li ght ly   le s s   th a n t ha of  pr e vi ous  m e th ods , t he  ove r a ll  ga in s  i n vi s u a qua li ty  a r e  s ig ni f ic a nt .       T a bl e  1. C om pa r is on of   v id e c om pr e s s io m e th ods   M e t hod   P S N R   S S I M   MS - S S I M   B I T  R A T E   C V Q E   27   0.72   0.71   2,300   S I C   28   0.74   0.73   2,100   T I U   28   0.75   0.76   2,100   B V C   29   0.78   0.77   2,000   S I R   30   0.79   0.78   2,200   L i bx265   31.469   0.801   0.801   1 , 903.95       T hi s   gr a ph   a s   s how in   F ig ur e   6   pr ov id e s   a   c le a r   a nd  c om pr e he ns iv e   vi s ua c om pa r is on  of   th e   pe r f or m a nc e  of  va r io us  vi de o c om pr e s s io n m e th ods :     T he   l ib x265 model a c hi e ve s  t he  be s r e s ul ts  i n t e r m s  of  P S N R S S I M , a nd M S - S S I M , w hi le  m a in ta in in g   a  r e la ti ve ly  l ow   B I T  R A T E .     T he   in c r e a s e   of   + 1.4  d B   in   P S N R   c om pa r e to   th e   pr e vi ou s   m e th od  is   c le a r ly   vi s ib le a s   a r e   th e   im pr ove m e nt s  i n S S I M  a nd M S - S S I M .     T hi s  hi ghl ig ht s  t he  e f f e c ti ve ne s s  of  our  a ppr oa c h i n e nha nc in vi s ua qua li ty , de s pi te  a  s li ght  i nc r e a s e  i n   B I T  R A T E  c om pa r e d t o ot he r   m e th ods .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  2 A pr il  2025 1518 - 1530   1524       F ig ur e  6 . G r a ph of  c om pa r a ti ve   a na ly s is  of   v id e c om pr e s s io m e th ods       5.2.   R e s t or at io n  t as k s     5.2.1.  S u p e r - r e s ol u t io n  t as k   F or   th e   s upe r - r e s ol ut io ta s k,  w e   ut il iz e d   th e   B a s ic V S R   m ode l,   de s ig ne to   e nh a nc e   s pa ti a l   r e s ol ut io n i n vi de f r a m e s   [ 12] , [ 13] T he  pr oc e s s  i nvol ve d :     P r e pr oc e s s in g:   f r a m e s   w e r e  dow ns a m pl e d a nd r e s iz e d t o f a c il it a te  e nha nc e m e nt .     M ode a ppl ic a ti on:   th e   B a s ic V S R  m ode w a s  a ppl ie d t o up s c a le  f r a m e s  by a  f a c to r  of  4.     P os tp r oc e s s in g:   e nha n c e f r a m e s  w e r e  r e s iz e d t o t he ir  or ig in a di m e ns io ns .   O ur  a ppr oa c h a c hi e ve d s ubs ta nt ia e nha n c e m e nt s  i n P S N R  a nd S S I M  m e tr ic s  w he n c om pa r e d t o c ut ti ng - e dge   m e th ods a s   de m ons tr a te d   in  T a bl e   2   a nd  F ig ur e   6 S pe c if ic a ll y,  th e   P S N R   in c r e a s e by   + 2.3   dB in di c a ti ng  a   s ig ni f ic a nt  e nha nc e m e nt  i n vi s u a qua li ty .   A na ly s is   a nd  D is c us s io n:   T he   r e s ul ts   f r om   T a bl e   2   a nd   F ig ur e   7   in di c a te   th a th e   B a s i c V S R   m ode l   s ubs ta nt ia ll out pe r f or m s   ot he r   m e th ods   in   te r m s   of   P S N R   a nd  S S I M N ot a bl y,  our   pr opos e m e th od  us in l ib x265+ V R T   a c hi e ve d   a   P S N R   of   34.457   dB w hi c is   + 2. 067  dB   hi ghe r   th a th e   s e c ond - be s m e th od,  B a s ic V S R + + T hi s   s ig ni f ic a nt   im pr ove m e nt   de m ons tr a te s   th e   e f f e c ti ve ne s s   of   our   a ppr oa c in   e nha n c in vi s ua qua li ty T he   u s e   of   de e l e a r ni ng  m ode ls pa r ti c ul a r ly   tr a ns f or m e r s   li ke   V R T   [ 14] [ 15] in   c om bi na ti on w it h a dva nc e c om pr e s s io n t e c hni que s , pr ove s  t be  hi ghl y be ne f ic ia f or  s upe r - r e s ol ut io n t a s ks .       T a bl e   2 . S upe r   r e s ol ut io n ( A vg  m e tr ic s )   M e t hod   P S N R   S S I M   B I T  R A T E   B i c ubi c   26.14   0.729   -   S w i nI R   29.05   0.826   -   S w i nI R - ft   29.24   0.831   -   T O F l ow   27.98   0.799   -   DUF   28.60   0.825   -   P F N L   29.63   0.850   -   R B P N   30.09   0.859   -   M uC A N   30.88   0.875   -   E D V R   31.09   0.880   -   V S R T   31.19   0.881   -   B a s i c V S R   31.42   0.890   -   I c onV S R   31.67   0.894   -   B a s i c V S R ++   32.39   0.906   -   V R T   32.19   0.900   -   L i bx265+V R T  ( O ur s )   34.457   0.902   7 , 499.671     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       D e e p l e ar ni ng - bas e d t e c hni que s  f o r  v id e o e nhan c e m e nt , c om p r e s s io n and r e s to r at io n   ( R e douane  L hi adi )   1525       F ig ur e  7. S upe r - r e s ol ut io n pe r f o r m a nc e       5.2.2.  D e b lu r r in t as k     T o  a ddr e s s  m ot i on  bl ur w e   e m p lo y e d  t he   r e c ur r e nt   vi d e o  d e b lu r r in m o de [ 1 6] T h e  p r o c e s s   in c lu de d:     I nput   pr e pa r a ti on:   f r a m e s   f r om   th e   s upe r - r e s ol ut io ta s w e r e   r e s iz e to   f it   th e   de bl ur r in m ode l’ s   r e qui r e m e nt s .     D e bl ur r in a ppl ic a ti on:  t he   m ode r e s to r e d s ha r pne s s  i n t he  bl ur r e d f r a m e s .     P a r a m e te r   c onf ig ur a ti on:   w e   f ol lo w e r e c om m e nde s e tt in gs   to   e ns ur e   c on s is te nc O ur   m e th od s how e d   a   s ubs ta nt ia in c r e a s e   in   P S N R   ( + 3.4  dB )   a nd  a   m ode s im pr ov e m e nt   in   S S I M de m ons tr a ti ng  e f f e c ti ve   r e s to r a ti on of  s ha r pne s s , a s  de ta il e d i T a bl e   3   a nd F ig ur e   8 .   A na ly s is   a nd  di s c u s s io n:   th e   r e s ul ts   in   T a bl e   3   a nd   F ig ur e   8   s how   th a t   our   pr opos e m e th od   ( l ib x265+ V R T )   s ig ni f ic a nt ly   e nha nc e s   P S N R a c hi e vi ng  39.21   dB w hi c is   + 2.42  dB   hi ghe r   th a th e   V R T   m ode a lo ne T he   S S I M   a ls im pr ove d,  in di c a ti ng  be tt e r   p e r c e pt ua qua li ty   a nd  s ha r pne s s   r e s to r a ti on.    T hi s   im pr ove m e nt   c a be   a tt r ib ut e to   th e   s yne r gy  be tw e e th e   r e c ur r e nt   a r c hi te c tu r e   a nd   a dva nc e c om pr e s s io [ 17] , w hi c h e f f e c ti ve ly   r e duc e s  m ot io n bl ur  a nd e n ha nc e s  t he  vi de o’ s  c la r it y.       T a bl e   3 . D e bl ur r in g ( A vg  m e tr ic s )   M e t hod   P S N R   S S I M   B I T  R A T E   D e e pD e bl ur   26.16   0.824   -   S R N   26.98   0.814   -   D B N   26.55   0.806   -   E D V R   34.80   0.948   -   V R T   36.79   0.964   -   L i bx265+V R T   39.21   0.986   78 , 960.82     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  2 A pr il  2025 1518 - 1530   1526       F ig ur e  8. D e bl ur r in p e r f o r m a nc e       5.2.3.  D e n oi s in t as k   W e   ut il iz e th e   S w in I R   m ode f or   de noi s in g,  known  f or   it s   e f f e c ti ve   noi s e   r e duc ti on  [ 18]   T he  pr oc e s s  i nc lu de d :     P a r a m e te r   tu ni ng:  w e   s e le c te d a   s ig m a  l e ve of  10 ba s e d on pr e vi ous  r e s e a r c h a nd our  ow n e xp e r im e nt s .     M ode a ppl ic a ti on:  t he  S w in I R  m ode w a s   a ppl ie d t de noi s e  f r a m e s  w hi le  pr e s e r vi ng i m por ta nt  de ta il s .   R e s ul ts   s how e d   our   a ppr oa c a c hi e ve s im il a r   ga in s   to   a dva nc e m e th ods w it s ig ni f ic a nt   im pr ove m e nt s   in   P S N R  a nd P S N R  Y  m e tr ic s , a s   s how n i n T a bl e   4   a nd F ig ur e   9 .   A na ly s is   a nd  di s c us s io n:   T a bl e   4   a nd  F ig ur e   9   il lu s tr a te   th e   d e noi s in pe r f or m a nc e   th e   m e th od  w e   s ugge s t . T h e  r e s ul ts  s ho w  a  s li ght  de c r e a s e  i n P S N R   w he c om pa r e d t o t he  V R T  m ode but  w it h a  hi gh S S I M   of   0.983.  T he   P S N R   Y   im pr ove m e nt   to   41.77   dB   hi ghl ig ht s   our   m e th od’ s   e f f e c ti ve ne s s   in   m a in ta in in g   lu m in a nc e   de ta il c r uc ia f or   hi gh - qua li ty   vi de r e s to r a ti on.  T he   s li ght   tr a de - of f   in   P S N R   is   ba la nc e by   s ig ni f ic a nt  pe r c e pt ua qua li ty  ga in s  a s  i ndi c a te d by the  S S I M  m e tr ic s .       T a bl e   4 . D e noi s in g ( S ig m a = 10)  ( A vg  m e tr ic s )   M e t hod   P S N R   S S I M   B I T  R A T E   P S N R  Y   S S I M  Y   V L N B   38.785   -   -   -   -   D V D ne t   38.13   -   -   -   -   F a s t D V D ne t   38.71   -   -   -   -   P a c ne t   39.97   -   -   -   -   V R T   40.82   -   -   -   -   ( x265+V R T )  P r opos e d   40.00   0.983   91 , 772   41.77   0.987     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       D e e p l e ar ni ng - bas e d t e c hni que s  f o r  v id e o e nhan c e m e nt , c om p r e s s io n and r e s to r at io n   ( R e douane  L hi adi )   1527       F ig ur e  9. D e noi s in g pe r f or m a nc e       5.2.4.  F r am e   i n t e r p ol at io n   F r a m e   in te r pol a ti on  ( T a bl e   5)   w a s   in c or por a te to   im pr ove   te m por a c ohe r e nc e ut il iz in a dva nc e te c hni que s   [ 19] [ 20] A lt hough  th e   in te r pol a te f r a m e s   w e r e   not   di r e c tl us e due   to   in te gr a ti on  c ha ll e nge s ,   th e ir   m e tr ic s   w e r e   e va lu a te d   a nd  in c lu de d   in   our   r e s ul ts F ut ur e   w or w il f oc us   on  r e f in in th e s e   te c hni qu e s   to  e nha nc e  t he  r e s to r a ti on pr oc e s s .   A na ly s is   a nd  di s c us s io n:   th e   in te r pol a ti on  r e s ul ts   pr e s e nt e in   F ig ur e   10  in di c a te   th a our   a ppr oa c h,   us in th e   c om bi na ti on  of   li bx265  a nd   V R T s ho w e not a bl e   i m pr ove m e nt s   in   f r a m e   in te r pol a ti on.  A s   s how in   F ig ur e   10,  th e   f r a m e   in te r pol a ti on  qua li ty   is   de m on s tr a te b a   P S N R   of   27.32  dB   a nd  a   S S I M   of   0.867.   T hi s   f ig ur e   hi ghl ig ht s   th e   e f f e c ti ve ne s s   of   our   m e th od  in   e nha nc in te m por a r e s ol ut io a nd  ove r a ll   vi de qua li ty   c om pa r e to   s ta te - of - th e - a r te c hni que s S pe c if ic a ll y,  m e th ods   li ke   th os e   pr e s e nt e in   [ 21] ,   [ 22]   ha ve   de m ons tr a te s ig ni f ic a nt   a dva nc e s   in   vi de s upe r - r e s ol ut io a nd  in te r pol a ti on,  w hi c a li gn  w it th e   im pr ove m e nt s   obs e r ve in   our   f r a m e w or k.  O ur   r e s ul ts   a r e   c o ns is te nt   w it r e c e nt   s tu di e s   th a hi ghl ig ht   th e   e f f e c ti ve ne s s   of   de e le a r ni ng  m ode ls   in   vi de pr oc e s s in ta s ks F or   in s ta nc e [ 23]   s how c a s e   a dva n c e m e nt s   in   vi de de bl ur r in a nd  f r a m e   in te r pol a ti on  th a a r e   c om pa r a b le   to   our   f in di ngs T he   pe r f or m a nc e   in   f r a m e   in te r pol a ti on  de m ons tr a te s   th e   pot e nt ia of   our   f r a m e w or to   de li ve r   s upe r io r   r e s ul ts   in   vi de r e s to r a ti on   ta s ks e c hoi ng  th e   a dva n c e m e nt s   not e d   in   [ 24] [ 26] T he   e xpe r im e nt a r e s ul ts   unde r s c or e   th a t   our   c om pr e he ns iv e   vi de r e s to r a ti on  f r a m e w or a c hi e ve s   not a bl e   im pr ove m e nt s   a c r os s   v a r io us   qua li ty   m e tr ic s ,   in c lu di ng  P S N R   a nd  S S I M T he   c om bi na ti on  of   a dv a nc e d   de e le a r ni ng  m ode ls   w it e f f e c ti ve   c om pr e s s io n   te c hni que s   h a s   c ont r ib ut e s ig ni f ic a nt ly   to   th e s e   e nha nc e m e nt s S im il a r   im pr ove m e nt s   ha ve   b e e r e por te in   th e   li te r a tu r e s uc a s   in   [ 27 ] ,   [ 28 ] w hi c f oc us   on   hi gh - qua li ty   f r a m e   ge ne r a ti on  a nd  r e a l - ti m e   f lo w   e s ti m a ti on.   F ut ur e   e f f or ts   w il be   de di c a te to   e nha nc in g   th e s e   m e th ods   a nd  in te gr a ti ng  th e m   m or e   s uc c e s s f ul ly   in to   a   s e a m le s s   r e s to r a ti on  pr oc e s s   f or   r e a l - li f e   s c e na r io s w it th e   goa of   a dva nc in th e   s ta nda r ds  of  vi de o r e s to r a ti on i n t e r m s  of  qua li ty  a nd e f f ic ie nc y .     Evaluation Warning : The document was created with Spire.PDF for Python.