I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   5 Octo b er   20 25 ,   p p .   4 7 0 5 ~ 4 7 1 3   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 5 . pp 4 7 0 5 - 4 7 1 3           4705       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   An  ef ficien di rec tion o riente d bloc k - ba sed v ideo  inp a inting  using  mo rpho lo g ica l opera tions   a nd  a da ptively  dime nsio ned  sea rch re g io n wi t h direc tion - o rien t ed block - ba sed  in pa inting       Sh y ni Sh a j a ha n 1 ,   Y.   J a co b Ve t ha   Ra j 2   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   A d i   S h a n k a r a   I n st i t u t e   o f   E n g i n e e r i n g   a n d   Te c h n o l o g y ,   K a l a d y ,   I n d i a   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   N e s a mo n y   M e m o r i a l   C h r i st i a n   C o l l e g e ,   T a mi l n a d u ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 2 5 ,   2 0 2 4   R ev is ed   J u l 3 ,   2 0 2 5   Acc ep ted   J u l 1 2 ,   2 0 2 5       Vid e o   i n p a i n ti n g   is  a   tec h n i q u e   i n   c o m p u ter v isi o n   u se d   t o   re m o v e   u n wa n ted   o b jec ts  fro m   v id e o   se q u e n c e wh il e   p re se rv i n g   v isu a l   c o n siste n c y ,   so   th a t   m o d ifi c a ti o n re m a in   u n n o ti c e a b l e   to   th e   h u m a n   e y e .   Th is  p a p e p re se n ts  a n   a c c u ra te  v id e o   i n p a in ti n g   m o d e b a se d   o n   th e   a d a p ti v e ly   d ime n si o n e d   se a rc h   re g io n   with   d irec ti o n - o r ien ted   b lo c k - b a se d   i n p a i n ti n g   ( AD S R - DO BI a lg o rit h m .   Th e   m o d e o p e ra tes   in   fiv e   m a in   p h a se s:  p re p ro c e ss in g ,   b a c k g ro u n d   se p a ra ti o n ,   m o r p h o lo g ica o p e ra ti o n s ,   o b jec re m o v a l,   a n d   v id e o   in p a i n ti n g .   I n it iall y ,   th e   i n p u v i d e o   is  c o n v e rted   in to   fra m e s,  fo ll o we d   b y   p re p ro c e ss in g   ste p s   su c h   a d e i o n izin g   a n d   re siz in g .   Th e se   fra m e a re   th e n   p ro c e ss e d   u sin g   a   b a c k g ro u n d   su b trac ti o n   m o d u le,  wh e re   o b jec l o c a li z a ti o n   a n d   fo re g ro u n d   d e tec ti o n   a re   p e rfo rm e d   u sin g   th e   b in o m ially   d istri b u ted   fo re g ro u n d   se g m e n tati o n   n e tw o rk   (BDFg S e g Ne t)  a n d   m o r p h o l o g ica l   tec h n iq u e s.  T h is   re su lt in   se g m e n ted   fo re g ro u n d   o b jec ts  trac k e d   a c ro ss   fra m e s.  Th e   o b jec re m o v a p h a se   e li m in a tes   th e   id e n ti fied   f o re g ro u n d   o b jec ts  a n d   d e fi n e th e   m issin g   re g i o n ( h o les to   b e   fil led .   Th e     AD S R - DO BI  a lg o rit h m   is  t h e n   a p p li e d   t o   i n p a in t h e se   re g io n se a m les sly .   Ex p e rime n tal  re su l ts  d e m o n stra te  th a t h is  a p p ro a c h   o u t p e rfo rm e x isti n g   sta te - of - th e - a rt  m e th o d s in   b o th   a c c u ra c y   a n d   e fficie n c y .   K ey w o r d s :   B o n o m ially   d is tr ib u ted   f o r eg r o u n d   s eg m en tatio n   n etwo r k     Ad ap tiv ely   d im e n s io n ed   s ea r c h   r eg io n   with   d ir ec tio n   o r ien ted   b lo ck   b ased   i n p ain tin g     Mo r p h o l o g ical  o p er atio n s   Su m   o f   s q u a r ed   d if f er en ce s     Vid eo   in p ain tin g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sh y n i Sh ajah an   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   A d i Sh a n k ar I n s titu te  o f   E n g in ee r in g   an d   T ec h n o lo g y   Kala d y ,   Ker ala,   I n d ia   E m ail: sh y n i.c s @ ad is h an k ar a. ac . in       1.   I NT RO D UCT I O N   I n p ain tin g   i n v o l v es  f illi n g   m is s in g   p ix els  in   im ag es  with   v is u ally   p lau s ib le  co n ten [ 1 ] ,   b u it  is   in h er en tly   ill - p o s ed   with   n o   u n iq u s o lu tio n   [ 2 ] .   T h n ee d   f o r   in p ain tin g   h as  in cr ea s ed   with   th g r o wth   o f   h ig h - r eso lu tio n   m u ltime d ia  c o n ten [ 3 ] .   Vid eo   in p ain tin g   ex ten d s   th is   task   to   tem p o r al   d ata,   aim in g   to   f ill  m is s in g   r eg io n s   ac r o s s   f r am es  with   co h er en an d   r ea lis tic  co n ten t   [ 4 ] ,   [ 5 ] .   C h allen g es   ar is f r o m   ca m er a   m o tio n   an d   co m p le x   o b ject  m o v em en ts   in   r ea l - wo r ld   v id eo s   [ 6 ] .   Ap p l y in g   im ag i n p a in tin g   m o d els  f r am e - by - f r a m o f ten   lead s   to   tem p o r al  in c o n s is ten cies  lik f lick er in g   [ 7 ] .   T h is   n aiv e   ap p r o ac h   o v er lo o k s   v id e o   d y n am ics  an d   f ails   to   ca p tu r e   m o tio n - d r iv en   a p p ea r a n ce   ch an g es  o v er   tim [ 8 ] ,   h ig h lig h t in g   th im p o r tan ce   o f   s p atio tem p o r al  co h e r en ce   i n   h ig h - q u ality   v id eo   in p ain tin g .   As  v id eo s   ex h ib it  tem p o r al  r eg u lar ity ,   to   in p ain g iv en   f r am e,   it  is   n atu r al  to   u s e   d ata  f r o m   o th er   f r am es  as  th d ata  in   o th er   f r a m es  m ay   co r r esp o n d   to   p ar ts   o f   th s ce n b eh in d   th m ask ed   r eg io n   [ 9 ] .   B o t h   s p atial  s tr u ctu r an d   tem p o r al   co h er e n ce   ar r eq u ir e d   to   b co n s id er ed   in   h ig h - q u ality   v id eo   in p ain tin g   [ 1 0 ] R ec o v er in g   m is s in g   v id e o   co n ten t r eq u ir es th u n d er s tan d in g   o f   n o t o n l y   th s p atial  co n te x t o f   ea ch   f r am b u t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   5 Octo b e r   20 25 :   4 7 0 5 - 4 7 1 3   4706   also   th m o tio n   co n tex ac r o s s   f r am es  [ 1 1 ] .   Fo r   an y   m is s in g   p ix els  th at  lack   g o o d   co r r esp o n d en ce   d u to   o cc lu s io n ,   th v i d eo   in p ain tin g   m eth o d   m u s t h allu cin ate  r ea s o n ab le  co n ten [ 1 2 ] .   T h s tat e - of - th e - ar t m eth o d s   ten d   to   ca p tu r l o n g - ter m   c o r r esp o n d en c es  with   an   atten tio n   m ec h a n is m ,   s o   th a v ailab l co n ten at   d is tan f r am es  ca n   b e   g lo b ally   p r o p ag ated   to   th u n k n o wn   r eg i o n s   [ 1 3 ] .   T r ad itio n al  p atc h - b ased   m eth o d s   f i n d   s im ilar   Sp atio - tem p o r al  p atch es  f r o m   th k n o wn   r eg i o n s   o f   v id eo s   t o   f ill  th h o les,  wh ich   f o r m u la te  th p r o b lem   as  p atch - b ased   o p tim izatio n   task   [ 1 4 ] .   T h ese  m eth o d s   r ely   h ea v ily   o n   th h y p o th esis   th at  th e   m is s in g   co n ten i n   th co r r u p te d   r eg io n   ap p ea r s   i n   n eig h b o r in g   f r am es,  wh ich   g r ea tly   lim its   th eir   g en er aliza tio n   ab ilit y   [ 1 5 ] .   I n   ad d itio n ,   p atch - b ased   m et h o d s   ass u m th er e   is   r ef er en ce   f o r   th e   m is s in g   p a r an d   o f ten   f ail  to   r ec o v er   n o n - r ep etitiv an d   c o m p lex   r eg i o n s   ( e. g .   th ey   ca n n o r ec o v er   m is s in g   f ac well)   [ 1 6 ] .   I n   r ec en y ea r s ,   n u m b e r   o f   d ee p   lear n in g - b ased   v id eo   in p ain tin g   m eth o d s   ar e   p r o p o s ed   [ 1 7 ] .   T h ese  ex itin g   d ee p   v id e o   in p ain tin g   m eth o d s   ca n   b e   s u m m ar ized   a s   two   k ey   m o d u les,  tem p o r al   f ea tu r e   ag g r eg atio n ,   an d   s in g l e - f r am i n p ain tin g   f o r   tem p o r al  co n s is ten cy   [ 1 8 ] .   Sid d av atam   et  a l.   [ 1 9 ]   p r o p o s ed   v id eo   in p ain tin g   m eth o d   u s in g   au t o en co d er s   th at  lear n s   th e   b ac k g r o u n d   f ir s t,  th en   o b ject  f ea tu r es,  f o llo wed   b y   o b ject  r e m o v al  an d   b ac k g r o u n d   r ec o n s tr u ctio n .   T h ey   u s e d   p r e - tr ain e d   YOL m o d el  f o r   o b ject  d etec tio n .   Alth o u g h   th m eth o d   s h o we d   im p r o v ed   p er f o r m a n ce ,   it   f ac ed   lim itatio n s   r elate d   to   d ee p f ak e   task s .   Ke   et   a l.   [ 2 0 ]   in tr o d u ce d   a n   o cc lu s io n - a war v id e o   o b ject   in p ain tin g   ap p r o ac h   with   th Yo u T u b e - VOI   b e n ch m a r k   f o r   r ea lis tic  o cc lu s io n s .   T h eir   v id eo   o b ject  in p ain tin g   n etwo r k   ( VOI N)   u s ed   tem p o r al  GANs  an d   s p atio - tem p o r al  atten tio n   f o r   s h ap c o m p letio n   an d   te x tu r e   g en er atio n .   W h ile  ef f ec tiv f o r   co m p lex   o b jects,  VOI N’ s   p e r f o r m a n ce   d eg r a d ed   with   in ac cu r ate  in p u t.  Szeto   et  a l.   [ 2 1 ]   p r o p o s ed   a   tem p o r ally - awa r in ter p o latio n   n et wo r k   f o r   v id e o   f r am i n p ain tin g ,   u s in g   a   v id eo   p r ed ictio n   s u b n etwo r k   to   g en er ate  in ter m ed iate  f r a m es  an d   b len d i n g   th em   with   tem p o r ally - awa r e   in ter p o latio n   ( T AI ) .   T h eir   m et h o d   o u tp er f o r m e d   s tate - of - th e - ar ap p r o ac h es  b u p r o d u ce d   b lu r r y   r esu lts   u n d er   h ea v y   ca m e r m o tio n .   Hu a n g   an d   L in   [ 2 2 ]   in tr o d u ce d   v id eo   in p ain tin g   m eth o d   b ased   o n   o b ject  m o tio n   r ate   an d   co lo r   v ar ia n ce ,   u s in g   an   ad ap tiv f o r e g r o u n d   m o d el  an d   ex em p lar - b ased   in p ain tin g   f o r   u n p air e d   ar ea s .   W h ile  th eir   ap p r o ac h   y ield ed   v is u ally   p leasin g   r esu lts ,   it  s tr u g g led   t o   ac cu r ately   esti m ate  m o tio n   r ates  wh e n   m o v in g   o b jects  o v e r lap p ed .   I n p ain ted   v id e o s   h av e   b ec o m e   m o r a n d   m o r d i f f icu lt  t o   b e   d is tin g u is h ed   ev en   b y   e y es  in   p ac e   with   th e   r e m ar k ab le   s u cc ess   in   v i d eo   in p ain tin g   m eth o d s   [ 2 3 ] .   T h e   d if f icu lty   o f   v id e o   in p ain tin g   is   in h er e n tly   tied   to   th co n ten t   o f   th v id eo s   a n d   m ask s   b ein g   in p ain te d .   S o ,   co n te n t - in f o r m e d   d iag n o s tic  ev al u atio n   is   p er f o r m ed ,   wh ich   id en tifie s   th e   s tr en g th s   an d   wea k n ess es  o f   m o d e r n   in p ain tin g   m eth o d s   [ 2 4 ] .   Mo s o f   th ex i s tin g   tech n iq u es  d ev elo p ed   f o r   v id eo   in p ai n tin g   h av c o m p l ex ities   in   ter m s   o f   co m p u tatio n   a n d   ac c u r ac y .   Al th o u g h   th er ar s ev e r al  tech n iq u es,  th er is   co n s tan d em an d   f o r   r eliab le  an d   ef f icien v id e o   in p ain tin g   s y s tem s .   T h er ef o r e,   t h is   p ap er   p r o p o s es  an   ef f icie n d ir ec tio n   o r ien ted   f ast  iter ativ b lo ck - b ased   v id eo   in p ain tin g   m o d el  u s in g   ADSR - DOBI.   T h r est  o f   th p ap er   is   o r g a n ized   as  f o llo ws,  s ec tio n   1   s u r v ey s   th ex is tin g   wo r k s   r elate d   to   v id eo   in p ain tin g .   S ec tio n   2   e x p lain s   th p r o p o s ed   m eth o d o lo g y .   T h ex p er im en tal  ev al u atio n   o f   t h p r o p o s ed   m eth o d o l o g y   is   g iv e n   in   s ec tio n   3   an d   s ec tio n   4   c o n clu d es th p ap er   with   f u tu r e n h an ce m en t.       2.   P RO P O SE VID E O   I NP A I NT I NG   S YS T E M   I n   th is   p ap er ,   d i r ec tio n   o r ien ted   f ast  iter ativ e   b lo c k - b ased   v id eo   in p ain tin g   u s in g   m o r p h o lo g ical   o p er atio n s   a n d   SS is   d o n e .   T h p r o p o s ed   m eth o d   f ir s d etec ts   th f o r e g r o u n d   o b ject   th at  n ee d s   to   b e   r em o v ed   an d   th e   tar g et   r eg io n   to   b in p ain ted .   T h en   th AD SR - DO B I   alg o r ith m   is   u tili ze d   f o r   th e   p u r p o s o f   in p ain tin g ,   wh e r th tar g et  r eg io n   is   in p ain ted   with   th e f f icien b lo ck   m atch i n g   m ec h an is m .   T h b lo ck   d iag r am   o f   th p r o p o s ed   m eth o d o lo g y   is   s h o wn   in   Fig u r 1 .     2 . 1 .     P r o ce s s ing   I n   th is   p r o p o s ed   m eth o d o lo g y ,   th e   in p u v id eo   (  )   is   tak en   f r o m   p u b licly   av ailab le   d atasets .   As  p ar o f   p r e - p r o ce s s in g ,   f r am es  ar ex tr ac te d   f r o m   th c ap tu r ed   v id e o s   f o r   th e   f u r th er   p r o ce s s   an d   th e   co n v er ted   f r am es a r i n itialized   as,     ( ) =  { ( 1 ) , ( 2 ) , . . . . . . ( ) }   (1 )     wh er e ( )   is   th n u m b e r   o f   f r am es.  T h co n v er ted   f r am es  ar f u r th er   p r e - p r o ce s s ed   b ased   o n   th f o llo win g   s tep s .   a.   R esize  im ag e:  I n   th is   s ec tio n ,   th f r am es  ( )   ar r esized   f o r   r ed u cin g   th co m p u tatio n al  ti m o f   th s y s tem .   I m a g e   r e s i z i n g   r e f e r s   t o   t h s c a l in g   o f   i m a g e s .   I h e l p s   in   r ed u c in g   t h e   n u m b er   o f   p i x e l s   f r o m   a n   im a g an d   a l s o   z o o m i n g   in   o n   im a g e s .   B ec au s th lar g im ag es  ar f e d   in to   th AI   alg o r ith m   v ar y   in   s ize  th er ef o r th tr ai n in g   m ig h t b in cr ea s ed .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       A n   efficien t d ir ec tio n   o r ien ted   b lo ck - b a s ed   vid eo   in p a in tin g   u s in g     ( S h yn i S h a ja h a n )   4707   b.   No is R em o v al:  I n   th is   s ec tio n ,   th e   n o is es  ar e   r em o v ed   d u to   th e   p r esen ce   o f   b lu r   an d   illu m in atio n s   in   th im ag es.  Hen ce   th p r o p o s ed   m eth o d   u s es  th tech n iq u o f   Gau s s ian   s m o o th en in g   in   o r d er   to   en h a n ce   th im ag s tr u ctu r es  at  d if f er en s ca le.   T h v is u al  ef f e ct   o f   t h is   b l u r r i n g   t ec h n i q u is   s m o o th   b lu r   r es em b li n g   t h a o f   v ie wi n g   th e   im a g e   t h r o u g h   a   t r a n s l u c en t   s cr ee n .   T h e   d eg r ee   o f   s m o o th in g   is   d eter m i n ed   b y   th s tan d a r d   d e v iatio n   o f   th Gau s s ian .     Hen ce   th p r e p r o ce s s ed   f r a m e   is   in itialized   as,      ( ) = {  ( 1 ) ,  ( 2 ) , . . . . . .  ( ) }      ( 2 )     w h er e,    ( )   d en o tes th p r e p r o ce s s ed   f r am es.           Fig u r 1 B lo ck   d iag r am   o f   th p r o p o s ed   m eth o d o lo g y       2 . 2 .     B a c k g ro un s ub t ra ct io n   B ac k g r o u n d   s u b tr ac tio n   is   w id ely   u s ed   m eth o d   f o r   d etec tin g   m o v in g   o b jects  in   v id eo s   ca p tu r ed   b y   s tatic  ca m er as.  I h elp s   in   s e g m en tin g   f o r eg r o u n d   b lo b s   in to   in d iv id u al  o b jects  an d   tr ac k in g   th em   ac r o s s   f r am es.  I n   th is   wo r k ,   f o r eg r o u n d   s eg m en tatio n   n etwo r k   ( F g Seg Net)   is   u s ed   f o r   th is   p u r p o s e.   Fg Seg Net  is   r ec en tly   d e v elo p e d ,   h i g h - p e r f o r m in g   n e u r al  n etwo r k   th a em p lo y s   en c o d er - d ec o d er   ar ch itectu r e.   T h e   en co d er ,   m ad u p   o f   co n v o l u tio n al  n eu r al  n etwo r k s   ( C NNs),   ex tr ac ts   im ag f ea tu r es,  wh ile  th d ec o d er ,   u s in g   tr an s p o s ed   C NN  ( T C NN) ,   r ec o n s tr u cts  th f ea tu r e   m ap s   f o r   o b ject  s eg m en tatio n .   T h is   ar ch itectu r e   en ab les  ac cu r ate  b ac k g r o u n d   s u b tr ac tio n   an d   o b ject  id en tifi ca tio n .   T o   en s u r s tab le  tr ain i n g   an d   av o id   is s u es   lik v an is h in g   o r   ex p lo d in g   g r ad ien ts ,   th n etwo r k s   weig h ts   ar in itialized   u s in g   B in o m i al  d is tr ib u tio n .   T h e   ar ch itectu r o f   Fg Seg Net  is   s h o wn   in   Fig u r e   2 .     I n iti all y ,   t h e   i n p u im ag f r a m es a r e   f e d   in to   t h r e C NNs   a n d   t h e   o u t p u ts   a r e   c o n ca te n a te d   a n d   a p p l ie d   f o r   T C NN .   B ef o r e   s eg m en tati o n th weig h ts   o f   n etwo r k s   m u s b in itialized Her th weig h ts   ar in itialized   u s in g   th e   B in o m ial  d is tr ib u ti o n   f u n ctio n   r ath e r   th a n   ass ig n in g   t h r a n d o m   n u m b e r s .   T h u s ,   th e   weig h ts   ar e   in itialized   as,     = ( )           ( 3 )     w h e r e ,     d en o tes  th e   b in o m ial  p r o b ab ilit y ,     d en o tes  th e   p r o b ab ilit y   o f   s u cc ess ,     p r o b ab il ity   o f   f ailu r e ,   d en o tes n u m b er   o f   tr ials ,     d en o tes th s p ec if ic  o u tco m es  i.e . ,   weig h ts .     2. 2 . 1 .   E nc o de net wo r k   T h en co d er   n etwo r k   co n s is ts   o f   th r ee   co p ies  o f   C NN,   ea c h   o f   wh ich   co n tain s   th f ir s f o u r   b lo ck s   as  th at  o f   th VGG - 1 6   n et  an d   th d r o p o u lay er s .   T h in p u im ag f r am es  ar f ed   to   ea ch   C NN  wh er th e   co n v o l u tio n   lay er   tr an s f o r m s   th in p u ts   in to   th f ea tu r m a p s   o f   s ize   × .   T h tr an s f o r m ati o n   o f   f ea tu r e   m ap s   ca n   b e x p r ess ed   as,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   5 Octo b e r   20 25 :   4 7 0 5 - 4 7 1 3   4708    ( ) =  ( ) +         ( 4 )     =  ( , )  , =  ( ) +   ( 5 )     w h er e,    ( )   d en o tes  th o u tp u f ea tu r m ap s   o f   co n v o lu tio n ,     d en o tes  th R e LU   ac tiv atio n   f u n ctio n ,     is   th weig h t   v alu es,     d e n o tes  th b ias  o f   th e   n etwo r k .   T h u s ,   th e x tr ac ted   f ea tu r es   m a p s   a r d o w n - s a m p l ed   b y   u s i n g   t h e   p o o li n g   l a ye r .   Th e   p o o l in g   l a y er  u t iliz es  th m a p o o li n g   o p er a ti o n   t h a t   s t o r es  o n l y   t h e     ma x - p o o li n g   i n d ic es   i . e .   th l o c ati o n s   o f   m a x i m u m   f e at u r e   v al u e   i n   e ac h   p o o li n g   wi n d o to   c a p t u r e   a n d   s to r e   b o u n d a r y   i n f o r m a ti o n .   T h e   o u tp u t   o f   t h e   p o o l in g   la y er   i s   c o m p u t ed   as ,      ( ) = ( ) + 1     ( 6 )     w h e r e ,    ( )   d en o tes  th o u tp u f ea tu r m ap s   o f   th e   p o o lin g   lay e r ,     d en o tes  th s tr id es  o f   th k er n el.   At   th e   e n d   o f   t h is   p r o ce s s ,   t h e   d r o p o u t l a y e r   is   u ti liz ed   t o   a v o i d   t h e   p r o b le m   o f   o v e r f it ti n g .             Fig u r 2 .   Ar c h itectu r o f   Fg Seg Net       2 . 2 . 2 .   De co d er   ne t w o r k   T h o u tp u t   o f   th en c o d er   n et wo r k   is   co n ca t en at ed   t o   f o r m   th e   f ea t u r e   m ap s   o f   d i f f e r e n s ca l es  a n d   th e n   t h e   m a p s   a r f e d   t o   T C N f o r   d e co d i n g   t h e   f e at u r e   m ap s .   He r e   th e   f ea t u r e   m a p s   a r o p e r a te d   wit h   t h e   tr a n s p o s e d   c o n v o l u t io n   t o   e n l a r g e   t h e   f e at u r e   m ap s .   Fin ally ,   s ig m o id   f u n ctio n   is   u s ed   in   th last   lay er   as  th e   p r o b a b ilit y   v alu es  f o r   ea c h   p ix el  to   o b tain   d is cr ete  b i n ar y   class   lab els  f o r eg r o u n d   an d   b ac k g r o u n d .   T h e   s eg m en ted   im ag ca n   b o b tai n ed   as,      ( ) = 1 1 + ( )   ( 7 )     T h cr o s s - en tr o p y   is   u tili ze d   a s   lo s s   f u n ctio n ,   wh ich   is   ex p r ess ed   as,      = 1 (  ( )   ( ) = 1 + ( 1  ( ) )  ( 1  ( ) ) )         ( 8 )     wh er e   d en o tes  th lo s s   f u n ct io n ,     d en o tes  th n u m b er   o f   p ix els  in   th f r am e,    ( )   is   th g r o u n d   tr u t h   lab el,    ( )   d en o tes  th s eg m en ted   lab els  b y   th n etwo r k .     T h s eg m en ted   f r am es  ar f u r th er   e n h an ce d   to   r em o v th e   im p er f ec ti o n s   in   s eg m en tatio n   u s in g   m o r p h o lo g i ca l o p er atio n s .     2 . 2 . 3 .   O bje ct   re m o v a l   T h s eg m en te d   o b jects  o r   t ar g et  o b jects  s p ec ified   b y   th m o r p h o lo g ical  p r o ce s s    ( )   ar e   r em o v ed   f r o m   ea ch   im ag b y   f o r m in g   th h o le  r eg io n   t o   b in p ain ted .   T h s tatic  p o r tio n   o f   th h o le  ca n   b e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       A n   efficien t d ir ec tio n   o r ien ted   b lo ck - b a s ed   vid eo   in p a in tin g   u s in g     ( S h yn i S h a ja h a n )   4709   fill ed   b y   av ailab le  b ac k g r o u n d   in f o r m atio n   u s in g   th v i d eo   i n p ain tin g   alg o r ith m .   Oth e r wis e,   im ag in p ain tin g   is   p er f o r m e d   b ased   o n   th s u r r o u n d in g   im ag e   s tatis tic s .   Hen ce ,   th f r am e   with   th h o le  r eg i o n   is   in itialized   as,     ( ) = ( 1 ) , ( 2 ) , ( 3 ) , . , ( )   ( 9 )     w h er e   ( )   d en o tes th f r am es wit h   f o r m ed   h o le  r eg io n ,   ( )   d en o tes   th   f r am e.     2 . 2 . 4 .   Video   inp a inting   T h is   s ec tio n   ex p lain s   th v id eo   in p ain tin g   p r o ce s s   u s i n g   th d ir ec tio n - o r ien ted   b l o ck - b ase d   in p ain tin g   ( DOBI)   alg o r ith m .   T h tar g et  r eg io n ,   id en tifi ed   as  th h o le  a r ea ,   is   f illed   with   m atch in g   b ac k g r o u n d   co n ten t.  I n itially ,   th b o u n d ar y   p o in ts   o f   th ta r g et  r eg i o n   a r d eter m in ed   to   s ea r ch   f o r   s u itab le   p atch es.  W h ile  u s in g   f ix e d   p atch   s ize  in cr ea s es  s ea r ch   p o in ts ,   ad ap tin g   th s ea r ch   r e g io n   s ize  im p r o v es  ef f icien cy   with o u s ac r if icin g   q u ality .   W h en   m o tio n   v ar ies   am o n g   a d jace n b l o ck s ,   a   la r g er   s ea r c h   ar ea   is   n ee d ed .   T h u s ,   a n   ad a p tiv ely   d im en s io n ed   s ea r ch   r e g io n   is   u s ed ,   lead in g   to   th e   p r o p o s ed   a d ap tiv ely   d im en s io n ed   s ea r ch   r eg io n - b a s ed   DOBI  ( ADS R - DOBI)   m et h o d ,   as sh o wn   in   Fig u r e   3 .           Fig u r 3 .   Fra m es with   tar g et  a n d   s o u r ce   r eg io n   f o r   in p ain tin g       I n itially ,   th tar g et  r eg io n   (  )   h as  b ee n   s elec ted   an d   th n ea r e s b o u n d ar y   p o in ts   wer e   d ete cted .     Fro m   th o u ts id o f   th d etec ted   b o u n d ar y ,   th b lo ck   wit h   th h ig h est  m atch in g   p r o b ab ilit y   is   s elec ted .   Du r in g   th is   p r o ce s s ,   th d im en s io n   o f   th s ea r c h   r eg io n   is   ch o s en   ad ap tiv ely   as,      = { , }   ( 1 0 )     = { ,  ( | 1 | , | 2 | , | 3 | ) }       ( 1 1 )     = { ,  ( | 1 | , | 2 | , | 3 | ) }        ( 1 2 )     w h er e,   (  )   d en o tes  th d im en s io n   o f   s ea r ch   r eg i o n ,   ( ) ( )   ar th ad ap tiv d is p lace m en in   th e   h o r izo n tal   ( )   an d   v er tical  ( )   d ir ec tio n ,   ( , )   d en o tes  t h n u m b er   o f   s ea r ch   p o in ts .   T h a d ap tiv e   SR   is   b o u n d ed   s u ch   th at,       ,      ( 1 3 )     Mo r eo v er ,   in   o r d er   to   d eter m in th p ix el,   th m o s ac cu r ate  to   b r ep air ed   th co n f id e n ce   o f   th r ep air e d   p ix els  n ee d s   t o   b e   u p d ated .   A n   in cr ea s e   in   b o th   th e   co n f i d e n ce   o f   th e   n eig h b o r in g   p ix els  an d   th e   p r io r ity   o f   th n eig h b o r i n g   p ix els  co n s titu tes  th m o s ac cu r ate   p ix el  t o   b e   r ep air e d   s o   th at  t h im p r o v ed   o u tp u ca n   b e   r etr iev ed .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   5 Octo b e r   20 25 :   4 7 0 5 - 4 7 1 3   4710   T h er ef o r e,   th p r io r ity   o f   g iv en   b lo ck   ca n   b e   d ef in e d   as,     = .     ( 1 4 )     =   |  | , 0 1      ( 1 5 )     = | . | , 0 1   ( 1 6 )     w h er e,     d en o tes  th p r io r ity ,       ar th co n f id en ce   ter m   a n d   d ata  ter m ,     is   th u n it  v ec to r   o r th o g o n al  to   im ag g r ad ie n t,     is   th u n it   v ec to r   o r th o g o n al   to   th e   p o i n   is   th n o r m aliza tio n   v ec t o r .   T h u s ,   th e   p ix el     with   th h ig h est p r io r ity   is   tr e ated   as th in itial  s ea r ch   ce n tr to   ch o o s th tar g et  p atch   to   b f illed .   T h en   th e   s elec tio n   o f   th e   b est  m atch i n g   b lo ck   (  )   is   d o n e   b ased   o n   th e   s u m   o f   s q u a r ed   d if f er en ce s   ( SS D)   ca lcu lated   b etwe en   th k n o wn   p ix els  o f   t h tar g et  r eg io n   an d   s ea r ch   r e g io n .   Fro m   t h is   s tep ,   th ar ea   h as  b ee n   id en tifie d   th at  s atis f ies th f o llo win g   cr iter io n   as,      =     (  ,  )     ( 1 7 )     w h er e,   ( )   is   th SS b etwe en   t h b lo ck   (  )   an d   th b lo ck   (  ) .   Hen ce   th co r r esp o n d in g   p o s itio n   to   th u n k n o wn   p ix el    o f   th ta r g et  r eg io n   is   f illed   b y   ass ig n in g   th k n o wn   p ix els  o f   th e   m atch in g   b l o ck     o b tain ed .   Af te r   f illi n g   th co n f id en ce   v alu is   u p d ated   as,     = ,       ( 1 8 )     T h s tep s   ar r ep ea ted   u n til  t h tar g et   r eg io n   g ets  f illed .   T h p s eu d o - co d o f   th e   p r o p o s ed   ADSR - DOBI  is   s h o wn   in   b elo Fig u r 4 .           Fig u r 4 .   Ps eu d o   co d o f   th e   ADSR - DO B I   alg o r ith m       3.   RE SU L T S AN D I SCU SS I O   I n   th is   s ec tio n ,   th p er f o r m a n ce   o f   th p r o p o s ed   v id eo   in p ai n tin g   m eth o d   is   an aly ze d .   T h e   p r o p o s ed   m eth o d o l o g y   is   im p lem e n ted   i n   th wo r k in g   p latf o r m   o f   PY T HON.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       A n   efficien t d ir ec tio n   o r ien ted   b lo ck - b a s ed   vid eo   in p a in tin g   u s in g     ( S h yn i S h a ja h a n )   4711   3 . 1 .     Da t a ba s des cr iptio n   Fo r   th p er f o r m an ce   an aly s i s ,   th p r o p o s ed   wo r k   u s es  th Yo u T u b e - v id eo   o b ject   s eg m en tatio n   ( VOS)   d ataset  th at  is   p u b lica lly   av ailab le  o n   th in ter n et.   Yo u T u b e - VOS  co n tain s   4 , 4 5 3   v id eo s .   Fro m   th e   d ataset,   8 0 o f   d ata  was   u s e d   f o r   tr ain in g   an d   2 0 d ata  f o r   test in g .   T h co llected   d at aset  h as  m o r th a n   7 , 8 0 0   u n iq u o b jects,  1 9 0 k   h i g h - q u ality   m an u al  a n n o tatio n s ,   an d   m o r th a n   3 4 0   m in u tes in   d u r atio n .     3 . 2 .     P er f o r m a nce  a na ly s is   T h e   p r o p o s ed   B DFg Seg Net  m eth o d   is   b ased   o n   q u ality   m etr ics  s u ch   as  s en s it iv ity ,   s p ec if icity ,   ac cu r ac y ,   p r ec is io n ,   r ec all,   F - m ea s u r e,   f alse  p o s itiv r ate  ( FP R ) ,   f alse  n eg ativ r ate  ( F NR ) ,   an d   Ma tth ews   co r r elatio n   co ef f icien t   ( MCC ) .   T ab le  1   s h o ws  th co m p ar ativ an aly s is   o f   th p r o p o s ed   ADSR - DO B I   alg o r ith m   a n d   t h ex is tin g   D OS - b ased   alg o r ith m .   T h e   an a ly s is   h as  b ee n   d o n b y   v ar y i n g   th e   s ize  o f   t h e   f r am e.   Fo r   2 8 5 4 1 - p ix el  f r a m e,   th tim tak en   f o r   in p ain t in g   is   0 . 0 1 8   s ec o n d s   less er   th an   th ex is tin g   DOS - b ased   m eth o d .   Similar ly ,   f o r   a   5 4 3 0 0 - p i x el  f r am e,   th tim t ak en   f o r   in p ain tin g   is   1 . 2 2 6 7   s ec o n d s   less er   wh en   co m p ar ed   with   th DOS  alg o r ith m .   L ess er   tim e,   tak en   f o r   i n p ain tin g   th g i v en   a r ea ,   s h o ws  th ef f icien cy   o f   th p r o p o s ed   m eth o d .   T ab le  2   p r esen ts   p er f o r m a n ce   co m p a r is o n   o f   th p r o p o s ed   ADSR - DO B I   m eth o d   with   ex is tin g   tech n iq u es  u s in g   q u ality   m etr i cs  s u ch   as  PS NR ,   SS I M,   MSE ,   an d   R MSE .   h ig h er   PS NR   an d   SS I in d icate   b etter   im ag q u ality ,   wh ile  lo wer   MSE   an d   R MSE   r ef lect  r ed u ce d   er r o r .   T h p r o p o s ed   m eth o d   s h o ws  0 . 8 7   d B   im p r o v em e n in   PS NR   o v er   FF B MA   an d   0 . 0 7   in cr ea s in   SS I co m p ar ed   to   B B GDS.   Ad d itio n ally ,   MSE   an d   R MSE   v alu es  ar e   co n s is ten tly   lo wer   th an   th o s o f   ex is tin g   m eth o d s .   Ov e r all,   ADSR - DO B I   o u tp er f o r m s   o th e r   tech n iq u es  ac r o s s   all  m etr ics,  d em o n s tr atin g   its   ef f ec tiv en ess   in   v id e o   in p ain tin g .   T ab le  3   p r esen ts   p er f o r m an ce   co m p a r is o n   b etwe en   th p r o p o s ed   B DFg Seg Net  an d   ex is tin g   m eth o d s   u s in g   v ar i o u s   q u ality   m etr ics.  Hig h er   v alu es  o f   ac cu r ac y ,   s p ec i f icity ,   s en s itiv ity ,   p r ec is io n ,     F - m ea s u r e,   an d   MCC   in d icate   b etter   p er f o r m a n ce ,   wh il lo wer   FP R   an d   FN R   v al u es  r ef lect  g r ea ter   ef f icien cy .   As  o b s er v e d ,   ex is tin g   m eth o d s   s u ch   as  C NN,   ANN,   DNN,   an d   Seg Net  s h o r elativ ely   lo w   p er f o r m an ce   ac r o s s   th ese  m et r ics.  I n   c o n tr ast,  th e   p r o p o s ed   B DFg Seg Net  d em o n s tr ates  s u p er io r   r esu lts   in   all  ev alu ated   m etr ics,  h ig h lig h tin g   its   ef f ec tiv en ess   with   o p tim a l f ea tu r s elec tio n .       T ab le  1 .   Per f o r m an ce   co m p a r is o n   o f   p r o p o s ed   ADSR - DOBI   alg o r ith m   with   th e   DOS - b ased   alg o r ith m   To t a l   f r a me   si z e   ( i n   p i x e l s)   R e m o v e d   a r e a   s i z e   ( i n   p i x e l s)   Ti me   t a k e n   i n   s e c o n d s       DOS - b a se d   a l g o r i t h m   P r o p o se d   A D S R - D O B I   2 8 5 4 1   2 9 6   0 . 1 5   0 . 1 3 2   5 4 3 0 0   3 4 8 0   1 . 8 5 6   0 . 6 2 9 3   3 7 0 0 0   5 2 1 0   2 . 5 7 0 6   0 . 5 6 7 4   9 2 9 8 2   6 0 1 5   2 . 7 5 2 2   0 . 9 3 4 4   1 9 5 8 6 0   2 5 8 0 6   1 0 . 2 9 3 2   3 . 4 3 7 2       T ab le  2 .   Per f o r m an ce   an aly s is   o f   p r o p o s ed   ADSR - DOBI  m e th o d   b ased   o n   d if f er e n t im ag q u ality   m etr ics   Te c h n i q u e s   P S N R   S S I M   M S E   R M S E   DOS   1 4 . 1 9   0 . 7 5   2 1 . 9 5   4 . 6 9   B B G D S   1 7 . 1 6   0 . 7 8   1 7 . 2 9   4 . 1 6   F F B M A   2 1 . 3 2   0 . 8   1 5 . 8 1   3 . 9 7   P r o p o se d   A D S R - D O B I   2 2 . 1 9   0 . 8 5   1 4 . 2 2   3 . 7 7       T ab le  3 .   Per f o r m an ce   an aly s is   o f   p r o p o s ed   B DFg Seg Net  m eth o d   b ased   o n   q u ality   m etr ics   P e r f o r ma n c e   me t r i c s/ t e c h n i q u e s   S e g N et   C N N   ANN   DNN   P r o p o se d   B D F g S e g N e t   A c c u r a c y   9 2 . 2 3   9 1 . 3 1   9 4 . 3 4   9 2 . 2 6   9 7 . 1 4   S p e c i f i c i t y   8 6 . 5 6   8 7 . 2 7   8 5 . 9 2   9 2 . 3 9   9 3 . 6 5   S e n s i t i v i t y   8 9 . 7 2   9 0 . 2 4   8 5 . 2 4   9 0 . 6 2   9 5 . 1 7   P r e c i s i o n   9 2 . 5 6   9 0 . 3 1   8 7 . 3 4   9 4 . 8 3   9 7 . 2 9   F - M e a s u r e s   9 3 . 6 7   9 2 . 9 8   8 8 . 2 9   9 3 . 6 2   9 7 . 4 8   FPR   4 6 . 1 4   4 4 . 1 5   5 9 . 8 2   3 0 . 5 1   1 1 . 1 6   F N R   4 2 . 3 2   4 9 . 4 2   5 5 . 6 8   3 7 . 5 8   8 . 9 8   M C C   8 5 . 4 2   8 2 . 3 1   8 0 . 9 2   8 7 . 2 8   9 4 . 5 3       4.   CO NCLU SI O   Vid eo   in p ain tin g   r em o v es  o r   r esto r es  m is s in g   r eg io n s   in   v id eo   u s in g   s p atial  an d   tem p o r a in f o r m atio n .   T h is   p ap er   p r o p o s es  an   ef f ici en ADSR - DO B I   b lo ck   m atc h in g   alg o r ith m   f o r   in p ain tin g ,   wh er th ta r g et   r eg io n   is   id en tifie d   an d   f illed   with   m atch in g   b ac k g r o u n d   c o n ten t.  T h p r o p o s ed   m eth o d   i s   ev alu ated   ag ain s Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   5 Octo b e r   20 25 :   4 7 0 5 - 4 7 1 3   4712   ex is tin g   tech n iq u es  u s in g   q u a lity   m etr ics.  R esu lts   s h o th at  ADSR - DO B I   ac h iev es  s u p er io r   p er f o r m a n ce ,   with   PS NR   v alu o f   2 2 . 1 9   an d   an   in p ain tin g   tim e   o f   3 . 4 3   s ec o n d s b o th   b etter   th a n   ex is tin g   m et h o d s .   T h ese  f in d in g s   d em o n s tr ate  th ef f icien cy   o f   ADSR - DOBI.   Fu tu r wo r k   ca n   im p r o v th e   m eth o d   f u r th e r   b y   ad d r ess in g   o cc lu d ed   r e g io n s   a n d   en h an cin g   m o tio n   h an d lin g   ca p ab ilit ies.       RE F E R E NC E S   [ 1 ]   S .   Le e ,   S .   W .   O h ,   D .   W o n ,   a n d   S .   J .   K i m ,   C o p y - a n d - p a s t e   n e t w o r k f o r   d e e p   v i d e o   i n p a i n t i n g ,   a rX i v : 1 9 0 8 . 1 1 5 8 7 ,   A u g .   2 0 1 9 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 9 0 8 . 1 1 5 8 7 .   [ 2 ]   H .   Z h a n g ,   L .   M a i ,   H .   Ji n ,   Z.   W a n g ,   N .   X u ,   a n d   J.  C o l l o m o ss e ,   A n   i n t e r n a l   l e a r n i n g   a p p r o a c h   t o   v i d e o   i n p a i n t i n g ,     i n   2 0 1 9   I E EE/ C VF   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t e V i s i o n   ( I C C V) ,   O c t .   2 0 1 9 ,   p p .   2 7 2 0 2 7 2 9 ,   d o i :   1 0 . 1 1 0 9 / i c c v . 2 0 1 9 . 0 0 2 8 1 .   [ 3 ]   H .   O u y a n g ,   T.   W a n g ,   a n d   Q .   C h e n ,   I n t e r n a l   v i d e o   i n p a i n t i n g   b y   i mp l i c i t   l o n g - r a n g e   p r o p a g a t i o n ,   i n   2 0 2 1   I EEE / C V F   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r V i s i o n   ( I C C V) ,   O c t .   2 0 2 1 ,   p p .   1 4 5 5 9 1 4 5 6 8 ,   d o i :   1 0 . 1 1 0 9 / i c c v 4 8 9 2 2 . 2 0 2 1 . 0 1 4 3 1 .   [ 4 ]   R .   L i u   e t   a l . ,   F u s e F o r mer :   f u s i n g   f i n e - g r a i n e d   i n f o r mat i o n   i n   t r a n s f o r mers   f o r   v i d e o   i n p a i n t i n g ,   i n   2 0 2 1   I EEE / C V F   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r V i s i o n   ( I C C V) ,   O c t .   2 0 2 1 ,   p p .   1 4 0 2 0 1 4 0 2 9 ,   d o i :   1 0 . 1 1 0 9 / i c c v 4 8 9 2 2 . 2 0 2 1 . 0 1 3 7 8 .   [ 5 ]   G .   Tu d a v e k a r ,   S .   R .   P a t i l ,   a n d   S .   S .   S a r a f ,   D u a l t r e e   c o m p l e x   w a v e l e t   t r a n sf o r a n d   s u p e r r e so l u t i o n   b a se d   v i d e o   i n p a i n t i n g   a p p l i c a t i o n   t o   o b j e c t   r e mo v a l   a n d   e r r o r   c o n c e a l me n t ,   C A AI   T ra n sa c t i o n o n   I n t e l l i g e n c e   T e c h n o l o g y ,   v o l .   5 ,   n o .   4 ,   p p .   3 1 4 3 1 9 ,   N o v .   2 0 2 0 ,   d o i :   1 0 . 1 0 4 9 / t r i t . 2 0 1 9 . 0 0 4 5 .   [ 6 ]   R .   X u ,   X .   Li ,   B .   Zh o u ,   a n d   C .   C .   L o y ,   D e e p   f l o w - g u i d e d   v i d e o   i n p a i n t i n g ,   i n   2 0 1 9   I EEE / C VF  C o n f e re n c e   o n   C o m p u t e Vi s i o n   a n d   Pa t t e rn   Re c o g n i t i o n   ( C V PR) ,   Ju n .   2 0 1 9 ,   p p .   3 7 1 8 3 7 2 7 ,   d o i :   1 0 . 1 1 0 9 / c v p r . 2 0 1 9 . 0 0 3 8 4 .   [ 7 ]   Y. - L.   C h a n g ,   Z.   Y .   Li u ,   K . - Y .   L e e ,   a n d   W .   H s u ,   F r e e - f o r m   v i d e o   i n p a i n t i n g   w i t h   3 D   g a t e d   c o n v o l u t i o n   a n d   t e mp o r a l   P a t c h G A N ,   i n   2 0 1 9   I EEE / C VF  I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t e Vi s i o n   ( I C C V) ,   O c t .   2 0 1 9 ,   p p .   9 0 6 5 9 0 7 4 ,   d o i :   1 0 . 1 1 0 9 / i c c v . 2 0 1 9 . 0 0 9 1 6 .   [ 8 ]   D .   K i m,  S .   W o o ,   J. - Y .   Le e ,   a n d   I .   S .   K w e o n ,   D e e p   v i d e o   i n p a i n t i n g ,   i n   2 0 1 9   I EEE / C VF  C o n f e re n c e   o n   C o m p u t e Vi s i o n   a n d   Pa t t e r n   Re c o g n i t i o n   ( C VP R) ,   J u n .   2 0 1 9 ,   p p .   5 7 8 5 5 7 9 4 ,   d o i :   1 0 . 1 1 0 9 / c v p r . 2 0 1 9 . 0 0 5 9 4 .   [ 9 ]   D .   La o ,   P .   Z h u ,   P .   W o n k a ,   a n d   G .   S u n d a r a mo o r t h i ,   F l o w - g u i d e d   v i d e o   i n p a i n t i n g   w i t h   s c e n e   t e mp l a t e s ,   2 0 2 1   I E EE/ C VF   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e Vi s i o n   ( I C C V) ,   M o n t r e a l ,   Q C ,   C a n a d a ,   2 0 2 1 ,   p p .   1 4 5 7 9 - 1 4 5 8 8 ,   d o i :   1 0 . 1 1 0 9 / i c c v 4 8 9 2 2 . 2 0 2 1 . 0 1 4 3 3 .   [ 1 0 ]   Z.   Li ,   C . - Z .   L u ,   J.  Q i n ,   C . - L .   G u o ,   a n d   M . - M .   C h e n g ,   T o w a r d a n   e n d - to - e n d   f r a mew o r k   f o r   f l o w - g u i d e d   v i d e o   i n p a i n t i n g ,   a rXi v : 2 2 0 4 . 0 2 6 6 3 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 2 2 0 4 . 0 2 6 6 3 .   [ 1 1 ]   C .   W a n g ,   H .   H u a n g ,   X .   H a n ,   a n d   J.  W a n g ,   V i d e o   i n p a i n t i n g   b y   j o i n t l y   l e a r n i n g   t e mp o r a l   st r u c t u r e   a n d   sp a t i a l   d e t a i l s,”   Pro c e e d i n g o f   t h e   AAAI  C o n f e r e n c e   o n   Ar t i f i c i a l   I n t e l l i g e n c e ,   v o l .   3 3 ,   n o .   0 1 ,   p p .   5 2 3 2 5 2 3 9 ,   Ju l .   2 0 1 9 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 3 i 0 1 . 3 3 0 1 5 2 3 2 .   [ 1 2 ]   X .   Z o u ,   L.   Y a n g ,   D .   Li u ,   a n d   Y .   Jae   Le e ,   P r o g r e ssi v e   t e m p o r a l   f e a t u r e   a l i g n m e n t   n e t w o r k   f o r   v i d e o   i n p a i n t i n g ,   2 0 2 1   I EEE / C V F   C o n f e re n c e   o n   C o m p u t e V i si o n   a n d   P a t t e r n   R e c o g n i t i o n   ( C V PR) .   I EEE,   p p .   1 6 4 4 3 1 6 4 5 2 ,   Ju n .   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / c v p r 4 6 4 3 7 . 2 0 2 1 . 0 1 6 1 8 .   [ 1 3 ]   J.  R e n ,   Q .   Zh e n g ,   Y .   Z h a o ,   X .   X u ,   a n d   C .   Li ,   D LFo r mer :   d i s c r e t e   l a t e n t   t r a n sf o r mer  f o r   v i d e o   i n p a i n t i n g ,   i n   2 0 2 2   I EE E/ C V F   C o n f e re n c e   o n   C o m p u t e V i si o n   a n d   P a t t e r n   R e c o g n i t i o n   ( C V PR) ,   Ju n .   2 0 2 2 ,   p p .   3 5 0 1 3 5 1 0 ,   d o i :   1 0 . 1 1 0 9 / c v p r 5 2 6 8 8 . 2 0 2 2 . 0 0 3 5 0 .   [ 1 4 ]   R .   L i u ,   Z.   W e n g ,   Y .   Zh u ,   a n d   B .   Li ,   T e mp o r a l   a d a p t i v e   a l i g n m e n t   n e t w o r k   f o r   d e e p   v i d e o   i n p a i n t i n g ,   i n   Pr o c e e d i n g s     o f   t h e   T w e n t y - N i n t h   I n t e r n a t i o n a l   J o i n t   C o n f e re n c e   o n   Art i f i c i a l   I n t e l l i g e n c e ,   J u l .   2 0 2 0 ,   p p .   9 2 7 9 3 3 ,   d o i :   1 0 . 2 4 9 6 3 / i j c a i . 2 0 2 0 / 1 2 9 .   [ 1 5 ]   C .   W a n g ,   X .   C h e n ,   S .   M i n ,   J.  W a n g ,   a n d   Z. - J.  Zh a ,   S t r u c t u r e - g u i d e d   d e e p   v i d e o   i n p a i n t i n g ,   I EE T ra n sa c t i o n o n   C i r c u i t s a n d   S y s t e m f o r   V i d e o   T e c h n o l o g y ,   v o l .   3 1 ,   n o .   8 ,   p p .   2 9 5 3 2 9 6 5 ,   A u g .   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / t c sv t . 2 0 2 0 . 3 0 3 4 4 2 2 .   [ 1 6 ]   Y. - L.   C h a n g ,   Z.   Y .   L i u ,   a n d   W .   H s u ,   V O R N e t :   sp a t i o - t e m p o r a l l y   c o n s i st e n t   v i d e o   i n p a i n t i n g   f o r   o b j e c t   r e mo v a l ,   i n   2 0 1 9   I EEE/ C VF  C o n f e re n c e   o n   C o m p u t e r   Vi si o n   a n d   P a t t e r n   Re c o g n i t i o n   W o rks h o p ( C VPR W) ,   J u n .   2 0 1 9 ,   p p .   1 7 8 5 1 7 9 4 ,   d o i :   1 0 . 1 1 0 9 / c v p r w . 2 0 1 9 . 0 0 2 2 9 .   [ 1 7 ]   K .   Z h a n g ,   J.   F u ,   a n d   D .   L i u ,   I n e r t i a - g u i d e d   f l o w   c o m p l e t i o n   a n d   s t y l e   f u si o n   f o r   v i d e o   i n p a i n t i n g ,   i n   2 0 2 2   I EEE / C VF   C o n f e re n c e   o n   C o m p u t e V i si o n   a n d   P a t t e r n   R e c o g n i t i o n   ( C V PR) ,   Ju n .   2 0 2 2 ,   p p .   5 9 7 2 5 9 8 1 ,   d o i :   1 0 . 1 1 0 9 / c v p r 5 2 6 8 8 . 2 0 2 2 . 0 0 5 8 9 .   [ 1 8 ]   X .   D i n g ,   Y .   P a n ,   K .   Lu o ,   Y .   H u a n g ,   J.  O u y a n g ,   a n d   G .   Y a n g ,   L o c a l i z a t i o n   o f   d e e p   v i d e o   i n p a i n t i n g   b a se d   o n   s p a t i o t e m p o r a l   c o n v o l u t i o n   a n d   r e f i n e m e n t   n e t w o r k ,   i n   2 0 2 1   I E EE  I n t e rn a t i o n a l   S y m p o si u m   o n   C i rc u i t a n d   S y s t e m ( I S C AS ) ,   M a y   2 0 2 1 ,     p p .   1 5 ,   d o i :   1 0 . 1 1 0 9 / i sca s 5 1 5 5 6 . 2 0 2 1 . 9 4 0 1 6 7 5 .   [ 1 9 ]   I .   S i d d a v a t a m,  A .   D a l v i ,   D .   P a w a d e ,   A .   B h a t t ,   J.   V a r t a k ,   a n d   A .   G u p t a ,   A   n o v e l   a p p r o a c h   f o r   v i d e o   i n p a i n t i n g   u si n g   a u t o e n c o d e r s ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n f o rm a t i o n   E n g i n e e ri n g   a n d   E l e c t ro n i c   B u si n e ss ,   v o l .   1 3 ,   n o .   6 ,   p p .   4 8 6 1 ,   D e c .   2 0 2 1 ,   d o i :   1 0 . 5 8 1 5 / i j i e e b . 2 0 2 1 . 0 6 . 0 5 .   [ 2 0 ]   L.   K e ,   Y . - W .   Ta i ,   a n d   C . - K .   T a n g ,   O c c l u si o n - a w a r e   v i d e o   o b j e c t   i n p a i n t i n g ,   i n   2 0 2 1   I EE E/ C VF  I n t e rn a t i o n a l   C o n f e re n c e   o n   C o m p u t e r   Vi s i o n   ( I C C V) ,   O c t .   2 0 2 1 ,   p p .   1 4 4 4 8 1 4 4 5 8 ,   d o i :   1 0 . 1 1 0 9 / I C C V 4 8 9 2 2 . 2 0 2 1 . 0 1 4 2 0 .   [ 2 1 ]   R .   S z e t o ,   X .   S u n ,   K .   Lu ,   a n d   J.   J.   C o r so ,   A   t e m p o r a l l y   a w a r e   i n t e r p o l a t i o n   n e t w o r k   f o r   v i d e o   f r a me   i n p a i n t i n g ,   I EEE   T ra n s a c t i o n o n   P a t t e rn   A n a l y si s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   4 2 ,   n o .   5 ,   p p .   1 0 5 3 1 0 6 8 ,   M a y   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 1 9 . 2 9 5 1 6 6 7 .   [ 2 2 ]   H. - Y .   H u a n g   a n d   C . - H .   L i n ,   V i d e o   i n p a i n t i n g   u si n g   o b j e c t   m o t i o n   r a t e   a n d   c o l o r   v a r i a n c e   i n   s p a t i o t e mp o r a l   d o mai n ,   J o u r n a l   o f   I n t e l l i g e n t   &   F u zzy   S y st e m s ,   v o l .   4 0 ,   n o .   3 ,   p p .   5 6 0 9 5 6 2 2 ,   M a r .   2 0 2 1 ,   d o i :   1 0 . 3 2 3 3 / JI F S - 2 0 0 5 4 2 .   [ 2 3 ]   B .   Y u ,   W .   Li ,   X .   Li ,   J .   Lu ,   a n d   J.   Zh o u ,   F r e q u e n c y   a w a r e   s p a t i o t e mp o r a l   t r a n sf o r mers   f o r   v i d e o   i n p a i n t i n g   d e t e c t i o n ,   i n   2 0 2 1   I EEE/ C VF  I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e Vi s i o n   ( I C C V) ,   O c t .   2 0 2 1 ,   p p .   8 1 6 8 8 1 7 7 ,   d o i :   1 0 . 1 1 0 9 / I C C V 4 8 9 2 2 . 2 0 2 1 . 0 0 8 0 8 .   [ 2 4 ]   R .   S z e t o   a n d   J .   J.  C o r so ,   T h e   d e v i l   i i n   t h e   d e t a i l s   a   d i a g n o st i c   e v a l u a t i o n   b e n c h mar k   f o r   v i d e o   i n p a i n t i n g ,   a rXi v : 2 1 0 5 . 0 5 3 3 2 2 0 2 2 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 2 1 0 5 . 0 5 3 3 2 .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       A n   efficien t d ir ec tio n   o r ien ted   b lo ck - b a s ed   vid eo   in p a in tin g   u s in g     ( S h yn i S h a ja h a n )   4713   B I O G RAP H I E S O F   AUTH O RS        S h y n S h a ja h a n           h o ld a   B . Tec h .   a n d   M . Tec h .   i n   c o m p u ter  sc ie n c e   fro m   CUSAT  a n d   a   P h . D.  fr o m   No o ru Isla m   Ce n tre  fo Hig h e Ed u c a ti o n   (2 0 2 3 ).   S h e   is  a n   a ss istan t   p ro fe ss o i n   t h e   De p a rtme n o C o m p u ter S c ien c e   a Ad S h a n k a ra   In stit u te  o f   En g in e e ri n g   a n d   Tec h n o l o g y ,   Ka lad y .   He re se a r c h   in tere sts  in c lu d e   ima g e   p ro c e ss in g ,   c o d in g   tec h n i q u e s,   DBMS ,   d a ta  m in i n g ,   m a c h in e   le a rn in g ,   d a ta  sc ien c e ,   AI,  a n d   m u lt ime d ia.  S h e   h a p u b li s h e d   e x ten siv e ly   in   n a ti o n a l   a n d   i n tern a ti o n a j o u r n a ls.   Sh e   c a n   b e   c o n tac ted   a e m a il :   sh y n i . c s@ a d ish a n k a ra . a c . in .         Y.  J a c o b   Ve th a   R a j           is  a n   a ss o c iate   p ro fe ss o in   th e   De p a rtme n o f   Co m p u ter  S c ien c e   a Ne s a m o n y   M e m o ria Ch risti a n   Co ll e g e ,   In d ia.  He   re c e iv e d   a   B. E.   d e g re e   in   c o m p u ter  sc ien c e   fro m   Na ti o n a l   En g in e e rin g   Co l leg e ,   Ko v il p a tt i,   In d ia,  a n d   a lso   re c e iv e d   M . Tec h .   a n d   P h . D.  d e g re e fro m   M . S .   U n iv e rsit y ,   Ti r u n e l v e li ,   In d ia.  His  a re a   o f   in tere st  i s   ima g e   p ro c e ss in g .   He   h a d e v e lo p e d   m a n y   a p p li c a ti o n   so ftwa re   p ro g ra m a n d   h a p u b li sh e d   n u m e ro u n a ti o n a a n d   i n tern a ti o n a re se a rc h   p a p e rs .   H e   c a n   b e   c o n tac ted   a e m a il   jac o b v e th a ra j@g m a il . c o m     Evaluation Warning : The document was created with Spire.PDF for Python.