Lightricks正在將其潤飾功能用于視頻

包括照片和視頻編輯應(yīng)用程序套件(其中最著名的是自拍編輯器Facetune 2)的初創(chuàng)公司Lightricks正在將其潤飾功能用于視頻。今天，該公司推出了自拍視頻編輯應(yīng)用程序Facetune Video，該應(yīng)用程序允許用戶使用一組AI驅(qū)動的工具修飾和編輯自己的自拍和肖像視頻。

盡管市場上還有其他自拍視頻編輯器，但如今大多數(shù)人通常都將精力集中在涉及濾鏡和預(yù)設(shè)，虛擬添加化妝或使用AR或貼紙以某種方式裝飾視頻的編輯上。與此同時(shí)，F(xiàn)acetune Video致力于通過提供與Lightricks旗艦應(yīng)用Facetune相似的功能來創(chuàng)建逼真的視頻。。

這意味著用戶可以使用用于皮膚平滑，牙齒增白和臉部整形的工具，以及眼睛的顏色，化妝，遮蓋，發(fā)光和遮罩功能來修飾臉部。此外，用戶可以調(diào)整其他常規(guī)視頻編輯工具，例如調(diào)整亮度，對比度，顏色等，就像其他視頻編輯應(yīng)用程序所允許的那樣。這些編輯可以實(shí)時(shí)應(yīng)用，以查看它們在視頻播放時(shí)的外觀，而不是事后。

此外，用戶只能將效果應(yīng)用到一幀，而Facetune Video的后處理技術(shù)和神經(jīng)網(wǎng)絡(luò)將在整個(gè)視頻中將效果同時(shí)應(yīng)用到每一幀的同一區(qū)域，從而更輕松地快速修復(fù)問題區(qū)域而無需逐幀執(zhí)行此操作。

“在Facetune Video中，3D面部模型起著重要作用;用戶僅編輯一個(gè)視頻幀，但要在幕后由我們來自動將其編輯位置投影到從3D臉部模型得出的2D臉部網(wǎng)格坐標(biāo)上，然后將其一致地應(yīng)用于視頻中的所有其他幀”，Lightricks解釋說聯(lián)合創(chuàng)始人兼首席執(zhí)行官Zeev Farbman。他說：“ Lightricks應(yīng)用程序不僅需要功能強(qiáng)大，而且還必須易于使用，因此對我們來說至關(guān)重要的是，所有這些過程都必須快速，無縫地進(jìn)行。”

用戶還可以將自己喜歡的編輯功能另存為“預(yù)設(shè)”，從而可以將其首選設(shè)置快速自動應(yīng)用于任何視頻。

在該應(yīng)用程序的未來版本中，該公司計(jì)劃引入“修復(fù)”功能，與Facetune一樣，該功能將使用戶能夠輕松去除污點(diǎn)。

使這些自拍視頻編輯工作的技術(shù)涉及Lightricks的深度神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用面部特征檢測和幾何分析來實(shí)現(xiàn)應(yīng)用程序的修飾功能。這些過程實(shí)時(shí)工作，而無需先將數(shù)據(jù)傳輸?shù)皆啤ｄ秩疚募r(shí)也沒有延遲或延遲。

此外，F(xiàn)acetune Video將面部特征檢測與3D面部建模AI結(jié)合使用，以確保捕獲用戶面部的每個(gè)部分以進(jìn)行編輯和潤飾。

“我們也在做的是利用輕量級神經(jīng)網(wǎng)絡(luò)。在用戶甚至還沒有開始修飾自己的自拍視頻之前，基于AI的算法就已經(jīng)開始起作用，從而使用戶體驗(yàn)變得快速且互動。” Farbman說。

該應(yīng)用程序還可以對面部的較復(fù)雜部分(例如眼睛，頭發(fā)或嘴唇的內(nèi)部)進(jìn)行自動分割，這有助于獲得更準(zhǔn)確