FFMpeg: добавление круговой маски поверх видео

предполагая, что вы используете перевернутую маску, используйте

ffmpeg -y -i video.mp4 -loop 1 -t 1 -i mask.png
  -filter_complex
      "color=black:d=1[c];[c][0]scale2ref[cs][v];[cs]setsar=1[ct];
       [1:v]alphaextract,negate[m];[m][ct]scale2ref[ms][ol];[ms]setsar=1[alf];
       [ol][alf]alphamerge[fin];
       [v][fin]overlay,scale‌​=640:1136:force_orig‌​inal_aspect_ratio=de‌​crease[fv];
       [fv]pad=6‌​40:1136:(ow-iw)/2:(o‌​h-ih)/2:#000000@1[v]‌​"
-map "[v]" -map 0:a output.mp4

сначала создается черный оверлей. Его размер изменен до размера видео. Затем маска изменяется до размера наложения. Затем его альфа-канал извлекается и отрицается; сливается с наложением цвета. Результат накладывается на видео, результат изменяется и дополняется черным по мере необходимости.

если маска не инвертирована, удалите negate.