parallel

无论是x264工具本身，还是ffmpeg好像都没有分布式的实现。但是现实场景中，我们可能需要分布式的编码环境，因为现在高质量的视频需求，对比低下的编码速度，实在是令人发指。好在，伟大的GNU提供了一个通用的分布式实现工具”parallel”，借助这个简易的工具，配合另外一些工具，我们可以很轻易的实现分布式编码。

// 现在我把代码放在github上了，下面的演示代码是比较古老的版本

所有需要的工具：
– parallel
– rsync
– x264
– ffmpeg(optional)
– mkvtoolnix

其中rsync是被parallel所需要。我个人的需求场景是把视频编码任务分布到服务器上，本机（笔记本）并不承担视频编码任务。由于音频的编码速度较快（基本音速），而且nero的音频编码器没有64位元的二进制文件（然而服务器是64位的）所以由本机承担。然而实际部署到集群的话，肯定是需要任意节点同时承担视频音频编码任务，终端只做提交。下面的代码只作演示。

#!/bin/bash

function argnumb() {
    echo $#
}

function vencode() {(
    COPTS="-vcodec libx264 -tune psnr -preset placebo"
    if [ "$FOPTS" ]; then
        COPTS="$FOPTS $COPTS"
    fi
    ffmpeg -y -v quiet -i $1 $COPTS $2
)}

function encodec() {(
    # 在本地编码音频流
    if   [ ! $ANONE ] && [ $ACOPY ]; then
        ffmpeg -v quiet -i $1 -vn -codec copy .$1.tmp.m4a
    elif [ ! $ANONE ]; then
        ffmpeg -v quiet -i $1 -vn -f wav - |
            neroAacEnc -q 0.3 -ignorelength -if - -of .$1.tmp.m4a
    fi
    # 在本地分割视频流
    mkvmerge -q --no-audio -o .$1.tmp.mkv --split 2048k $1
    # 任务分布到服务器
    find . -name ".$1.tmp*mkv"  |
        parallel --env vencode  \
                 --env FOPTS    \
                 -S 1/root@one.mengcraft.com    \
                 -S 1/root@three.mengcraft.com  \
                 -S 1/root@four.mengcraft.com   \
                 -S 1/root@five.mengcraft.com   \
                 --trc {.}.target.mkv   \
                 vencode {} {.}.target.mkv
    # 计算合并视频参数
    R=`find . -name ".$1.tmp*target.mkv" | sort`
    T=`argnumb $R`
    J=0
    for I in $R; do
        S="$S -S -T --no-global-tags --no-chapters"
        if [[ $J > 0 ]]; then
            S="$S + "
        fi
        S="$S $I"
        J=$[J+1]
    done
    # 开始合并视频文件
    mkvmerge -q -o .$1.tmp.mkv $S
    # 备份原视音频文件
    if [ "$1" = "$2" ]; then
        mv $1 ${1}.bak
    fi
    # 混流视频音频轨道
    if [ $ANONE ]; then
        ffmpeg -y -v quiet -i .$1.tmp.mkv -codec copy $2
    else
        ffmpeg -y -v quiet -i .$1.tmp.mkv -i .$1.tmp.m4a -codec copy $2
    fi
    # 删除不用了的文件
    rm -rf .$1.tmp*
)}

if [[ $# < 1 ]]; then
    echo "No input file(s) define."
    exit 1
fi

export -f argnumb
export -f vencode
export -f encodec

parallel encodec {} {.}.mp4 ::: $@

在实践过程中，出现的几个坑提一下。
– 分割文件的事后容器选MKV，这个玩意通用程度比较高的。
– encodec函数前后用括号括起来，否则会被拆成行平行执行。
– 合并输出走sort再排序下,偶尔find出来的文件是乱序的。
– 在CentOS6用ffmpeg替代x264,因为libc版本太低了。
– mkvmerge的合并参数远没有那么简单，很多博客都说错了。