My thought on web – Think what ? think

lxc安装openwrt

2020年3月28日 by caoli5288 Leave a Comment

借助搜索引擎可以发现openwrt.org上有篇wiki讲如何在lxc里安装openwrt，但文章内容有些问题，照搬并不能成功启动容器。这里简单贴一下实际可以进行的步骤。

首先创建虚拟网桥桥接物理网卡。编辑网卡配置文件后重启网络。

# cat /etc/network/interfaces
auto lo
iface lo inet loopback

auto enp3s0
iface enp3s0 inet manual

auto br0
iface br0 inet static
    bridge_ports enp3s0
    address 192.168.1.100
    gateway 192.168.1.1
    netmask 255.255.255.0
    dns-nameservers 192.168.1.1

安装需要的软件。apparmor可能不是必须项。

# apt install -y lxc apparmor

创建lxc文件夹和配置文件，并从openwrt.org下载对应架构rootfs文件解压到对应目录。

/var/lib/lxc/openwrt/
├── config
└── rootfs
    ├── bin
    ├── dev
    ├── etc
    ├── lib
    ├── lib64
    ├── mnt
    ├── overlay
    ├── proc
    ├── rom
    ├── root
    ├── sbin
    ├── sys
    ├── tmp
    ├── usr
    ├── var
    └── www

编辑配置文件。

# cat /var/lib/lxc/openwrt/config

lxc.include = /etc/lxc/default.conf
lxc.include = /usr/share/lxc/config/common.conf
lxc.include = /usr/share/lxc/config/userns.conf

lxc.arch = linux64

lxc.apparmor.profile = unconfined

lxc.uts.name = omv.local

lxc.mount.auto = proc sys cgroup

lxc.start.auto = 1

lxc.net.0.type = veth
lxc.net.0.link = br0

lxc.rootfs.path = /var/lib/lxc/openwrt/rootfs

启动并进入容器。

# lxc-start -n openwrt && lxc-attach -n openwrt

增加自定义opkg源并安装插件。

# cat /etc/opkg/customfeeds.conf
# add your custom package feeds here
#
# src/gz example_feed_name http://www.example.com/path/to/files
src/gz base https://caoli5288.gitlab.io/openwrt_x86-64-packages/base

# opkg update && opkg install luci luci-app-ssr-plus

NAS 文件系统方案的选择

2019年8月28日 by caoli5288 Leave a Comment

前几天入手NAS时，稍微考虑了一下文件系统方案的问题。由于暂时只入手了一块4t盘，所以更多的是考虑今后加盘扩展问题。

目前主流可选的方案有几个。

裸盘，今后mdadm做软raid
zfs单盘模式，今后迁移到raidz
btrfs

其中扩展性最灵活的应该是btrfs了，三个里面唯一支持自由增减硬盘数量，自由转换raid级别的。最不灵活的是zfs，和mdadm一样不支持减少磁盘，甚至不支持raid5级别自由增加磁盘。

但其实转念一想，自由增减磁盘其实不是个很必要的功能。减少磁盘的情况先不说，这个根本就不合理，增加磁盘的情况呢？比如我现在有一块盘，某天我又增加了一块盘，想做raid1，那只需要把新加的盘强制添加到raid1卷，把数据复制过去，把旧盘添加到raid1卷里就成了。

今后再加块盘做raid5对应的情况类似，把数据复制到新盘，两块旧盘强制添加到raid5卷，然后数据复制回来，新盘加入卷。麻烦归麻烦，但总归是能成的。

比较之下，mdadm只是单纯的软raid，没有快照等等功能。btrfs有快照，但是比起zfs又少了一些诸如读写缓存，raw卷等功能。zfs已经经过了长期生产环境检验，btrfs则不稳定得多。

最后选择了zfs。其实btrfs也是非常好的选择，自由增减磁盘、改变raid级别对相对不稳定的家庭场景来说实在是非常利好的功能。

透明代理踩坑指北

2019年8月22日 by caoli5288 1 Comment

最近入手了一台矿渣NAS，想着不能浪费机器性能就动了在上面部署透明代理的心思。本想以我对网络层的了解配个透明代理是件比较容易的事情，但还是踩中了一些坑，导致花了两个晚上才全搞定，并且没有达到理想中的完美效果，特意记录下来中间遇到几个问题以供指北。

代理软件是V2Ray，CDN加速模式。官方文档比较简单，没有给出完整可用的示例，但是各模块功能解释得还算清晰。TCP部分的处理比较简单，nat链的PREROUTING阶段把非LAN目标的流量全部DIRECT到V2Ray的自由入站端口就行，但是UDP部分遇到了第一个坑点。

按我的经验UDP流量其实是没必要走代理的，只要DNS请求由代理处理好就行了。这个软件恰好就支持DNS代理，软件作者有写博文讲解如何使用，但是没收进官网文档里，于是我就开始按作者博文尝试部署DNS代理。一番功夫后终于明白了为什么不收进官网文档里，因为这个功能根本就不能用。

最后还是老老实实改iptables规则。期间发现这个软件竟然同时支持TCP和UDP的TProxy，这点其实很有利但是文档里没有重点体现，还是在翻isuess的时候注意到有人提到了这点。

最终写成的iptables和路由规则如下，纯TProxy非常的漂亮。


# ROUTE RULES
ip route add local default dev lo table 100
ip rule add fwmark 1 lookup 100

# CREATE TABLE
iptables -t mangle -N V2RAY

# RETURN LOCAL AND LANS
iptables -t mangle -A V2RAY -d 0.0.0.0/8 -j RETURN
iptables -t mangle -A V2RAY -d 10.0.0.0/8 -j RETURN
iptables -t mangle -A V2RAY -d 127.0.0.0/8 -j RETURN
iptables -t mangle -A V2RAY -d 169.254.0.0/16 -j RETURN
iptables -t mangle -A V2RAY -d 172.16.0.0/12 -j RETURN
iptables -t mangle -A V2RAY -d 192.168.0.0/16 -j RETURN
iptables -t mangle -A V2RAY -d 224.0.0.0/4 -j RETURN
iptables -t mangle -A V2RAY -d 240.0.0.0/4 -j RETURN

# FORWARD ALL
iptables -t mangle -A V2RAY -p tcp -j TPROXY --on-port 12345 --tproxy-mark 0x01/0x01
iptables -t mangle -A V2RAY -p udp -j TPROXY --on-port 12345 --tproxy-mark 0x01/0x01

# REDIRECT
iptables -t mangle -A PREROUTING -j V2RAY

同时，需要手动打开入站连接的TProxy支持。


{
"protocol": "dokodemo-door",
"streamSettings": {
"sockopt": {
"tproxy": "tproxy"
}
}
}

TCP与UDP连接全部代理成功，但仅仅是做到这一步会发现访问国内网站的速度变慢了，这是因为DNS请求全部走代理的原因，软件内置的路由规则并不对代理流量中的DNS请求自动生效。

翻阅文档后发现，软件其实可以拦截入站流量中的DNS请求由自己发出，这个过程可以针对站点分流，简单设置即可。


"dns": {
"servers": [
"1.1.1.1",
{
"address": "114.114.114.114",
"port": 53,
"domains": [
"geosite:cn",
]
}
]
}

这个配置会把所有符合geosite:cn规则的域名分流到114服务器，而其他不在列的则走1.1.1.1服务器，虽不完美但将就着用。

至此基本完美透明代理，只要把手机和笔记本的网关指向这台NAS就可以愉快的上网了，甚至不需要修改DNS服务器，体验还是很良好的。

QSV编码HEVC视频参数测试

2018年12月1日 by caoli5288 Leave a Comment

ffmpeg -i in.mp4 -c:v hevc_qsv -load_plugin hevc_hw -q:v 23 out.mp4
psnr average:43.003743 min:38.982468 max:49.839129

ffmpeg -i in.mp4 -c:v hevc_qsv -load_plugin hevc_hw -q:v 23 -preset slower out.mp4
psnr average:43.023055 min:39.008167 max:49.839129

ffmpeg -i in.mp4 -c:v hevc_qsv -load_plugin hevc_hw -q:v 23 -preset slower -g 300 out.mp4
psnr average:43.026342 min:38.824927 max:50.158498

ffmpeg -i in.mp4 -c:v hevc_qsv -load_plugin hevc_hw -global_quality 23 out.mp4
psnr average:43.278585 min:39.726054 max:47.547273

ffmpeg -i in.mp4 -c:v hevc_qsv -load_plugin hevc_hw -global_quality 23 -preset slower out.mp4
psnr average:43.252435 min:39.739919 max:47.547273

ffmpeg -i in.mp4 -c:v hevc_qsv -load_plugin hevc_hw -global_quality 23 -preset slower -g 300 out.mp4
psnr average:43.218860 min:39.407929 max:47.984913

可见使用-global_quality参数进行质量控制能获得更高的信噪比，但是不知为何-q 23 -preset slower时对比默认参数获得了更低的平均信噪比，intel的算法不太靠谱啊。

另，使用-g 300进行关键帧控制带来的效果也很迷，个人倾向于不进行设定保持默认参数。

FFmpeg中的几个新视频降噪滤镜

2018年11月29日 by caoli5288 Leave a Comment

不久前 FFmpeg 发布了 4.1 正式版，我看到这个版本新增了一个名为 fftdnoiz 的视频降噪滤镜。其实，从我几年前测试 FFmpeg 内置的几款视频降噪滤镜到现在，已经有很多款新降噪滤镜被加入到主分支了。

nlmeans
bm3d
fftdnoiz

嗯，首先要说的是这几款新插件的处理速度都比较慢，最慢的 nlmeans 在普通家用机上可能只得 1 帧左右的处理速度。据我所知 nlmeans 算法是有显卡加速版本的，不知道为什么 FFmpeg 不一同引入显卡加速版本。

降噪效果来看，这几款滤镜在默认参数下效果都很普通，可能需要比较精细的参数调整才能取得较好的效果。我相信 FFmpeg 不会把落后的代码合并进主分支，尽管如此，日常使用仍然推荐使用简单快速的 hqdn3d 滤镜。

使用 libmfx 编码器编码 HEVC 视频

2018年11月21日 by caoli5288 Leave a Comment

libmfx 是 intel 的硬件加速编码器库，在硬件编码器中效果出类拔萃，当面临对画质压缩比要求不太高的场景时可以尝试使用 libmfx 中的 hevc_qsv 编码器替代 libx265 或者 libvpx-vp9，后两者虽然画质压缩比上限高得多但是编码速度实在感人。

我们可以使用经典的 ffmpeg 工具调用 hevc_qsv 编码器，一个简单的示例命令如下。

ffmpeg -i input.mp4 -an -c:v hevc_qsv -load_plugin hevc_hw -b:v 0 -q:v 23 -look_ahead 1 outfile.mp4

实际使用下来发现了很多问题，比如必须显式载入硬件加速插件以及 preset 没有实际效果等等，看上去是 ffmpeg 的实现问题，期待以后能改进。

在 8 代酷睿核显上这样一条指令通常能以 4-8x 的速度处理 720p 的视频而保持 40 左右的 psnr 参数，输出文件体积与同质量参数的 libx265:preset=slow 输出相差在 10% 以内，配合ffmpeg 的内置滤镜完全可以完成一些要求不高的视频转存任务，值得期待以后的发展。