在安卓手机上原生运行docker

蹭蹭乱蹿

前言

之前的文章(香橙派5plus上跑云手机方案一 redroid(带硬件加速))在Ubuntu的docker里运行安卓，这里说下怎么在安卓手机下运行docker，测试也可以跑Ubuntu。
想在手机上运行docker想的不是一天两天了，其实很久之前就有这个想法了，只是奈何安卓内核一直编译不通过。现在觉得过了那么久，技术应该有点提升了，觉得我又行了，所以又来试试。
测试用的手机是从闲鱼淘的一个一加七Pro(12+256G)，使用的系统是Lineageos19.1，后面放出我运行的刷机包和编译的boot文件，你直接刷进手机应该就能运行了。
检查内核配置

首先检查下当前的安卓内核确实哪些运行docker需要的内核配置
先下载https://raw.githubusercontent.com/moby/moby/master/contrib/check-config.sh推送到手机的/data/local/tmp下: adb push check-config.sh /data/local/tmp/check-config.sh
然后使用adb root切换到root(需要再开发者模式里开启允许root调试)，接着运行sh /data/local/tmp/check-config.sh查看。缺少的其实挺多

编译内核

要想在手机上原生运行docker，修改内核参数重新编译内核这个是绕不过去的，所以先开始编译内核。lineage的内核编译比较简单，如果下载系统源码来编译的话基本没什么坑，这里就不多说了。有兴趣的可以看之前的文章：

• 为一加七Pro(LineageOs17.1 4.14内核版本)编译KernelSu
  
• wsl2-ubuntu20编译Lineage17(Android10)
  

运行docker也需要root权限，所以会将kernelsu一起编译进去，这里也不赘述了。
修改内核参数

先说一下修改内核参数的流程：
cd kernel/oneplus/sm8150 进到对应的内核源码根目录
export ARCH=arm64 指定内核编译的平台，不指定默认是x86
export SUBARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-
make vendor/sm8150-perf_defconfig 通过这个文件生成.config
make menuconfig 启动内核编辑菜单
make savedefconfig 保存.config文件为defconfig，至于这个和手动修改有什么区别就没细究了，反正都推荐用这个
mv defconfig arch/arm64/configs/vendor/sm8150-perf_defconfig 覆盖原先的内核配置文件，建议先备份一下原先的文件
rm .config
make可能有一个错误提示/bin/sh: 1: aarch64-linux-gnu-gcc: not found，通过搜索看到这个问答[1]说应该是缺少包：sudo apt-get install gcc-aarch64-linux-gnu
配置

这里为了方便直接抄别人的内核配置放到.config文件里:  https://yzddmr6.com/posts/android-run-docker/

1. CONFIG_NAMESPACES=y
2. CONFIG_NET_NS=y
3. CONFIG_PID_NS=y
4. CONFIG_IPC_NS=y
5. CONFIG_UTS_NS=y
6. CONFIG_CGROUPS=y
7. CONFIG_CGROUP_CPUACCT=y
8. CONFIG_CGROUP_DEVICE=y
9. CONFIG_CGROUP_FREEZER=y
10. CONFIG_CGROUP_SCHED=y
11. CONFIG_CPUSETS=y
12. CONFIG_MEMCG=y
13. CONFIG_KEYS=y
14. CONFIG_VETH=y
15. CONFIG_BRIDGE=y
16. CONFIG_BRIDGE_NETFILTER=y
17. CONFIG_IP_NF_FILTER=y
18. CONFIG_IP_NF_TARGET_MASQUERADE=y
19. CONFIG_NETFILTER_XT_MATCH_ADDRTYPE=y
20. CONFIG_NETFILTER_XT_MATCH_CONNTRACK=y
21. CONFIG_NETFILTER_XT_MATCH_IPVS=y
22. CONFIG_NETFILTER_XT_MARK=y
23. CONFIG_IP_NF_NAT=y
24. CONFIG_NF_NAT=y
25. CONFIG_POSIX_MQUEUE=y
26. CONFIG_NF_NAT_IPV4=y
27. CONFIG_NF_NAT_NEEDED=y
28. CONFIG_CGROUP_BPF=y
29. CONFIG_USER_NS=y
30. CONFIG_SECCOMP=y
31. CONFIG_SECCOMP_FILTER=y
32. CONFIG_CGROUP_PIDS=y
33. CONFIG_MEMCG_SWAP=y
34. CONFIG_MEMCG_SWAP_ENABLED=y
35. CONFIG_IOSCHED_CFQ=y
36. CONFIG_CFQ_GROUP_IOSCHED=y
37. CONFIG_BLK_CGROUP=y
38. CONFIG_BLK_DEV_THROTTLING=y
39. CONFIG_CGROUP_PERF=y
40. CONFIG_CGROUP_HUGETLB=y
41. CONFIG_NET_CLS_CGROUP=y
42. CONFIG_CGROUP_NET_PRIO=y
43. CONFIG_CFS_BANDWIDTH=y
44. CONFIG_FAIR_GROUP_SCHED=y
45. CONFIG_RT_GROUP_SCHED=y
46. CONFIG_IP_NF_TARGET_REDIRECT=y
47. CONFIG_IP_VS=y
48. CONFIG_IP_VS_NFCT=y
49. CONFIG_IP_VS_PROTO_TCP=y
50. CONFIG_IP_VS_PROTO_UDP=y
51. CONFIG_IP_VS_RR=y
52. CONFIG_SECURITY_SELINUX=y
53. CONFIG_SECURITY_APPARMOR=y
54. CONFIG_EXT4_FS=y
55. CONFIG_EXT4_FS_POSIX_ACL=y
56. CONFIG_EXT4_FS_SECURITY=y
57. CONFIG_VXLAN=y
58. CONFIG_BRIDGE_VLAN_FILTERING=y
59. CONFIG_CRYPTO=y
60. CONFIG_CRYPTO_AEAD=y
61. CONFIG_CRYPTO_GCM=y
62. CONFIG_CRYPTO_SEQIV=y
63. CONFIG_CRYPTO_GHASH=y
64. CONFIG_XFRM=y
65. CONFIG_XFRM_USER=y
66. CONFIG_XFRM_ALGO=y
67. CONFIG_INET_ESP=y
68. CONFIG_INET_XFRM_MODE_TRANSPORT=y
69. CONFIG_IPVLAN=y
70. CONFIG_MACVLAN=y
71. CONFIG_DUMMY=y
72. CONFIG_NF_NAT_FTP=y
73. CONFIG_NF_CONNTRACK_FTP=y
74. CONFIG_NF_NAT_TFTP=y
75. CONFIG_NF_CONNTRACK_TFTP=y
76. CONFIG_AUFS_FS=y
77. CONFIG_BTRFS_FS=y
78. CONFIG_BTRFS_FS_POSIX_ACL=y
79. CONFIG_BLK_DEV_DM=y
80. CONFIG_DM_THIN_PROVISIONING=y
81. CONFIG_OVERLAY_FS=y

复制代码

然后使用make menuconfig在界面上一个一个查看配置的开启情况，发现CONFIG_BRIDGE_VLAN_FILTERING没有开启，查看了下是因为依赖项VLAN_8021Q没有开启

而CONFIG_IPVLAN则是依赖项NET_L3_MASTER_DEV没开启

所以在配置文件里再加上这两个配置， 再运行make menuconfig保存

1. CONFIG_VLAN_8021Q=y
2. CONFIG_BRIDGE_VLAN_FILTERING=y
3. CONFIG_NET_L3_MASTER_DEV=y
4. CONFIG_IPVLAN=y

复制代码

CONFIG_CGROUP_HUGETLB依赖于HUGETLB_PAGE，但是将这个配置直接加到.config不生效，界面上也不显示具体的开启路径

问了下gpt说是在File systems -> Pseudo filesystems -> HugeTLB file system support，在界面上启用，再在配置文件里加上CONFIG_CGROUP_HUGETLB，再打开界面看到就是启用状态。
准备工作都做完了，然后按照上面的命令保存为defconfig在覆盖原先的内核配置就可以开始编译了
开始编译

这里需要到lineage源码根目录，而不是在内核源码根目录
source build/envsetup.sh
breakfast guacamole
make bootimage
接着就会出现一个折磨我两周的错误：
aarch64-linux-gnu-ld is not allowed to be used. See https://android.googlesource.com/platform/build/+/master/Changes.md#PATH_Tools for more information.

虽然他给了一个链接让我们从里面看更多信息，链接里也给了解决方法：

但是试了也是没用，

用谷歌搜索也搜不出什么有效的方法，这两天突然想能不能修改它提到的build/soong/ui/build/paths/config.go文件，问了下gpt，它说在config.go里的Configuration里加一行"aarch64-linux-gnu-ld": Allowed,就可以

试了下确实是可以，有时候gpt就很好用。我开始还以为是将ld改成Allowed，因为前面明显是前缀。然后等待几分钟就编译完成了

将生成的boot.img在fastboot模式下用fastboot flash boot boot.img输入手机后启动手机。
检测结果

编译完的内核还有三个地方是红色(missing)

第一处经测试不是内核参数的问题，需要运行一次这行命令：sudo mount -t tmpfs -o uid=0,gid=0,mode=0755 cgroup /sys/fs/cgroup，下面两个无法解决，因为是非必须项，先不管它了。
补丁

有的提到还需要对net/netfilter/xt_qtaguid.c做补丁，但我这个内核代码里没有这个文件就跳过了。
补充

为了避免内核参数有遗漏，我们把https://github.com/lateautumn233/android_kernel_docker里的提到的内核参数也加到.config里，再重新编译一次。
运行docker

目前看到的运行docker有两种方式：

• termux
  
• 直接运行二进制文件
  

这里我选择第一种，第一种更成熟一点，很多东西都已经帮我们做好了。
termux

1. # The main termux repository, with cloudflare cache
2. deb https://packages-cf.termux.dev/apt/termux-main/ stable main
3. # The main termux repository, without cloudflare cache
4. # deb https://packages.termux.dev/apt/termux-main/ stable main

复制代码

证书错误

使用apt安装包时出现下面的证书无效。
Certificate verification failed: The certificate is NOT trusted. The certificate chain uses not yet valid certificate.
发现是手机的系统时间不对，没有在证书的有效时间内，修改下系统时间就好了。这个我是安装了一个via浏览器去访问百度，也跳出了证书不安全的提示，然后点击证书进去就看到证书有效时间是2023-12到2024-12的范围，而手机的时间是2022，就猜测是时间不对。
换apt源

https://mirrors.tuna.tsinghua.edu.cn/help/termux/
将下面的内容先保存为a.sh，然后用adb push a.sh /data/local/tmp/a.sh

1. sed -i 's@^\(deb.*stable main\)$@#\1\ndeb https://mirrors.tuna.tsinghua.edu.cn/termux/apt/termux-main stable main@' $PREFIX/etc/apt/sources.list
2. apt update && apt upgrade

复制代码

接着在termux终端输入sh /data/local/tmp/a.sh就好了。
远程

apt install openssh
sshd 启动ssh服务
whoami 查看当前用户
passwd 设置密码
当然也可以通过公私钥的方式配置免密登录，这里我先用密码了。安装openssh的时候看提示应该就已经生成了公钥，目录是$PREFIX/etc/shh，然后就和linux免密登录一样了。
$PREFIX这个变量是termux定义的，它类似于linux的根目录，比如linux的/etc目录在termux里就是指$PREFIX/etc，这在后面的docker换源时会用到。

sshd启动的默认端口是8022，我的用户名是u0_a140，在cmd下使用ssh -p 8022 u0_a140@192.168.31.248就能连接了，也可以使用xshell这些工具连接。
切换pkg源

输入termux-change-repo，选择第二个按空格回车，会蓝屏一会(应该还是网络原因，很慢)，等待出现源选择,然后空格勾选阿里的源

先挂载cgroup

需要安装pkg install sudo，并且用kernelsu给termux root权限，不清楚和下面的root-repo包有什么区别
sudo mount -t tmpfs -o uid=0,gid=0,mode=0755 cgroup /sys/fs/cgroup
这个每次重启都需要执行一遍
运行docker

pkg install root-repo && pkg install docker 安装root和docker
这时候需要先配置一下docker源，不然拉取不了镜像
pkg install vim
mkdir -p /data/data/com.termux/files/usr/etc/docker
vim /data/data/com.termux/files/usr/etc/docker/daemon.json
将下面的内容加到这个文件里，记得前面要加个英文逗号

1. "registry-mirrors": [
2.         "https://hub.uuuadc.top",
3.         "https://docker.anyhub.us.kg",
4.         "https://dockerhub.jobcher.com",
5.         "https://dockerhub.icu",
6.         "https://docker.ckyl.me",
7.         "https://docker.awsl9527.cn"
8.     ]

复制代码

sudo dockerd --iptables=false 运行docker服务
sudo docker run hello-world
这时候启动docker容器会报错，

1. docker: Error response from daemon: failed to create task for container: failed to start shim: start failed: io.containerd.runc.v2: create new shim socket: listen unix /data/data/com.termux/files/usr/var/run/containerd/s/fca432b16f1e32bdfce67923b7e94f3ab7f741783e5032a938bd6869d8b6d3af: bind: invalid argument: exit status 1: unknown.

复制代码

这里并不清楚什么原因，但偶然记得之前在酷安上看到一个东西，过去翻了翻[2]，说是要降级containerd包的版本。先查看下containerd包的版本：

然后下载帖子里这个包，用adb传到手机上(xftp也可以)，然后使用dpkg -i containerd_1.6.21-1_aarch64.deb安装

接着查看版本apt show containerd -a就看到已经安装上了
然后重新启动sudo dockerd --iptables=false，在跑hello-world容器就正常了

试了下跑python也可以，那说明可以在手机跑爬虫了：

Ubuntu镜像也是可以的：

刷机包和boot

https://github.com/kanadeblisst00/docker-in-guacamole
引用链接

• [1] https://stackoverflow.com/questions/28565640/build-kernel-with-aarch64-linux-gnu-gcc
  
• [2] https://www.coolapk.com/feed/51581431?shareKey=MmRlNTgxOTVmNjliNjY5M2QwMGU~&shareUid=4285440&shareFrom=com.coolapk.market_14.2.3
  

参考链接

• https://gist.github.com/FreddieOliveira/efe850df7ff3951cb62d74bd770dce27
  
• https://ivonblog.com/posts/run-docker-natively-on-android/
  
• https://yzddmr6.com/posts/android-run-docker/
  

本文由博客一文多发平台 OpenWrite 发布！

来源:https://www.cnblogs.com/kanadeblisst/p/18308946
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！