1. 为什么选择Singularity在HPC高性能计算环境中我们经常遇到一个尴尬的问题普通用户没有root权限但很多工具偏偏需要root才能运行。比如大家熟悉的Docker虽然功能强大但在共享的HPC集群上基本没法用——总不能让管理员给每个用户都开root吧这时候Singularity就派上用场了。我第一次接触Singularity是在处理基因组数据时。实验室的服务器管理员明确表示不会给任何人root权限但我们的分析流程又需要容器化环境。当时试了好几种方案最后发现Singularity是唯一能完美解决这个问题的工具。它不仅能无root运行还能直接使用Docker镜像这对生物信息学分析简直是救命稻草。2. 准备工作2.1 检查系统环境首先确认你的CentOS7.9环境。打开终端输入cat /etc/redhat-release uname -m你会看到类似这样的输出CentOS Linux release 7.9.2009 (Core) x86_64重点注意两点确认是7.9版本确认是x86_64架构现在大多数服务器都是2.2 创建个人软件目录没有root权限意味着不能使用系统级的/usr或/opt目录。我习惯在home目录下创建专门的软件安装目录mkdir -p ~/software/{src,bin,lib}这个结构很实用src存放源代码bin存放可执行文件lib存放库文件3. 安装依赖项3.1 基础开发工具虽然我们没有root权限但很多基础工具可能已经安装好了。先检查这些工具是否可用which gcc make git wget如果缺少某些工具可以尝试联系管理员安装或者用conda等包管理器在用户空间安装。我遇到过最棘手的情况是连gcc都没有最后用conda安装了整套工具链conda create -n devtools gcc make git wget conda activate devtools3.2 特殊依赖处理Singularity需要一些特定的库比如libseccomp。如果系统没有安装可以尝试从源码编译cd ~/software/src wget https://github.com/seccomp/libseccomp/releases/download/v2.5.4/libseccomp-2.5.4.tar.gz tar xzf libseccomp-2.5.4.tar.gz cd libseccomp-2.5.4 ./configure --prefix$HOME/software make make install记得把库路径加到环境变量export LD_LIBRARY_PATH$HOME/software/lib:$LD_LIBRARY_PATH4. 安装Go环境4.1 下载和安装GoSingularity是用Go写的所以需要先安装Go。选择最新稳定版cd ~/software/src wget https://go.dev/dl/go1.21.0.linux-amd64.tar.gz tar -C ~/software -xzf go1.21.0.linux-amd64.tar.gz4.2 配置Go环境编辑~/.bashrc文件添加export GOPATH$HOME/go export PATH$HOME/software/go/bin:$PATH export GOBIN$GOPATH/bin然后执行source ~/.bashrc go version应该能看到类似这样的输出go version go1.21.0 linux/amd645. 编译安装Singularity5.1 获取源码建议从GitHub获取最新稳定版cd ~/software/src wget https://github.com/sylabs/singularity/releases/download/v4.0.0/singularity-ce-4.0.0.tar.gz tar xzf singularity-ce-4.0.0.tar.gz cd singularity-ce-4.0.05.2 配置和编译这里有几个关键点需要注意./mconfig --prefix$HOME/software \ --without-suid \ --without-conmon \ --without-seccomp \ --without-apparmor这些选项的作用--prefix指定安装目录--without-suid不使用setuid因为我们没root权限其他--without选项禁用需要特权才能使用的功能然后开始编译make -C builddir make -C builddir install这个过程可能会比较久取决于服务器性能。我第一次编译时用了近30分钟。5.3 验证安装安装完成后检查export PATH$HOME/software/bin:$PATH singularity --version应该能看到类似输出4.0.06. 使用Singularity6.1 拉取容器镜像虽然不能直接使用Docker但可以拉取Docker镜像singularity pull docker://ubuntu:latest这会生成一个ubuntu_latest.sif文件可以直接运行singularity exec ubuntu_latest.sif cat /etc/os-release6.2 构建自定义镜像创建定义文件mycontainer.defBootstrap: docker From: ubuntu:22.04 %post apt-get update apt-get install -y python3 %runscript python3 $然后构建singularity build mycontainer.sif mycontainer.def7. 常见问题解决7.1 编译错误处理如果编译时报错缺少依赖可以尝试用conda安装。比如遇到zlib错误conda install -c conda-forge zlib然后重新配置时指定zlib路径./mconfig ... --with-zlib$CONDA_PREFIX7.2 容器权限问题有时容器内需要写文件可以这样处理singularity exec --writable-tmpfs mycontainer.sif command或者绑定宿主目录singularity exec -B $HOME:/hosthome mycontainer.sif command8. 性能优化技巧8.1 使用缓存目录设置缓存目录可以加速后续构建export SINGULARITY_CACHEDIR$HOME/.singularity/cache mkdir -p $SINGULARITY_CACHEDIR8.2 并行编译编译时可以增加并行度加快速度make -C builddir -j$(nproc)8.3 使用本地镜像仓库如果经常使用相同镜像可以在本地搭建简单HTTP服务python3 -m http.server 8000然后从本地拉取singularity pull http://localhost:8000/myimage.sif9. 实际应用案例9.1 生物信息学分析比如运行GATK分析singularity exec gatk.sif gatk HaplotypeCaller \ -R reference.fasta \ -I input.bam \ -O output.vcf9.2 Python科学计算创建包含常用科学计算工具的容器Bootstrap: docker From: continuumio/miniconda3 %post conda install -y numpy scipy pandas matplotlib pip install jupyter %runscript jupyter notebook --ip0.0.0.0 --port888810. 维护和升级10.1 更新Singularity更新时建议全新编译安装cd ~/software/src/singularity-ce-4.0.0 git pull make clean ./mconfig ... make -C builddir make -C builddir install10.2 清理空间定期清理缓存和旧版本singularity cache clean rm -rf ~/software/src/singularity-ce-*11. 安全注意事项虽然Singularity比Docker安全但仍需注意不要运行来源不明的容器敏感数据不要放在容器内使用--contain选项限制容器访问12. 替代方案比较如果实在装不上Singularity可以考虑Conda环境隔离性较弱Podman可能需要额外配置Charliecloud另一个HPC容器方案但经过多次尝试我发现Singularity在HPC环境中的易用性和性能平衡得最好。特别是在处理大型基因组数据时性能损失几乎可以忽略不计。