在 Ubuntu 22.04 上打包 Bigtop 3.4.0-SNAPSHOT

Apache Bigtop 是一个用于构建和测试 Hadoop 生态系统的软件堆栈。本文将详细介绍如何在 Ubuntu 22.04 系统上打包 Bigtop 3.4.0-SNAPSHOT 版本。

一、环境准备

1. 安装必需的软件包

首先，确保你的系统已经更新，并安装了必要的开发工具和依赖包：

sudo apt update
sudo apt install -y openjdk-11-jdk git maven gradle docker.io

2. 设置 Docker

Bigtop 使用 Docker 来构建 RPM 和 DEB 包，因此需要确保 Docker 服务已启动并且当前用户具有使用 Docker 的权限：

sudo systemctl start docker
sudo systemctl enable docker
sudo usermod -aG docker $USER

请重新登录或重启系统以使用户组更改生效。

二、获取 Bigtop 源码

从 Apache Bigtop 的 Git 仓库中克隆代码：

git clone https://github.com/apache/bigtop.git
cd bigtop
git checkout -b 3.4.0-SNAPSHOT

三、配置 Bigtop

Bigtop 使用配置文件来定义其构建和测试的参数。需要创建一个配置文件来设置目标发行版（例如 Ubuntu 22.04）和其他构建参数。

创建一个名为 bigtop.bom 的配置文件，内容如下：

bigtop:
  components: [hadoop, hbase, spark, hive, pig, oozie]
  distro: ubuntu-22.04
  repo: file:///bigtop-home/output
  jdk: /usr/lib/jvm/java-11-openjdk-amd64
  baseline: false

将 bigtop.bom 文件放置在 bigtop 目录中。

四、构建 Bigtop 包

1. 设置环境变量

设置一些必要的环境变量：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

2. 开始构建

使用 Gradle 启动 Bigtop 构建过程：

./gradlew toolchain
./gradlew allclean
./gradlew bigtop-deploy

这将下载和配置构建所需的所有依赖项，并在 Docker 容器中构建 Bigtop 包。构建过程可能需要一些时间，具体取决于系统性能和网络速度。

3. 验证构建

构建完成后，可以在 output 目录中找到生成的 DEB 包。验证生成的包是否正确：

ls output

你应该看到所有生成的包文件。

五、打包与发布

1. 创建本地 APT 仓库

可以使用生成的 DEB 包创建一个本地 APT 仓库：

sudo apt install -y dpkg-dev
mkdir -p ~/bigtop-repo
cp output/*.deb ~/bigtop-repo/
cd ~/bigtop-repo
dpkg-scanpackages . /dev/null | gzip -9c > Packages.gz

2. 配置本地仓库

在系统中配置新的本地 APT 仓库：

echo "deb [trusted=yes] file:///home/$USER/bigtop-repo ./" | sudo tee /etc/apt/sources.list.d/bigtop.list
sudo apt update

3. 安装包

现在可以使用 apt 安装生成的包：

sudo apt install hadoop hbase spark hive pig oozie

六、总结

通过以上步骤，我们在 Ubuntu 22.04 系统上成功构建并打包了 Bigtop 3.4.0-SNAPSHOT 版本。该过程涉及安装必要的软件包、获取源码、配置构建环境、执行构建命令以及配置本地 APT 仓库和安装生成的包。希望本文能帮助您在实际项目中应用 Bigtop，提高大数据生态系统的构建和部署效率。