使用CURL在Ubuntu 22.04下实现C++分块上传/下载文件

在Ubuntu 22.04环境下，通过CURL库实现C++分块上传和下载文件是一项常见且实用的任务。本文将提供详细的代码示例和相关说明，帮助您快速掌握该技术。

安装CURL库

首先，确保系统中已安装CURL库。如果未安装，可以使用以下命令进行安装：

sudo apt-get update
sudo apt-get install libcurl4-openssl-dev

分块上传文件

下面是一个分块上传文件的C++示例代码。该代码将文件分块上传到指定的服务器URL。

#include <iostream>
#include <fstream>
#include <curl/curl.h>

const std::string UPLOAD_URL = "http://yourserver.com/upload";
const size_t CHUNK_SIZE = 1024 * 1024; // 1MB

size_t read_callback(void *ptr, size_t size, size_t nmemb, void *stream) {
    std::ifstream *file = static_cast<std::ifstream *>(stream);
    file->read(static_cast<char *>(ptr), size * nmemb);
    return file->gcount();
}

void upload_file(const std::string &file_path) {
    CURL *curl;
    CURLcode res;
    std::ifstream file(file_path, std::ios::binary);
    if (!file.is_open()) {
        std::cerr << "Failed to open file: " << file_path << std::endl;
        return;
    }

    curl_global_init(CURL_GLOBAL_ALL);
    curl = curl_easy_init();
    if (curl) {
        curl_easy_setopt(curl, CURLOPT_URL, UPLOAD_URL.c_str());
        curl_easy_setopt(curl, CURLOPT_UPLOAD, 1L);
        curl_easy_setopt(curl, CURLOPT_READFUNCTION, read_callback);
        curl_easy_setopt(curl, CURLOPT_READDATA, &file);

        curl_easy_setopt(curl, CURLOPT_INFILESIZE_LARGE, (curl_off_t)file.tellg());

        file.seekg(0, std::ios::end);
        curl_off_t file_size = file.tellg();
        file.seekg(0, std::ios::beg);

        do {
            char buffer[CHUNK_SIZE];
            file.read(buffer, CHUNK_SIZE);
            size_t read_size = file.gcount();
            curl_easy_setopt(curl, CURLOPT_INFILESIZE_LARGE, (curl_off_t)read_size);

            res = curl_easy_perform(curl);
            if (res != CURLE_OK) {
                std::cerr << "CURL error: " << curl_easy_strerror(res) << std::endl;
                break;
            }
        } while (file);

        curl_easy_cleanup(curl);
    }
    curl_global_cleanup();
    file.close();
}

int main() {
    std::string file_path = "path/to/your/file";
    upload_file(file_path);
    return 0;
}

分块下载文件

以下是一个分块下载文件的C++示例代码。该代码将文件分块下载到本地。

#include <iostream>
#include <fstream>
#include <curl/curl.h>

const std::string DOWNLOAD_URL = "http://yourserver.com/file";
const size_t CHUNK_SIZE = 1024 * 1024; // 1MB

size_t write_callback(void *ptr, size_t size, size_t nmemb, void *stream) {
    std::ofstream *file = static_cast<std::ofstream *>(stream);
    file->write(static_cast<const char *>(ptr), size * nmemb);
    return size * nmemb;
}

void download_file(const std::string &file_path) {
    CURL *curl;
    CURLcode res;
    std::ofstream file(file_path, std::ios::binary);
    if (!file.is_open()) {
        std::cerr << "Failed to open file: " << file_path << std::endl;
        return;
    }

    curl_global_init(CURL_GLOBAL_ALL);
    curl = curl_easy_init();
    if (curl) {
        curl_easy_setopt(curl, CURLOPT_URL, DOWNLOAD_URL.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_callback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &file);

        long file_size = 0;
        curl_easy_setopt(curl, CURLOPT_HEADERFUNCTION, +[](char *buffer, size_t size, size_t nitems, void *userdata) -> size_t {
            if (sscanf(buffer, "Content-Length: %ld", &file_size) == 1) {
                *(long *)userdata = file_size;
            }
            return nitems * size;
        });
        curl_easy_setopt(curl, CURLOPT_HEADERDATA, &file_size);

        res = curl_easy_perform(curl);
        if (res != CURLE_OK) {
            std::cerr << "CURL error: " << curl_easy_strerror(res) << std::endl;
        }

        file.seekp(file_size, std::ios::beg);
        size_t offset = 0;
        while (offset < file_size) {
            curl_easy_setopt(curl, CURLOPT_RANGE, std::to_string(offset).append("-").append(std::to_string(offset + CHUNK_SIZE - 1)).c_str());
            res = curl_easy_perform(curl);
            if (res != CURLE_OK) {
                std::cerr << "CURL error: " << curl_easy_strerror(res) << std::endl;
                break;
            }
            offset += CHUNK_SIZE;
        }

        curl_easy_cleanup(curl);
    }
    curl_global_cleanup();
    file.close();
}

int main() {
    std::string file_path = "path/to/your/file";
    download_file(file_path);
    return 0;
}

分析与说明表

以下是分块上传和下载文件时需要注意的关键点分析：

常见问题解答

如何处理文件上传/下载中的网络中断问题？

网络中断时，可以通过保存当前进度，并在网络恢复后从中断点继续上传/下载。使用CURL的 CURLOPT_RESUME_FROM_LARGE选项设置起始点。

如何提高分块上传/下载的效率？

可以通过调整CHUNK_SIZE的大小，根据网络带宽和服务器性能进行优化。另外，使用多线程并行处理多个块也能提高效率。

如何确保文件上传/下载的完整性？

使用文件校验和（如MD5或SHA256）确保文件在上传/下载过程中未被篡改。上传/下载完成后，计算本地文件和远程文件的校验和进行对比。

结论

通过上述代码示例和详细说明，您可以在Ubuntu 22.04系统下使用CURL库实现C++的分块上传和下载文件。这种方法不仅能有效管理大文件，还能提高网络传输的稳定性和效率。希望本文对您有所帮助，解决您在实际开发中的问题。