Загрузите большие файлы с завихрением без кэша RAM.

Я использую завихрение для загрузки больших файлов (от 5 - 20 ГБ) к ОБРУЧУ на основе HDFS (Кластер Hadoop) следующим образом:

curl -f --data-binary "@$file" "$HOOP_HOST$UPLOAD_PATH?user.name=$HOOP_USER&op=create"

Но когда завихрение, загружающее большой файл, это пробующий к полностью кэширует его в RAM, которая производит загрузку верхней памяти. Я попытался использовать -N флаг от man curl который должен отключить буферизацию. Но ничего не произошло. Таким образом, мой вопрос, является там любым способом вынудить вихревую запись непосредственно снабдить сокетом, или могли Вы совет меня другой util, который удовлетворит мои потребности простого HTTP запросы POST/помещать.

Я не делаю привычки записать это один, так как это похоже на изобретение велосипеда все время.Спасибо.

4
задан 24 May 2015 в 10:53
1 ответ

К сожалению, по словам Даниэля Стенберга, в настоящее время это невозможно.

См. https://github.com/bagder/curl/issues/290

3
ответ дан 3 December 2019 в 03:41

Теги

Похожие вопросы