Я использую завихрение для загрузки больших файлов (от 5 - 20 ГБ) к ОБРУЧУ на основе HDFS (Кластер Hadoop) следующим образом:
curl -f --data-binary "@$file" "$HOOP_HOST$UPLOAD_PATH?user.name=$HOOP_USER&op=create"
Но когда завихрение, загружающее большой файл, это пробующий к полностью кэширует его в RAM, которая производит загрузку верхней памяти. Я попытался использовать -N
флаг от man curl
который должен отключить буферизацию. Но ничего не произошло. Таким образом, мой вопрос, является там любым способом вынудить вихревую запись непосредственно снабдить сокетом, или могли Вы совет меня другой util, который удовлетворит мои потребности простого HTTP запросы POST/помещать.
Я не делаю привычки записать это один, так как это похоже на изобретение велосипеда все время.Спасибо.