Выбор размера буфера для передачи по FTP и HTTP
Как выбрать размер буфера (байты, которые я читаю или записываю в сокет) для максимальной пропускной способности при реализации низкоуровневой передачи HTTP и FTP? Мое приложение должно передавать данные с помощью HTTP или FTP на соединениях от 130 Кбит / с до 3 Мбит / с (я заранее знаю ожидаемую скорость). Иногда это односторонний трансфер, иногда - в обоих направлениях. Должен ли я придерживаться среднего размера буфера или я должен изменять его в зависимости от скорости соединения?
Спасибо.
Ответы 3
Выберите размер буфера более 8 КБ. 9000 - это обычно самый большой размер MTU (максимальная единица передачи), используемый даже в самых быстрых сетях.
Когда вы используете буфер, размер которого превышает MTU соединения, операционная система при необходимости разбивает его на части размером MTU, и, таким образом, все, что вы используете поверх MTU, мало повлияет на производительность сети.
Однако использование большого буфера, вероятно, будет иметь другое влияние на производительность: если вы передаете файлы, то использование больших буферов может повысить производительность чтения, тем самым улучшив скорость вашего приложения.
Итак, обычно хорошей идеей является выбор хорошего круглого числа, например 16 КБ. Определенно не опускайтесь ниже 1500, так как это может негативно повлиять на производительность сети (заставляя операционную систему иногда отправлять небольшие пакеты, что снижает производительность в сети).
Это зависит от физических характеристик канала (односторонний или дуплексный). Большинство подключений Ethernet являются дуплексными, то есть они могут отправлять и получать одновременно.
Но также обычно перегрузка в сети вызвана количеством пакетов (а не их размером). Большое количество маленьких пакетов может вызвать больше проблем, чем несколько больших.
Если это имеет значение, мы говорим о сотовых сетях.
Во-первых, сделайте несколько измерений.
Затем, после надежного измерения производительности, внесите изменения в размер буфера и постройте график зависимости скорости от размера буфера.
Поскольку вы заранее знаете скорости соединения, вы сможете получить некоторые измерения фактических скоростей с разными фактическими размерами буфера.
ОС, стек протоколов и сеть слишком сложны, чтобы дать ответ из первых принципов. Вам нужно измерить, прежде чем что-либо делать.
Спасибо. Измерения - это то, чем мы занимаемся прямо сейчас. Я подумал, что может быть какой-то общий алгоритм или посоветовать использовать 2x MTU или что-то в этом роде ... Ну, тогда это измерение.
Если бы существовал общий алгоритм, он уже был бы реализован как часть протокола. Не бывает универсальных алгоритмов, которые не были бы реализованы. Ваш единственный выбор - измерения.
Вы можете получить размер буфера: httpSocket.getReceiveBufferSize (); Я настоятельно рекомендую записывать этот буфер в ОЗУ в процессе чтения. Например: ByteArrayOutputStream memoryFile. и только после заполнения буфера записываем его на диск.
Привет, спасибо за твои мысли. Что, если мы говорим о медленных сетях (130 кбит / с) и двунаправленной передаче (предположим, у нас симметричное соединение). Не будут ли большие буферы забивать передачу в одном из направлений, но приносить пользу в другом?