HTTP в настоящее время повсеместно используется во Всемирной паутине для получения информации с веб-сайтов. HTTP используется также в качестве транспорта для других протоколов robots txt host на русском уровня, таких как SOAP, XML-RPC, WebDAV.

Обычно такими ресурсами являются хранящиеся на сервере файлы, но ими могут быть логические объекты или что-то абстрактное. Обмен сообщениями идёт по обыкновенной схеме запрос-ответ. Для идентификации ресурсов HTTP использует глобальные URI. Один и тот же программный продукт может одновременно выполнять функции клиента, сервера или посредника в зависимости от поставленных задач. В спецификациях протокола HTTP подробно описывается поведение для каждой из этих ролей. Первоначально, протокол HTTP разрабатывался для доступа к гипертекстовым документам Всемирной паутины. Нередко протокол HTTP используется программами для скачивания обновлений.

Целый комплекс программ-роботов используется в поисковых системах Интернета. 11 февраля 2015 года — опубликованы финальные версии черновика следующей версии протокола. Обязательно должно отделяться от заголовков пустой строкой. Тело сообщения может отсутствовать, но стартовая строка и заголовок являются обязательными элементами.