сервер dpi что это
Как с помощью BRAS и DPI интернет-провайдеры удерживают абонентов
Начнем с определений.
BRAS – маршрутизатор в сетях широкополосного доступа (Broadband Remote Access Server). По сути, это конечное оборудование на стороне провайдера, предназначенное для непосредственного доступа пользователей к сети Интернет.
DPI (Deep Packet Inspection) – технология накопления статистических данных, проверки и фильтрации сетевых пакетов по их содержимому. Именно по содержимому, а не по заголовку пакета, хотя последнее также возможно.
Каким образом BRAS и DPI помогают сохранить количество абонентов?
Чтобы ответить на этот вопрос, нужно понять, почему клиенты уходят. Ни для кого не секрет, что клиенты приходят за низкой ценой, а уходят из-за плохого качества услуг. Обычно это связано с потерей пакетов или с их задержкой на уровне BRAS. Причин может быть много, но самые распространенные – недостаточная производительность аппаратного обеспечения (нагрузка на процессор, проблемы сетевого адаптера), проблемы программного характера (неоптимизированная ОС, неправильно выбранное ПО).
Первую проблему можно решить путем апгрейда оборудования, если такое возможно. На решение второй проблемы может потребоваться достаточно продолжительное время. Следует отметить, что решение обеих задач может повлечь за собой масштабные изменения в сети оператора связи.
Кроме проблем с качеством услуг, немаловажную роль играет российское законодательство, невыполнение которого может повлечь большие штрафы, а в особых случаях и отзыв лицензии. Аннулировать лицензию могут в трех случаях:
Думаю, ответ на ранее поставленный вопрос очевиден: использование современного высокопроизводительного сертифицированного оборудования с актуальным программным обеспечением и исполнение российского законодательства – гарант сохранения и роста абонентской базы, а также «безопасности» лицензии на оказание телематических услуг.
С проблемой низкой скорости разобрались, но с помощью DPI можно еще и осуществлять мониторинг поведения абонента. Как только пользователь стал изучать тарифы других интернет-провайдеров, система DPI сообщит об этом администратору. Да-да, узнать историю ваших посещений несложно – сложно забраться внутрь пакета трафика, особенно зашифрованного, но чаще всего этого и не требуется. А дальше достаточно вручную изменить настройки биллинга, чтобы у абонента все стало «летать», или прислать ему письмо со «специальным предложением». Более того, современный DPI могут делать приоритизацию трафика, то есть делать шире полосу для веб-серфинга, например, и ограничивать скорость торрентов.
Какие бывают BRAS и сколько это стоит для оператора связи?
Обычно в роли BRAS выступает одна единица оборудования, в роли DPI – другая.
BRAS можно разделить на группы по исполнению и стоимости. В свою очередь, исполнение бывает программным и аппаратным, по стоимости – платное и бесплатное.
Достаточно распространенными программными Open Source (бесплатным) решениями являются:
Бесплатные на этапе инсталляции решения в дальнейшем требуют наличия обученного персонала, который будет заниматься их обслуживанием. Кроме того, приведенные варианты BRAS неспособны проводить глубокий анализ трафика.
Коммерческие решения могут быть как программными, так и аппаратными.
Многочисленные аппаратные решения предлагают Cisco в серии 6XXX и 7XXX и Juniper Networks – серия MX. Также набирает популярность продукция компании Huawei ME60.
Минимальная цена на бывшее в эксплуатации оборудование начинается от 100 тыс. рублей. В эту сумму включены шасси, плата управления минимальной производительности и блок питания. Апгрейд производится путем замены платы управления и сопутствующих модулей, которые приобретаются отдельно. Максимальная цена аппаратных BRAS может доходить до нескольких миллионов рублей, а заявленная производительность зачастую остается только на бумаге.
Кроме маршрутизатора потребуется приобрести DPI. Стоимость DPI от Cisco на вторичном рынке, в частности Cisco SCE8000-2X10G-E, приблизительно равна 2,5 млн рублей.
Общая стоимость подобных систем не ограничена. Потребляемая мощность аппаратного DPI порядка 1000–1600 Ватт, монтируемый размер в стойку – 5U. Минимальная потребляемая мощность BRAS – от 500 Вт, монтируемый размер в стойку – 3U. В конечном счете мы получаем монстра минимальным размером в 8U и потребляющим в лучшем случае 1,5 кВт энергии.
А можно ли объединить BRAS и DPI в одно оборудование?
Да, такие решения есть. Но на российском рынке представлено не так много производителей подобных решений. Большинство из них не утруждаются собственной разработкой, а покупают лицензионный зарубежный движок – со всеми «дырами» для иностранных спецслужб. Единственные, кто создал систему с нуля, это компания VAS Experts с их многофункциональным СКАТ DPI. Решение настолько популярно, что установлено уже более чем у 600 провайдеров – вы читаете эти строки, а страница прошла через СКАТ DPI.
Преимущества СКАТ DPI
Также следует отметить, что СКАТ постоянно модернизируется не только под нужды российского законодательства, но и под современные требования безопасности. В свою очередь, отечественное ПО находится под защитой государства.
Программно-аппаратный комплекс СКАТ-DPI доступен в трех вариантах комплектации:
Выводы?
В условиях жесткой конкуренции качество оказываемых услуг показывает отношение к источнику заработка – клиентам. Всё просто: интернет-провайдеры борются за вас, своих клиентов, и вкладывают огромные средства в системы управления трафиком. Если у вас возникают проблемы – пишите в техническую поддержку, звоните на горячую линию. У хорошего провайдера всегда найдется техническая возможность сделать конкретно ваше соединение с сетью Интернет быстрее и стабильнее.
Краткий обзор технологии DPI — Deep Packet Inspection
Основы
Система DPI, как видно из названия, выполняет глубокий анализ всех проходящих через неё пакетов. Термин «глубокий» подразумевает анализ пакета на верхних уровнях модели OSI, а не только по стандартным номерам портов. Помимо изучения пакетов по неким стандартным паттернам, по которым можно однозначно определить принадлежность пакета определённому приложению, скажем, по формату заголовков, номерам портов и т.п., система DPI осуществляет и так называемый поведенческий анализ трафика, который позволяет распознать приложения, не использующие для обмена данными заранее известные заголовки и структуры данных. Яркий пример тому – Bittorrent. Для их идентификации осуществляется анализ последовательности пакетов, обладающими одинаковыми признаками, таким как Source_IP:port – Destination_IP:port, размер пакета, частота открытия новых сессий в единицу времени и т.д., по поведенческим (эвристическим) моделям, соответствующим таким приложениям. Естественно, сколько производителей такого железа – столько и интерпретаций поведенческих моделей соответствующих протоколов, а значит и точность детектирования также разнится. Раз речь зашла о производителях, стоит отметить, что наиболее крупными игроками и их продуктами на рынке standalone DPI являются Allot Communications, Procera Networks, Cisco, Sandvine. Всё более и более популярными становятся интегрированные в маршрутизаторы решения DPI. Так поступают многие — Cisco, Juniper, Ericsson и т.д. по списку. Такие решения, как правило, достаточно компромиссные, и не могут предоставить весь спектр сервисов, доступных standalone решениям. Однако, для большинства задач этого вполне достаточно. Софтварные продукты, крутящиеся на серверах (такие как OpenDPI) я умышленно не указываю, их рынок весьма узок и, как правило, ограничивается корпоративными/кампусными сетями, а это немного не мой профиль. Важной отличительной особенностью настоящего DPI является возможность аналитики трафика за счёт сбора различного рода статистики с разбивкой по приложениям, по тарифным планам, по регионам, по типам абонентских устройств и т.д. По этой причине замечательный NBAR имени Cisco хоть и позволяет детектировать и осуществлять контроль трафика по приложениям, полноценным решением DPI не является, т.к. в нём отсутствует ряд важных компонентов.
Система DPI, как правило, устанавливается на границе сети оператора в разрыв существующих аплинков, уходящих от пограничных маршрутизаторов. Тем самым, весь трафик, который покидает или входит в сеть оператора, проходит через DPI, что даёт возможность его мониторинга и контроля. Для решения специфических задач можно устанавливать эту систему не на границе сети, а спускать её ниже, ближе к конечным пользователям, на уровень BRAS/CMTS/GGSN/… Это может быть полезно тем операторам, которые по ряду причин помимо утилизации внешних каналов также хотят решать задачу контроля внутренних. Естественно, здесь речь идёт о достаточно крупных сервис-провайдерах с большой распределённой сетью масштабов страны и с достаточно дорогими канальными ёмкостями.
На рынке DPI есть модели на самый разный кошелёк. Производительность представленных на рынке устройств плавает в пределах от сотен Мбит/с до 160 Гбит/с FDX в рамках одной отдельно взятой коробки, которые, как правило, можно объединять в кластеры. Соответственно, и стоимость плавает весьма серьёзно — от нескольких тысяч до миллионов долларов США. В случае с корпоративным сегментам решения предполагают низкоскоростные подключения по медным интерфейсам типов 10/100/1000. Операторские решения рассчитаны на подключение множества линков 1GE и 10GE. Что касается совсем взрослых решений, то пока что рынок 100GE интерфейсов на сетевом оборудовании достаточно скуден и дорог, но как только появится первый реальный бизнес-кейс, вендоры DPI предложат соответствующие решения, ибо у некоторых из них заготовки уже имеются.
Что дальше?
Теперь возникает логичный вопрос – ну и что теперь со всем этим делать? У оператора появляется достаточно мощный инструмент, при умелом использовании которого можно решать различные задачи по эксплуатации сети и её развитию.
Реализация QoS
С точки зрения эксплуатации, оператор может контролировать утилизацию подключенных через DPI каналов на уровне приложений. Раньше он решать задачи реализации QoS (Quality of Service) исключительно средствами построения очередей на основании маркировки трафика служебными битами в заголовках IP, 802.1q и MPLS, выделяя наиболее приоритетный трафик (разного рода VPN’ы, IPTV, SIP и т.д.), и гарантируя ему определённую пропускную способность в любой момент времени. Трафик типа Best Effort, к которому относится весь интернет трафик домашних абонентов (HSI — High Speed Internet), оставался фактически без контроля, что давало возможность тому же Bittorrent забрать себе всю свободную полосу, что, в свою очередь, вело к деградации любых других веб-приложений. С использованием DPI у оператора появляется возможность распределить канал между различными приложениями. К примеру, в ночные часы разрешить трафику Bittorrent забирать себе больше полосы, чем днём, в часы-пик, когда в сети ходит большое количество другого веб-трафика. Другая популярная мера у многих мобильных операторов – блокировка Skype-трафика, а также любых видов SIP-телефонии. Вместо полной блокировки оператор может разрешать работу данных протоколов, но на очень низкой скорости с соответствующей деградацией качества предоставления сервиса у конкретного приложения, чтобы вынудить пользователя платить за услуги традиционной телефонии, либо за специальный пакет услуг, разрешающий доступ к VoIP-сервисам.
Subscriber Management
Важным моментом является то, что правила, на основании которых выполняется шейпинг/блокировка, могут быть заданы посредством двух основных базисов – per-service или per-subscriber. В первом случае простейшим образом оговаривается, что конкретному приложению позволяется утилизировать определённую полосу. Во втором привязка приложения к полосе осуществляется для каждого подписчика или группы подписчиков независимо от других, что производится через интеграцию DPI с существующими OSS/BSS системами оператора. Т.е. можно настроить систему таким образом, что подписчик Вася, который за неделю накачал торрентов на 100 гигабайт, до конца месяца будет ограничен по скорости скачивания этих же торрентов на уровне 70% от купленного им тарифа. А у подписчика Пети, который купил дополнительную услугу под названием «Skype без проблем», трафик приложения Skype не будет блокироваться ни при каких условиях, но любой другой – легко. Можно сделать привязку к User-Agent и разрешить браузинг только при помощи рекомендуемых браузеров, можно делать хитрые редиректы в зависимости от типа браузера или ОС. Иными словами, гибкость тарифных планов и опций ограничена лишь здравым смыслом. Если же речь идёт о трафике мобильных операторов, то DPI позволяет контролировать загрузку каждой базовой станции в отдельности, справедливо распределяя ресурсы БС таким образом, чтобы все пользователи остались довольны качеством сервиса. Разумеется, данную задачу можно решать силами мобильного ядра, но это не всегда бюджетно. Раз уж я упомянул мобильных операторов, то хотелось бы отметить, что каждый уважающий себя производитель пакетного ядра EPC (Evolved Packet Core) для LTE интегрирует в свой PDN-GW функционал DPI, заточенный под решение задач мобильных операторов.
Зачем это всё надо?
Новая модель услуг
Мы плавно перешли к задаче развития сети и её услуг. Глядя на то, как подписчики пользуются купленной ими полосой, какие приложения используют, оператор может изучать потребности каждой категории подписчиков и предлагать им более гибкие и совершенные тарифные планы. К примеру, основываясь на том, что подписчики тарифа Silver активно пользуются услугами сторонней SIP-телефонии, можно предложить им дополнительный пакет, позволяющий использовать аналогичный сервис, предоставляемый оператором, но со скидкой. Остальные подписчики при желании воспользоваться более дешёвой телефонией будут мотивированы переходить на более дорогой тариф, приобретая дополнительные бонусы в виде повышения скорости. Можно придумать много кейсов, это лишь один из них. Своё видение персонализированных сервисов представила компания Allot в своей презентации, выдержки из которой упоминаются в материале, когда-то опубликованном на хабре. Подход очень интересный, и выгодный как для пользователя, так и для оператора. Тенденции развития телекоммуникационного рынка таковы, что для операторов продавать трубу, как они делают сейчас, скоро будет просто невыгодно, есть масса исследований, подтверждающих это. ARPU не увеличивается, конкуренция высока, оборудование необходимо апгрейдить всё чаще и чаще, расходы операторов растут, а желание получать прибыль никуда не девается. Задача DPI в данном разрезе — реализовать новые модели предоставления услуг конечному пользователю. Некоторые мировые операторы маленькими шагами уже двигаются к данной идее. В России, очевидно, процесс этот будет долгим и мучительным, т.к. для достижения задачи необходимо перестраивать мозги абонентов на другую частоту, что очень непросто, т.к. отучить человека не качать торренты, а покупать легальный контент — непросто. Я бы не хотел сейчас запускать дискуссию на тему «А где мне брать легальный контент?», это отдельная песня, и я очень рад, что это сдвинулось с мёртвой точки (на примере ivi, omlet, zabava и т.п. совместно с возрастающими продажами Smart TV). Надеюсь, данные проекты не заглохнут. О Netflix я пока не мечтаю, но было бы здорово.
DPI отлично умеет работать в связке с различными VAS (Value Added Services) системами, такими как антиспам, антивирус, видеооптимизаторы и т.п. Суть функционала заключается в отводе части трафика по заданным администратором критериям, на сторонние устройства, для осуществления более глубокого анализа и обработки.
Довольно легко можно организовать предоставление пользователям услуг по родительскому контролю, которые становятся всё более и более актуальными.
Спецслужбы
В конце хотелось бы сказать пару слов о том, для чего также закупается DPI, кроме как для издевательств над абонентами. Оборудование DPI, в связи со своим умением видеть всё и вся, что происходит на сети, является весьма интересным устройством для товарищей в погонах, без которых сейчас никуда. При помощи DPI спецслужбы могут вести наблюдение за сетевой активностью того или иного пользователя. Можно перекрыть ему VPN, HTTPS и прочие прелести, делающие невозможным анализ контента. Разумеется, можно закрывать доступ пользователей к неугодным властям сайтам, что очень актуально в связи с последними событиями в законотворческой деятельности в России.
Сетевой нейтралитет
Deep Packet Inspection: Оборудование и применение
Мы в VAS Experts проектируем и внедряем сервисов в области контроля и анализа интернет трафика. В нашем блоге мы решили начать рассказывать об устройстве технологий, связанных с нашей сферой деятельности.
В первых двух материалах мы поговорили о составе системы и схеме подключения, а во втором — о сценариях использования. Сегодня мы посмотрим, какие требования предъявляются к «железу» для полноценной работы систем глубокого анализа трафика, и где такие системы применяются.
/ Flickr / Sean MacEntee / CC
Системы Deep packet inspection (DPI) чаще всего используются для контроля и фильтрации трафика, иногда для блокировки протоколов. С помощью DPI можно отслеживать генерируемые приложениями данные и выбирать соответствующую стратегию действий.
Для работы DPI нужна программная система, установленная на подходящую аппаратную платформу. Только правильно подобранное оборудование и оптимизированное программное обеспечение в связке дадут высокий уровень производительности.
Серверы для DPI
Серверы для DPI обычно похожи на серверы 1U, но в них акцент сделан на сетевые компоненты, а не на оперативную память и жёсткие диски. В DPI-серверах могут быть установлены от 4 до 8 портов 1 GbE RJ45, 4 порта 10 GbE SFP+ или 2 порта 40 GE QSFP+.
Сетевые карты в DPI-системе должны поддерживать режим Bypass — если сервер отключится, то соединение между портами продолжит работать с помощью питания от встроенной батарейки и будет пропускать трафик без фильтрации. Также на DPI-сервере обычно установлена система мониторинга состояния работы (Advanced Lights Out Management), с помощью которой можно управлять всеми параметрами удалённо или через графический интерфейс на дисплее. BIOS материнской платы сервера должен быть защищён аппаратно от повреждений и поддерживать удалённое обновление.
Для функционирования сервера достаточно одного или двух процессоров Intel Xeon E5-2600 V4 (Broadwell-EP) и двух жёстких дисков, объединенных в RAID 1. Обычно в основном устройстве есть два SSD-диска для установки операционной системы, например SmartOS, к ним добавляют до 24 HDD- или SSD-накопителей, а также сетевые порты и порты для полок расширения. Для увеличения хранилища данных дополнительно к устройству подключают дисковые массивы JBOD, каждый из которых поддерживает до 70 дисков HDD или SSD.
Такая модель позволяет быстро и без больших затрат расширять объёмы для хранения данных, что особенно важно при обработке статистики трафика и кэширования содержимого — изображений, видео и прочих подобных файлов.
Для контроля дисков, поддержания их целостности и высокой скорости работы лучше всего использовать файловую систему ZFS и технологию RAID-Z. Для обеспечения отказоустойчивости желательно устанавливать минимум два взаимозаменяемых блока питания.
Часто производители систем глубокого анализа трафика предлагают готовые комплекты из оборудования и ПО — такие серверы отличаются от стандартных систем и могут дополнительно оснащаться системами хранения данных или сбора статистики в соответствии с требованиями законодательства.
С другой стороны, может быть значительно удобнее, если предлагаемый сервер будет устройством на стандартной платформе, которое можно легко модернизировать. Такие системы чаще встречаются у российских компаний — «Протей», Vas Experts, Peter-Service, Napa Labs.
Категории применения
Компания Heavy Reading провела опрос среди телеком-компаний и собрала данные об основных областях применения DPI. Самым популярным направлением стало качество обслуживания (QoS) — сюда относится мониторинг состояния сети и решение проблем с оборудованием.
Раньше трафик домашних абонентов (HSI — High Speed Internet) почти не контролировался – BitTorrent мог забрать всю свободную полосу подключения, теперь же DPI позволяет операторам распределять канал между различными приложениями.
Второй по важности категорией для операторов стало управление политикой абонентов сети (PCEF). По данным исследований аналитиков, это самая крупная категория применения DPI по объёму и ценности, и она только продолжит расти. Третьей по значимости категорией провайдеры назвали сетевые шлюзы – сегодня DPI часто применяют на маршрутизаторах в сетях 4G (P-GW) и 3G (GGSN).
Четвёртая категория в опросе — использование DPI для анализа информации о пользователях. Изначально DPI применяли для анализа сетевого трафика и трендов, но всё чаще компании подключают эту технологию для анализа поведения подписчиков в реальном времени, чтобы разрабатывать более подходящие наборы услуг и при этом подбирать правильную нагрузку на сеть.
Свойства и сравнение «железа»
По мнению специалистов из Калифорнийского университета в Беркли, для быстрой и надёжной работы DPI оборудование должно обладать определенными свойствами. DPI используется для проверки сетевых пакетов по тысячам идентификаторов, поэтому для высокой скорости работы необходимо разделить этот процесс на параллельные потоки, то есть оборудование должно поддерживать параллелизм в обработке данных.
«Железо» должно обрабатывать сетевые пакеты с высокой скоростью, чтобы соответствовать пропускной способности гигабитного канала сети. Кроме того, оборудование не должно потреблять много энергии — перегрев означает замедление работы, поломку или большую нагрузку на систему охлаждения.
Также аппаратное обеспечение должно быть гибко настраиваемым и предоставлять возможность будущего расширения функций и быстрого обновления, например, для защиты от новых вирусов.
Мы в Vas Experts провели сравнение устройств начального и среднего класса как отечественных, так и зарубежных производителей, которые могут себе позволить почти все операторы. На основании собранных нами данных можно сделать вывод, что самыми дорогими системами младшего класса оказались Cisco SCE1000 и Huawei SIG9800-X3, причем последняя обладает самой высокой производительностью.
Что касается среднего сегмента, то здесь мы пронаблюдали почти полное равенство по производительности и оснащению устройств. Отличие состоит только в том, что российские системы основаны на стандартных компонентах, а это позволяет повышать производительность с гораздо меньшими затратами, ведь дополнительные расширения для устройств зарубежных компаний Sandvine, Allot или Procera стоят гораздо дороже и требуют расширения лицензий (полный анализ вы можете найти в нашем блоге).
На основании этого можно сделать вывод, что российские производители могут составить конкуренцию международным компаниям, но использовать их решения следует в сетях с невысоким объёмом трафика и небольшим числом абонентов. В ином случае следует обратить внимание на закрытые платформы иностранных разработчиков, которые обладают несколько большей надёжностью, стабильностью и оптимизацией.
Практическая выгода
К сожалению, сравнение по указанным в спецификации характеристикам не даст полного понимания практической выгоды, поэтому важно проверять оборудование на тестовых экземплярах от производителей. Однако не всегда удаётся получить аппараты для тестирования, в этом случае нужно ориентироваться на опыт людей, которые уже работают с конкретными системами и технологиями, искать информацию на форумах и у специалистов технической поддержки.
Также при выборе системы большое значение (помимо производительности и функционала) играют расходы на интеграцию — для многих это становится решающим фактором для установки системы DPI. Приведем пример расчёта эффективности внедрения подобной системы (ROI).
Допустим, что суммарный объём потребляемого абонентами трафика составляет 20 Гбит в месяц, стоимость 1 Гбит составляет 3 000 долларов, а стоимость DPI-системы — 75 000 долларов. Тогда использование системы DPI при заявленной эффективности по уменьшению аплинка в 35% даст 7 Гбит/с экономии полосы пропускания в месяц – это 21 000 долларов ежемесячно. В этом случае DPI-система окупится через 3,6 месяца (75000/21000 = около 3,6).
Если учитывать, что за добавление дополнительных функций (блокировка запрещённых сайтов, защита от вирусов и атак, CGNAT) не придётся платить, то внедрение DPI окупится ещё быстрее, а клиенты получат более высокое качество услуг за ту же цену. Стоит заметить, что российские компании продают оборудование по ценам в рублях — это серьёзное преимущество для операторов, которые получают свои доходы в этой же валюте. Покупать и поддерживать систему в таком случае будет еще выгоднее.