Google отключил в РФ серверы, ускоряющие загрузку контента: как это повлияет на работу YouTube
Интернет-гигант Google начал отключать в России серверы своей сети Google Global Cache (GGC), предназначенные для ускорения загрузки контента. Одним из тех, кто попал под ограничения стала оренбургская компания «Радиосвязь», известная под брендом «Фокус лайф», сообщил телеканал «360».
При этом компанию отключили от сервисов GGC еще 19 мая, а письмо с уведомлением пришло только спустя несколько дней. В сообщении не говорится ни об объективных причинах отключения, ни о том временная ли эта мера или нет. Написали только то, что у Google изменилась правовая политика.
Точно такое же уведомление получил «МФТИ Телеком». Хотя у «Ростелекома», МТС и «МегаФона» сервер работает в штатном режиме.
Что такое Google Global Cache
Google Global Cache необходим для того, чтобы снизить нагрузку на магистральные сети связи и ускорить доступ пользователей к собственным сервисам, таких как YouTube, Google Maps и других. Для этого Google устанавливает серверы GGC на сетях интернет-провайдеров.
На этих серверах хранится контент, который запросил локальный пользователь, например видео с YouTube. И если это видео затем захочет просмотреть другой пользователь из России, оно будет передаваться ему не через океан — из зарубежного центра Google, а из внутренней сети провайдера с сервера Google Global Cache.
Проще говоря, благодаря GGC российским провайдерам не приходится загружать контент с нуля, что позволяет сокращать объемы трансграничного трафика.
Что будет со скоростью на YouTube
Президент компании «Консорциум инфорус» Андрей Масалович рассказал, что серверы Google Global Cache не только позволяют передавать видео YouTube из внутренней сети провайдера, а не из-за рубежа, но делают возможной блокировку неугодного контента.
Дело в том, что серверы кеширования стоят на территории государства и власти могут самостоятельно блокировать неправомерную информацию. Так уже делают в Иране в Telegram. При этом само приложение продолжает работать.
«Я предполагаю, что Google сам себя страхует. Если кеширующие серверы находятся здесь, то у Роскомнадзора будет лишний рычаг давления» , — добавил Масалович.
Он уверен, что отключение Google Global Cache не повлияет на скорость загрузки видео на YouTube. Хотя у эксперта в области информационной безопасности Александра Власова другое мнение на этот счет.
Он считает, что новые ограничения все же повлияют на загрузку контента на видеохостинг. По его мнению, такими действиями Google отвечает на штрафы от Роскомнадзора. Несмотря на то, что компания позиционирует себя как независимая и коммерческая организация — она все равно выполняет приказы спецслужбы и госорганов США, добавил Власов.
Специалист подчеркнул, что сам интернет из-за этого в России не замедлится.
По большому счету, у нас невозможно отключить интернет, поскольку 90% трафика, который связан с финансовыми транзакциями или с использованием нужных всем сайтов, проходит внутри страны
эксперт в области информационной безопасности
Все ограничения, которые вводят иностранные интернет-компаний скажутся только на их собственных источниках информации, резюмировал Власов.
Ранее российская «дочка» Google объявила о банкротстве из-за невозможности выплатить свои финансовые обязательства. До этого Роскомнадзор оштрафовал компанию на 7,2 миллиарда рублей за отказ удалять запрещенную в России информацию.
Самые важные и оперативные новости — в нашем Telegram-канале «Ямал-Медиа».
Google Global Cache — для избранных
Одна из характеристик Google — предоставление качественный сервисов, бесплатно и с выгодой для себя.
Google Global Cache (GGC) — одно из решений по оптимизации огромных объемов своего трафика на базе платформы CDN, да еще и с пользой для пользователей (читай провайдеров).
Но что же все-таки это такое?
Взрыв широкополосного доступа и богатый мультимедийный контент постоянно увеличивает спрос от провайдеров Интернета (ISP). GGC позволяет предоставлять Google контент, в первую очередь видео, из собственной сети (провайдера). Это облегчает нагрузки на сеть и снижает затраты на транзитные линки, тем самым экономя деньги провайдеров, в то же время повышая уровень обслуживания пользователей.
Проект GGC находятся на стадии бета, поэтому соглашение с провайдером является коммерческой тайной, и запрещено использовать упоминания об этой услуги в своих целях.
Обзор системы
Без GGC, каждый запрос пользователя из сети провайдера на видео YouTube, Google Apps, etc. создает транзит этого экземпляра видео по сети, от Google к пользователю.
С GGC, только первая копия видео проходит транзит по всей сети. Если другой пользователь запрашивает то же видео, Google обслуживает его из узла GGC.
Особенности GGC
— сокращение трафика через сети: процент запросов через cache варьирует в зависимости от схемы использования пользователей, но типичная производительность близка к 75%,
— быстрый ответ, прозрачный для пользователей: Google прозрачно обслуживает пользователей запросы из кэша внутри сети,
— простота установки: для установки требуется rack (шкаф), ноутбук, копия CD от Google, а также подключение к Интернету. После того как сервера были настроены и доступны из сети, Google будет делать всю остальную работу и мониторить удаленно,
— надежность: узел имеет несколько уровней избыточности. Если узел GGC недоступен по любой причине, запросы пользователей будут отправлены прозрачно для Google.
Как GGC работает
Когда пользователь запрашивает части содержания — например, видео, веб-страницы или изображения — системы Google определяют, если этот ресурс может быть предоставлен из узла GGC внутри сети, и если пользователь имеет право доступа к узлу GGC.
Если узел GGC уже имеет закэшированую версию запрашиваемого контента в своем локальном кэше, он будет предоставлять контент непосредственно конечному потребителю, улучшая работу пользователей и экономя деньги за Интернет транзит.
Если содержимое не хранится на узле GGC, узел скачивает их из Google, предоставляет его пользователю, и хранит его для будущих запросов.
Диаграмма запросов
1. Пользователь запрашивает по ссылке видео или другой контент размещенный на Google. Компьютер генерирует запрос DNS для адреса хоста.
2. DNS провайдера запрашивает DNS Google на адрес IP хоста с содержанием.
3. DNS Google знает, что у вас есть GGC, так что ответы содержат IP адреса GGC узла провайдера.
Это известно, потому что провайдер анонсировал IP адреса DNS резолвера узлу GGC (через BGP) и Google обновил информацию в свой DNS.
4. DNS провайдера отвечает IP-адрес GGC узла пользователю.
5. Компьютер пользователя отправляет запрос на IP адрес который маршрутизируется на GGC узел.
6. Узел подтверждает, что пользователь имеет доступ к этому узлу (делается путем сопоставления IP-адресa пользователя в список блоков IP анонсированных через узел BGP.) Если адрес не является в списке, пользователь перенаправляется на кэш в сети Google.
7. Если контент не содержится на узле GGC, узел запрашивает контент из Google и кэширует его.
8. После того как узел GGC содержит контент, отдает его пользователю. Контент содержится на узле, так что следующий запрос может быть отдан без запроса к Google.
Предоставляемое оборудование от Google
Google предоставляет необходимое оборудование, провайдер должен обеспечить размещение с своем помещении, питание от электросети и подключение к Интернету.
GGC работает на стоечных серверах (rack mountable), по 3-8 в каждом кластере.
Характеристики серверов
• 2 RU Rack-mountable chassis
• 74см Д x 44см Щ x 8.64см В
• Вес: 28 КГ
• Блок питания: 2x 110/220 VAC.
• 4 x 1000Base-T copper Gigabit Ethernet
• IP адресация: выделенная подсеть (один широковещательный домен).
Возможные конфигурации:
3 сервера — 6RU 1200W
4 сервера — 8RU 1600W
6 сервера — 12RU 2400W
8 сервера — 16RU 3200W
Администрирование
Используется сайт ggcadmin.google.com, для конфигурации узла и информации о доставке. Первоначальный пользователь получает доступ к порталу от группы GGC.
После принятия бета-соглашения, пользователь может пригласить дополнительных пользователей.
Остальные детали
— Google сохраняет право собственности на оборудование и программное обеспечение, из которого составлен узел. Google будет отвечать за техническое обслуживание, поддержку и транспортные расходы, связанные с серверным оборудованием,
— По уверениям Google, конфиденциальность пользователей имеет первостепенное значение.
Личная информация (Personally Identifiable Information) или частный контет пользователей не сохраняется на узле GGC,
— Google сохраняет право требовать от провайдеров заверений о неразглашении использования услуги, так как проект находится в стадии бета.
Почему для избранных спросите вы?
Дело в том что Google обычно предлагает сам такие услуги только тем провайдерам, которые присутствуют в крупнейших точках обмена трафиком и если трафик на ресурсоемкие услуги Google (youtube, maps) составляют значительный процент от трафика (>70%).
Introduction to GGC
Google Global Cache (GGC) allows ISPs to serve certain Google content from within their own networks. This eases congestion within your network, and reduces the amount on traffic on your peering and transit links.
If you do not currently host a GGC node, but would like to enquire about availability, please use this web form.
GGC features
- Transparent to users: Google transparently serves user requests from caches inside your network.
- Reduced external traffic: Typically between 70-90% of cacheable traffic can be served from GGC. Cache hit rates will vary, based on the unique consumption patterns of end users on each operator’s network.
- Robust: GGC provides resilience through multiple levels of redundancy, which are transparent to users. Google ensures that users are always served from the best available data location, even in the event of a temporary outage.
- Easy to set up: Google provides the GGC hardware. You only need to provide rack space, power, a keyboard & monitor, and a connection to your network. Once you have completed the initial setup, Google takes care of the remote operation of the cache.
Configuration overview
Google maintains a web portal for ISPs (the ISP portal is restricted to users with login access). Use this to provide Google with the following information:
Введение:
Глобальный кэш Google (GGC) (также называемый «пограничным узлом») представляет уровень сетевой инфраструктуры Google, находящийся в максимальной близости к пользователям.
Вот так сам Google описывает его:
“Благодаря нашим пограничным узлам, сетевые операторы и интернет провайдеры (ISP) размещают сервера, поставляемые Google, внутри своей сети.”
Статический контент, который популярный среди пользователей провайдеров, включая YouTube и Google Play, который уже был запрошен пользователями, в сети провайдера, кэшируется(сохраняется) на пограничных узлах GGC.
Системы управления трафиком Google перенаправляют запросы пользователей на пограничный узел GGC, который обеспечивает доступ к контенту, размещенному локально у провайдера, то есть не требуется запрашивать контент через всю сеть, так как данный контент уже сохранен на пограничном узле GGC вашего провайдера.
Иногда, также используется кэш пограничного узла GGC для доставки других сервисов Google, таких как поиск Google, который обеспечивает улучшенную сквозную производительность для конечного пользователя.
Немного обо мне: Меня зовут Леонид Кролле, и я хочу изменить мир к лучшему, сделав его чуточку безопаснее.
Я занимаюсь информационной безопасностью: исследованиями в области как железных, так и программных продуктов. ИБ занимаюсь с начала 90х годов, работал в крупных Российских ИБ компаниях, сейчас полностью перешёл на Bug Bounty.
Отмечен такими компаниями как: Google, Ebay, Danske Bank, AT&T, Mail.ru и многими другими крупными компаниями.
Преамбула:
Какое отношение Google имеет к аппаратному и программному обеспечению, которое устанавливается у провайдера как часть GGC?
«Пограничный узел (GGC) реализован как набор серверов, развернутых в центре обработки данных провайдера и управляемых Google. Количество развернутых серверов зависит от требований пользователей к полосе пропускания и количества мест, в которых вы решили установить узлы GGC».
Итак, на данный момент мы получили достаточно информации, чтобы четко понять, что такое GGC:
Это часть ресурсов, управляемых Google.
Мой день — это поиск и обработка данных, которые мне помогают в нахождении уязвимостей в web и сетевых приложениях компаний, которые участвуют в качестве инициаторов Bug Bounty, а также написание отчётов о найденных уязвимостях компаниям, либо на платформу: Hackerone, Bugcrowd, Intigriti.
Bug Bounty — это программа, предлагаемая компаниями по оценке защищенности веб, а также, сетевых ресурсов.
Занимаясь исследованием, я обнаружил некоторую важную информацию: было обнаружено несколько устройств Cisco с включенной службой Smart Install, которые уязвимы к атаке, позволяющей осуществить удаленное произвольное выполнения кода(RCE) на этих устройствах, а также, возможность получать файлы конфигурации устройств, изменить их и загрузить обратно в устройство Cisco.
Cisco Smart Install — это возможность конфигурации устройства по технологии «plug-and-play», а доступна также функциональность управления образами, обеспечивающая развертывание новых устройств без участия пользователя.
· Например, можно отправить коммутатор Cisco в удаленный офис, поместить его в сеть и включить его без необходимости настройки устройства заранее. Далее оно будет уже сконфигурировано специалистом из любого места. Функционал Cisco Smart Install чем-то похож на TeamViewer, только без GUI.
Чтобы это все работало, технология включена по умолчанию.
Всё хорошо, только есть одно, НО:
Уязвимость CVE-2018–0171 была обнаружена в коде ПО для сетевых коммутаторов Cisco Smart Install Client. Она позволяет принудительно перезагрузить устройство, выполнить на нем произвольный код или обновить прошивку либо конфигурацию устройства.