В МТИ научили суперкомпьютер анализировать мировой веб-трафик
28 окт 2019 13:40 #87080
от ICT
ICT создал тему: В МТИ научили суперкомпьютер анализировать мировой веб-трафик
Моделирование веб-трафика может помочь в обеспечении кибербезопасности, проектировании вычислительной инфраструктуры, разработке политики интернета, интернет-исследованиях. Для своей работы исследователи из Массачусетского технологического института
собрали
самый большой общедоступный набор данных об интернет-трафике, включающий 50 миллиардов пакетов, которыми с 2015 года обменивались в разных точках земного шара (главным образом, в Японии и США). Данные загружались в нейросеть, работающую на 10 тысяч процессоров MIT SuperCloud. Модель автоматически обучалась находить взаимосвязь для всех соединений в общем наборе данных - от отсылки обычных пингов, до работы гигантов, например, Google и Facebook. Модель может взять любой большой набор сетевых данных и сгенерировать некоторые статистические измерения того, как все соединения влияют друг на друга. Эта опция подходит для раскрытия информации об одноранговом (пиринговом) обмене файлами, о подозрительных IP-адресах, рассылке спама, распределении атак в критических секторах, а также об узких местах трафика, что позволит лучше распределять вычислительные ресурсы и поддерживать поток данных. Исследователи сравнивают свою работу с измерением космического реликтового излучения, когда из почти однородных радиоволн, распространяющихся по нашей вселенной, создается общая картина космоса и воссоздается история Вселенной. \[quote\] "Мы создали точную модель для измерения фона виртуальной вселенной Интернета. Если вы хотите обнаружить какие-либо отклонения или аномалии, у вас должна быть рабочая модель фона". Джереми Кепнер, MIT Lincoln Laboratory\[/quote\] В интернет-исследовании эксперты изучают аномалии в веб-трафике, которые могут указывать, например, на киберугрозы. Для этого сначала нужно понять, как выглядит нормальный трафик, что само по себе становится непростой задачей. Традиционные модели анализа могут работать только с небольшими выборками данных, которыми обмениваются источники и пункты назначения с ограничениями по местоположению. В МТИ исследователи специально не пытались решить проблему анализа трафика. Они сконцентрировались на разработке новых методов, которые могли бы использоваться в MIT SuperCloud для обработки масштабных сетевых данных. Интернет-трафик стал для ученых идеальным тестовым примером. Но модель может использоваться и в других сферах. Сети обычно представляют в форме графиков, состоящих из узлов-объектов и ссылок-связей. При обработке интернет-трафика узлы различаются по размерам и местоположению. Большие супер-узлы (супер-ноды) - это популярные хабы Google, Facebook и пр. Узлы-ответвления отходят из суперузла и также имеют несколько соединений друг с другом. Также исследователи обнаружили, что за пределами этого "ядра" суперузлов и конечных узлов находятся изолированные узлы и звенья, которые редко соединяются друг с другом.
Иллюстрация трафика с изолированными узлами: изолированные узлы (слева), которые редко подключаются к глобальной сети, но влияют на основной веб-трафик (справа) В результате исследователи обратились к научному сообществу, чтобы развить полученную модель и найти ей новые применения. К примеру, она бы пригодилась экспертам для изучения роли изолированных узлов, которые редко встречаются, но, вероятно, влияют на веб-трафик в основных узлах. Также с помощью нейросети можно изучать аномалии в интернете с целью выявления вредоносных систем. Ссылка на источник
Иллюстрация трафика с изолированными узлами: изолированные узлы (слева), которые редко подключаются к глобальной сети, но влияют на основной веб-трафик (справа) В результате исследователи обратились к научному сообществу, чтобы развить полученную модель и найти ей новые применения. К примеру, она бы пригодилась экспертам для изучения роли изолированных узлов, которые редко встречаются, но, вероятно, влияют на веб-трафик в основных узлах. Также с помощью нейросети можно изучать аномалии в интернете с целью выявления вредоносных систем. Ссылка на источник
Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.
Похожие статьи
Тема | Релевантность | Дата |
---|---|---|
В big data Tele2 научили искусственный интеллект анализировать трафик на автодорогах | 20.56 | Пятница, 14 июля 2023 |
Traffic Inspector научился анализировать HTTPS-трафик | 14.29 | Вторник, 14 марта 2017 |
Российский суперкомпьютер поставил мировой рекорд вычислительной плотности | 13.32 | Четверг, 17 ноября 2016 |
Мировой мобильный трафик за 2015 год вырос на 65% | 12.26 | Четверг, 18 февраля 2016 |
Из-за пандемии мировой трафик вырос в три раза | 12.26 | Понедельник, 11 мая 2020 |
Мировой мобильный трафик в ближайшие 5 лет может вырасти в 10 раз | 12.13 | Понедельник, 09 февраля 2015 |
Мировой облачный трафик за 5 лет вырастет вчетверо, до 8,6 Збайт | 12.13 | Понедельник, 02 ноября 2015 |
Впервые трафик социальных сетей превысил просмотровый и поисковый трафик | 8.96 | Понедельник, 14 сентября 2015 |
Efsol разработала CRM-систему, способную анализировать речь | 8.41 | Среда, 11 ноября 2015 |
Mail.Ru Group поможет компаниям анализировать их данные | 8.41 | Вторник, 19 января 2016 |