Как IPinfo превращает данные реестра в реальный интеллект

Интернет является децентрализованной сетью по своей природе.Сотни тысяч компьютерных сетей, каждая со своими особенностями и политикой, взаимосвязаны вместе, чтобы сформировать более обширную глобальную сеть. Каждая сеть в основном заботится о своих соседних партнерах, но она не нуждается в том, чтобы заботиться о сетях, расположенных дальше.Оператор сети в Японии никогда не нуждается в координации с оператором сети в Европе, чтобы иметь возможность обмениваться пакетами с ними.Они не нуждаются в том же оборудовании, поставщиках, программном обеспечении или конфигурациях на своих сетях. Может показаться невозможным, чтобы такая система работала в глобальном масштабе и в течение длительного периода времени, и тем не менее, в основном это делается. , который диктует технические стандарты, которые должны использоваться для взаимодействия сетей, но также через (RIR), которые координируют распределение IP-адресов и других общих интернет-ресурсов. IETF Региональные интернет-регистры IETF Региональные интернет-регистры В этом блоге я объясню, что такое IP-адреса и автономные системные номера, как они успешно распределяются в Интернете (наряду с их ограничениями) и как активные измеряемые наборы данных IPinfo превращают статические данные реестра в проверяемый, в реальном времени слой разведки. IP Network Challenges Вызовы IP сетей Общим моментом для всех сетей в Интернете является использование соответствующим образом названного Интернет-протокола, или IP-протокола.В IP-сети каждому устройству присваивается IP-адрес, который может быть использован для отправки сообщений другим. Существует два основных вызова в IP-сетях: Поиск путей или маршрутов между двумя компьютерами Обеспечение того, чтобы каждому элементу оборудования был присвоен уникальный адрес среди конечного набора возможных адресов. Чтобы лучше понять проблему маршрутизации, давайте рассмотрим более подробно сеть IP. Типичная сеть IP состоит из нескольких компьютеров, взаимосвязанных друг с другом через устройство, называемое переключателем. Внутри каждой сети хосты подключены через переключатель и могут отправлять вещательные сообщения на все другие компьютеры в той же сети. Вещательные сообщения не допускаются за пределы сетевой границы. Вместо этого используется устройство под названием маршрутизатор. A switch has two modes of operation when it receives a message from one computer to another. Either it knows, from observing the traffic, to which specific interface the message must be forwarded, or it doesn’t and it sends the message to all interfaces except the interface where the message arrived in a process called В этой настройке нет необходимости знать исходящий интерфейс для всех направлений заранее, так как сообщение всегда может быть для всех, когда интерфейс неизвестен. Наводнение Трансляция Представьте, если каждый раз, когда компьютер хотел отправить сообщение в новое место назначения в Интернете, сообщение будет отправлено на все другие компьютеры в Интернете в надежде, что оно в конечном итоге достигнет своего назначения. From Local Networks to Autonomous Systems От локальных сетей к автономным системам Чтобы решить эту проблему масштабируемости, передача сообщений между сетями не допускается. Вместо этого, другой тип устройства, называемый маршрутизатором, используется для взаимосвязи сетей. В отличие от переключателя, маршрутизатор должен знать исходящий интерфейс для каждого пункта назначения заранее: Один из способов заполнить эту таблицу маршрутизации — чтобы сеть вручную вводила каждый маршрут во все маршрутизаторы. Однако этот процесс не масштабируется до крупных сетей и не позволяет динамически переконфигурировать, когда новые маршрутизаторы добавляются или удаляются, или когда связи между ними становятся недоступными (например, из-за сломанного кабеля). Вместо этого, наиболее распространенным способом популяризации таблиц маршрутизации является использование протокола маршрутизации. Существуют различные виды протоколов маршрутизации, но основная идея заключается в том, чтобы каждый маршрутизатор делился списком сети, к которой он подключен, со своими соседями, а также сетями, которые он узнал от своих соседей. На практике различные организации будут использовать различные протоколы маршрутизации и политики в зависимости от их потребностей, например, для оптимизации пропускной способности или задержки. Они также могут захотеть отфильтровать, какие маршруты они принимают от других сетей, чтобы контролировать, куда будет идти их трафик. Совокупность сетей, которые разделяют общую политику маршрутизации, называется автономной системой, или AS. Как правило, ISP и крупные организации будут эксплуатировать один или несколько AS. Внутри каждой AS они свободны использовать протокол маршрутизации по своему выбору. Интернет - это совокупность автономных систем, каждая из которых имеет свои внутренние протоколы и политики маршрутизации, которые используют протокол Border Gateway (BGP) для обмена маршрутами между ними. Прото-Интернет с двумя автономными системами. Внутри AS сетевой оператор свободен реализовать любую политику маршрутизации и использовать любой протокол маршрутизации. Одним из ключевых требований протокола BGP является то, что каждому AS присвоен уникальный номер, называемый Автономным Номером Системы (ASN). The Need for Unique Resources Потребность в уникальных ресурсах Чтобы Интернет работал, нам нужны две вещи: уникальные IP-адреса и уникальные автономные системные номера.Если мы позволим сетевым операторам выбирать эти значения случайно, существует очень высокий риск столкновения, что приведет к тому, что части сети будут недоступны, или получать трафик, не предназначенный для них. Распределение этих ресурсов координируется Региональными интернет-регистрами (RIR). Есть пять РИР, которые охватывают различные части мира: AFRINIC для Африки, ARIN для Северной Америки, APNIC для Азии и Океании, LACNIC для Южной Америки, и RIPE NCC для Европы и Ближнего Востока. Точные типы записей и метаданных, записанных в каждой базе данных, зависят от RIR, но два наиболее важных — это диапазоны адресов IP и автономные номера системы. Internet Assigned Numbers Authority (IANA) распределяет эти ресурсы RIR, которые, в свою очередь, распределяют их организациям, которые нуждаются в них, которые, в свою очередь, могут распределять их своим клиентам. IPv4 адресы являются, безусловно, самым скудным ресурсом, с только 4,2 миллиарда 32-битных адресов, чтобы разделить для каждого устройства на планете. RIR теперь имеют список ожидания на месте, так как они исчерпаны из имеющихся IPv4 адресов и имеют строгие квоты (например, RIPE NCC ограничивает максимальное количество IPv4 адресов, выделенных для ISP до 256 адресов). IPv6 адреса не страдают от этой проблемы благодаря использованию 128-битных адресов, что обеспечивает намного большее пространство адресов. ASN обычно определялись с использованием 16-битных чисел, что означает, что можно было выделить максимум 65 536 ASN, но позже они были расширены до 32 бит, чтобы учесть растущее количество ASN (более 120 000 к 2025 году). Существующее распределение этих ресурсов на РИР можно увидеть в , the , а также The . Реестр адресов IANA IPv4 IANA IPv6 Global Unicast Присвоение адресов Список номеров автономной системы IANA Реестр адресов IANA IPv4 IANA IPv6 Global Unicast Address Assignments Список номеров автономной системы IANA Точная политика распределения ресурсов зависит от каждого RIR, но они обычно различают два типа распределения: ISP и конечных пользователей. Выделения ISP могут быть дополнительно выделены ISP своим собственным клиентам. Мы также можем сказать, что ISP действует как локальный интернет-регистр (LIR). С другой стороны, выделения конечным пользователям обычно освобождаются от требований к членству, но имеют ограничение, что они не могут быть перераспределены. Давайте рассмотрим конкретный пример с диапазоном 2a01:c910:1:20e::/64 IPv6. Мы ясно видим иерархию IANA → RIR → LIR(s) → распределения конечных пользователей. Who Needs to Own Resources? Кому нужны собственные ресурсы? Можно спросить: почему беспокоиться о получении IP-адресов от RIR или LIR, когда организация может использовать только IP-адреса, выданные их ISP? Основными причинами владения IP-адресами являются: Переносимость: способность организации перемещать IP-адреса через интернет-провайдеров без переномерирования всех своих устройств, т.е. иметь независимое от провайдера адресное пространство. Мультихоминг: объявление IP-адресов от нескольких ISP для увольнения. Провайдер-независимое адресное пространство Дополнительными преимуществами могут быть: Репутация: Управляя тем, как используются IP-адреса, владелец может убедиться, что они не используются для вредных целей (например, для отправки спама) и реализовать свою собственную политику по борьбе с злоупотреблениями, установив точки контакта в базе данных WHOIS. Обратная делегация DNS: IANA поддерживает корневую зону для обратных записей DNS (in-addr.arpa и ip6.arpa) и делегирует детские зоны RIR, которые, в свою очередь, могут делегировать зоны, соответствующие принадлежащим ресурсам, на собственные DNS-серверы организации (см. например, документацию RIPE NCC). контактные поля в базе данных WHOIS Документация RIPE NCC Причина получения номера AS проще: необходимо установить публичные сессии BGP! Таким образом, любая сеть, желающая объявлять IP-адреса в Интернете, должна иметь свой собственный ASN. Обратите внимание, что IP-адреса и распределения ASN независимы.Организация может иметь ASN, но только маршрутные IP-адреса, приведенные ее клиентом, и аналогичным образом организация может владеть IP-адресами, но не имеет инфраструктуры для их маршрутизации и полагается на ISP с ASN для этого. In practice, most smaller organizations are fine using IP space assigned by their ISP and don’t need their own ASN. Ownership becomes important for companies that run large-scale infrastructure, provide Internet services, or need independence and resilience—such as ISPs, hosting providers, CDNs, and enterprises with complex networks. For these organizations, direct resource ownership offers control, stability, and flexibility that simply leasing addresses from an ISP cannot match. What WHOIS and RIR Data Reveal Что показывают данные WHOIS и RIR IP-адрес и записи ASN в базах данных RIR содержат информацию о владельце этих ресурсов, но они также могут содержать дополнительные метаданные, такие как предполагаемое использование этих ресурсов или контактные адреса. Давайте посмотрим на некоторые ресурсы. Для этого мы будем использовать протокол с помощником командной строки whois, но обратите внимание, что есть также более новый протокол на основе HTTP под названием . Кто РДАП Кто РДАП Мы можем запросить базу данных RIPE для диапазона 2a01:c910:1:20e::/64 с помощью следующей команды: whois -h – 2a01:c910:1:20e::/64 Где купить.ripe.net Где купить.ripe.net If the WHOIS server is not specified ( В этом случае команда whois будет использовать сервер IANA ( ), который будет перенаправлять на соответствующий сервер RIR в большинстве случаев. однако, это хорошая практика указать правильный сервер WHOIS, чтобы убедиться, что вы получите ожидаемый рекорд. Где купить.ripe.net кто.иана.org Где купить.ripe.net кто.иана.org inet6num: 2a01:c910:1:20e::/64 netname: FR-LA-POSTE-DISIT country: FR descr: SERVICES admin-c: DL7113-RIPE tech-c: DL7113-RIPE tech-c: AA2914-RIPE status: ASSIGNED mnt-by: PC80199-MNT created: 2015-05-27T11:38:38Z last-modified: 2015-05-27T11:38:38Z source: RIPE Распределение IPv6 в базе данных RIPE. Этот рекорд говорит нам о многом: Название диапазона IP дает нам намек на его предназначение.В этом случае он, кажется, присвоен французской почте. Страна говорит нам, что этот диапазон, вероятно, используется во Франции, хотя этот атрибут полностью бесплатен для пользователя и может быть не связан с IP-геолокацией. Атрибуты admin-c и tech-c дают нам административные и технические контакты для этого диапазона IP. В этом случае AA2914-RIPE ссылается на запись, содержащую адреса центра поддержки Orange Business Services (LIR), в то время как DL7113-RIPE сообщает нам адрес французской почтовой службы IT-сервисов. Атрибут mnt-by говорит нам о том, что организации разрешено вносить изменения в саму запись inetnum. Записи ролей, связанные в атрибутах admin-c, tech-c и mnt-by, содержат почтовые адреса, телефоны и адреса электронной почты. role: Administration Adresses remarks: Internet Support Center address: Orange Business Services address: 6 avenue Albert Durand address: 31700 Blagnac France phone: +33969397520 abuse-mailbox: abuse.orange-business@orange.com nic-hdl: AA2914-RIPE remarks: http://www.orange-business.com mnt-by: RAIN-TRANSPAC created: 2004-03-12T12:24:14Z last-modified: 2024-11-26T14:37:29Z source: RIPE Контактная точка в базе данных RIPE. WHOIS and RIR Limitations Ограничения WHOIS и RIR WHOIS ≠ Geolocation WHOIS records are often used as a proxy for IP geolocation. However, this usage is precarious as there is no guarantee that the addresses in the records are correct or linked to the actual location where the IP addresses are used. For example, the RIPE database Вот что можно сказать об атрибуте страны: Документация Документация Это идентифицирует страну с использованием букв ISO 3166-2 кодов стран. It has never been specified what this country represents. Это может быть местонахождение штаб-квартиры многонациональной компании или местонахождение серверного центра или местонахождение конечного пользователя. Поэтому он не может быть надежно использован для отображения IP-адресов по странам. It has never been specified what this country represents. Поэтому он не может быть надежно использован для отображения IP-адресов по странам. Furthermore, the granularity of IP address allocation is often too coarse to represent anything below the country level. The proper solution for network operators to share geolocation information are . geofeeds geofeeds Маршрутные объекты являются только информационными Another common source of confusion regarding WHOIS records come from route records. These records tell us which ASNs are expected to announce an IP range. For example, the following record tells us that 90.38.0.0/16 should be announced by AS3215: route: 90.38.0.0/16 descr: France Telecom IP2000-ADSL-BAS origin: AS3215 mnt-by: FT-BRX created: 2012-12-11T10:07:49Z last-modified: 2012-12-11T10:07:49Z source: RIPE Запись маршрута в базе данных RIPE. Тем не менее, эти записи являются чисто информационными. Некоторые сетевые операторы могут использовать их для отклонения маршрутов, где происхождение ASN не совпадает, но некоторые могут вообще не использовать эти записи. Кроме того, эти записи могут существовать, даже если IP-диапазон на самом деле не объявлен. The Messiness of Public Registry Data The Messiness of Public Registry Data Базы данных RIRs являются общедоступными, что делает их отличными источниками информации о субъектах, работающих в Интернете. Не все RIR поддерживают одни и те же типы записей, и даже для общих записей поддерживаемые атрибуты могут отличаться. Furthermore, some fields, like the address, are freeform and their validity is not enforced by the RIRs. It is not uncommon to find invalid or mangled addresses in WHOIS records. How IPinfo Transforms Static Records into Dynamic Intelligence How IPinfo Transforms Static Records into Dynamic Intelligence The Internet’s addressing system was built on a cooperative trust model: registries publish allocations, operators document routing intentions, and the community assumes these records are correct. Однако эта модель также позволила некоторым участникам маскировать вредоносный или нежелательный трафик. Например, веб-сканеры могут вращать IP-адреса и ASN часто, чтобы уклониться от обнаружения (см. это Cloudflare В качестве недавнего примера). Блог пост Блог пост Данные IPinfo проливают свет на эти вопросы с нашими богатыми данными: IP Whois Наши карты данных IP WHOIS охватывают их владельцев в стандартизированном и обогащенном формате во всех региональных интернет-регистрациях. Эти данные полезны для понимания иерархии распределения и истории IP-адресов и, например, для того, чтобы отличить стабильные IP-адреса, выделенные ISP, от IP-адресов IP-брокеров, которые могут часто менять руки. Эти данные также могут быть использованы для обнаружения активов, принадлежащих конкретной организации, и оценки их площади атаки для активного управления. IP to Company and IP Ranges Our IP to Company and IP Ranges dataset are distilled versions of our WHOIS dataset that always return the most specific information for an IP address. They are useful when one cares only about the final owner of an IP address and not the full allocation hierarchy. They allow users to easily obtain all IP ranges belonging to an organization by looking up its name or domain name. IP для ASN Our IP to ASN data maps IP addresses to their origin ASN — the organization that routes the IP address on the Internet. This data can be used to know the ISP of a user, but also to filter human traffic from bot traffic often originating from hosting and cloud providers ASNs. IP геолокация Наши данные о географическом расположении IP, предоставленные ProbeNet, нашей интернет-платформой измерения, обеспечивают точное определение местоположения на уровне города, выявляя расхождения между кодами стран WHOIS и наблюдаемой географией IP. IP конфиденциальность Our IP privacy detection data flags IPs using VPNs, proxies, Tor nodes, residential proxies and other anonymizing services, enabling users to filter bot traffic, prioritize investigations, and handle anonymized connections with the appropriate caution. From Assumptions to Evidence From Assumptions to Evidence Традиционные данные реестра ценны, но неполны.Без верификации легко ошибочно отнести владение, географию или маршрутизацию, что приводит к дорогостоящим слепым точкам. IPinfo использует общедоступные сигналы, такие как данные WHOIS и геофиды, стандартизирует и организует эту информацию в последовательный формат, и строит этот фундамент с данными партнера/продавца, а также собственной интеллектуальной собственностью. Это позволяет сетевым защитникам, исследователям и операторам перейти от анализа, основанного на предположениях, к доказанному картографированию интернет-ресурсов, уменьшая ложные положительные и раскрывая инфраструктуру, которая останется скрытой в традиционных рабочих процессах только WHOIS. Готовы видеть за пределы регистрационных записей? Static WHOIS and RIR data only tell part of the story. IPinfo’s datasets combine registry information with real-time measurements, advanced privacy detection, and curated intelligence to give you a complete view of the Internet’s infrastructure. О книге: Максим Мушет В настоящее время Макс работает инженером по IP-геолокации в IPinfo. До этого он работал постдокторским исследователем в Сорбонном университете, где работал над измерениями многопутных маршрутов.