СБОМ Диффінг: Зробити зміни залежності видимими, перш ніж вони болять

Знайти, де Log4j існував у виробництві, знадобилося набагато довше. Лог4Шелл Більшість проектів Java, які постраждали, мали Log4j як непряму залежність, пов'язану з чимось іншим, не вибраним безпосередньо. 80% з них мали його п'ять або більше рівнів глибоко у своєму дереві залежності. what's in our software? Пакет був доступний. The problem was inventory Транзитивні залежності Ви додаєте Налаштування Node.js Express needs Органічні потреби парцеля Raw-body потреби Один пакет стає деревом. express body-parser raw-body unpipe Прямі залежності: що ви помістили в package.json Транзитивні залежності: все, що ці пакети втягують А Знайдено понад 90% залежності в сучасних додатках є непрямими. співвідношення варіюється за екосистемою, Maven посилює залежності більше, ніж npm, що посилює більше, ніж PyPI, але закономірність тримає, випрямі залежності можуть бути числом в десятках. Іванський доповідь Кожен пакет у цьому дереві має свої власні підтримувачі, практики випуску та позицію безпеки. Деякі підтримуються командами у великих компаніях. Інші - це бічні проекти, які не бачили компромісу протягом трьох років. ТІ У 2018 році він скористався цим. Підтримувач віддав популярний пакет npm комусь, хто запропонував допомогти. Як залежність, цей пакет містив заплутаний код, спрямований на гаманці Copay Bitcoin, два мільйони щотижневих завантажень продовжувалися місяцями, перш ніж хтось помітив event-stream Атака flatmap-stream Зловмисний код WASNT IN Це було на одному рівні глибше, приховано в перехідній залежності, на яку ніхто не дивився. event-stream Чому я побудував це? Менеджери пакетів встановлюють залежності, вирішують конфлікти версій та завантажують пакети. два рази дає той же результат, але ви не можете легко порівняти дерево залежності вівторка з деревом понеділка npm install Сканери вразливостей знаходять відомі CVE, вони відповідають версіям пакетів проти баз даних розкритих уразливостей. Вони не розповідають вам про пакети, які є вразливими ще, пакети, які можуть стати наступним Log4j. До моменту існування CVE ви перебуваєте в реактивному режимі. Вони забезпечують відтворювані будівлі та запобігають несподіваним оновленням. Вони не допомагають вам зрозуміти, які 47 нових пакетів тільки що увійшли в вашу кодову базу, коли хтось додав нову залежність. Щасливого успіху, переглядаючи це в PR Щасливого успіху, переглядаючи це в PR Що бракує - це порівняння, створюйте миттєвий знімок ваших залежностей сьогодні. Створюйте інший завтра. Розповсюджуйте їх. Подивіться, що змінилося: нові пакети, видалені пакети, оновлення версій, зміни ліцензії Це те, що дозволяє СБМ. перелічує кожен компонент вашого програмного забезпечення, прямий і транзитивний, з версіями, ліцензіями та хеш. Порівняйте два SBOM і ви отримаєте чітку картину того, що відрізняється Software Bill of Materials Я хотів інструмент для диффузії SBOM, знаменних підозрілих змін і здійснення політики в CI. Я не знайшов той, який працював так, як я хотів, тому я побудував Сміливість Налаштування # Install to ./bin curl -sSfL https://raw.githubusercontent.com/rezmoss/sbomlyze/main/install.sh | sh # Install to /usr/local/bin (requires sudo) curl -sSfL https://raw.githubusercontent.com/rezmoss/sbomlyze/main/install.sh | sudo sh -s -- -b /usr/local/bin # Install specific version curl -sSfL https://raw.githubusercontent.com/rezmoss/sbomlyze/main/install.sh | sh -s -- -v 0.2.0 $ sbomlyze --version sbomlyze v0.2.3 Вам знадобиться генератор SBOM. , який підтримує більшість екосистем пакетів та контейнерних зображень (вони найкращі) Мета curl -sSfL https://raw.githubusercontent.com/anchore/syft/main/install.sh | sh -s -- -b /usr/local/bin Вихідні цілі або форматів SPDX. sbomlyze читає обидва. Циклонекс Приклад: додавання експресу Ось мінімальний приклад, який показує, що відбувається, коли ви додаєте одну залежність. V1 - lodash only: package.json --------------- { "name": "test-app", "version": "1.0.0", "dependencies": { "lodash": "^4.17.21" } } -------------- npm install syft . -o cyclonedx-json > ../v1-sbom.json V2 - add express: package.json --------------- { "name": "test-app", "version": "1.0.0", "dependencies": { "lodash": "^4.17.21", "express": "^4.18.2" } } --------------- npm install syft . -o cyclonedx-json > ../v2-sbom.json Diff: sbomlyze v1-sbom.json v2-sbom.json Output: 📊 Drift Summary: ⚠️ Integrity drift: 1 components (hash changed without version change!) + Added (68): + accepts 1.3.8 + array-flatten 1.1.1 + body-parser 1.20.4 + bytes 3.1.2 + call-bind-apply-helpers 1.0.2 + call-bound 1.0.4 + content-disposition 0.5.4 + content-type 1.0.5 + cookie 0.7.2 + cookie-signature 1.0.7 + debug 2.6.9 + depd 2.0.0 + destroy 1.2.0 + dunder-proto 1.0.1 + ee-first 1.1.1 + encodeurl 2.0.0 + es-define-property 1.0.1 + es-errors 1.3.0 + es-object-atoms 1.1.1 + escape-html 1.0.3 + etag 1.8.1 + express 4.22.1 + finalhandler 1.3.2 + forwarded 0.2.0 + fresh 0.5.2 + function-bind 1.1.2 + get-intrinsic 1.3.0 + get-proto 1.0.1 + gopd 1.2.0 + has-symbols 1.1.0 + hasown 2.0.2 + http-errors 2.0.1 + iconv-lite 0.4.24 + inherits 2.0.4 + ipaddr.js 1.9.1 + math-intrinsics 1.1.0 + media-typer 0.3.0 + merge-descriptors 1.0.3 + methods 1.1.2 + mime 1.6.0 + mime-db 1.52.0 + mime-types 2.1.35 + ms 2.0.0 + negotiator 0.6.3 + object-inspect 1.13.4 + on-finished 2.4.1 + parseurl 1.3.3 + path-to-regexp 0.1.12 + proxy-addr 2.0.7 + qs 6.14.1 + range-parser 1.2.1 + raw-body 2.5.3 + safe-buffer 5.2.1 + safer-buffer 2.1.2 + send 0.19.2 + serve-static 1.16.3 + setprototypeof 1.2.0 + side-channel 1.1.0 + side-channel-list 1.0.0 + side-channel-map 1.0.1 + side-channel-weakmap 1.0.2 + statuses 2.0.2 + toidentifier 1.0.1 + type-is 1.6.18 + unpipe 1.0.0 + utils-merge 1.0.1 + vary 1.1.2 ! Duplicates in second SBOM (1): ! ms: [2.0.0 2.1.3] 1 зміна в package.json додано Проекти, проект пішов з Створення «71» 68 3 На виставці PR T diff ТІ транзитивні пакети не з'являються ніде в перегляді коду, вони невидимі, якщо ви не генеруєте SBOM і не порівнюєте їх "added express to dependencies" 67 Це типово.Більшість рамок тягнуть в десятки транзитивних залежностей. Реакція, Кут, Джанго, Rails, вони всі мають глибокі дерева залежності. Кожен з цих пакетів працює у виробництві з тими ж привілеями, як і ваш власний код. Розуміння результату перелічує кожен новий пакет у вашому дереві залежності, кожен з них тепер працює у виробництві. Деякі ви чули про (body-parser, cookie). Інші ви havent (dunder-proto, gopd, es-object-atoms). Вони всі мають рівний доступ до вашої пам'яті додатків, мережі та файлової системи. Added components флагманські пакети, які з'являються кілька разів з різними версіями, в цьому випуску, Різні частини Express потребують різних версій, і npm встановлює обидві. отримує CVE, вам потрібно простежити через ваше дерево залежності, щоб знайти кожен шлях, який тягне його, а потім оновити пакети уздовж цих шляхів. З однією версією, це просто. Duplicates ms ms захоплює компоненти, де змінюється хеш, але версія залишилася однаковою. Це може статися легітимно пакетообслуговувач перебудовує і опублікує без зіткнення версії, це також може вказувати на фальсифікацію. Хтось компрометує обліковий запис реєстру, натискає змінений код під існуючим номером версії. Версія виглядає незмінною, але код інший. Integrity drift Політика виконання Ви можете визначати правила і створювати невдачі, які порушують їх.Політики дозволяють кодифікувати організаційні стандарти та здійснювати їх автоматично. Політика - Джонсон { "max_added": 5, "max_removed": 3, "max_changed": 10, "deny_licenses": ["GPL-3.0", "AGPL-3.0"], "require_licenses": false, "deny_duplicates": true } sbomlyze v1-sbom.json v2-sbom.json --policy policy.json Output when violated ❌ Policy Errors (2): [max_added] too many components added: 68 > 5 [deny_duplicates] found 1 duplicate components in result Вихідний код 1 не працює Field Function max_added Cap on new packages max_removed Cap on removed packages max_changed Cap on version changes deny_licenses Block specific licenses require_licenses Require license info deny_duplicates Fail on duplicate versions max_added Укрзалізниця в нових пакетах max_removed Cap на вилучених пакетах max_changed Зміни у версії deny_licenses Блоки конкретних ліцензій require_licenses Потрібна ліцензія info deny_duplicates Неможливість дублювання версій Границі залежать від вашої кодової бази, проект зеленого поля може встановити , Встановлена кодова база з залежностями lockeddown може встановлювати , почати розслаблятися, спостерігати за тим, як виглядають нормальні PR, а потім посилити max_added: 10 max_added: 3 Деякі організації не можуть відправляти GPL-код у свої власні продукти, деякі не можуть використовувати AGPL в SaaS-додатках. Дублікат блокування є більш суворим, багато законних дерев залежності мають дублікати. Ви можете почати з цього заблокованого і ввімкнути його пізніше, коли ви очистите своє дерево залежності. Що таке інтеграція Ось робочий процес GitHub Actions, який генерує SBOM як для базової філії, так і для PR-філії, а потім диффузує їх name: SBOM Diff on: pull_request: branches: [main] jobs: sbom-diff: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 with: fetch-depth: 0 - name: Setup Go uses: actions/setup-go@v5 with: go-version: '1.21' - name: Install tools run: | go install github.com/rezmoss/sbomlyze/cmd/sbomlyze@latest curl -sSfL https://raw.githubusercontent.com/anchore/syft/main/install.sh | sh -s -- -b /usr/local/bin - name: Generate baseline SBOM run: | git checkout origin/main npm ci syft . -o cyclonedx-json > baseline.json - name: Generate PR SBOM run: | git checkout ${{ github.head_ref }} npm ci syft . -o cyclonedx-json > pr.json - name: Diff run: sbomlyze baseline.json pr.json --policy policy.json Робочий процес перевіряє обидві філії, генерує SBOM для кожної з них і порівнює їх, якщо політика не вдається, PR не вдається Розробники бачать, які пакети змінилися і чому зламався build Ви також можете запустити це без файлу політики, щоб отримати видимість без виконання, вихід diff з'являється в журналах CI. Ревізори можуть перевірити його поряд з кодом diff Вихід JSON для написання та редагування текстів, Створення JSON: sbomlyze sbomlyze v1-sbom.json v2-sbom.json --json > diff.json jq '.diff.added | length' diff.json jq '.diff.added[].name' diff.json jq '.diff.duplicates' diff.json Ви можете побудувати власні перевірки на цьому, флаг pkgs від конкретних організаторів. Попередження на пакетах з низьким рахунком завантажень. Перехресна посилання проти внутрішнього дозвольного списку. JSON дає вам дані; ви пишете логіку Контейнерні зображення Контейнерні зображення містять більше, ніж ваш код програми, базовий зображення приносить ОС пакети libc, openssl, coreutils. Ваше застосування додає його час запуску і залежності, типовий контейнер має сотні компонентів з декількох екосистем Syft сканує контейнерні зображення безпосередньо syft nginx:1.24-alpine -o cyclonedx-json > nginx-1.24.json syft nginx:1.27-alpine -o cyclonedx-json > nginx-1.27.json sbomlyze nginx-1.24.json nginx-1.27.json nginx:1.24-alpine має 1,393 компонентів. nginx:1.27-alpine має 1,047, ver bunp змінив сотні пакетів, оновлення альпійської бази зображень, оновлення бібліотеки, видалено pkgs Ці зміни невидимі, якщо ви тільки відстежувати залежності додатків, ви Dockerfile каже ,diff показує одну лінію зміни, фактична зміна вашого розгорнутого програмного забезпечення становить сотні пкг. FROM nginx:1.27-alpine sbomlyze працює на рівні SBOM, тому він обробляє все, що Syft виявляє пакети ОС, залежності додатків, бінарні файли, файли конфігурації, все в одному дифф. Створення Single SBOM Stats Коли ви хочете огляд одного SBOM без порівняння sbomlyze v2-sbom.json output 📦 SBOM Statistics ================== Total Components: 71 By Package Type: npm 70 unknown 1 Licenses: With license: 69 Without license: 2 Top Licenses: MIT 66 ISC 2 BSD-3-Clause 1 Integrity: With hashes: 1 Without hashes: 70 ⚠️ Duplicates Found: 1 ms: [2.0.0 2.1.3] Високий Кількість припускає, що пакети, які можуть бути непідтримані або погано задокументовані, законні pkgs зазвичай мають ліцензійні файли, відсутні ліцензії також можуть вказувати на ризик відповідності, ви відправляєте код з неясним правовим статусом. "without license" Низьке покриття хеш обмежує вашу здатність перевіряти цілісність. Без хеш-файлів ви не можете виявити, чи був пакет змінений після його опублікування Несподівані типи пакетів варто досліджувати. Якщо в вашій програмі Node.js відображаються пакети Python, щось їх втягнуло. Рекомендації Вам потрібні базові лінії для диффузу. Включіть покоління SBOM у свою трубопровідну лінію. Архівуйте їх поряд з вашими артефактами. Store SBOMs for each release, syft . -o cyclonedx-json > sbom-v${VERSION}.json Коли відбувається інцидент, ви можете порівняти уражену версію з попередніми версіями, ви можете відповісти Відновлення старих будівель. "when did this package enter our dependency tree?" Навіть без блокування, видимість допомагає, рецензенти можуть побачити повний вплив змін залежності. стає Цей контекст змінює перегляд Diff on every PR. "Added axios" "added axios and 12 transitive dependencies" Коли ви схвалюєте Express ( пакети), запишіть, чому посилання на огляд безпеки, зверніть увагу, хто його схвалив, через шість місяців, коли хтось запитує про залежність, відповідь існує Document big additions. 68 Диффінг показує, що змінилося. Сканування вразливості показує, що є вразливим. Різні питання, обидва корисні. Дифінг захоплює нові залежності, перш ніж вони накопичують CVE. Сканування захоплює існуючі залежності, коли CVE розкриваються. Combine with vulnerability scanning. SBOM Подивіться через ваше дерево залежності. Дослідницькі пакети, які ви не розпізнаєте. Перевірте стан технічного обслуговування, останню дату компромісу, відкриті питання, фактор автобусів. Визначте кандидатів на заміну або видалення. Review quarterly. Резюме # Generate syft . -o cyclonedx-json > sbom.json # Compare sbomlyze baseline.json current.json # Enforce sbomlyze baseline.json current.json --policy policy.json A Note on Tooling sbomlyze - це те, що я побудував для свого повсякденного робочого процесу. Існує безліч інших інструментів SBOM і аналізу залежності; деякі з них можуть відповідати вашим потребам краще, деякі гірше. Я не стверджую, що ніщо інше не працює або що це є єдиним рішенням. Я подивився навколо, не знайшов щось, що відповідає тому, як я хотів працювати, і побудував свій власний. Якщо ви глибше в цьому просторі, ніж я, або ви думаєте, що є кращий підхід, я дійсно хотів би почути це, відкрити проблему, надіслати PR, або просто сказати мені, що я помиляюся. Відпочинок : https://github.com/rezmoss/sbomlyze