Использование pgvector для поиска сходств в корпоративных данных

Инженеры-программисты занимают захватывающее место в этом мире. Независимо от технологического стека или отрасли, перед нами стоит задача решать проблемы, которые напрямую способствуют достижению целей и задач наших работодателей. В качестве бонуса мы можем использовать технологии для смягчения любых проблем, попадающих в поле нашего зрения. В этом примере я хотел сосредоточиться на том, как — программа поиска сходства векторов с открытым исходным кодом для Postgres — может использоваться для выявления сходства данных, существующих в корпоративных данных. pgvector Простой вариант использования В качестве простого примера предположим, что отделу маркетинга требуется помощь для кампании, которую они планируют запустить. Цель — охватить все учетные записи , работающие в отраслях, тесно связанных с индустрией программного обеспечения. Salesforce В конце концов, они хотели бы сосредоточиться на аккаунтах в трёх наиболее похожих отраслях с возможностью использовать этот инструмент в будущем для поиска сходств для других отраслей. Если возможно, они хотели бы иметь возможность предоставить желаемое количество соответствующих отраслей, а не всегда возвращать тройку лидеров. Высокоуровневый дизайн Этот вариант использования сосредоточен на выполнении поиска по сходству. Хотя это упражнение можно выполнить вручную, на ум приходит инструмент из-за предварительно обученных вложений, которые уже созданы для нескольких языков. Вложения слов, также известные как векторы, представляют собой числовые представления слов, которые содержат как их синтаксическую, так и семантическую информацию. Представляя слова в виде векторов, мы можем математически определить, какие слова семантически «ближе» к другим. Wikipedia2Vec В нашем примере мы также могли бы написать простую программу на Python для создания векторов слов для каждой отрасли, настроенных в Salesforce. Расширению требуется база данных Postgres. Однако корпоративные данные для нашего примера в настоящее время находятся в Salesforce. К счастью, предоставляет простой способ синхронизации учетных записей Salesforce с Heroku Postgres, сохраняя их в таблице под названием . Затем у нас будет еще одна таблица под названием , которая содержит каждую отрасль в Salesforce (в виде ключа VARCHAR) вместе со связанным с ней вектором слов. pgvector Heroku Connect salesforce.account salesforce.industries Используя данные Salesforce и векторы слов в Postgres, мы создадим RESTful API с использованием Java и Spring Boot. Этот сервис выполнит необходимый запрос и вернет результаты в формате JSON. Мы можем проиллюстрировать общий вид решения следующим образом: Исходный код будет находиться в GitLab. Выполнение команды инициирует развертывание в Heroku, предоставляя RESTful API, который маркетинговая команда может легко использовать. git push heroku Создание решения Имея общий проект, мы можем приступить к созданию решения. Используя свой логин в Salesforce, я смог перейти на экран и просмотреть данные для этого упражнения. Вот пример первой страницы данных предприятия: «Учетные записи» Создайте приложение Heroku Для этой цели я планировал использовать Heroku для решения запроса маркетинговой команды. Я вошел в свою учетную запись Heroku и использовал кнопку , чтобы создать новое приложение под названием : «Создать новое приложение» similarity-search-sfdc После создания приложения я перешел на вкладку и нашел надстройку Heroku Postgres. Я набрал «Postgres» в поле поиска дополнений. «Ресурсы» Выбрав из списка, я выбрал план , но . Heroku Postgres Standard 0 pgvector доступен в предложениях баз данных уровня Standard (или выше), работающих под управлением PostgreSQL 15 или бета-версии базы данных Essential-уровня Когда я подтвердил дополнение, Heroku сгенерировал и предоставил строку подключения . Я нашел это в разделе на вкладке моего приложения. Я использовал эту информацию для подключения к своей базе данных и включения расширения pgvector следующим образом: DATABASE_URL Config Vars Settings CREATE EXTENSION vector; Затем я поискал и нашел дополнение . Я знал, что это даст мне простой способ подключения к корпоративным данным в Salesforce. Heroku Connect Для этого упражнения бесплатный план отлично подойдет. Demo Edition На этом этапе вкладка приложения выглядела следующим образом: «Ресурсы» similarity-search-sfdc Я следовал инструкциям « », чтобы связать свою учетную запись Salesforce с Heroku Connect. Затем я выбрал объект для синхронизации. После завершения я смог увидеть одни и те же данные учетной записи Salesforce в Heroku Connect и в базовой базе данных Postgres. Настройка Heroku Connect «Учетная запись» С точки зрения SQL то, что я сделал, привело к созданию таблицы следующего вида: salesforce.account create table salesforce.account ( createddate timestamp, isdeleted boolean, name varchar(255), systemmodstamp timestamp, accountnumber varchar(40), industry varchar(255), sfid varchar(18), id serial primary key, _hc_lastop varchar(32), _hc_err text ); Генерировать векторы Чтобы поиск по сходству работал должным образом, мне нужно было сгенерировать векторы слов для каждой отрасли учетной записи Salesforce: Одежда Банковское дело Биотехнология Строительство Образование Электроника Инженерное дело Развлечение Еда и напитки Финансы Правительство Здравоохранение Гостеприимство Страхование СМИ Не для прибыли Другой Отдых Розничная торговля Перевозки Технологии Телекоммуникации Транспорт Утилиты Поскольку основной вариант использования указывал на необходимость найти сходства в индустрии программного обеспечения, нам также нужно будет создать вектор слов для этой отрасли. Чтобы упростить это упражнение, я выполнил эту задачу вручную, используя Python 3.9 и файл , который выглядит следующим образом: embed.py from wikipedia2vec import Wikipedia2Vec wiki2vec = Wikipedia2Vec.load('enwiki_20180420_100d.pkl') print(wiki2vec.get_word_vector('software').tolist()) метод предполагает представление отрасли в нижнем регистре. Обратите внимание: get_word_vector() Запуск python сгенерировал следующий вектор слов для слова: embed.py software [-0.40402618050575256, 0.5711150765419006, -0.7885153293609619, -0.15960034728050232, -0.5692323446273804, 0.005377458408474922, -0.1315757781267166, -0.16840921342372894, 0.6626015305519104, -0.26056772470474243, 0.3681095242500305, -0.453583300113678, 0.004738557618111372, -0.4111144244670868, -0.1817493587732315, -0.9268549680709839, 0.07973367720842361, -0.17835664749145508, -0.2949991524219513, -0.5533796548843384, 0.04348105192184448, -0.028855713084340096, -0.13867013156414032, -0.6649054884910583, 0.03129105269908905, -0.24817068874835968, 0.05968991294503212, -0.24743635952472687, 0.20582349598407745, 0.6240783929824829, 0.3214546740055084, -0.14210252463817596, 0.3178422152996063, 0.7693028450012207, 0.2426985204219818, -0.6515568494796753, -0.2868216037750244, 0.3189859390258789, 0.5168254971504211, 0.11008890718221664, 0.3537853956222534, -0.713259220123291, -0.4132286608219147, -0.026366405189037323, 0.003034653142094612, -0.5275223851203918, -0.018167126923799515, 0.23878540098667145, -0.6077089905738831, 0.5368344187736511, -0.1210874393582344, 0.26415619254112244, -0.3066694438457489, 0.1471938043832779, 0.04954215884208679, 0.2045321762561798, 0.1391817331314087, 0.5286830067634583, 0.5764685273170471, 0.1882934868335724, -0.30167853832244873, -0.2122340053319931, -0.45651525259017944, -0.016777794808149338, 0.45624101161956787, -0.0438646525144577, -0.992512047290802, -0.3771328926086426, 0.04916151612997055, -0.5830298066139221, -0.01255014631897211, 0.21600870788097382, -0.18419665098190308, 0.1754663586616516, -0.1499166339635849, -0.1916201263666153, -0.22884036600589752, 0.17280352115631104, 0.25274306535720825, 0.3511175513267517, -0.20270302891731262, -0.6383468508720398, 0.43260180950164795, -0.21136239171028137, -0.05920517444610596, 0.7145522832870483, 0.7626600861549377, -0.5473887920379639, 0.4523043632507324, -0.1723199188709259, -0.10209759324789047, -0.5577948093414307, -0.10156919807195663, 0.31126976013183594, 0.3604489266872406, -0.13295558094978333, 0.2473849356174469, 0.278846800327301, -0.28618067502975464, 0.00527254119515419] Создать таблицу для отраслей Чтобы сохранить векторы слов, нам нужно было добавить таблицу в базу данных Postgres, используя следующую команду SQL: industries create table salesforce.industries ( name varchar not null constraint industries_pk primary key, embeddings vector(100) not null ); После создания таблицы мы вставим каждый из сгенерированных векторов слов. Мы делаем это с помощью операторов SQL, подобных следующим: industries INSERT INTO salesforce.industries (name, embeddings) VALUES ('Software','[-0.40402618050575256, 0.5711150765419006, -0.7885153293609619, -0.15960034728050232, -0.5692323446273804, 0.005377458408474922, -0.1315757781267166, -0.16840921342372894, 0.6626015305519104, -0.26056772470474243, 0.3681095242500305, -0.453583300113678, 0.004738557618111372, -0.4111144244670868, -0.1817493587732315, -0.9268549680709839, 0.07973367720842361, -0.17835664749145508, -0.2949991524219513, -0.5533796548843384, 0.04348105192184448, -0.028855713084340096, -0.13867013156414032, -0.6649054884910583, 0.03129105269908905, -0.24817068874835968, 0.05968991294503212, -0.24743635952472687, 0.20582349598407745, 0.6240783929824829, 0.3214546740055084, -0.14210252463817596, 0.3178422152996063, 0.7693028450012207, 0.2426985204219818, -0.6515568494796753, -0.2868216037750244, 0.3189859390258789, 0.5168254971504211, 0.11008890718221664, 0.3537853956222534, -0.713259220123291, -0.4132286608219147, -0.026366405189037323, 0.003034653142094612, -0.5275223851203918, -0.018167126923799515, 0.23878540098667145, -0.6077089905738831, 0.5368344187736511, -0.1210874393582344, 0.26415619254112244, -0.3066694438457489, 0.1471938043832779, 0.04954215884208679, 0.2045321762561798, 0.1391817331314087, 0.5286830067634583, 0.5764685273170471, 0.1882934868335724, -0.30167853832244873, -0.2122340053319931, -0.45651525259017944, -0.016777794808149338, 0.45624101161956787, -0.0438646525144577, -0.992512047290802, -0.3771328926086426, 0.04916151612997055, -0.5830298066139221, -0.01255014631897211, 0.21600870788097382, -0.18419665098190308, 0.1754663586616516, -0.1499166339635849, -0.1916201263666153, -0.22884036600589752, 0.17280352115631104, 0.25274306535720825, 0.3511175513267517, -0.20270302891731262, -0.6383468508720398, 0.43260180950164795, -0.21136239171028137, -0.05920517444610596, 0.7145522832870483, 0.7626600861549377, -0.5473887920379639, 0.4523043632507324, -0.1723199188709259, -0.10209759324789047, -0.5577948093414307, -0.10156919807195663, 0.31126976013183594, 0.3604489266872406, -0.13295558094978333, 0.2473849356174469, 0.278846800327301, -0.28618067502975464, 0.00527254119515419] '); столбец должен соответствовать названию отрасли, написанному с заглавной буквы (программное обеспечение). Обратите внимание: хотя мы создали вектор слов с строчными буквами названия отрасли программного обеспечения (программное обеспечение), industries.name Как только все сгенерированные векторы слов будут добавлены в таблицу , мы можем переключить внимание на внедрение RESTful API. industries Внедрение службы Spring Boot Это был момент, когда моя страсть как инженера-программиста резко возросла, потому что у меня было все для решения стоящей задачи. Затем, используя Spring Boot 3.2.2 и Java (temurin) 17, я создал проект в IntelliJ IDEA со следующими зависимостями Maven: similarity-search-sfdc org.springframework.boot spring-boot-starter-actuator org.springframework.boot spring-boot-starter-data-jpa org.springframework.boot spring-boot-starter-web com.pgvector pgvector 0.1.4 org.postgresql postgresql runtime org.springframework.boot spring-boot-configuration-processor true org.projectlombok lombok true org.springframework.boot spring-boot-starter-test test Я создал упрощенные сущности как для объекта », так и для объекта « » (встраивание), которые соответствовали таблицам базы данных Postgres, созданным ранее. «Учетная запись Промышленность @AllArgsConstructor @NoArgsConstructor @Data @Entity @Table(name = "account", schema = "salesforce") public class Account { @Id @Column(name = "sfid") private String id; private String name; private String industry; } @AllArgsConstructor @NoArgsConstructor @Data @Entity @Table(name = "industries", schema = "salesforce") public class Industry { @Id private String name; } Используя интерфейс JpaRepository, я добавил следующие расширения, обеспечивающие легкий доступ к таблицам Postgres: public interface AccountsRepository extends JpaRepository { @Query(nativeQuery = true, value = "SELECT sfid, name, industry " + "FROM salesforce.account " + "WHERE industry IN (SELECT name " + " FROM salesforce.industries " + " WHERE name != :industry " + " ORDER BY embeddings (SELECT embeddings FROM salesforce.industries WHERE name = :industry) " + " LIMIT :limit)" + "ORDER BY name") Set findSimilaritiesForIndustry(String industry, int limit); } public interface IndustriesRepository extends JpaRepository { } Обратите внимание, что вся тяжелая работа по решению этого варианта использования будет выполняться в методе . Метод будет принимать следующие параметры: findSimilaritiesForIndustry() : отрасль, в которой нужно найти сходство industry : максимальное количество отраслевых сходств для поиска при запросе учетных записей. limit Обратите внимание на оператор евклидова расстояния ( ) в нашем запросе выше. Это встроенный в расширение поиска по сходству. оператор С исходным вариантом использования в отрасли «Программное обеспечение» и ограничением, установленным для трех ближайших отраслей, выполняемый запрос будет выглядеть следующим образом: SELECT sfid, name, industry FROM salesforce.account WHERE industry IN (SELECT name FROM salesforce.industries WHERE name != 'Software' ORDER BY embeddings (SELECT embeddings FROM salesforce.industries WHERE name = 'Software') LIMIT 3) ORDER BY name; На основе этого я создал класс для взаимодействия с репозиториями JPA: AccountsService @RequiredArgsConstructor @Service public class AccountsService { private final AccountsRepository accountsRepository; private final IndustriesRepository industriesRepository; public Set getAccountsBySimilarIndustry(String industry, int limit) throws Exception { List industries = industriesRepository.findAll(); if (industries .stream() .map(Industry::getName) .anyMatch(industry::equals)) { return accountsRepository .findSimilaritiesForIndustry(industry, limit); } else { throw new Exception( "Could not locate '" + industry + "' industry"); } } } Наконец, я попросил класс предоставить точку входа RESTful и подключиться к : AccountsController AccountsService @RequiredArgsConstructor @RestController @RequestMapping(value = "/accounts") public class AccountsController { private final AccountsService accountsService; @GetMapping(value = "/similarities") public ResponseEntity > getAccountsBySimilarIndustry(@RequestParam String industry, @RequestParam int limit) { try { return new ResponseEntity<>( accountsService .getAccountsBySimilarIndustry(industry, limit), HttpStatus.OK); } catch (Exception e) { return new ResponseEntity<>(HttpStatus.NOT_FOUND); } } } Развертывание в Heroku Когда сервис Spring Boot был готов, я добавил в проект следующий , позволяющий Heroku узнать больше о нашем сервисе: Procfile web: java $JAVA_OPTS -Dserver.port=$PORT -jar target/*.jar На всякий случай я добавил файл , чтобы указать, какие версии Java и Maven ожидаются: system.properties java.runtime.version=17 maven.version=3.9.5 Используя интерфейс командной строки Heroku, я добавил в свой репозиторий GitLab удаленный сервис для службы на платформе Heroku: similarity-search-sfdc heroku git:remote -a similarity-search-sfdc Я также установил тип пакета сборки для службы с помощью следующей команды: similarity-search-sfdc heroku buildpacks:set https://github.com/heroku/heroku-buildpack-java Наконец, я развернул сервис в Heroku, используя следующую команду: similarity-search-sfdc git push heroku Теперь вкладка для приложения появилась, как показано ниже: «Ресурсы» similarity-search-sfdc Поиск по сходству в действии При работающем RESTful API я ввел следующую команду cURL, чтобы найти три ведущие отрасли Salesforce (и связанные с ними учетные записи), наиболее близкие к индустрии : программного обеспечения curl --location 'https://HEROKU-APP-ROOT-URL/accounts/similarities?industry=Software&limit=3' RESTful API возвращает статус ответа вместе со следующей полезной нагрузкой: 200 OK HTTP [ { "id": "001Kd00001bsP80IAE", "name": "CleanSlate Technology Group", "industry": "Technology" }, { "id": "001Kd00001bsPBFIA2", "name": "CMG Worldwide", "industry": "Media" }, { "id": "001Kd00001bsP8AIAU", "name": "Dev Spotlight", "industry": "Technology" }, { "id": "001Kd00001bsP8hIAE", "name": "Egghead", "industry": "Electronics" }, { "id": "001Kd00001bsP85IAE", "name": "Marqeta", "industry": "Technology" } ] В результате в этом примере отрасли , и являются наиболее близкими к индустрии . технологий средств массовой информации электроники программного обеспечения Теперь у отдела маркетинга есть список аккаунтов, с которыми они могут связаться для проведения следующей кампании. Заключение Несколько лет назад я провел больше времени, чем мне хотелось бы признать, играя в многопользовательскую видеоигру . Вот скриншот с очень веселого мероприятия 2012 года: Team Fortress 2 Те, кто знаком с этим аспектом моей жизни, могут сказать вам, что по умолчанию я выбрал класс игрока — солдат. Это потому, что у солдата лучший баланс здоровья, движения, скорости и огневой мощи. Я чувствую, что инженеры-программисты — это «солдатский класс» реального мира, потому что мы можем адаптироваться к любой ситуации и сосредоточиться на предоставлении решений, которые эффективно отвечают ожиданиям. Вот уже несколько лет я сосредоточен на следующей формулировке миссии, которая, по моему мнению, может быть применима к любому ИТ-специалисту: «Сосредоточьте свое время на предоставлении функций/функциональность, которые увеличивают ценность вашей интеллектуальной собственности. Используйте платформы, продукты и услуги для всего остального». - Дж. Вестер В примере для этой статьи мы смогли использовать Heroku Connect для синхронизации корпоративных данных с базой данных Postgres. После установки расширения pgvector мы создали векторы слов для каждой уникальной отрасли из этих учетных записей Salesforce. Наконец, мы представили службу Spring Boot, которая упростила процесс поиска учетных записей Salesforce, отрасль которых наиболее близка к другой отрасли. Мы быстро решили этот вариант использования с помощью существующих технологий с открытым исходным кодом, добавления крошечного сервиса Spring Boot и Heroku PaaS – полностью следуя моей формулировке миссии. Я не могу себе представить, сколько времени потребовалось бы без этих фреймворков, продуктов и услуг. Если вам интересно, вы можете найти исходный код этой статьи на GitLab: https://gitlab.com/johnjvester/similarity-search-sfdc Хорошего дня!