Присоединяйтесь к нашим ежедневным и еженедельным информационным бюллетеням для последних обновлений и эксклюзивного контента в индустрии AI-лидирования. Узнать больше
Для предприятий рассчитайте правильное обещание получить наилучший результат генеративной модели ИИ, не всегда простая задача. В некоторых организациях это сократилось до новой позиции инженера -быстрого инженера, но это не совсем то, что произошло в LinkedIn.
Профессиональная онлайн -платформа принадлежит Microsoft и в настоящее время имеет более 1 миллиарда учетных записей пользователей. Хотя LinkedIn-отличная организация, она столкнулась с теми же основными задачами, с которыми сталкиваются организации почти всех размеров, в которой сталкиваются генерал A, который снимает разрыв между техническими и нетехническими бизнес-пользователями. Для LinkedIn вариант использования Gen AI является как пользователем конечного, так и внутреннего пользователя.
В то время как некоторые организации могут выбрать просто поделиться обещаниями с электронными таблицами или даже в медленных и каналах сообщений, LinkedIn сделал небольшой новый подход. Компания построила то, что она называет «совместной инженерной игровой площадкой», которая позволяет техническим и нетехническим пользователям сотрудничать. Система использует действительно интересную комбинацию технологий, включая крупные языковые модели (LLMS), ноутбуки Langchain и Jupyter.
LinkedIn уже использовал подход, чтобы помочь улучшить свой продукт для навигатора по продажам с помощью функций искусственного интеллекта, в частности, сосредоточившись на инструменте Accountiq -a, который снижает корпоративные исследования с 2 часа до 5 минут.
Подобно любой другой организации на планете, первоначальное путешествие LinkedIn начала просто пытаться увидеть, что работает.
«Когда мы начали работать над проектами, используя Gen AI, у менеджеров по продуктам всегда было слишком много идей, например», «Эй, почему мы не можем попробовать это? Почему мы не можем попробовать это », – сказал Ajay Prakash, инженер -программист LinkedIn.
Организационная задача развертывания Gen AI в техническом предприятии
Безусловно, LinkedIn не является странным для мира машинного обучения (ML) и AI.
До того, как Catgpt когда -либо появился на сцене, LinkedIn уже создал снаряжение для измерения справедливости в области искусственного интеллекта. В VB Transform в 2022 году компания изложила стратегию ИИ (в то время). Gen AI, однако, немного отличается. Это специально не требует, чтобы инженеры использовали и доступны более широким. Это революция, которую возникла Чатгпт. Строительство Gen Apportied Applications-это не то же самое, что построение традиционного применения.
Пракаш объяснил, что до Gen AI инженеры обычно получают набор требований продукта от управления производством. Затем они выйдут и построили бы продукт.
С Gen AI, напротив, менеджеры по продуктам пробуют разные вещи, чтобы увидеть, что возможно и что работает. В отличие от традиционного ML, который не был доступен для нетехнического персонала, Gen AI легче для всех видов пользователей.
Традиционное быстрое проектирование часто создает бутылки, а инженеры работают в качестве шлюзов для любых изменений или экспериментов. Подход LinkedIn преобразует эту динамику, предоставляя полезный интерфейс с индивидуальными ноутбуками Jupyter, которые традиционно использовались для науки о данных и задач ML.
Что находится в LinkedIn Quict Engineering’s Playground
Не должно быть сюрпризом, что продавец LLM по умолчанию, используемый LinkedIn, является OpenAI. В конечном счете, LinkedIn является частью Microsoft, которая размещает платформу Azure Openai.
Лукаш Каролевский, старший инженерный менеджер LinkedIn, объяснил, что было более удобно использовать OpenAI, поскольку его команда имел более легкий доступ в среде LinkedIn/Microsoft. Он отметил, что использование других моделей потребует дополнительных безопасности и юридических отзывов, которые зайдут больше времени для их предоставления. Первоначально команда приоритет, чтобы подтвердить продукт и идею, вместо того, чтобы оптимизировать для лучшей модели.
LLM – это только одна часть системы, которая также включает в себя:
- Jupyter Cajaras для интерфейсного слоя;
- Langchain для быстрого оркестровки;
- Трино для данных озера «Озеро» во время тестирования;
- Развертывание на основе контейнеров для легкого доступа;
- Собственные элементы пользовательского интерфейса для нетехнических пользователей.
Как работает совместная работа LinkedIn по инженерной площадке
Тормы Юпитера широко используются в сообществе ML в течение почти десятилетия как способ помочь определить модели и данные через интерактивный интерфейс языка питона.
Каролевский объяснил, что LinkedIn предварительно запрограммировали тетради Юпитера, чтобы сделать их более доступными для нетехнических пользователей. Ноутбуки включают элементы пользовательского интерфейса, такие как текстовые поля и кнопки, которые делают любой тип пользователя. Записные книжки упакованы таким образом, чтобы пользователи могли легко запускать среду с минимальными инструкциями и без необходимости настраивать сложную среду разработки. Основная цель-позволить как техническим, так и нетехническим пользователям экспериментировать с различными обещаниями и идеями для использования Gen AI.
Чтобы выполнить эту работу, команда также интегрировала доступ к данным из LinkedIn Internal Lake Data. Это позволяет пользователям получать данные безопасным способом использования в обещаниях и экспериментах.
Langchain служит библиотекой для оркестровки приложений Gen AI. Кадр помогает команде легко цепляться за разные обещания и шаги, такие как извлечение данных из внешних источников, фильтровать и синтезировать окончательный выход.
В то время как LinkedIn в настоящее время не сосредоточен на создании полностью автономных приложений, основанных на агентах, Каролевский сказал, что считает, что Лэнгчейн может потенциально двигаться в этом направлении в будущем.
Подход LinkedIn также включает в себя многослойные механизмы оценки:
- Вставка контроля важности для проверки выхода;
- Автоматическое обнаружение повреждения по предварительно построенным оценкам;
- Оценка на основе LLM с использованием более крупных моделей для оценки более мелких;
- Интегрированные процессы обзора человеческого опыта.
От нескольких часов до минуты: реальный эффект для быстрого инженерной игровой площадки
Эффективность этого подхода показана функцией учетной записи LinkedIn, которая сократила исследования компаний с двух часов до пяти минут.
Это улучшение было не только для более быстрой обработки – оно представляло собой фундаментальное изменение того, как ИИ – вещи могут быть разработаны и уточнены прямым вводом экспертов домена.
«Мы не эксперты по продажам доменов», – сказал Каролевский. «Эта платформа позволяет экспертам по продажам напрямую проверять и уточнить функции ИИ, создавая плотный цикл обратной связи, который был невозможным раньше».
В то время как LinkedIn не планирует открыть исходный код своей Gen Ai -Prompt Engineering Playground из -за своей глубокой интеграции с внутренними системами, этот подход предлагает уроки для других предприятий, стремящихся масштабировать развитие ИИ. Хотя полная реализация может быть недоступна, те же основные здания, а именно LLM, Langchain и книги Юпитера, доступны для других организаций для создания аналогичного подхода.
И Каролевски, и Пракаш подчеркнули, что с Gen AI это критически ориентировано на доступность. Также важно обеспечить межфункциональное сотрудничество с самого начала.
«У нас есть много идей от сообщества, и мы многому научились у сообщества», – сказал Лукаш. «Нам в основном любопытно, что думают другие люди и как они приводят экспертов из экспертов по темам в инженерные команды».
Source link
