Mantle выпускает учебное пособие для основателей и их команд.
Управление технологическими командами должно быть простым: установите четкие ожидания, предоставьте правильные инструменты и среду и измерьте свои результаты.
Дуэйн Форд считает, что больше основателей должны управлять ИИ таким же образом.
«Иногда кажется, что при работе с этой развивающейся новой технологией нет четкой обратной связи или ощущения прогресса».
Будучи соучредителем и техническим директором Mantle, платформы управления капиталом нового поколения, созданной для современных основателей, операторов и юридических фирм, Форд постоянно беседует с руководителями компаний о потенциальных применениях ИИ.
Он считает, что многие технологические лидеры все еще пытаются эффективно управлять использованием технологий своими внутренними командами. И поэтому он решил помочь.
Недавно Форд опубликовал на сайте Mantle серию постов, призванных предложить пошаговое обучение технических команд, использующих большие модели обучения.
Первая часть его серии инструкций «Работа с ИИ: понимание искусства подсказок» объясняет цель и калибровку настроек LLM и призвана помочь командам стартапов добиться лучших результатов за счет использования ИИ.
«Я работал с LLM в течение многих лет, сейчас начинают проявляться надежные закономерности, но они по-прежнему остаются черным ящиком», — сказал Форд. «Иногда кажется, что при работе с этой развивающейся новой технологией нет четкой обратной связи или ощущения прогресса».
Инженер и пользующийся доверием отраслевой деятель с более чем 20-летним опытом работы в таких компаниях, как VMware и Xtreme Labs, Форде уже много лет сотрудничает с LLM. Он надеется, что его идеи могут послужить удобным ориентиром для других.
«Я усвоил свой текущий опыт создания производственных систем с помощью LLM и применил его для сообщества в целом», — сказал он. «Мы действительно ценим время наших сотрудников, и я знаю, что другие основатели тоже. Как мы можем использовать ИИ для ускорения циклов без снижения неопределенности и качества?»
Дополнительная помощь прямо сейчас
Предполагается, что ИИ экономит время.
Но Форд говорит, что многие технологические компании до сих пор не в полной мере осознали его полезность для продвижения проектов.
Столкнувшись с новой работой, стартапы по-прежнему склонны расширять или переназначать свои инженерные команды. Но Форд считает, что больше компаний должны изучить возможность использования ИИ, чтобы сократить сроки выполнения задачи или количество людей, назначаемых на работу.
«Нам нужно начать думать: «Как мы можем использовать ИИ для решения этих задач?» – сказал он.
Форде полагает, что многие компании отпугивает мысль о том, что им придется обучать LLM выполнять работу, которую они хотят, — процесс, который может показаться долгим и утомительным.
Согласно исследованию PWC, только один из 10 канадцев использует ИИ ежедневно или еженедельно, а 50 процентов никогда не использовали его вообще. Почти половина работодателей (48 процентов) считают, что их сотрудники совершенно не готовы использовать ИИ или GenAI.
Но учебное руководство Форда по программам LLM призвано прояснить суть этого инструмента и предложить более простой подход, который позволит начать получать результаты уже сегодня.
«То, что мы делаем, — это приручение студентов с высшим образованием», — сказал он. «Речь идет об обучении людей лучшим способам подсказок/взаимодействия, чтобы они могли получить желаемые результаты».
Настройтесь на успех
Большинство людей начинают взаимодействовать с LLM, задавая ему вопрос или подсказывая.
Блог Форда призывает технологические команды сделать шаг назад.
Он отмечает, что каждый LLM, предлагаемый через API, имеет настройки, которые можно настроить, чтобы установить правильные параметры для конкретного ответа.
«Возможность эффективно использовать возможности LLM зависит от понимания тонкого взаимодействия между подсказками, настройками и основными механизмами, которые ими управляют», — отметил Форд.
В блоге Форда объясняется, что настройки LLM определяют, насколько креативной будет модель. Например, если вы хотите, чтобы модель написала стихотворение, настройки должны быть откалиброваны для максимального экспериментирования. Если вам нужен список или более подробный вывод, настройки следует откалибровать на точность.
Публикации Форда предлагают подробное пошаговое руководство для команд, которое поможет им понять и поэкспериментировать с настройками LLM, чтобы установить желаемый баланс стиля, последовательности и точности, прежде чем просить их выполнить какую-либо работу.
Он предлагает читателям разные сценарии: от запроса магистра права написать стихотворение до запроса названия статьи.
«Для написания стихотворения я хочу, чтобы степень магистра права была очень творческой», — объясняет Форд. «Если мы думаем о такой задаче, как запрос названия статьи, часто есть точные результаты, которые вы стремитесь получить».
Приручить не тренируйся
Настройки, которые определяют реакцию LLM, называются «Температура», «Top P» и «Top K», и все они откалиброваны по настройкам по умолчанию. Вращение этих регуляторов может изменить получаемые результаты, точно так же, как поворот регуляторов на стереосистеме, используемой для воспроизведения разных частот.
В этом случае настройки влияют на случайность или специфичность ответов LLM. В зависимости от вашей задачи Forde рекомендует настроить параметры, чтобы они были краткими и детерминированными или исследовательскими и творческими.
«Настройка температуры определяет, насколько хаотичны рассматриваемые токены», — сказал Форде. «Top P — это настройка, которая определяет, сколько вариантов токенов/слов рассматривает LLM, а Top K — это количество вариантов токенов/слов, которые LLM рассматривает для каждого выбора».
По словам Форде, как только пользователи поймут, как настройки и подсказки влияют друг на друга, им будет гораздо легче получить максимальную отдачу от взаимодействия с LLM.
Температура 0 может привести к более буквальным интерпретациям, тогда как температура 1 может привести к более многословным ответам на естественном языке, а температура 2 может вызвать более длинные резюме, где обмен сообщениями может начать сбиваться с пути.
Другими словами, более высокие температуры хороши для творческих задач, например, попросить ИИ написать хайку, а более низкие температуры полезны для кратких задач, таких как запрос названия статьи.
Чтобы получить представление о том, как это работает на практике, в блоге Форда показано, что происходит, когда он просит магистратуры подготовить список 10 лучших языков программирования.
Результаты меняются каждый раз, когда он регулирует настройки температуры.
«Вы сами решите, какие настройки подойдут вам для вашей задачи и используемого вами LLM», — сказал Форд.
Понимая, как работают настройки LLM, Форде считает, что технологические команды смогут более эффективно раскрыть свои возможности и получить максимальную отдачу от инструментов.
«LLM и окружающие их слои технологий становятся все более мощными с каждым днем. Каждый должен подумать о том, как включить их в свои рабочие процессы».
ПРЕДСТАВЛЕНО
Более подробную информацию о том, как понимать подсказки LLM, можно найти в блоге Форда здесь.
Все изображения предоставлены Mantle.
Leave a Reply