← Блог

Дмитрий Буланов о разных подходах к работе юриста с ИИ-агентами, проверке промежуточных решений и ответственности за ошибки в правовой позиции.

На своем портале LexAssist (https://lexassist.ru/) нужно было доработать текст в блоке о проекте. Вспомнилось очевидное и наверняка давно обсуждавшееся мнение о необходимости проверки результатов работы агентов. Не возразишь. Но чем больше мы работаем с агентом, тем меньше мы его понимаем.

В отличие от чат-ботов, предлагавших проверяемый результат после очередной итерации, агенты выполняют длительные и сложные операции. Ошибку чат-бота теоретически при небольшом усилии можно выявить, а агент может ошибиться на втором шаге из десяти, использовать ошибку как исходное предположение на третьем, построить на ней следующие семь действий и предъявить пользователю уже аккуратный итог.

Это важно даже для нашего небольшого юридического мира страны. Пресловутое “два юриста — два мнения” работает и здесь: подходы к использованию агентов тоже разные.

Например, возьмем двух юристов. Первый отдает агенту всю работу целиком: изучить материалы дела, найти судебную практику, найти уязвимые места в правовой позиции оппонента и подготовить документ. Получив 30 страниц визуально убедительного текста, проверяет его. Второй сначала проверяет, какие факты агент извлёк из документов и ничего ли существенного не пропустил; затем обсуждает вопросы права и разбирает аргументы противоположной стороны; после этого сам передаёт агенту отобранные судебные акты (известны способы скачивать большие подборки), еще лучше, если они будут в формате markdown. И только на этой основе поручает подготовить процессуальный документ. Инструмент один, а подходы в делегировании разные.

Само по себе количество этапов, конечно, ничего не гарантирует. Можно формально согласовать каждый промежуточный результат и пропустить ошибку. Можно, напротив, тщательно проверить уже готовую жалобу. Похожая проблема возникает и при проверке работы младших коллег. С агентами меняются масштаб и скорость.

ИИ при этом уже нельзя считать инструментом небольшой группы энтузиастов. По результатам исследования «Авито» и Право.ru, проведённого среди более чем 500 российских юристов, 88% респондентов уже используют его в работе. Более половины поручают ИИ первичный анализ информации, почти половина — подготовку черновиков юридических заключений. Среди препятствий к более активному использованию ИИ 84% респондентов называют риск недостоверной информации, а 80% — необходимость тщательно проверять каждый результат. ПРАВО.Ru

Другую сторону проблемы показывает исследование факультета права НИУ ВШЭ. Более 80% опрошенных юристов уже сталкивались с недостоверной или вымышленной информацией от ИИ. О постоянной перепроверке фактов и выводов заявили аж 74%; около 2% были готовы доверять ответам без дополнительной проверки. Там же сообщается, что формальные внутренние политики работы с нейросетями имеются примерно у каждой пятой юридической организации. Газета.Ru

Получается любопытная ситуация. Мы уже понимаем, что ИИ нужно проверять, но ещё только учимся понимать, что именно означает такая проверка. Пока это сравнительно просто представить при работе с чат-ботом: получил ответ — проверил ответ. А ответ «всегда проверяю» описывает представление человека о собственной работе, но ещё не показывает качество этой проверки. Эти опросы говорят об использовании ИИ в целом. Как юристы проверяют именно многошаговую работу агентов — отдельный вопрос.

Например, агент неверно квалифицировал отношения сторон. Затем нашёл судебную практику, соответствующую этой квалификации, точно воспроизвёл позиции судов и подготовил последовательную аргументацию.

Все судебные акты существуют. Все цитаты подлинные. Но применимость этой практики к нашему спору сомнительна, потому что ошибка произошла раньше — при определении того, какие отношения вообще связывают стороны.

Проверка реквизитов ничего здесь не исправит. Более того, существующие ссылки могут укрепить доверие к документу: юрист убедился, что агент ничего не выдумал.

Поэтому я бы не сводил надёжность юридического ИИ к отсутствию галлюцинаций. Можно не придумать ни одного факта и всё равно подготовить плохую правовую позицию. Пропустить существенную оговорку в договоре, выбрать нерелевантную практику, не рассмотреть альтернативные варианты.

Передача агенту заранее отобранных документов тоже не снимает вопроса. Проверять придётся не только то, правильно ли он их прочитал, но и то, достаточно ли самой подборки. Иначе мы просто ограничим его теми источниками, которые подтверждают наше первоначальное мнение.

Для меня отсюда следует практический вывод: проверять нужно прежде всего те промежуточные решения, от которых зависит дальнейшая работа. Какие обстоятельства признаны существенными? Какие вопросы поставлены? По каким основаниям отобрана практика? Что осталось за пределами анализа?

То, как была организована работа с агентом, интересно не только для оценки качества результата, но и при обсуждении ответственности за допущенную ошибку. Сейчас все обсуждают размеры штрафов, которые накладывает суд на сторону, но главное будет впереди. Тут кроется более сложный вопрос: как разграничивать добросовестную ошибку, профессиональную небрежность и сознательное введение суда в заблуждение?

Опечатка в номере дела, неверное понимание реального решения и ссылка на полностью вымышленный акт — не одно и то же. Однако и наличие вымышленной ссылки само по себе ещё не объясняет, знал ли подавший документ человек о её недостоверности. Обратное тоже верно: отсутствие намерения обмануть не отвечает на вопрос, насколько добросовестно он организовал подготовку и проверку документа.

Российский процесс исторически не был построен вокруг обязательной проверки судом и оппонентом каждой ссылки на судебный акт, приведённой другой стороной. Практика служит прежде всего элементом правовой аргументации. Поэтому существует очевидный вопрос о выявляемости таких ошибок.

Все мы будем использовать агентов, без исключения, но с разными подходами, результатом и качеством.