[Перевод] Говорят ли LLM на языке BPMN? Оценка их возможностей моделирования процессов на основе качественных метрик

Большие языковые модели (LLM) становятся мощными инструментами для автоматизации моделирования бизнес-процессов, обещая упростить перевод текстовых описаний процессов в диаграммы Business Process Model and Notation (BPMN). Однако степень, в которой эти системы ИИ способны создавать высококачественные BPMN-модели, пока не подверглась тщательной оценке.

Данная статья представляет оценку пяти инструментов генерации BPMN на базе LLM, автоматически преобразующих текстовые описания процессов в BPMN-модели. Для оценки качества этих моделей ИИ мы вводим новую структурированную систему, которая присваивает баллы каждой BPMN-диаграмме по трем ключевым измерениям качества моделей процессов: ясность/читаемость, корректность и полнота, охватывающим как точность, так и понятность диаграммы.

Используя эту систему, мы провели эксперименты, в которых каждому инструменту поручалось моделировать один и тот же набор текстовых сценариев процессов, а полученные диаграммы систематически оценивались по критериям. Этот подход обеспечивает последовательную и воспроизводимую процедуру оценки и предлагает новую линзу для сравнения возможностей моделирования на базе LLM.

Наши выводы показывают, что хотя существующие инструменты на базе LLM способны создавать BPMN-диаграммы, отражающие основные элементы описания процесса, они часто демонстрируют ошибки — пропущенные шаги, непоследовательную логику или нарушения правил моделирования, что подчёркивает ограничения в достижении полностью корректных и полных моделей. Чёткость и читаемость генерируемых диаграмм также различаются, указывая на то, что эти модели ИИ всё ещё находятся на стадии созревания в генерации легко интерпретируемых потоков процессов.

Читать далее