Итеративный ремонт с bounded budget

Итеративный ремонт с bounded budget (англ. iterative repair with a bounded budget) — это методология оптимизации в конвейерах обработки данных, особенно в системах, основанных на больших языковых моделях (LLM). Термин возник в контексте автоматического извлечения структурированной информации из неструктурированных текстов, таких как нормативные документы. Его цель — повысить точность и надежность выходных данных без привлечения человеческих аннотаторов, используя автоматическую оценку и целенаправленное исправление ошибок.

Механика процесса строится на цикле обратной связи. Сначала исходные данные проходят через начальный этап обработки (например, семантическую декомпозицию текста LLM). Полученные результаты оцениваются автоматической системой-«судьей» (LLM-as-a-judge) по множеству заранее заданных критериев (метаданные, определения, семантика правил). Элементы, получившие оценку ниже пороговой, маркируются как требующие ремонта. Ключевой принцип — «bounded budget» — устанавливает жесткий лимит на количество повторных попыток генерации или исправления для каждого проблемного элемента или для всего конвейера. Ремонт часто применяется иерархически: сначала корректируются вышестоящие компоненты конвейера (например, этап нормализации документа), ошибки в которых могут вызывать каскадные сбои на последующих этапах.

Практическое применение методологии наиболее востребовано в задачах, где критически важны точность и соответствие исходному материалу, а ручная проверка непрактична из-за объемов данных. В системах автоматического анализа нормативных документов (финансы, здравоохранение, управление ИИ), подобных De Jure, итеративный ремонт позволяет последовательно улучшать качество извлеченных машинно-читаемых правил. Это напрямую повышает эффективность downstream-задач, таких как проверка соответствия (compliance) через RAG-системы, где ответы, основанные на отремонтированных правилах, демонстрируют большую точность и полезность.

Основное ограничение метода связано с заданным бюджетом. Если исходное качество генерации крайне низко или критерии оценки недостаточно релевантны, процесс может исчерпать лимит итераций, не достигнув целевого уровня качества. Эффективность также зависит от корректности и полноты метрик, используемых системой-«судьей». Перспективы развития связаны с оптимизацией стратегий распределения бюджета между компонентами конвейера, интеграцией более сложных, адаптивных критериев оценки и применением подхода к более широкому классу задач, где требуется надежная автономная доработка результатов генеративного ИИ.