Heretic — инструмент для автоматического снятия цензуры с языковых моделей на трансформерах без дорогого дообучения. Он сочетает направленную абляцию с TPE-оптимизатором Optuna, минимизируя число отказов и KL-дивергенцию от исходной модели.
Heretic поддерживает большинство плотных моделей, мультимодальные и MoE-архитектуры, а также некоторые гибридные модели вроде Qwen3.5. На примере Gemma-3-12B-it он достиг того же уровня подавления отказов, что и ручные абляции экспертов, но с заметно меньшей KL-дивергенцией.