Стартап Irregular тестирует ИИ-модели на предмет опасного и непредсказуемого поведения. Компанию поддерживают OpenAI, Anthropic и Google DeepMind, а сама она привлекла $80 млн при оценке в $450 млн.
После увольнения исследователя из-за страха перед экзистенциальными рисками AI, глава Anthropic Дарио Амодей призвал к внешнему аудиту безопасности моделей и процессов обучения. Идею поддержали в OpenAI, Google и других лабораториях.
По мере того как компании открывают ИИ-агентам доступ к всё большей части своих систем, вокруг новых инструментов начинает формироваться отдельная программная цепочка поставок — навыки, плагины, MCP-серверы и надстройки, позволяющие агентам взаимодействовать с интернетом.
«动手学大模型» — серия практических программных туториалов по большим языковым моделям от Шанхайского университета Цзяо Тун. Курс бесплатный и охватывает темы от файн-тюнинга до безопасности агентов.