Data Insights Hub

И так, нам в большей степени отсюда стоит рассмотреть процесс того, как Клод пришел к доказательству. Я сама использую Клода в качестве советника и критика, у меня есть разный опыт и степени довольства. Где читать: к статье приложен Appendix C — короткая выжимка процесса работы. Плюс выложены полные транскрипты двух ключевых агентов, с аннотациями. В них я и пошла на почитать. Что интересного: 1. Две попытки доказательства и веселый коучинг. В первую агенты собрали 106 «выживших» идей, ни одна не оказалась доказательством. После завершения тезисы вторую сессию начали просьбой продолжить и напутствием (цитата) «you need to believe in yourself». Модель в этот момент отдала That’s not a confidence problem I can fix by believing harder—a proof of RH either exists on the page and survives refereeing or it doesn’t, and confidence is not an input to that. Мотивировать Клода продолжили. Теми же фразами и агент с субагентами пошли работать дальше и вернулись с результатами. 2. Дизайн поиска. Было 23 параллельных агента, каждому своя линия работ. Три инструкции были на агента: 1) Писать цепочку рассуждений, а не набор тезисов. 2) Проверять любой механизм на контрольных объектах, для которых аналог гипотезы заведомо ложен. 3) Назвать первый шаг, который не обоснован. Это прям классика хорошего контроля над Клод-экспами. Иначе потом не ясно, это Клод решил не тратить ресурсы и дал число или правда есть результат. 3. Случайность результата. Агент, который принес основной вклад (в логе — E2), был отправлен решать противоположную задачу: ограничить сверху число нулей вне прямой. Он не смог, но в рабочем скрипте завел новый столбец — который отдал примерно половину результата (для любящих детали — это была доля собственных значений, доказуемо положительных, считаемая из простых чисел — половина будущей теоремы). 4. Дизайн контроля. Взяли три агента (слепых на результаты друг друга). Агенты проверяли утечку и качество. Внимание, самое прикольное, что потом результат упал, но сохранился в логах. Основные тезисы собрали из них. Да, но как Клод это сделал? Транскрипты двух успешных агентов опубликованы целиком. В них видно, что два важных перехода произошли в скрытых рассуждениях. Так что как, простите, извините, в голове. Скрытые рассуждения в экспорт не попадают. В логе они присутствуют как интервалы: «молчание 14 минут 40 секунд», «молчание 24 минуты», «молчаливый вызов 1 час 31 минуту». И блин, как же это прикольно — мы моделями можем делать больше и лучше, но не знаем ни-фи-га. Значит, у нас всё ещё будет работа, коллеги. Что унести с собой: Учимся дизайнить у лучших, прости господи. ▪️ Правило репорта. Посыл “работай и доложи, что вышло — включая „ничего”” правда помогает, ибо модель всегда что-то отдает. Чем больше контекста получено, тем легче найти мусор. ▪️ Дерьмовый коучинг. Дерьмовый, потому что «поверь в себя» отлично работает как разрешение и мотивация копать шире и не работает как аргумент. Планку доказательности оно не двигает. ▪️ Негативный контроль. Дать объект, на котором идея должна валиться. При этом, модели не говорить. Если там успех — ура, ошибка найдена, а мы ещё и не ошиблись. ▪️ Спрашивать вместо «всё посчитано?», «где первый необоснованный шаг?». Второй заставляет искать место, где стало плохо — это капец как удобно. ▪️ Слепое ревью на сабагентах — просто бесплатные (за вашу подписку) коворкеры. Проверено, юзаю. ▪️Логировать, много логировать. У них агент за три с половиной часа написал три коротких сообщения, остальное — файлы. Поэтому результат пережил падение процесса: он лежал на диске. ▪️ Иметь стоп-правило. Момент, когда очередной внутренний прогон перестаёт добавлять информацию, надо уметь распознать и выйти наружу — к человеку (иначе Клод трындец долго гоняет очень низкого качества штуки или вообще не то). Прикольно, вкусно и забавно. Поели, и дальше работать.

И в догонку — катаюсь со смеху примерно всё время с того, как у меня появилась эта картинка в чате — вот, что будет, когда модель одного вендора описывает офигенный результат модели вендора другого...

Чисто гипотетически, я добрая. Но существует та самая ситуация, где я стою, ругаюсь матом и желаю чему-либо всего самого наихудшего. Привет, друзья! Сегодня общалась с коллегой, и она поделилась, что её расстроила статья, подветрждающая одну из гипотез. Я расстроилась, что коллега расстроилась и в фоне много думала. Отсюда у нас с вами он — этот пост. Гипотезы по определению — это предположение, которое выдвигают, чтобы объяснить какое-то явление, факт или процесс. Гипотеза может быть верна всегда — и тогда это аксиома, а может быть верна в определённых условиях. И сейчас, поскольку области MI/XAI стали шагать семимильными шагами — гипотез у нас стало очень много, и вместе с тем появилось также много доказательств к ним и опровержений. Отсюда, справедливо то, что: * У любой гипотезы есть подтверждение (статья, которая гипотезу выдвинула) * У любой гипотезы есть опровержение (статья, которая раскидала гипотезу в щи) За этими парами прикольно наблюдать, так что я собрала несколько забавных (следите за тезисами в конце каждого микро-параграфа): **Emergent abilities. Заявлено в оригинале: способности модели — это скачок при переходе порога размера. Несколько позже показали, что скачок — следствие метрики с разрыром — exact match, multiple choice (в оригинале в целом мерили accuracy) и если заменить её, то на тех же моделях кривая становится гладкой. Эффект гипотезы опровергнут за счёт смены метрики. **Platonic Representation Hypothesis. Заявлено: модели разных архитектур и модальностей сходятся к общему представлению. Работа показывает, что у сырых метрик сходства есть проблема, при калибровке которой глобальные метрики — CKA, CCA, RSA, Procrustes — теряют тренд. И выживают только локально-соседские! А оригинал как раз рапортовал нам Платоничность на глобале. На локальном варианте можно показать, что сходятся модели не к общей геометрии, а к общему «кто с кем рядом». Эффект гипотезы уточнён за счёт ре-анализа метрики. **BatchNorm. Заявлено: ускоряет обучение, убирая internal covariate shift (ICS). Перепоказано: эффект BN не коррелирует с ICS вообще — можно закинуть шум после BN, и обучение всё равно быстрое. В оригинале, в целом ICS определили словами. И в "перепоказано" также нашли, что он-то может быть выше, если докинуть формальную постановку. **Гроккинг. Заявлено: особое свойство алгоритмических задач — долгое плато, потом внезапная генерализация. Omnigrok вытащили гроккинг на картинках, языке и молекулах — описав, что гроккинг — эффект нормы весов, а не отдельная фаза обучения. (А тутописали, что это связано с Softmax Collapse.) Оба примера: механизм неверен, метод работает/явление есть. Знаменитая (и любимая) Linear Representation Hypothesis. Концепты — направления в пространстве активаций. Да, но дни недели и месяцы образуют неприводимые двумерные круговые многообразия, которые модель использует причинно. Гипотезу переименовали в «Not All Language Model Features Are One-Dimensionally Linear». Линейность — топ, но есть подзадачи где — нет. **Attention is not Explanation. Заявлено: веса внимания — не объяснение. Доказательство: можно собрать совсем другое распределение внимания, которое даёт ровно то же предсказание. Раз объяснений много и все разные — значит, ни одно из них не объяснение. **Attention is not not Explanation**. Выкатили через полгода. Показали, что то самое «другое распределение» подбиралось для каждого примера отдельно, при замороженной остальной модели и если сравнить так, что обучить целую модель с другим вниманием — качество просядет. Сменили способ сравнения. Просто моя любимая пара — нашла её больше года назад, когда писала в курсе главу об Attention. Вы просто смотрите на названия. Что следует из поста Не люблю, когда мои коллеги грустят. А если серьезно, то я сейчас сама для себя очень почувствовала, насколько любая гипотеза обвешена контекстом. Очень-очень-очень обвешана контекстом. Отсюда важно из гипотезы его вытаскивать и только в таком сетапе анализировать — где сработает точно, а где нет. Вот. Всем чудесного вечера, друзья! Не грустите.