IntellectNews
IntellectNews
    IntellectNews
    • Анализ изображений
    • Бизнес-исследования
    • Видео и анимация
    • Генерация и преобразование голоса
    • Генерация изображений
    • Дизайн интерьеров и архитектура
    • Другое
    • Здоровье и благополучие
    • Искусство и креативный дизайн
    • Исследования и анализ данных
    • Маркетинг и реклама
    • Музыка и аудио
    • Написание и редактирование
    • Обнаружение ИИ и антидетекция
    • Образование и перевод
    • Офис и продуктивность
    • Повседневная жизнь
    • Право и финансы
    • Программирование и разработка
    • Социальные сети
    • Управление бизнесом
    • Чат-боты и виртуальные собеседники
    • Новости ИИ
      • Автоматизация
      • Общество и рынок труда
      • ИИ в науке
      • ИИ в развлечениях
      • Персональный ИИ
      • Робототехника и автономные системы
      • Эксперименты и тесты
      • Новости индустрии ИИ
      • Технологии и разработки
      • Применение ИИ
      • Законодательство и этика
    • Блог
    • Промты
      • Business
    Поиск
    Авторизация
    Забыли пароль?
    Регистрация
    • Главная
    • Новости
    • Технологии и разработки
    • Alignment Fellowship: крауд-выбор стипендий по безопасности ИИ - помощь талантам или конкурс популярности

    Alignment Fellowship: крауд-выбор стипендий по безопасности ИИ - помощь талантам или конкурс популярности

    Автоматизация
    Влияние ИИ на общество и рынок труда
    ИИ в науке
    ИИ в развлечениях
    Персональный ИИ и инструменты
    Робототехника и автономные системы
    Эксперименты и тесты
    Новости индустрии ИИ
    Технологии и разработки
    Применение ИИ
    Законодательство и этика
    Alignment Fellowship: крауд-выбор стипендий по безопасности ИИ - помощь талантам или конкурс популярности
    Инициатива предлагает финансировать трёх исследователей по безопасности ИИ через голосование сообщества.

    Автор инициативы предлагает финансировать примерно трёх человек на два года каждый, давая им свободу работать над тем, что они считают важным в области безопасности ИИ. По замыслу, каждый участник Alignment Forum получает один голос с возможностью делегирования, любой может выдвинуть себя или другого кандидата, и три участника с наибольшим числом голосов получают гранты.

    Идея возникла из ощущения, что традиционный процесс подачи заявок и оправдания своей работы сильно портит продуктивность исследователей и творцов. Как написал автор, регулярные раунды заявок превращаются в постоянное отвлечение и искривление приоритетов, и это особенно больно бьёт по академической науке.

    Контекст и аргументы

    Ключевой вопрос сейчас - кто лучше находит людей и как избегать побочных эффектов. Вдохновляясь Thiel Fellowship, инициатор спрашивает: сколько платить? Thiel давал 200000 долларов за два года - слишком много или мало для этой цели? Также обсуждается, кому давать право голоса - всем пользователям Alignment Forum, зарегистрированным до определённой даты, или подписчикам LessWrong.

    Автор цитирует мнение Zvi: "Unconditional Grants to Worthy Individuals Are Great" - безусловные гранты могут освободить талантливых людей от постоянного обоснования своей деятельности. Но критики указывают на очевидные риски.

    Главные возражения и предложение по улучшению

    • Популярность и гейминг. Как отметил Thane Ruthenis, такой механизм легко превратить в конкурс популярности, что запустит эффект Goodhart и создаст перверсные стимулы для взаимодействия на форуме.
    • Фиксация списка избирателей. Одна из идей - заморозить список допустимых голосующих, чтобы не привлекать новых аккаунтов, заинтересованных только в самопродвижении.
    • Переменная сумма. Thane советует не делать фиксированную выплату, а определять размер гранта индивидуально в зависимости от нужд проекта и кандидата.
    • Амплификация через рынки прогнозов. Альтернатива простому голосованию - использовать prediction markets, которые могут усилить суждение небольшого числа известных экспертов (например, тех, кто имеет хорошие модели риска AGI) и затем финансировать топ-предложений с возможностью вето этих экспертов. Это сложнее в реализации, но менее подвержено прямому геймингy.

    Что это означает для индустрии и сообщества

    Мы видим типичную фазу: сначала идея освобождения талантов встречает энтузиазм, затем появляются скептики, которые указывают на системные риски. На практике это не революция, а попытка поправить существующий рынок грантов: сделать его быстрее и менее бюрократичным. Если организаторы смогут придумать механизмы защиты от гейминга - например, делегирование голоса с прозрачными ограничениями, процедурную проверку кандидатов или комбинирование крауд-голосования с экспертной амплификацией - то модель может дать ценные результаты.

    Практические выводы и рекомендации

    • Начните с пилота. Маленький цикл с ограниченным числом голосующих и прозрачной процедурой апелляций выявит основные уязвимости.
    • Делайте выплаты адаптивными. Один фиксированный чек в размере Thiel-уровня может быть избыточным для одних и недостаточным для других.
    • Комбинируйте крауд и экспертизу. Prediction markets или механизм с правом вето у нескольких признанных экспертов снизят риск чистого популизма.
    • Ограничьте стимулы к самопросуванию. Заморозка списка голосующих или требования к участникам снизят мотивацию заводить аккаунты ради финансирования.

    Читателю-разработчику или исследователю это значит простую вещь: если такая инициатива пойдёт в пилот, стоит следить за правилами отбора, возможностью делегирования и прозрачностью процесса. Для организаторов ключевой выбор - рисковать ради скорости или тормозить ради честности отбора.

    Видно, что индустрия филантропии и грантов для ИИ движется от централизованных комиссий к гибридным схемам с крауд-участием и экспертизой. Через год мы, вероятно, увидим первые эксперименты с комбинированными механизмами отбора - кто выиграет, решит то, насколько устойчивы эти механики к манипуляциям.

    Автор оригинальной записи: rich_anon (опубликовано 23 Dec 2025). Чтение занимает ~1 минуту.

    n8n-bot
    24 декабря 2025, 16:45
    Технологии и разработки

    Новости new

    Почему опасность слишком общий метрик мешает создавать действительно надёжные ИИ модели
    Почему опасность слишком общий метрик мешает создавать действительно надёжные ИИ модели
    Технологии и разработки
    21 января 2026, 06:01
    Как подготовка данных меняет будущее безопасного ИИ: новые исследования и перспективы
    Как подготовка данных меняет будущее безопасного ИИ: новые исследования и перспективы
    Технологии и разработки
    20 января 2026, 07:16
    Что Kickstarter учит нас о завершении целей: неожиданные уроки успеха и провала
    Что Kickstarter учит нас о завершении целей: неожиданные уроки успеха и провала
    Технологии и разработки
    20 января 2026, 07:15
    Как повышенный уровень CO2 может влиять на когнитивные функции: новые исследования и практические идеи
    Как повышенный уровень CO2 может влиять на когнитивные функции: новые исследования и практические идеи
    Технологии и разработки
    20 января 2026, 07:12
    Выберите обязательные опции

    Мы используем файлы cookie и другие средства сохранения предпочтений и анализа действий посетителей сайта. Подробнее в Согласие на обработку персональных данных. Нажмите «Принять», если даете согласие на это.

    Принять
    IntellectNews

    Вы принимаете условия политики в отношении обработки персональных данных и пользовательского соглашения каждый раз, когда оставляете свои данные в любой форме обратной связи на сайте

    IntellectNews © 2026

    IntellectNews

    Вы принимаете условия политики в отношении обработки персональных данных и пользовательского соглашения каждый раз, когда оставляете свои данные в любой форме обратной связи на сайте, IntellectNews © 2026