Ultra-locality in Decision Making and Free Will
На этот раз мы исследуем замечательный мир ультра-локальности в принятии решений и ее связь со свободой воли, добром, злом и Богом.
Часть первая: Ультра-локальность и свобода воли
Та же самая Joscha Bach: Life, Intelligence, Consciousness, AI & the Future of Humans | Lex Fridman Podcast #392 подкаст, о котором я упоминал в предыдущем посте AI, люди, деревья и грибы: одно и то же программное обеспечение, разное оборудование, вызвала другую цепочку мыслей. Йошка говорил о том, как наши нейроны всегда работают, используя доступные здесь и сейчас данные. Этого достаточно для построения сложных систем, таких как человеческий мозг. Работая вместе, нейроны формируют части, ответственные за память, обработку изображений, шины данных и т.д. Но в конечном итоге каждый из них индивидуально работает только с данными, предоставленными другими нейронами. Аналогичным образом нейронные сети в GPT представляют собой просто перемножение матриц, соединенных друг с другом, образуя память, внимание, генерацию и т.д.
Мне нравится думать о людях, нейронах, клетках, вирусах как об агентах свободной воли, каждый из которых действует на основе имеющейся информации и таким образом, который приносит им пользу в долгосрочной или краткосрочной перспективе. Бог со всем добром и злом, радостью и страданием идеально вписывается в этот вопрос, поскольку он не вмешивается в свободу воли. Следовательно, все, что с нами происходит, является результатом наших собственных действий или действий других агентов свободной воли.
Существует несколько способов снизить влияние недобросовестных агентов: устранить их, снизить вероятность столкновения с ними и повысить нашу устойчивость. Первая часть выглядит маловероятной, вторая может быть достигнута различными способами, такими как лучшая гигиена, хорошее окружение, лучшее образование и т.д. Однако если мы сосредоточимся только на первых двух пунктах, мы можем быть совершенно не готовы к встрече с недобросовестными действующими лицами. Даже небольшие проблемы, такие как простуда, арахисовое масло или пыль могут нас вывести из строя.
Мы немного отвлеклись здесь. Давайте посмотрим на некоторые реальные примеры ультра-локальности и глобализации.
Часть вторая: Ультра-локальность против глобализации в реальной жизни
Каждый из нас в определенной степени также работает в режиме ультра-локальности; мы принимаем решения на основе имеющейся у нас информации. Но на этом уровне мы начинаем переключать наше внимание на глобальное, централизованное принятие решений вместо федерации. Когда мы решаем собрать больше данных, проконсультироваться со специалистом или сформировать комитет, мы переходим от локальных, мгновенных решений к глобально оптимизированным, отсроченным решениям. Оба режима имеют свои плюсы и минусы, но отсроченный глобальный режим кажется более трудным для контроля и оптимизации.
Есть случаи, когда требуется глобальное согласование, например, стандарты безопасности пищевых продуктов, протоколы управления воздушным движением, стандарты связи и т.д. Однако во многих случаях глобальная оптимизация вводит больше контроля, меньше свободы и более жесткие, трудноподдерживаемые структуры. Например, сильное федеральное правительство и слабое местное самоуправление приводят к большим задержкам в решении местных проблем просто потому, что цикл коммуникации от людей к правительству и обратно гораздо дольше, чем в случае сильного местного самоуправления, например, городского правительства, где контур связи короче. Кроме того, правительства более высокого уровня имеют ограниченную видимость местных проблем, поэтому я бы ожидал, что они будут решать проблемы, а не усугублять ситуацию.
Есть несколько интересных примеров ультра-локальности и глобализации в сфере технологий. Первый пример, который приходит на ум, это балансировка нагрузки запросов, поступающих на веб-сайт или сервис. Мы хотим распределить трафик таким образом, чтобы каждый сервер равномерно использовался и не было дисбаланса в системе. Один из подходов - использовать глобального супервизора, который знает загрузку каждого отдельного сервера и затем решает, какой выбрать наименее загруженный. Аналогичным образом реализация кэширования LRU (Least Recently Used) для минимизации нагрузки на серверную часть требует глобального обзора того, что и когда использовалось.
В обоих случаях естественной и наивной реакцией является всегда выбирать лучший вариант, что может быть проблематично реализовать. Вместо этого мы можем использовать ультра-локальный процесс принятия решений, называемый “сила двух выборов”. В этом подходе мы случайным образом выбираем два или более кандидатов и выбираем лучший из этих двух. Для одного решения это может показаться неоптимальным, но когда у нас есть тысячи и миллионы таких решений, они все сходятся к глобальному оптимуму1. См. другие ссылки в сносках.
Еще один алгоритм, который приходит на ум, - это BBR: Congestion-Based Congestion Control - ACM Queue2 от Google, низкоуровневый алгоритм, работающий на сетевых устройствах, таких как коммутаторы, и предотвращающий перегрузку данных. Он заменил предыдущее поколение алгоритмов управления перегрузкой в центрах обработки данных Google и между ними в 2016 году. Ключевое отличие заключается в том, что новый алгоритм является проактивным. Алгоритм измеряет эффективную пропускную способность сети для любого назначения, наблюдая за сетевыми пакетами, проходящими через него, и ничего больше.
Последний и наиболее интересный пример ультра-локальности - это вероятностный алгоритм для построения многомерных skip-списков3. Проблема, которую помогают решать skip-списки, - это поиск K ближайших соседей в многомерном пространстве. Это необходимо для поиска семантически связанных результатов поиска, которые не содержат тех же слов, что и запрос пользователя. Сбалансированный эффективный skip-список можно построить относительно легко. Однако сохранить его глобальную сбалансированность и эффективность сложно. Вместо этого люди используют вероятностную версию skip-списка, где глобальная оптимизация заменяется серией случайных решений для выбора позиции, в которую нужно добавить новый элемент в skip-список. И опять же, аналогично проблеме балансировки нагрузки, небольшие локальные решения приводят к глобальному оптимуму.
Заключение
Существует тенденция передавать власть принимать решения, которые влияют на нас всех, некоему наблюдателю, который, как мы считаем, примет это решение за нас, и оно будет лучше, чем мы могли бы решить сами. Однако есть множество примеров, когда ультра-локальность обеспечивает аналогичные или лучшие результаты без накладных расходов на глобализацию.
Изначально опубликовано на Substack: https://antongolubtsov.substack.com/p/ultra-locality-in-decision-making
Сноски: