вторник, 10 декабря 2024 г.

“Эксперимент ‘5 обезьян'” или «Обезьяны, бананы и лестница

 “Эксперимент ‘5 обезьян'” или «Обезьяны, бананы и лестница». Если вы не слышали о нем, вот его краткое описание: группа ученых помещает пять обезьян в комнату, в центре которой находится лестница, а на лестнице – банан. Вскоре одна из обезьян пытается достать банан, но как только это происходит, входит ученый и опрыскивает всех обезьян ледяной водой из шланга. Если любая другая обезьяна пытается достать банан, происходит то же самое, и так продолжается до тех пор, пока все обезьяны не отказываются доставать банан.
...
В конце истории исследователь якобы говорит что-то вроде: “Если бы обезьяны умели говорить, они бы сказали, почему не пускают тех, кто пытается подняться по лестнице, – ‘потому что так делали всегда'”. Почти в каждой такой истории в Интернете, рассказчик говорит, что это реальный эксперимент по изучению человеческого поведения с помощью обезьян. Он говорит нам, что мы не готовы к переменам и не пробуем новое, потому что чего-то боимся. Конечно, они пытаются донести до нас хорошую мысль: вы должны пробовать новое на своей работе, а все опытные работники должны быть открыты к переменам, но был ли эксперимент с обезьяньей лестницей на самом деле? Нет, он полностью выдуман, хоть и есть референс. 

понедельник, 4 ноября 2024 г.

как лингвисты проиграли последнюю битву за NLP

 Конец ABBYY — это конец большой мечты. Мечты, которая родилась много десятилетий назад, задолго до самой компании. Мечты о том, что лингвистическая теория — то есть все те способы моделировать язык, которые придумали ученые-лингвисты, —  поможет сделать наиболее точные инструменты автоматической обработки языка. Ведь это логично: чтобы создать атомную бомбу, надо понять устройство атома и атомного ядра. А чтобы создать машинный переводчик или систему автоматического извлечения информации из текста — надо понять устройство языка. Так?

На самом деле нет. По крайней мере всё, что мы знаем на сегодняшний день, указывает на обратное. Чем более успешными становились прикладные системы работы с естественным языком (информационный поиск в интернете, машинный перевод, распознавание речи, чатботы-ассистенты), тем меньше в них оставалось какой бы то ни было лингвистики. Этот тренд был замечен еще в конце 80-х — начале 90-х, когда в Америке стала популярной фраза, приписываемая Фредерику Елинеку, руководителю разработок по распознаванию речи в IBM:

«Каждый раз, когда мы увольняем лингвиста, качество работы системы повышается»
Фредерик Елинек

История компании ABBYY — это история трех десятилетий попыток опровергнуть этот обидный для лингвистов афоризм. Попыток, которые стоили десятки миллионов долларов, но так и закончились ничем. 

Теория, эксперимент и фальсифицируемость

 

"Насколько я понимаю - физик в основном работает все же с опровержимыми теориями. И проверяет их как раз посредством измерений. При чем теория направляет и определяет его эксперименты, которые являются по отношению к ней вторичными, то есть проверками. Это говорил Поппер, и это, наверное, правда. Сначала нечто считается на бумаге (на компьютере), потом меряется. Нет?" (Елена Косилова)
 
Ну, давайте я попробую рассказать, как работаю я и мои коллеги. Важно при этом подчеркнуть - это мейнстримная наука. То, что мы делаем что-то "важное" и делаем это "хорошо" - можно обсуждать и опровергать, но мейнстримность вполне измерима формальными показателями (публикации, цитируемость, доклады на конференциях, гранты, премии, членство в научных сообществах и т.п.). Более того, и с "экспертными оценками" тут ситуация вполне однозначна. Скажем, у наших коллег из теории струн с цитируемостью, наградами и т.п. все более чем в порядке, но время от времени кто-нибудь из мейнстримных (см. выше) физиков или математиков публично заявляет, что теория струн - это какая-то неправильная наука.
 

четверг, 17 октября 2024 г.

Ловушка самоочевидных целей

vit_r

Любое управление -- это многопараметрическая оптимизация. В переводе на русский она обычно обозначается как многокритериальная оптимизация, но параметры мне нравятся больше чем критерии.

Грубо говоря, многопараметрическая оптимизация представляет из себя задачу балансировки взаимоисключающих целей. Достижение одних, мешает или полностью исключает достижение других.

И хороших решений нет, потому что препятствием является не сложность поиска идеального ответа, а сама структура системы, исключающая его существование.

На это накладывается тот факт, что любая реальная система не может быть сведена к линейным задачам, как это любят представлять в теории автоматизации принятия решений, которую менеджеры пытаются применять вместо мозгов.

Практически всегда мы имеем дело со сложной несбалансированной системой с внутренними нелинейными связями и напряжениями, часть из которых известна, часть понята неправильно, а часть или непонятна, или банально не фиксируется имеющимися системами наблюдения.

То есть, цели не только противоречат друг другу, но ещё и обманчивы. Пойдя в одном направлении, можно уйти совершенно в другую сторону и, даже, оказаться в итоге значительно дальше от желанной цели.

А напряжения приводят к тому, что нелинейная модель ещё и не описывается гладкими функциями. То есть, при изменении параметров система может внезапно ускорить движение в неожиданном направлении или, вообще, структурно сломаться.

воскресенье, 7 июля 2024 г.

Пять разновидностей истории

 

Дмитрий Травин

«А как было в истории?» – часто спрашивают меня. Отвечать на это вопрос сложно, поскольку существует, как минимум, пять разновидностей истории. И восприятие спрашивающего зависит от того, что он хочет услышать.
 
1. «Школьная история» или «история для ленивых», как назвал совокупность простых стандартных схем один ученый. Эти схемы предназначены для наиболее простого и быстрого запоминания людьми, которым, в общем-то всё это совершенно не нужно. Откровенного вранья в такой истории мало, если, конечно, школа не идеологизирована, но и пользы особой от изучения нет. «История для ленивых» – это что-то вроде макета сложного механизма: можно понять, как он выглядит, но работать эта штука никогда не будет.
 
2. «История для обывателей» – это совокупность скандалов, сплетен, биографий полководцев, революционеров и секссимволов, а для наиболее «продвинутых» потребителей – это конспирологическая схема исторического развития. «Обыватель» в отличие от «ленивого» заинтересован в «историческом продукте», но потребляет его только в виде развлечения. Поэтому «история для обывателей» гораздо дальше от реальности, чем история для ленивых.
 
3. «История для политиков» похожа на «история для обывателей», но служит не для развлечения, а для формирования послушной серой массы. Здесь меньше скандалов, но больше героических биографий. История предстает не в виде тайных схем, а в виде вечной борьбы наших светлых героев с их гадкими преступниками. Потребитель у историй для политиков и обывателей – один и тот же, но производитель разный. «История для обывателей» должна хорошо продаваться, тогда как за «историю для политиков» можно даже приплатить потребителю. Когда он проголосует, за кого надо, деньги к политикам вернутся.
 
4. «История для историков» прямо противоположна двум предыдущим историям. Она предельно правдива. До мельчайших деталей, которые редким историкам интересны. А поскольку стопроцентно точной правды о прошлом не знает никто, «история для историков» существует еще и в ряде вариантов. Потребителей этой истории можно пересчитать по пальцам. Но ее производители этим не огорчены. Они даже гордятся тем, что «чернь» их не читает. Причем главная проблема здесь даже не в том, что история скучно написана, а в том, что она не отвечает на вопросы, интересующие общество.
 
5. «История для интеллектуалов». Она отличается минимально возможной политизацией, интересом к актуальным проблемам развития общества, скептическим отношением к конспирологии и стремлением заинтересовать читателя, а не редакторов узкоспециализированных журналов. Для «ленивых» эта история сложна, для «обывателей» – скучна, для «политиков» – подозрительна, для «историков» – примитивна. При небрежности авторов она очень быстро скатывается до уровня обывателей. Но лишь эта история может дать нам более-менее адекватные представления о прошлом.