пятница, 18 января 2013 г.

Махинаторы и Закон Бенфорда: магия чисел как лакмусовая бумажка


Исследователи из ANZ Bank подвергли китайскую макроэкономическую отчётность действию забавного математического инструмента под названием Закон Бенфорда (ориг. Benford's law). Иногда его также называют Законом первой цифры, но вообще говоря, это не закон природы, а скорее эмпирическое правило, выведенное на основе наблюдений в конце XIX века канадским астрономом Саймоном Ньюкомбом. Как утверждает легенда, листая математические таблицы, Ньюкомб обратил внимание на странную вещь: первые странички были истрёпаны сильнее всего. Тогда-то он и сформулировал своё контринтуитивное правило. Впрочем, история часто несправедлива — и формула оказалась вписана в учебники под именем американского инженера Фрэнка Бенфорда, который повторил открытие Ньюкомба полвека спустя.

 Так вот, представьте себе числовую последовательность, содержащую несколько сотен членов: скажем, ежеквартальный процентный прирост внутреннего валового продукта некоторого государства за достаточно продолжительный период. И попробуйте предположить, как часто первой цифрой каждого числа будет единичка, двойка, тройка и далее вплоть до девяти? Здравый смысл подсказывает, что цифры должны встречаться одинаково часто. Но вопреки здравому смыслу, в действительности единичка будет встречаться чаще всего, двойка чуть реже, тройка реже двойки, но чаще четвёрки и т.д.

 Собственно в этом и заключается наблюдение Ньюкомба-Бенфорда: частотное распределение цифр в потоке данных, полученном от естественных процессов, имеет особый характер. Грубо говоря, в трети всех случаев числа последовательности должны начинаться с единицы, каждое шестое — с двойки, каждое седьмое с тройки, и так далее по убывающей. Эта странная ниспадающая зависимость справедлива не только для первой цифры: вторая и последующие тоже ей подчиняются, разве что в менее выраженной форме.
Закон Бенфорда для первой цифры. Кривая для второй цифры будет намного более сглаженной, но тоже не горизонтальной (графика: Antoine Nectoux)
Что это за естественные процессы, подпадающие под действие Закона Бенфорда? Да любые процессы/последовательности в реальном мире, на которые не в силах оказать значительное влияние отдельно взятый человек. Длина рек и высота гор, смертность и рождаемость, колебания цен на биржевых площадках и доходы хедж-фондов, численность приверженцев той или иной религии и результаты голосований. Понятно, что в каждом конкретном случае график частотного распределения будет не таким красивым и гладким, как предсказывает математика. Но в общем и целом, если соблюдаются некоторые условия (нет верхней и нижней границ для последовательности; результаты измерений описываются несколькими разрядами), получившаяся картинка должна совпадать с предсказанной Бенфордом.

 Почему цифры ведут себя именно так, а не иначе? Отчасти это связано с самой природой счёта, но в данном случае для нас важней другое: чем такое правило может оказаться полезным? Для Ньюкомба, а равно и Бенфорда, оно, похоже, было лишь забавным наблюдением. Только в 70-х годах прошлого века пришло понимание практической ценности. В самом деле, если Закон Бенфорда справедлив для естественных числовых рядов, не подвергавшихся коррекции вручную, то можно предположить, что любые манипуляции с членами ряда приведут к искажению частотного графика. Именно от этого и стали отталкиваться исследователи в самых разных областях, прежде всего в экономике и финансах, используя старое правило как лакмусовую бумажку.

 Не всегда и не везде отклонения от теоретической кривой означают вмешательство человека: в случае с оценкой рождаемости, например, значительное влияние может оказать война или экономический кризис. Но когда речь идёт о финансовых отчётах, вывод почти всегда один: подделка!


Комментариев нет: