Выбор редакции
17 января, 13:57

Кто занимается машинным обучением и что сейчас популярно в Data Science? Результаты опроса среди пользователей Kaggle

Привет, Хабр! В августе 2017 года платформа для проведения соревнований по машинному обучению Kaggle провела опрос среди более чем 16 000 респондентов с целью узнать, в каком состоянии сейчас находится анализ данных и машинное обучение. Результаты были выложены в открытый доступ, поэтому мы решили проанализировать, чем отечественный Data Science отличается от зарубежного, как выглядит типичный пользователь Kaggle в России и в мире, и, наконец, какие алгоритмы и фреймворки наиболее популярны. Читать дальше →

Выбор редакции
16 января, 09:31

[Перевод] Руководство по аналитике для основателя стартапа

Вам нужна аналитика. Я совершенно уверен в этом, потому что сегодня всем нужна аналитика. Не только продуктовой команде, не только маркетингу или финансам, но и продажам, доставке, сегодня каждому в стартапе нужна аналитика. Аналитика помогает принимать все решения, от стратегических до тактических, как управляющим, так и рядовым сотрудникам. Это пост о том, как создать аналитику в вашей организации. Речь пойдёт не о том, какие метрики отслеживать (об этом уже написано много хороших постов), а о том, как сделать так, чтобы ваш бизнес их генерировал. На практике выясняется, что на вопрос реализации —  как мне построить бизнес, который добывает данные для принятия решений? —  ответить гораздо труднее. Читать дальше →

Выбор редакции
15 января, 14:00

Парсим мемы в питоне: как обойти серверную блокировку

Новогодние праздники — прекрасный повод попрокрастинировать в уютной домашней обстановке и вспомнить дорогие сердцу мемы из 2k17, уходящие навсегда, как совесть Electronic Arts. Однако даже обильно сдобренная салатами совесть иногда просыпалась и требовала хоть немного взять себя в руки и заняться полезной деятельностью. Поэтому мы совместили приятное с полезным и на примере любимых мемов посмотрели, как можно спарсить себе небольшую базу данных, попутно обходя всевозможные блокировки, ловушки и ограничения, расставленные сервером на нашем пути. Всех заинтересованных любезно приглашаем под кат. Читать дальше →

Выбор редакции
15 января, 11:32

KDB

Привет, Хабр ! В статье я опишу идею хранения в достаточно известной колоночной базе данных KDB, а так же примеры того, как к этим данным обращаться. База существует еще с 2001 года, и на данный момент занимает высокие места на сайтах со сравнением подобных систем (см., например, тут) Читать дальше →

Выбор редакции
13 января, 21:46

Как обучть мдль пнмть упртые скрщня

Недавно я натолкнулся на вопрос на Stackoverflow, как восстанавливать исходные слова из сокращений: например, из wtrbtl получать water bottle, а из bsktball — basketball. В вопросе было дополнительное усложнение: полного словаря всех возможных исходных слов нет, т.е. алгоритм должен быть в состоянии придумывать новые слова. Вопрос меня заинтриговал, и я полез разбираться, какие алгоритмы и математика лежат в основе современных опечаточников (spell-checkers). Оказалось, что хороший опечаточник можно собрать из n-граммной языковой модели, модели вероятности искажений слов, и жадного алгоритма поиска по лучу (beam search). Вся конструкция вместе называется модель зашумлённого канала (noisy channel). Вооружившись этими знаниями и Питоном, я за вечер создал с нуля модельку, способную, обучившись на тексте "Властелина колец" (!), распознавать сокращения вполне современных спортивных терминов. Читать дальше →

Выбор редакции
12 января, 21:40

Паблик «Щастьематринства» и его небольшое статистическое исследование

Введение (январь 2018) Иногда люди берутся за дела с которыми сами справиться не могут. И я не исключение. Есть такая интересная группа ВК — #щастьематеринства( https://vk.com/zaiki_luzhaiki ). Она представляет из себя один из самых феерических источников грубого реализма. Если вы хотите разочароваться в семье, детях, мужьях и всем чем угодно, вам туда. Экзистенциальный кризис вам обеспечен(хотя бы фактом того, что там пишут по 15 постов в день и это настоящие люди). И, конечно, этим паблик и во многом привлекателен. В какой-то момент у меня и жены, которая работает перинатальным психологом, возник интерес в исследовании того, что в этом паблике происходит. Например, наложить банальные статистические методы на содержание паблика, а вдруг чего интересного там есть. Особенно хотелось сделать какой-нибудь громкий вывод. Дескать паблик помогает людям… Или паблик рождает в людях ненависть… Или еще что-то такое выразительное. Читать дальше →

Выбор редакции
27 декабря 2017, 17:08

Добыча данных в R

Этот пост — перевод трех частей серии Data acquisition in R из моего англоязычного блога. Исходная серия задумана в четырех частях, три из которых легли в основу данного поста: Использование подготовленных наборов данных; Доступ к популярным статистическим БД; Демографические данные; Демографические данные. В еще не написанной заключительной части речь пойдет об использовании пространственных данных. R заточен под воспроизводимость результатов. Существует множество прекрасных решений, обеспечивающих сопоставимость версий системы и пакетов, помогающих применять принципы literate programming… Я же хочу показать, как можно легко и эффективно находить/скачивать/добывать данные, используя собственно R и документируя каждый шаг, что обеспечивает полную воспроизводимость всего процесса. Разумеется, я не ставлю перед собой задачи перечислить все возможные источники данных и фокусирую внимание в основном на демографических данных. Если ваши интересы лежат вне сферы статистики населения, стоит посмотреть в сторону великолепного проекта Open Data Task View. Для иллюстрации использования каждого из источников информации я привожу пример визуализации полученных данных. Каждый пример кода задуман как самостоятельная единица — копируйте и воспроизводите. Разумеется, сперва необходимо установить требуемые пакеты. Весь код целиком лежит тут. Читать дальше →

Выбор редакции
26 декабря 2017, 22:50

Clif High – Soaring US Economy and More 2018 Predictions

 Internet data mining expert Clif High has a brand new report called “Soaring Twenties.” Clif High says there is good news coming, but not just for 2018, many years after. Clif High explains, “There is a really interesting set of data that’s been building for some time, and we have had this... [[ This is a content summary only. Visit http://FinanceArmageddon.blogspot.com or http://lindseywilliams101.blogspot.com for full links, other content, and more! ]]

Выбор редакции
26 декабря 2017, 07:50

Рейтинги автомобильных марок: пример анализа переменных с множественным откликом

В анкетных маркетинговых исследованиях довольно часто встречаются вопросы, в которых респонденты могут выбрать несколько подходящих вариантов из списка возможных ответов (check all that apply questions). Ответы респондентов на такие вопросы задают переменные с множественным откликом (multiple-response variables). Подходящие статистического методы для работы с multiple-response переменными не являются широко известными. В этой статье мы рассмотрим анализ таких переменных на примере данных об автомобильных рейтингах. Читать дальше →

Выбор редакции
25 декабря 2017, 19:09

[Перевод] Линейная регрессия с помощью Go

Долгое время меня интересовала тема машинного обучения. Меня удивляло, как машины могут обучаться и прогнозировать безо всякого программирования — поразительно! Я всегда был очарован этим, однако никогда не изучал тему подробно. Время — ресурс скудный, и каждый раз, когда я пытался почитать о машинном обучении, меня заваливало информацией. Освоение всего этого казалось трудным и требовало много времени. Также я убедил себя, что у меня нет необходимых математических знаний даже для того, чтобы начать вникать в машинное обучение. Но в конце концов я решил подойти к этому иначе. Мало-помалу я буду пытаться воссоздавать в коде разные концепции, начиная с основ и постепенно переходя к более сложным, стараясь охватить как можно больше базовых вещей. В качестве языка я выбрал Go, это один из моих любимых языков, к тому же я не знаком с традиционными для машинного обучения языками вроде R или Python. Читать дальше →

Выбор редакции
22 декабря 2017, 12:11

Предсказываем отток с помощью нейросети

Проблема предсказания оттока клиентов — одна из самых распространенных в практике Data Science (так теперь называется применение статистики и машинного обучения к бизнес-задачам, уже все знают?). Проблема достаточно универсальна: она актуальна для многих отраслей — телеком, банки, игры, стриминг-сервисы, ритейл и пр. Необходимость ее решения довольно легко обосновать с экономической точки зрения: есть куча статей в бизнес-журналах о том, что привлечь нового клиента в N раз дороже, чем удержать старого. И ее базовая постановка проста для понимания так, что на ее примере часто объясняют основы машинного обучения. Для нас в Plarium-South, как и для любой игровой компании, эта проблема также актуальна. Мы прошли длинный путь через разные постановки и модели и пришли к достаточно оригинальному, на наш взгляд, решению. Все ли так просто, как кажется, как правильно определить отток и зачем тут нейросеть, расскажем под катом. Читать дальше →

20 декабря 2017, 23:48

Is Kroger Gearing Up for 2018 Grocery War with AMZN & WMT?

Kroger (KR) has been trying all means to overcome competition, which has intensified with the entrance of Amazon.

Выбор редакции
20 декабря 2017, 15:00

Материалы открытого курса OpenDataScience и Mail.Ru Group по машинному обучению и новый запуск

Недавно OpenDataScience и Mail.Ru Group провели открытый курс машинного обучения. В прошлом анонсе много сказано о курсе. В этой статье мы поделимся материалами курса, а также объявим новый запуск. Кому не терпится: новый запуск курса — 5 февраля, регистрация не нужна, но чтоб мы вас запомнили и отдельно пригласили, заполните форму. Курс состоит из серии статей на Хабре (Первичный анализ данных с Pandas — первая из них), дополняющих их лекций на YouTube-канале, воспроизводимых материалов (Jupyter notebooks в github-репозитории курса), домашних заданий, соревнований Kaggle Inclass, тьюториалов и индивидуальных проектов по анализу данных. Главные новости будут в группе ВКонтакте, а жизнь во время курса будет теплиться в Slack OpenDataScience (вступить) в канале #mlcourse_open. Читать дальше →

19 декабря 2017, 17:30

Can Amazon's Stock Sustain its Success in 2018?

It's been a year of steady gains for the online behemoth with Amazon moving from a position of strength to one of dominance.

19 декабря 2017, 15:33

The Zacks Analyst Blog Highlights: Alphabet, Microsoft, Amazon and Apple

The Zacks Analyst Blog Highlights: Alphabet, Microsoft, Amazon and Apple

19 декабря 2017, 12:19

Одураченные закономерностями. Виды закономерного одурачивания трейдеров

 (информационно-просветительский текст о трейдинге – очень краткое теоретическое обоснованиеи указание на  его  тайный  механизм, о котором многие не догадываются, а те, кто догадываются, часто неправильно понимают его сущность. Но от степени понимания этого механизма и умения его использовать   некоторые трейдеры,  инвесторы, фонды зарабатывают очень прилично, другие -  просто прилично,  большинство — неприлично и  основная масса торгующих организмов (кто не в теме) теряют депозит) Если вам показалось, что вы меня поняли, то это значит, что вы поняли  меня неправильно.А.Гринспен Честно говоря, не хотел это писать, но ведь все равно  найдется «спиноза», который рано или поздно слегка  просветит понимающую эту тему  общественность.Поэтому  кратко только обозначим проблему , описание решения которой тянет на  очень толстую  монографию о  трейдинге с точки зрения «науки всех наук»  -  теории оптимального управления, ипопробуем кое-что объяснить.Но  мы  не  нассимы, и тем более талебы, у нас нет  времени детально все излагать … ну вы поняли.Глядя,  как большинство трейдерско-инвесторской публики, фонды и даже «звезды»  упорно впустую теряют на финрынках  огромные бабосики, имеют существенные просадки или болтающиеся около нуля эквити, при этом не догадываясь об истинных причинах этого, а также, читая тексты многих гуру, гурчиков и прочих аналитиков, понимаешь, к каким печальным последствиям приводит отсутствие правильного  научного подхода к трейдингу,  специальных знаний  и опыта  разработок сложных систем реального сектора в области управления объектами и технологическими процессами. Ну не любит публика точные науки, т.к. трудно и  долго учиться, и  еще тяжелей  превращать знания и опыт в реальные дела. Поэтому  при избыточном гумобразовании и перенасыщении своей головы отходами чужой мозговой деятельности ее тянет на рассуждения  о «философии», «психологии»,    «дисциплине», классическом «теханализе», на поиск «логики» рынка и  разработку «стратегий». При этом у многих очень высокий градус непонимания:  против кого же эти стратегии должны работать? Что толку от «стратегии», если вы не  знаете и по ряду причин  не можете знать  важнейших скрытых и таинственных  свойств     объекта-контрагента ? Этот объект – финрынок, обладая такими чудными свойствами,  может повести себя так, что ваша «стратегия»  рассыплется как  пыль.Поэтому за непонимание и незнание удивительных свойств финрынка  приходится расплачиваться.Действительно, многие трейдеры прилагают гигантские  усилия и затрачивают время на поиски   «торговой системы», ищут гуру и гурчиков  околорынка в надежде на «обучение», а  результаты чаще всего печальные.Как поется в одной песне: « … и в темноте целуют губы, но не те».Итак, что мы имеем и что нам нужно?     А   имеем мы  перед собой финансовые рынки,  представляющие собой объекты — динамические  системы со сложнейшими нестационарными нелинейными  внутренними связями и внешними  воздействиями многих  факторов разной мощности и  разной длительностью экспозиции.Поведение  таких объектов и   воздействия на них  могут быть описаны динамическими физико-математическими  моделями в виде  системы сложных математических формул и уравнений, при этом в   основе адекватных моделей  лежат   физические идеи и законы, о которых по ряду причин знает только подавляющее меньшинство.На  финрынках также присутствуют  субъекты  со своими  торговыми системами, которые, как надеются эти субъекты,  обеспечат  профит.Но финансовые    потенциалы  рынка стекаются от финансовых доноров  к субъектам, имеющих  одновременно достаточно высокие уровни знаний, опыта  и  интеллекта.Заметим, что субъекты с высокими значениями указанных  свойств на рынке встречаются очень редко. Поэтому понимание, правильная оценка ситуации,  четкая формулировка проблемы и  правильная постановка задачи помогут обычным трейдерам избежать многих ошибок, при этом задавая направляющие косинусы вектора движения трейдерско-инвесторской мысли.Но для начала важно убрать хаос в головах.1. Главный секрет эффективного трейдинга, ключевое понятие и основа (ядро) торговой системы -  адекватная адаптивная динамическая  физико-математическая модель (ДФММ)  финрынка Несмотря  на  очевидность для специалистов в области управления важности адекватной модели объекта, это недоступно четкому пониманию   многими субъектами рынка.Из-за этого парадоксального непонимания миллионы трейдеров покоятся на финансовом дне.Если говорить терминами теории оптимального  управления, позиция  на рынке является объектом управления  и  существует во   временнОм, ценовом и ресурсном континууме. К тому же этот  объект находится в рыночной среде с нестационарными и труднопрогнозируемыми параметрами, помехами  и шумами.Субъект  управления — это торговая система (ТС), в основе которой   физматмодель финрынка  в той или иной степени адекватности.Эффективная  ТС как  субъект управления должна   иметь степень свободы  не меньше степени свободы объекта управления. Это необходимое условие максимизации  целевой функции – профита   при заданных ограничениях.Проще говоря, сложный объект, да еще в нестационарной среде,  только временно может управляться простым субъектом, однако при этом  в конечном счете гарантирована потеря управления,  на языке трейдеров – слив депозита  и  маржинколл.Для  того, чтобы управлять сложным процессом (объектом) или успешно прогнозировать его поведение и будущие  состояния  необходима его  адекватная модель с учетом  условий, свойств нестационарной среды и прочих  возмущающих воздействий и шумов.Адекватная модель — это  идеализированное представление процесса (объекта) с сохранением его важнейших свойств, необходимых для достижения поставленной цели  анализа  или управления. Для финрынка, который является очень сложным объектом, это значит, что должна быть достаточно точная физическая трактовка основных материальных и информационных процессов (финпотоков),  среды их обитания, шумовых, импульсных и прочих воздействий, а также  их соответствующее физико-математическое описание (физматмодель). На рис. в сильно упрощенном виде  показано взаимодействие субъекта и объекта управления в трейдинге (инвестировании). Если динамическая физматмодель адекватна финрынку, то она  является  основой  правильного алгоритма торговой системы и позволяет трейдеру или роботу эффективно управлять позициями, утилизируя максимальный потенциал рынка в требуемом диапазоне тайм-фреймов.Вы хорошо слышите? Повторяю для слабослышащих.Для  успеха  управления позициями  д.б. разработана адекватная адаптивная динамическая физматмодель рынка, ибо только на ее основе строится эффективная торговая система (алгоритм).Другими словами, все проблемы трейдинга (оценка текущей ситуации на рынке, оптимальные вход и выход из позиций, управление объемом, рисками и т.п.)  решаются при наличии адекватной ДФММ – главной компоненты трейдинга.Гуру ,  маленькие гурчики и почти все книгописатели   либо сами не понимают роль и значение  четко формализованной ДФММ, либо скрывают ее от почтенной публики (маловероятно) или имеют ее суррогат (некоторые даже обучают «оральным» моделям, т.е. в  виде словесного описания, не поддающегося формализации).Короче, почти у всех гуру и трейдеров  три проблемы: первая – необходимо  знать, что в торговой системе должна быть адекватная адаптивная ДФММ финрынка, вторая – знать о существовании  первой проблемы, и третья –  собственно разработка ДФММ.Для этого важно понимать, что график инструмента  — это только видимая надводная часть айсберга. Подводная его часть подвержена сложным  турбулентным   многовекторным течениям,  а они могут быть выявлены и измерены только специальными «измерительными приборами» — своеобразными «рентгеновскими  аппаратами» или «эхолотами». Поэтому определить куда айсберг двинется, собирая только по его  видимой части  какую-то «статистику», рисуя «скользяшки», оценивая «паттерны», «фракталы», «уровни», «свечи», «волны» и т.п.  -  малоэффективно и часто даже контрпродуктивно.Адекватная ДФММ должна  целиком описывать этот «айсберг» и действующие на него «ветры и подводные течения», и тогда с высокой надежностью определяется направление его движения.Для тех, кто не понял, скажем проще.График инструмента — это только  одно сечение  шевелящегося ковра, под которым на полу идет схватка большой своры  бульдогов, больших и малых, шустрых и неуклюжих, причем  угол наклона пола все время меняется.И если не видишь эти  бульдожьи морды,  не читаешь их намерения,  не определяешь массу каждого собакена и  градусы наклона пола, то сложно что-либо прогнозировать и рискованно открывать позиции.Поэтому задача  грамотного и продвинутого трейдера – с помощью  специальных технологий  сделать этот ковер … прозрачным.Но пока эту объемную и очень сложную  тему не будем развивать.Без  четкой  ДФММ все разговоры о торговых  системах превращаются в пустую демагогию и детские рассуждения «гумиков»  (лиц с гуманитарным образованием и мышлением)   о психологии и дисциплине, которыми переполнены форумы, книги, статьи о трейдинге.Почти то же относится к теории   вероятностей  и матстатистике в трейдинге.ТВ и МС -   последнее прибежище  трейдеров, не знающих и  не понимающих тонких механизмов рыночных взаимодействий, а также верящих в относительную устойчивость вероятностных распределений на финрынке.  Ну а вера в трейдинге  очень часто наказывается.Поэтому трейдеры-матстатистики не  способны с  приличной точностью  вычислить направления ценовых  движений, так,  например, сотрудники бухгалтерии не могут разбираться в нюансах сложных технологий  и тем более  управлять  объектами и технологическими процессами.Вы  видели бухгалтера, успешно  управляющего объектом или процессом? (естественно, кроме Кудрина (шутка!)).Количество  переменных в  адекватных адаптивных ДФММ может  достигать нескольких тысяч! Направление   движения рынка  по таким  моделям может быть  вычислено с очень   высокой достоверностью по спецалгоритмам, т.е. осуществляется  высоконадежный прогноз направления  движения рынка.Заметим, что  обычный белковый трейдер или аналитик может оперировать только двумя — пятью объектами-предикторами, а устанавливать  между ними характер и параметры динамических связей в реальном времени  задача для них в принципе нерешаемая.Вы чувствуете разницу?Повторяю для потерявших чувствительность.Сравните:  от  двух до  пяти объектов-предикторов (больше не помещается  в обычной трейдерской голове с «классическим теханализом» или ФА) и тысяч (тысяч, Карл!), а  иногда даже десятки тысяч специально обработанных переменных в ДФММ, причем с автоматическим контролем их динамических взаимодействий.Прогноз движения рынка на основе адекватной адаптивной  ДФММ, также как  вход и выход из позиции,  получается динамическим, своевременным, четким, прицельным, математически обоснованным – как точный выстрел по движущейся по сложной траектории  цели. 2. Проблемы  разработки адекватной адаптивной динамической физматмодели  финрынка («рыночного нооскопа для упреждающего управления»)Важно отметить, если физматмодель  не будет  достаточно адекватна реальным процессам финрынка, то будет большая «пичалька».Но чтобы добиться правильной трактовки процессов  финрынка и прогнозирования его поведения, нужно путем глубоких исследований вскрыть его базовые фундаментальные законы,  нигде не публикуемые и неведомые основной массе интересующейся публики.Это самый сложный и интимный процесс, и может быть выполнен только с хорошей интеллектуальной потенцией и при  наличии специальных  синтетических знаний и опыта  разработки очень серьезных  систем из реального сектора в области автоматических и автоматизированных   систем управления объектами в условиях помех и  шумов или систем оптимального   управления многопараметрическими технологическими процессами (например, в  нефтепереработке, нефтехимии и т.п.).Надо   признать, что для  основной массы  субъектов рынка   такие знания по ряду причин  труднодоступны (практически недоступны), поэтому  эти субъекты    обладают только  пакетом остаточных  знаний обычного  говновуза, знаний из книжек о классическом трейдинге и семинаров гуру, а также собственными, иногда извращенными  измышлениями о предмете. Эти  субъекты не могут в достаточной мере  понять рынок с его сложными взаимосвязями и длинными каузальными цепочками, а в книжках  эти знания вы никогда не найдете.На  самом деле важно не только «понимать рынок», а еще уметь дешифровать в реальном времени актуальный поток инфы, вычислять параметры латентных воздействий, финпотоков и силовых полей, которые им управляют, причем  «понимать рынок» и дешифровать рыночную инфу может только сложнейший алгоритм.Белковому  трейдеру (инвестору) это сделать невозможно (особенно если речь идет об утилизации серьезного потенциала рынка), его удел – догадки и вера, чаще всего неудачные.В  лучшем случае обычным трейдерам приходится довольствоваться только пылью от вкусняшек, случайно сдуваемой ветром с  доверху  набитых этими вкусняшками  вагонов, которые  проносятся  мимо и  едут к «правильным дядечкам».В худшем случае  можно оказаться под колесами вагонов.Поэтому мечта правильного  трейдера (инвестора)  -  иметь хотя бы маленький  «черпачок» в виде ДФММ в торговой системе, который будет успевать зачерпывать вкусняшки с этих мчащихся вагонов.Математические формулы и системы уравнений адекватной ДФММ, наполненные физсмыслом, заменяют «тонны словесной руды»  «орального» аналитика, часто отражающей  его безосновательные фантазии, а также   модели-суррогаты  классических ТА иФА.  Аналитика финрынков становитсяавтоматической,  динамической и имеющей  математическое обоснование.«Иррациональные»   рынки таким образом  превращаются в  рациональные.Из-за ограниченных знаний, опыта  и некоторых особенностей мышления  обычного субъекта существуют  естественные ограничения в пространстве  выбора им   наукоемких  моделей рынка, матаппарата и, как следствие, разработка адекватной модели финрынка этим субъектом  практически исключена.Действительно, не будете же вы  вскрывать при отсутствии ключа  сложнейший  сейф (рынок)  обычными и всем доступными  инструментами типа молотка и зубила (классический ТА и ФА)?  Здесь требуются уникальные специнструменты  и  соответствующие  специалисты.Попробуйте найти математически  четко описанную ДФММ у гуру, которому вы заплатили за семинары!Как следствие,  из-за  непонимания главной  проблемы трейдинга,    важности и  значимости адекватной модели рынка, отсутствия необходимых знаний некоторые трейдеры и многоуважаемые, и просто уважаемые ученые  считают финрынки  хаотичными и непрогнозируемыми.Вот поэтому в околорынке   и трейдинге (в так называемом «теханализе») получили распространение чрезвычайно  упрощенные, примитивные и даже наивные  модели поведения инструментов рынка, как правило, с запаздывающими параметрами (всякие скользяшки, волны, уровни и пробои, свечи, паттерны, бабочки, каналы, фракталы и прочее, и прочее, короче, «классический теханализ» ) – это следствие  ограниченности и недоступности важных знаний и     того, что белковый мозг не в состоянии по заданным критериям  правильно переработать огромные рыночные инфопотоки  в реальном времени  и  тем более сделать  достоверный прогноз.А раз мозг  обычного трейдера не может все это  переработать, то начинается упрощение  и примитивизация — у околорынка есть правило: для успешной деятельности  разговаривай с народом на понятном ему языке, подстраивайся под доступные ему понятия – рисуй линии, бабочки, свечи, паттерны, волны, уровни и прочее.Околорыночная  индустрия (книги классиков трейдинга, семинары, обучение и др.) часто выдает  упрощенные и  примитивные  модели поведения инструментов  рынка, построенные    на исторических данных, за «закономерности», т.е. происходит намеренное, а даже чаще ненамеренное одурачивание «закономерностями».Известный всем «теханализ» в основном разрабатывался на исторических данных  в докомпьютерную эпоху людьми, далеких  от современных методов целевой интеллектуальной  обработки данных, да и рынок тогда был другой из-за слабых низкоскоростных коммуникаций, отсутствия роботов и прочих факторов.Классический   «теханализ»  на много порядков упрощает  интерпретацию  реальных  рыночных процессов,  при этом возникают огромные информационные  потери (происходит существенное возрастание  энтропии  процессов) или, другими словами, «теханализ» – это набор простейших и  примитивных  аппроксимаций сложной рыночной структуры (все равно, что трейдеру реальную девушку заменить резиновой куклой – процесс взаимодействия с ней будет внешне похож, но результат … ну вы поняли).Естественно, это значительно ухудшает  прогнозирующие свойства моделей.Классические методы теханализа и ФА прописалось в матрицу головного мозга многих внушаемых трейдеров (инвесторов), который часто  tabula rasa. Вытащить их оттуда, похоже, невозможно, тараканы  их мозга активно этому сопротивляются (эффект когнитивной ригидности).Действительно, многие трейдеры и гуру  впадают в распространенное заблуждение, что  все вокруг  находятся в той же системе координат, в  которой они сами, а  других систем координат  не существует (эффект окукливания).Кстати, именно поэтому коммуникация между разработчиками адекватных рыночных моделей и обычными трейдерами очень затруднена, а иногда и невозможна.Что же касается так называемого «фундаментального  анализа», то трейдер (инвестор) не может знать и  воспринять всю управляющую финрынком  актуальную информацию, часть из которой просто ему не доступна, она скрыта от всех, и трейдер (инвестор) поэтому   принципиально не может правильно учесть действие реально управляющих или влияющих на рынок  латентных переменных и силовых полей. Только с помощью адекватной ДФММ эти переменные и поля могут быть оценены.Заметим, слегка отклоняясь от темы,  что реально  разработать адекватную  адаптивную  ДФММ могут только яйцеголовые ученые — продвинутые Quantitative трейдеры (ПКТ) (Quantitative трейдеров иногда  неудачно называют «квантами»),  обладающие совершенно иной ментальностью, а также   специальными  знаниями и опытом.ПКТ – это трейдеры, применяющие алгоритмический количественный анализ текущего состояния финрынков (ФР) и выполняющих прогноз направлений  и траекторий ценовых движений в виде  числовой динамической прогностической матрицы на основе: выявленных   фундаментальных законов ФР,технологий Big Data  && Data Mining ,разработанной адекватной адаптивной динамической физматмодели рынка.Пропасть между среднестатистическими трейдерами и  ПКТ преодолевается пятью прыжками, а именно: приличное базовое образование, && дополнительное специальное (уровня ктн, дтн, кфмн, дфмн), && труднодоступные для широких масс   знания и опыт разработки систем    управления сложными объектами в нестационарных средах и управления многопараметрическими технологическими процессами, && мощный креатив, достаточный для вскрытия неведомых многим фундаментальных законов финрынков, && разработка адекватной адаптивной ДФММ рынка на основе всего перечисленного. 3. Виды одурачивания трейдеров Под одурачиванием будем понимать действие объективных и субъективных факторов, приводящих к  тому, что трейдер, не ведая того и не понимая реальной ситуации, вынужден применять в своих торговых системах в явном или неявном виде навязанные ему или сгенерированные им самим  примитивные и наивные модели рынка (или «интуицию»).За  этим последует  потеря депозита, и только в случае удачного стечения обстоятельств  -  временный  съем  мизерного потенциала с финансовых полей.Другими словами, одурачивание – это результат несоответствия  сложности объекта (рынка), наличия в нем латентных управляющих переменных,  силовых полей, и знаний субъекта (трейдера) об этом объекте, при этом часто  трейдер об этом  не догадывается. Некоторые даже думают, что со временем они «научатся» снимать приличный потенциал с рынка.Нет, и тысячу раз -  нет.Кратко подытоживая вышесказанное, отметим, что одурачивание закономерностями в трейдинге имеет три вида. Первый  вид  одурачивания -  естественное одурачиваниеЭто следствие  естественных ограничений  пространства  выбора  наукоемких  моделей финрынка, незнания некоторых физических законов сложных  физпроцессов и адекватного матаппарата.Как уже упоминалось, такие  знания и опыт  сложных разработок   реального сектора недоступны  для  основной массы   трейдеров (например, разработки автоматических   систем оптимального управления качеством многопараметрической продукции с нелинейными взаимодействиями компонентов  (бензинов, авиакеросинов, дизтоплив в нефтепереработке  и др.), в которых требуются know-how модели технологических процессов с отличными прогнозирующими свойствами конечного продукта). Второй  вид  одурачивания -  искусственное одурачиваниеОколорыночная   индустрия (книги, семинары, обучение, популярные блоги и пр.) выдает упрощенные, примитивные, наивные или суррогатные модели поведения рынка, построенных    на исторических данных, за «закономерности», пытаясь обучать своих пациентов их применению и  при этом игнорируя  одно из важнейших  правил управления:  сложное не может эффективно  управляться простым, ибо это сложное рано или поздно выйдет из-под контроля.Еще вариант вынужденного одурачивания – изложение своего «видения фундаментальных факторов» – т.н. «чуйка», ибо, как уже упоминалось,  аналитику  не видны латентные параметры финрынка и его силовые поля.Конечно, наиболее продвинутые гуру знают  или догадываются о сложности разработки  адаптивной ДФММ и невозможности ее «орального» описания.    Они также знают о том, что научить  массы этому практически невозможно из-за высоких требований к уровню и необходимому профилю образования. Поэтому приходится, надувая щеки и «харизму», напирать на классический «теханализ»,  «соблюдение дисциплины» и  психологию, а в случае неудачи «обучаемых»  говорить о недисциплинированности и о низкой психологической устойчивости  (в стиле:    «ну не шмагла»).Одним словом, как в известном анекдоте: у него было две слабости, первая – женщины, а вторая – половая. Так и у  многих околорыночников: первая слабость — трейдинг, а вторая  -  модель финрынка, которая к тому же часто подменяется гаданием на кофейной гуще.  Третий  вид – самоодурачиваниеНе получив достаточного эффекта   на «классических» моделях и имея стандартный пакет знаний, полученных из околорынка, чел начинает придумывать свои модели (торговые системы), которые чаще всего  — вариации  упомянутых  моделей  или детской игры в кубики.«Доработки» или «разработка» новых моделей  третьего вида одурачивания, не понимая, что есть первый вид,   -  это бег по замкнутому кругу, состоящего из ям, ловушек, тупиков и т.п.Модели классического ТА и самопальные из-за высокой энтропии  детектируют «закономерности», которые  ведут себя подобно дельфинам, выныривающих на поверхности моря, и тут же исчезающих в морской пучине, а эта индустрия толкает трейдеров бежать к цели, прыгая по спинам этих дельфинов, которые периодически сбрасывают «ненужных пассажиров».Другими словами, эти закономерности то появляются, то исчезают, причем это может происходить постепенно или резко, а проявление -  в более сильной  или слабой степени (поэтому мы и видим на  эквити почти всех трейдеров  взлеты и падения, и соответственно, мизерный съем рыночного  потенциала ).Мало найдется таких умельцев, кто добежит до цели в таких условиях. Основная масса  тонет, не говоря уже о тех, кто работает по интуиции.Следование таким «закономерностям»   порождает неуверенность и прочие психпроблемы в трейдинге.  Поэтому  «отовсюду мы слышим стоны»  трейдеров о том,  что рынок изменился и «стратегия» перестала работать (или пошли раскорреляции и прочее).Некоторых  это   приводит в изумление, как   самку богомола, которая встретила своего бывшего.Так это так и должно быть, Карл! «Стратегия» потому перестала работать, что свойства  объекта, на который она направлена (рынок), вы не  понимаете (да и не можете понимать в достаточной степени) из-за его сложности, и поэтому для вас он  непредсказуем.«Вы таки будете смеяться, но Сарочка тоже умерла», но  некоторые трейдеры и даже «звезды» трейдинга, тем не менее,  продолжают теребонькать вялую кочерыжку работать по ущербной модели в явном или неявном виде и при этом еще окукливаются.В этом и состоит секрет «умирания» многих гуру трейдинга в реальной торговле.Важно отметить, что если начинается слив депозита в вашей торговой системе, то  чаще всего это не «рынок изменился», а модель финрынка  в явном или неявном виде  используется    некорректная, примитивная и неадекватная.Ибо  в структуру правильных (адекватных)  моделей финрынка должны быть  очень квалифицированно включены (встроены!)  мощные  автоматические  адаптационные механизмы.Вы хорошо видите ?Показываю  текст  для слабовидящих.Мощные   автоматические  адаптационные механизмы должны быть  встроены в адекватную ДФММ. Это  должно быть их  имманентным свойством.Технологии  разработки  адекватных моделей рынка даже для околорыночной индустрии  труднодоступны, но, как говорят в данном случае,  плохое зрение у бегущего носорога не является его проблемой – это проблема тех, кто стоит у него на пути ! 4. Некоторые признаки одураченного (в хорошем смысле) трейдера с точки зрения продвинутого Quantitative трейдинга Признаков  много (отдельная тема), но в соответствии с вышеизложеным  такого трейдера можно опознать по следующим  его  фразам.«хочу найти гуру трейдинга для  обучения» «трейдинг изучен и существует давно, чтобы придумать что-то кардинально новое» «эх, мало еще книг по трейдингу прочитал, надо бы еще почитать» «рынок – это хаос» «будущее знать невозможно» «у меня  есть какие-то сомнения, опасения и неуверенность» «любого человека  можно научить эффективному  трейдингу» «главное в трейдинге – это дисциплина и психология» (одураченный  демагогией) «я сделал ошибку, но  в  дальнейшем я ее  не  допущу» «три месяца не дают показательной статистики торговли» «фиксируй убытки, давая прибыли течь» (ждуны течки прибыли) «тренд – твой друг» «пробьем уровень Х и откроется дорога к уровню У» «рынок меня подловил и пока держит в заложниках» «у каждого бывает полоса неудач» «золото тестирует ключевую  поддержку Z» «цены закрепились выше уровня Х» «когда  же  закончится (начнется) тренд?» «отношение ТР к SL  должно быть Z» «лучше всего работать на тайм-фрейме T» «я верю в продолжение роста» «я не верю в продолжение роста» «стопы нужно ставить» «стопы не  нужно ставить» «когда же будет крах биткоина?» «когда же будет разворот SP500?» «чой-то амеры и китайцы манипулируют статой» «научился программировать и поэтому сейчас  напишу робота» «у меня просадка около  30%, но это норма» «годовая прибыль делается за 2-3 месяца» «эх, эту неделю закрыл в минус» «эх, этот месяц закрыл в минус» «эх, слил депозит» и др.Комментарии к данным фразам будут занимать слишком  большой объем  текста, поэтому их опустим. 5. Выводы и рекомендации Одурачивание основной массы  трейдеров имеет  три вида: естественное одурачивание, искусственное одурачивание и самоодурачивание. Чтобы снизить градус одурачивания необходимо понимать, что главное  в трейдинге – этоналичие адекватной адаптивной динамической физматмодели финрынка (фондового, срочного, валютного, криптовалютного, сырьевого). На рынке зарабатывают  в той степени, у кого динамическая физматмодель рынка в торговой системе  в явном или неявном виде приближается  к адекватной. Без понимания этого трейдеры (инвесторы) обречены, рано или поздно произойдет эпикслив, в лучшем случае эквити будет «околонуля». Обычных  математических, экономических и т.н.  гуманитарных знаний для разработки  адекватных  адаптивных ДФММ недостаточно. Здесь требуются труднодоступные для широких масс специальные синтетические знания и опыт из реального сектора(это давно понял James Harris Simons из Renaissance Technologies Corporation). Поэтому выходов  для продвинутых трейдеров два: 1) работая  по упрощенным и примитивным моделям финрынка (классический теханализ и ФА), поведение которых подобно выныривающим дельфинам, необходимо  развивать динамическую «прыгучесть» и умение   балансировать на спинках этих дельфинов, ибо важно соскочить с них,  когда они еще не нырнули в морскую пучину вместе с вашим депозитом,  и  2) для разработки ДФММ, имея хорошую физико-математическую &&  инженерную  базу,  выйти  на более высокий уровень знаний через участие   в успешных наукоемких проектах в  реальном секторе, медленно превращаясь хотя бы в маленького Quantitative трейдера. Именно так, через  трудности, только через трудности. Всегда помните,  если  у вас нет в торговой системе достаточно приличной  ДФММ и  вы получили профит, то это не ваша заслуга, а «недоработка» рынка, которая со временем будет исправлена.Если вы собрались идти на обучающие семинары к гуру и при этом снизить степень искусственного  одурачивания, то обращайте внимание, кроме всего прочего, на:  а) его бэкграунд: область и  уровень  общего и специального профильного  образования, наличие у него достаточной  научной и инженерной базы, работа в серьезных конторах с  участием в успешных проектах  систем управления в реальном секторе, б) наличие у него верифицированной модели финрынка, четко реагирующей на эндогенные и экзогенные  факторы и   позволяющей  проводить  форвардное   тестирование или кросс-валидацию. Если гуру бэкграунд скрывает и его  модели  только «оральные» (поэтому они fuzzy), статические и статистические, то  надо понимать, что это  олдскульно, некошерно и грозит сливом депозита из-за отсутствия достаточного математического обоснования и наивности&& примитивности его модели финрынка в целом.Цифровой трейдинг в виде «железного    коня» — вскрытых базовых  фундаментальных законов рынка + Big data&&Data mining&&Quantitative trading  приходит на смену «крестьянской лошадке» — классическому техническому и  «оральному» фундаментальному анализу. Тот, кто раньше это поймет и его  физматмодель  будет точнее  отражать реалии и динамику рынка, «тот и папа», и трейдинг для него    перестанет быть томным.Для эффективной утилизации рыночного потенциала  управление   позициями  на рынке  должно  выполняться трейдером (инвестором) только с применением  наукоемкой алгоритмической  системы поддержки принятия решений (АСППР), в основе которой  адекватная динамическая физматмодель финрынка с мощными  автоматическими  адаптационными механизмами (или соответствующая линейка роботов с перечисленными свойствами). Тогда  продвинутый   Quantitative трейдер на финрынке  будет подобен опытной доярке: каждое движение ее рук при дойке рынка коровы (или стада коров доильными аппаратами-роботами) будет давать  много  молока. Quaerite et invenietisУдачи.  

19 декабря 2017, 01:42

How the EU's New Privacy Law Will Impact Big Tech in 2018

The GDPR presents both opportunities and hurdles for big technology companies.

Выбор редакции
18 декабря 2017, 17:58

R и СИБ. Как устранить противоречие интересов и запустить R на Linux в оффлайн-режиме

Является продолжением предыдущих публикаций. Очень часто попытки применить инструменты DataScience в корпоративной среде встают в полное противоречие с требованиями Службы Информационной Безопасности (СИБ). В мире DataScience рекомендация «поставь с гитхаба» становится практически нерешаемой при полной изоляции аналитической машины от интернета. Тем не менее, задача запуска на linux инфраструктуры R в offline окружении вполне решаемая. Ниже приведу последовательность мантр, которые позволят это исполнить. Если какие-то шаги будут не совсем прозрачными, то скорректирую по мере появления комментариев. Эти же шаги можно использовать и для online инсталляции, пропуская шаги, относящиеся к хитрым трюкам или созданию локальных репозиториев. Собрано по крупицам на основании многократных инсталляций под разнообразные задачи. Практика показала, что тема весьма актуальна. Читать дальше →

Выбор редакции
18 декабря 2017, 10:21

Анализ резюме HH.RU: много графиков и немного сексизма и дискриминации

Недавно мне на глаза попалась статья про анализ датасета резюме hh.ru, который участвовал в каком-то хакатоне. Это навело меня на мысль самому поиграться с данными резюме. Тем более что у меня их немного больше. Я выбрал самую интересную для меня профобласть, которую можно указать в резюме, — «Информационные технологии, интернет, телеком». Под катом вас ожидает много графиков, на которых вы узнаете, сколько получают люди в различных айтишных специализациях, выпускники каких вузов хотят больше всего денег, у каких работодателей айтишники задерживаются меньше всего, зарабатывают ли пользователи гуглопочты больше, чем пользователи почты Яндекса или Мейла, и много другой информации. Читать дальше →

15 декабря 2017, 18:16

Grocery Gunfight: Can Incumbents Fend Off Amazon?

In the current scenario, failure to offer same-day store to home delivery could mean curtains for nearly every retailer.

07 июня 2017, 11:18

7 самых дорогих стартапов США

За последние несколько лет мы наблюдаем рост частных компаний стоимостью свыше миллиарда долларов – так называемые "единороги".

06 декабря 2016, 23:09

Глобальный мировой заговор управляется из Кембриджа

До нас в ЖЖ еще не добрались Великие Манипуляторы общественным мнением, уже перевернувшие и продолжающие переворачивать мировые общественные отношения, поэтому мы можем спокойно и независимо прозябать здесь дальше, но точно знать, что, кто и как устроил переворот в нашем социально сетевом мире.Далее выдержки из расследования Das Magazin о том, как Big Data и пара ученых обеспечили победу Трампу и BrexitТехнологии персонализированной рекламы в сети Facebook повлияли на итоги выборов в США и референдума о выходе Великобритании из ЕС.[об этом говорили и писали многократно -- теперь подобрались к этой теме с адресами-паролями-явками]Новейшие технологии стали универсальным оружием, которое переходит из хороших рук в плохие, но чаще из плохих в плохие.Итак, за победой Трампа и Brexit стоят конкретные люди и фирмы.[возможно, сейчас всё это специально выносят на обсуждение, чтобы указать на искусственный (сфабрикованный) характер победы Трампа и Brexit -- и дать как минимум "моральное право" начать Новый крестовый поход]Итак, фамилии:-- Михал Козинский (обеляют)-- Александр Никс -- глава компании Cambridge Analytica (подставляют))Именно они создавали всё новые и новые подходы к работе с Big Data, прежде всего, в Фейсбуке,а также с другими данными, которые оставляют цифровые следы:-- покупками по кредитке,-- запросами в Google,-- прогулками со смартфоном в кармане,-- каждым лайком в соцсети...Началось всё в британском Кембриджском университете [где же еще?] на кафедре психометрии Козинского.Психометрия (иногда называют психографией) представляет собой попытку измерить человеческую личность.В 1980-е годы два психолога доказали, что каждая черта характера может быть измерена при помощи пяти измерений -- т.н. «большой пятерки»:-- открытость (насколько вы готовы к новому?),-- добросовестность (насколько вы перфекционист?),-- экстраверсия (как вы относитесь к социуму?),-- доброжелательность (насколько вы дружелюбны и готовы к сотрудничеству?)-- и нейротизм (насколько легко вас вывести из себя?).На основе этих измерений можно точно понимать, с каким человеком имеешь дело, в чем его желания и страхи, наконец, как он себя может вести.Проблема была в сборе данных: чтобы что-то понять о человеке, от него требовалось заполнить огромный опросник.Но потом появился интернет, затем Facebook, затем Козинский.Далее идет большая часть, как Козинский сотоварищи собирали и анализировали данные.На кафедре несколько лет собирали анкеты множества испытуемых (проводилась серия различных меняющихся он-лайн тестов).Главное было научиться соизмерять личные ценности испытуемых, а также его пол, возраст и место жительства -- с лайками и репостами в Facebook.Исследователи полагают, что научились это делать.Сразу к выводам группы Козинского:-- анализа 68 лайков в Facebook достаточно, чтобы определить цвет кожи испытуемого (с 95% вероятностью),-- его гомосексуальность (88% вероятности)-- приверженность Демократической или Республиканской партии (85% вероятности)Модель начали совершенствовать с 2012 года.В неё добавили опции установления по Фейсбук:-- интеллектуального развития-- религиозных предпочтений-- пристрастия к алкоголю, курению или наркотикам...-- развелись ли родители испытуемого до его совершеннолетия или нет.Модель смогла лучше чем коллеги по работе стала узнавать личность после десяти изученных лайков.После 70 лайков — лучше, чем друг.После 150 лайков — лучше, чем родители.После 300 лайков — лучше, чем партнер.А дальше утверждается, что можно узнать о человеке лучше, чем он сам.В день, когда Козинский опубликовал статью о своей модели, он получил два звонка: жалобу и предложение работы.Оба звонка были из компании Facebook.Козинский и в Facebook продолжил свои исследования.Козинский и команда могут оценивать людейпо Большой пятерке критериевисходя из их юзерпика, фотографии в соцсетяхпо числу друзейпо различным личным данным -- вплоть до данных датчика движения в смартфоне (размахиваем ли мы рукой с ним... как далеко ездим (коррелирует с эмоциональной нестабильностью).Смартфон сам по себе огромный психологический опросник, который мы вольно или невольно заполняем.На основе данных можно не только создавать психологический портрет, но искать среди этих портретов нужные.Например, обеспокоенные папаши, озлобленные интроверты, не определившиеся с выбором -- это сторонники демократов.Козинский изобрел поисковую систему по людям.Он стал ставить предупреждения на всех своих научных публикациях о том, что его методы «могут нести угрозу благополучию, свободе или даже жизни людей».В начале 2014 года, к Козинскому обратился молодой ассистент профессора по имени Александр Коган [не родственник ли мужа В.Нуланд?]У него был запрос от некой фирмы, заинтересованной в методе Козинского.Предложение состояло в том, чтобы проанализировать путем психометрии 10 млн американских пользователей Facebook.С какой целью, собеседник не сказал из соображений конфиденциальности.Козинский сначала согласился, ведь речь идет о больших суммах в пользу его института, но потом начал медлить с согласием.В итоге, он выжал из Когана название фирмы: SCL, Strategic Communications Laboratories («Лаборатории стратегических коммуникаций»).Сайт фирмы предлагает маркетинг на основе психологии и логики, но ставит фокус на влиянии на исход выборов: «Мы являемся глобальной компанией по управлению предвыборными кампаниями».За SCL стоит сложная корпоративная система, завязанная на «налоговых гаванях».Позднее это было показано в «Панамских документах» и разоблачениях Wikileaks [вот эти компании зря немцы сюда воткнули -- захотели вызвать у читателей кумлятивный эффект].Часть этой системыответственна за кризисы в развивающихся странах,другая помогала НАТО разрабатывать методы психологической манипуляции гражданами Афганистана,Одна из дочерних компаний SCL — та самая Cambridge Analytica -- как раз та маленькая фирма, организовавшая интернет-кампании в поддержку Brexit и Трампа.Das Magazin предполагает, что SCL получила данные о методе Козинского именно из рук Когана (тот мог скопировать или выстроить заново его систему, чтобы затем продать ее политтехнологам из SCL).Козинский незамедлительно разрывает связь с Коганом и информирует о ситуации своего институтского начальника [информатора Козинского вывели из-под удара]. Далее совсем детектив:Коган переезжает в Сингапур, женится и называет себя доктором Спектром.Козинский переезжает в Штаты, в Стэнфорд.А в ноябре 2015 года лидер радикальных сторонников Brexit Найджел Фарадж объявил, что его сайт подключает к работе со своей интернет-кампанией некую компанию, специализирующуюся на Big Data, а именно, Cambridge Analytica.Ключевая компетенция фирмы: политический маркетинг нового типа — так называемый «микротаргетинг» — основанный на «методе океана».Козинский начинает получать множество писем — учитывая слова «Кембридж», «океан» и «аналитика», многие думают, что он как-то с этим связан.Однако только тогда он сам узнает о существовании такой компании.Он просматривает сайт фирмы и выясняет, что его методология используется в большой политической игре.В июле 2016 году, уже после референдума по Brexit, на его голову начинают обрушиваться проклятия.Каждый раз Козинскому приходится оправдываться и доказывать, что к той фирме он не имеет никакого отношения.Прошло десять месяцев.19 сентября 2016 год в нью-йоркском отеле Grand Hyatt проходит ежегодный саммит Concordia, мировой экономический форум в миниатюре.Участвует действующий президент Швейцарии Йоханн Шнайдер-Амманн и другие сильные мира .Перед собравшимися выступает Александр Никс -- директора Cambridge Analytica.Многие уже знают, что перед ними новый digital-специалист Трампа.«Скоро вы будете называть меня Мистер Brexit», — таинственно написал Трамп в своем Twitter несколькими неделями ранее.Действительно, политологи уже писали тогда о сходстве программ у Трампа и у сторонников выхода Великобритании из ЕС.И лишь немногие знали о связи Трампа с малоизвестной Cambridge Analytica.До тех пор digital-кампания Трампа состояла более-менее из одного человека: Брэда Парскейла.Маркетинговый энтузиаст и основатель одного провалившегося стартапа, он создал для Трампа простенький веб-сайт за $1500.70-летнего Трампа едва ли можно назвать человеком цифровой эпохи: на его рабочем столе даже компьютера нет.Как однажды поведала его персональная ассистентка, нет даже такого явления, как электронное письмо от Трампа.Сама ассистентка приучила его к смартфону.Хиллари Клинтон, напротив, опиралась на наследие Барака Обамы как первого «президента соцсетей».У нее были адресные листы Демократической партии, миллионы подписчиков, поддержка Google и Dreamworks.Когда в июне 2016 года Трамп нанял Cambridge Analytica, многие в Вашингтоне скорчили мину.Иностранные чуваки в костюмах, которые ничего в этой стране не понимают...«Это честь для меня, уважаемые дамы и господа, рассказывать вам сейчас о силе Big Data и психометрии в избирательной кампании», — говорил на саммите Никс.«Еще пару месяцев назад Тед Круз был одним из наименее одобряемых кандидатов.Всего 40% электората знали его имя».Все присутствовавш ие помнили историю стремительного взлета сенатора-консерватора Круза, едва ли не самое необъяснимое событие предвыборной гонки.Последний из серьезных оппонентов Трампа внутри Республиканской партии буквально выскочил из ниоткуда.«Ну и как же так произошло?» — вопрошал Никс.В конце 2014 года Ccambridge Analytica вошла в предвыборную кампанию в США именно как советник Теда Круза, которого финансировал миллиардер Роберт Мерсер.До тех пор, утверждал Никс, предвыборные кампании велись по демографическим критериям:«Глупейшая идея, если всерьез об этом подумать: все женщины получают одинаковый месседж, потому что они одного пола, все афроамериканцы получают другой посыл, исходя из их расы». Таким дилетантским способом (и тут даже Никсу можно ничего не добавлять) вела кампанию команда Клинтон: разделить общество на формально гомогенные группы, подсказанные социологами.Теми самыми, что до самого конца отдавали ей победу.И тут Никс щелкает на другой слайд: пять лиц, каждое соответствует определенному профилю личности, Большая пятерка измерений.«Мы в Cambridge Analytica разработали модель, которая позволит высчитать личность каждого совершеннолетнего гражданина США», — продолжает Никс.Маркетинговый успех Cambridge Analytica основан на трех китах.Это психологический поведенческий анализ, основанный на «модели океана», изучение Big Data и таргетированная реклама.Последнее означает персонализированную рекламу, а также такую рекламу, которая максимально близко подстраивается под характер отдельного потребителя.Никс искренне объясняет, как его компания этим занимается (лекция доступна на YouTube).Его фирма закупает персональные данные из всех возможных источников: кадастровые списки, бонусные программы, телефонные справочники, клубные карты, газетные подписки, медицинские данные.В США возможно купить почти любые персональные данные.Если вы хотите узнать, допустим, где живут женщины-еврейки, можно спокойно купить базу данных.Затем Cambridge Analytica скрещивает эти данные со списками зарегистрированных сторонников Республиканской партии и данными по лайкам-репостам в Facebook — вот и получается личный профиль по «методу океана». Из цифровых данных вдруг возникают люди со страхами, стремлениями и интересами — и с адресами проживания.Процедура идентична разработанной Козинским модели.Cambridge Analytica также использует IQ-тесты и прочие небольшие приложения, чтобы получать осмысленные лайки от пользователей Facebook.И компания Никса делает то, от чего предостерегал Козинский: «У нас есть психограммы всех совершеннолетних американцев, это 220 млн человек. Наш контрольный центр выглядит так, прошу внимания», — говорит Никс, щелкая слайды.Появляется карта Айовы, где Тед Круз собрал неожиданно большое число голосов на праймериз.На карте видны сотни тысяч маленьких точек: красные и синие, по партийным цветам.Никс выстраивает критерии. Республиканцы — и синие точки исчезают. Еще не определились с выбором — точек становится меньше.Мужчины — еще меньше, и так далее.В итоге, появляется имя одного человека: с возрастом, адресом, интересами, политическими предпочтениями.Но как Cambridge Analytica обрабатывает отдельных людей своим месседжем?В другой презентации Никс рассказал, как на примере закона о свободном распространении оружия: «Для боязливых людей с высоким уровнем нейротизма мы представляем оружие как источник безопасности. Вот, на левой картинке изображена рука взломщика, который разбивает окно. А на правой картинке мы видим мужчину с сыном, которые идут по полю с винтовками навстречу закату. Очевидно, утиная охота. Эта картинка для богатых консерваторов-экстравертов».Противоречивая натура Трампа, его беспринципность и исходящая из этого целая прорва различных сообщений внезапно сыграла ему на руку: для каждого отдельного избирателя свой месседж.«Трамп действует как идеальный оппортунистский алгоритм, который опирается лишь на реакцию публики», — отмечала в августе математик Кэти О’Нил.В день третьих дебатов между Трампом и Клинтон команда Трампа отправила в соцсети (преимущественно, Facebook) свыше 175 тыс. различных вариаций посланий.Они различались лишь в мельчайших деталях, чтобы максимально точно психологически подстроиться под конкретных получателей информации: заголовки и подзаголовки, фоновые цвета, использование фото или видео в посте.Филигранность исполнения позволяет сообщениям находить отклик у мельчайших групп населения, пояснил Das Magazin сам Никс: «Таким способом мы можем дотянуться до нужных деревень, кварталов или домов, даже до конкретных людей».В квартале Маленький Гаити в Майами была запущена информация об отказе Фонда Клинтон участвовать в ликвидации последствий землетрясения в Гаити — чтобы разубедить жителей отдавать свои голоса Клинтон.Это было еще одной целью: удержать электорат Клинтон (например, сомневающихся леваков, афроамериканцев и молодых девушек) от урны для голосования, «подавлять» их выбор, по выражению одного из сотрудников Трампа. Использовались и так называемые «темные посты» Facebook: платные объявления посреди ленты новостей, которые могли попадаться только определенным группам лиц. Например, афроамериканцам показывали посты с видео, на котором Клинтон сравнивала чернокожих мужчин с хищниками.Хиллари Клинтон оказалась одной из жертв антирекламы Cambridge Analytica«Мои дети не смогут больше объяснить, что значит рекламный плакат с одинаковым сообщением для всех и каждого», — завершает Никс свое выступление на саммите Concordia, благодарит за внимание и спускается со сцены.Насколько американское общество в данную конкретную минуту обрабатывается специалистами Трампа, сказать трудно, ведь они крайне редко атакуют на центральных телеканалах, а чаще всего используют социальные сети и цифровое ТВ. И пока команда Клинтон, работавшая по лекалам социологов, пребывает в летаргии, в Сан-Антонио, где располагается «цифровой штаб» Трампа, возникает, по словам корреспондента Bloomberg Саши Иссенберга, «вторая штаб-квартира». Всего дюжина сотрудников Cambridge Analytica получила от Трампа в июле $100 тыс., в августе еще $250 тыс., в сентябре еще $5 млн. По подсчетам Никса, общая сумма оплаты услуг составила $15 млн.Но и проводимые мероприятия тоже радикальны: с июля 2016 года волонтеры кампании Трампа получили приложение, которое подсказывает политические предпочтения и личностные типы жителей того или иного дома. Соответственно, волонтеры-агитаторы модифицировали свой разговор с жителями исходя из этих данных. Обратную реакцию волонтеры записывали в это же приложение — и данные отправлялись прямиком в аналитический центр Cambridge Analytica.Фирма выделяет у американских граждан 32 психотипа, сконцентрировавшись лишь на 17 штатах. И как Козинский выяснил, что мужчины-поконники косметики MAC скорее всего являются гомосексуалами, в Cambridge Analytica доказали, что приверженцы американского автопрома однозначно являются потенциальными сторонниками Трампа. Помимо прочего, подобные открытия помогли самому Трампу понять, какие послания где лучше всего применять. Решение предвыборного штаба сконцентрироваться в последние недели на Мичигане и Висконсине было принято на основе анализа данных. Кандидат стал моделью применения системы.Но насколько велико было влияние психометрии на результат выборов?Cambridge Analytica не спешит предъявлять доказательства успешности своей кампании.Вполне возможно, что это вообще вопрос без ответа.Хотя вот, есть один факт: благодаря поддержке Cambridge Analytica Тед Круз превратился из ничего в серьезнейшего конкурента Трампа на праймериз.Вот рост голосов сельских жителей.Вот сокращение электоральной активности афроамериканцев.Даже тот факт, что Трамп потратил на проект так мало денег, может говорить об эффективности персонализированного продвижения. И даже то, что он пустил три четверти рекламного бюджета в цифровую сферу. Facebook превратился в совершенное оружие и лучшего помощника на выборах, как написал в Twitter один из сподвижников Трампа. К слову, в Германии антиэлитарная «Альтернатива для Германии» имеет в Facebook больше подписчиков, чем ведущие партии ХДС и СДПГ вместе взятые.Кроме того, ни в коей мере нельзя утверждать, что социологи, статистики, проиграли выборы, потому что сильно ошиблись со своими прогнозами. Верно обратное: статистики выиграли, но лишь те, что использовали новейшие методы. Шутка истории: Трамп постоянно критиковал эту науку, но выиграл во многом благодаря ней.Второй победитель — компания Cambridge Analytica. Издатель главного консервативного рупора Breitbart Стив Бэннон входит также в совет директоров этой фирмы. Недавно он был назначен старшим стратегом в команде Трампа. Марион Марешаль Ле Пен, активистка французского «Национального фронта» и племянница лидера партии, уже радостно сообщила о сотрудничестве с компанией, на внутреннем корпоративном видео которой изображено совещание по теме «Италия». По словам Никса, сейчас им заинтересованы клиенты со всего мира. Уже были запросы на сотрудничество из Швейцарии и Германии.тыцМари Ле Пен хочет стать следующим клиентом Cambridge Analytica«Нет, — говорит Козинский. — Тут нет моей вины. Это не я соорудил бомбу, я лишь показал, что они существуют».

06 июля 2016, 13:17

Поисковые системы: Google vs Яндекс

Гости Игорь Ашманов, управляющий партнёр компании «Ашманов и партнёры», Сергей Панков, генеральный директор Ingate Digital Agency, Дмитрий Завалишин, основатель и генеральный директор DZ Systems Подпишитесь на канал РБК: http://www.youtube.com/user/tvrbcnews?sub_confirmation=1 ------------------------ Получайте новости РБК в социальных сетях: Facebook: https://www.facebook.com/rbc.ru Twitter: https://twitter.com/ru_rbc ВКонтакте: https://vk.com/rbc Одноклассники: http://ok.ru/rbc

14 октября 2015, 12:01

На пути к победе в информационной войне

Р.Смирнов в заметке "Коллективное несознательное" приводит примеры топорной работы зарубежного информационного интернационала, которые дают надежду на нашу победу в информационной войнеМногие спрашивают типа, а почему такие тексты забористые.  Отвечаю - сбиваю прицел мозговым дронам ).У нас в России есть одна конторка с офисом на самой дорогой улице мира в домике под номером десять.Вот какой мозговой БПЛА у них есть для публики:PL Platform - Уникальная распределенная платформа сбора, многофакторного анализа и хранения больших массивов данных соцмедиа и онлайн-СМИ. В настоящий момент по социальным медиа идет сбор на русском и еще нескольких языках, возможно масштабирование по языкам. По онлайн-СМИ сбор идет на любых языках.PL Platform хранит архив свыше 20 млрд. сообщений (с 2012 года), ежедневные поступления – около 50 млн. сообщений в сутки.или можете ознакомиться с презентацией относительно старых проектов.http://www.dialog-21.ru/adx/aspx/adxGetMedia.aspx?DocID=2244451e-1bb8-4240-892a-9f5030fe51f6Вот еще их продукт - http://eurekaengine.ru/demo - осуществляющий автоматическое определение отношения текста к любым понятиям.Непрерывно сканируют все социальные сети, форумы, блоги и т.д. на предмет "отношений" т.е. пословица про слово воробей стала как нельзя достоверной.По большому счету это так игрушки.  Если Вы думаете, что не анализируется все, вплоть до распознанных разговоров по мобильному и сообщений, то серьезно ошибаетесь.У взрослых дядь, по образцу которых она делалась - тема уже лет 20 как поставлена на поток, не только для спецуры, но даже и для обычных интересующихся доступы к "коллективному бессознательному" продаются. Юнг обзавидуется.Вот например официальный партнер фейсбука продающий "ключи" к оному - http://datasift.com/Его клиенты:Среди них есть наш старый знакомый LexisNexis.  Короче, как и все в Pax American "бессознательное" это тоже бизнес.Дело не в интернете он лишь облегчает процесс.Наивно полагать, что методики моделирования и управления в совокупности с мощью "денег" не справятся с какими нибудь региональными "ментальными эгрегорами" типа уральского, при отсутствии сопротивления ( позитивный пример которого - Сергей Колясников).Силовики, СМИ, университеты, религиозные, общественные деятели, вопрос только в "акторах" и минимизации ресурсов для достижения цели, ну и самой цели конечно.На примере украины прекрасно видно, как ломается ментальная основа и как можно заставить нормальных людей убивать себе подобных фактически за просто так.Послушное блеяние европеиодов так же один из продуктов деятельности машины запущенной римским клубом (а может и раньше).Честно Вам скажу друзья, я эту математическую хрень не люблю, хотя в нее и не плохо могу, так как считаю, что подобное вмешательство в естественное человеческое уничтожает скажем так божественную искру, а денежно-ментально-цифровое рабство ничуть не лучше той языческой гадости, что была в римской империи.  Тем более, что в основе нового миропорядка отнюдь не атеистический моральный кодекс строителей коммунизма, а штуки гораздо менее атеистические и не приятные. Вскользь прошелся здесь.Также не испытываю особо сильного восторга по поводу курса нашего правительства на интеграцию населения России в эту новую "глобальность", но глядя на некоторые шаги руководства остается надежда на то, что все закончится хорошо. Поживем, как говорится, увидим.Личный же рецепт прост - патриотическое сознание и критическое мышление.Посмотрите каким российским персонажам раздали verified статусы в фейсбуке, вслед за украинскими, где его повесили всем вплоть до командиров батальонов и персонажам вроде Геращенко.Россия все verified аккаунты:https://www.facebook.com/navalnyhttps://www.facebook.com/mikhailkhodorkovskyhttps://www.facebook.com/nakhim.shifrinhttps://www.facebook.com/slobodin.mikhailhttps://www.facebook.com/toloknohttps://www.facebook.com/Damiankudriavtsevhttps://www.facebook.com/nossikhttps://www.facebook.com/sindeevahttps://www.facebook.com/maria.lirainhttps://www.facebook.com/borovoihttps://www.facebook.com/andrey.loshakhttps://www.facebook.com/tintorerohttps://www.facebook.com/skuznhttps://www.facebook.com/krasovkinhttps://www.facebook.com/alena.vladimirskayahttps://www.facebook.com/varfolomeevОсобянчком стоят:https://www.facebook.com/ivan.zassourskyhttps://www.facebook.com/Rasstrigahttps://www.facebook.com/tina.kandelakiОтдельно выданы "медальки" Доренке и буддисту Засурскому, с Тиной Какделаки.  В виду бОльшей адекватности оных попробую поинтересоваться о физическом механизме получения "метки".Даже не разбирающийся в сортах политических деликатесов человек, глядя на этот список патентованной "совести нации", может сделать выводы о назначении "сети", соответственно совет - всегда мойте с мылом руки и мозги после фб.Подытожу - в целом мое мнение, не смотря на бешеную медийную активность клоунов - на выходе пшик, типа как с медузой, "переформатирование"русской шматрицы топорное.Удивляюсь, как и кто им еще что то платит, РИАН кладет их на лопатки одной левой, пока кладет.

03 сентября 2015, 11:34

Когнитивная система IBM Watson: принципы работы с естественным языком

IBM Watson — одна из первых когнитивных систем в мире. Эта система умеет очень многое, благодаря чему возможности Watson используются во многих сферах — от кулинарии до предсказания аварий в населенных пунктах. В общем-то, большинство возможностей Watson не являются чем-то уникальным, но в комплексе все эти возможности представляют собой весьма мощный инструмент для решения разнообразных вопросов. Например — распознавание естественного языка, динамическое обучение системы, построение и оценка гипотез. Все это позволило IBM Watson научиться давать прямые корректные ответы (с высокой степенью достоверности) на вопросы оператора. При этом когнитивная система умеет использовать для работы большие массивы глобальных неструктурированных данных, Big Data. Каковы основные принципы работы IBM Watson с языком? Об этом — в продолжении. Читать дальше →

16 июля 2015, 20:27

Palantir, мафия PayPal, спецслужбы, мировое правительство

«Лучший способ избавиться от дракона — это иметь своего собственного» На Хабре нет ни одного упоминания о Palantir`е, в русской Википедии об этом проекте нет статьи, Mithgol молчит — что-то идет не так. Или так. А между тем Palantir стала второй крупнейшей частной компанией Кремниевой Долины с оценкой в 20 000 000 000$ (уступив Uber). Среди прочих заслуг Palantir`а — раскрытие крупных китайских разведывательных операций Ghostnet и Shadow Network. Журналист: — В «Википедии» говорится, что вы входите в управляющий комитет Бильдербергского клуба. Правда ли это, и если да, чем вы там занимаетесь? Организуете тайное мировое господство? Питер Тиль: — Это правда, хотя все не до такой степени тайно или секретно, чтобы я не мог вам рассказать. Суть в том, что ведется хороший диалог между разными политическими, финансовыми, медиа- и бизнес-лидерами Америки и Западной Европы. Никакого заговора нет. И это проблема нашего общества. Нет секретного плана. У наших лидеров нет секретного плана, как решить все наши проблемы. Возможно, секретные планы – это и плохо, но гораздо возмутительнее, по-моему, отсутствие плана в принципе. Приходится собирать информацию о Palantir`е по крохам. И такая жирная кроха прячется в книге Питера Тиля «От нуля к единице» (хотя в этой книге множество намеков и информации между строк, так же как в легендарном курсе и его переводе на Хабре, спасибо zag2art). Питер Тиль: Цель, которую я ставил перед собой, читая стэнфордский курс о стартапах и предпринимательстве, заключалась в том, чтобы донести все те знания о бизнесе, которые я приобрел за последние 15 лет в Кремниевой долине как инвестор и предприниматель, собрать их воедино. С книгой то же самое. Надеюсь, благодаря этой статье и комментам хабрачитателей, положение дел относительно Palantir`а станет чуточку яснее. (Есть многомиллиардный рынок, связанный с аналитикой и ИБ, а мы ничего про него не знаем.) Читать дальше →

10 февраля 2013, 15:22

принципы Рэя Далио.

Это самое лучшее, что я читал в своей жизни. Почему? Потому что это выглядит так, как будто это я сам написал в 60 лет письмо в прошлое себе 30-летнему, по большому секрету. Написанное Рэем Далио очень живо пересекается с рядом моих философских выводов, которые я успел сделать по жизни. о реальности: dr-mart.livejournal.com/10136.html развитие идей реальности: smart-lab.ru/blog/notes/43.php концепция равновесия: http://smart-lab.ru/blog/mytrading/16591.php формула счастья: smart-lab.ru/blog/notes/31.php работа над ошибками (пример): smart-lab.ru/blog/mtrading/7499.php о роли цели: smart-lab.ru/blog/48396.php о дисциплине: smart-lab.ru/blog/92360.php о независимости мышления: smart-lab.ru/blog/94275.php   Многие мои из описанных выше идей вызывали насмешки у публики. Это видно по комментариям к каждой из записей. Я всегда их читал, но мне честно говоря было наплевать на насмешки, потому что я формировал свое представление об устройстве мира. И вот я встречаю вот это:http://www.bwater.com/Uploads/FileManager/Principles/Bridgewater-Associates-Ray-Dalio-Principles.pdf Это чтиво, которое полностью пересекается с тем, что я вывел до этого. Более того, чтиво более систематизировано и имеет вполне завешенный вид. В отличие от меня, Далио, применяя эти концепции, добился большого успеха в жизни, доказав работу этих принципов. Я немного законспектировал эти принципы и хочу предложить их наиболее думающим из вас. Конспектировал для себя, поэтому местами выглядит сумбурно. ***

10 февраля 2013, 15:22

принципы Рэя Далио.

Это самое лучшее, что я читал в своей жизни. Почему? Потому что это выглядит так, как будто это я сам написал в 60 лет письмо в прошлое себе 30-летнему, по большому секрету. Написанное Рэем Далио очень живо пересекается с рядом моих философских выводов, которые я успел сделать по жизни. о реальности: dr-mart.livejournal.com/10136.html развитие идей реальности: smart-lab.ru/blog/notes/43.php концепция равновесия: http://smart-lab.ru/blog/mytrading/16591.php формула счастья: smart-lab.ru/blog/notes/31.php работа над ошибками (пример): smart-lab.ru/blog/mtrading/7499.php о роли цели: smart-lab.ru/blog/48396.php о дисциплине: smart-lab.ru/blog/92360.php о независимости мышления: smart-lab.ru/blog/94275.php   Многие мои из описанных выше идей вызывали насмешки у публики. Это видно по комментариям к каждой из записей. Я всегда их читал, но мне честно говоря было наплевать на насмешки, потому что я формировал свое представление об устройстве мира. И вот я встречаю вот это:http://www.bwater.com/Uploads/FileManager/Principles/Bridgewater-Associates-Ray-Dalio-Principles.pdf Это чтиво, которое полностью пересекается с тем, что я вывел до этого. Более того, чтиво более систематизировано и имеет вполне завешенный вид. В отличие от меня, Далио, применяя эти концепции, добился большого успеха в жизни, доказав работу этих принципов. Я немного законспектировал эти принципы и хочу предложить их наиболее думающим из вас. Конспектировал для себя, поэтому местами выглядит сумбурно. ***