• Теги
    • избранные теги
    • Разное463
      • Показать ещё
      Компании793
      • Показать ещё
      Страны / Регионы165
      • Показать ещё
      Международные организации47
      • Показать ещё
      Издания93
      • Показать ещё
      Люди101
      • Показать ещё
      Формат24
      Показатели19
      • Показать ещё
      Сферы10
24 марта, 22:37

The Tech Industry Joins the Political Fray

Across the sector, employees are asking their companies and top executives to engage in policy battles in a way that departs from long-standing precedent.

Выбор редакции
24 марта, 12:34

Weibo sets up open platform to connect opinion leaders with online vendors

SINA’S microblogging site Weibo has launched an open platform to help key opinion leaders better connect with online vendors and service providers as it intends to help boost development in the online

Выбор редакции
23 марта, 14:01

Предсказываем будущее с помощью библиотеки Facebook Prophet

Прогнозирование временных рядов — это достаточно популярная аналитическая задача. Прогнозы используются, например, для понимания, сколько серверов понадобится online-сервису через год, каков будет спрос на каждый товар в гипермаркете, или для постановки целей и оценки работы команды (для этого можно построить baseline прогноз и сравнить фактическое значение с прогнозируемым). Существует большое количество различных подходов для прогнозирования временных рядов, такие как ARIMA, ARCH, регрессионные модели, нейронные сети и т.д. Сегодня же мы познакомимся с библиотекой для прогнозирования временных рядов Facebook Prophet (в переводе с английского, "пророк", выпущена в open-source 23-го февраля 2017 года), а также попробуем в жизненной задаче – прогнозировании числа постов на Хабрехабре. Читать дальше →

Выбор редакции
22 марта, 23:32

Кластеризация текстовых документов по семантическим признакам (часть первая: описание алгоритма)

Существует огромное количество алгоритмов кластеризации. Основная идея большинства из них – объединить одинаковые последовательности в один класс или кластер на основе сходства. Как правило, выбор алгоритма определяется поставленной задачей. Что касается текстовых данных, то здесь сравниваемыми составляющими служат последовательности слов и их атрибутов (например, вес слова в тексте, тип именованной сущности, тональность и пр.). Таким образом, тексты изначально преобразуются в вектора, с которыми производят разного типа манипуляции. При этом, как правило, возникает ряд проблем, связанных с: выбором первичных кластеров, зависимостью качества кластеризации от длины текста, определением общего количества кластеров и т.п. Но наиболее сложной проблемой является отсутствие связи между близкими по смыслу текстами, в которых используется разная лексика. В таких случаях объединение должно происходить не только на основе сходства, а еще и на основе семантической смежности или ассоциативности. Читать дальше →

Выбор редакции
22 марта, 16:09

[Из песочницы] Статистика по стоимости недвижимости — визуализация на карте

Введение Начну с конца. Это скриншот с некой web-карты, визуализирующей среднюю стоимость недвижимости на вторичном рынке Саратова и Энгельса: Цвета на карте можно соотнести с цветами на «легенде», цвет на «легенде» соответствует средней стоимости квадратного метра общей площади в тысячах рублей. Точка на карте соответствует одному предложению по продаже (на вторичном рынке) квартиры с Авито. Всего таких точек, как видно на «легенде», для построения графика использовалось 4943. Карта в интерактивном виде доступна на GitHub. А теперь немного предыстории.. Давным-давно… Читать дальше →

Выбор редакции
22 марта, 11:48

Ali’s Ant Financial is to partner with more fund companies Ding Yining

ALIBABA’S financial and payment services affiliate Ant Financial said its wealth management platform will involve more mutual fund companies to allow these companies to leverage its consumer data base

Выбор редакции
22 марта, 11:48

Ali’s Ant Financial is to partner with more fund companies

ALIBABA’S financial and payment services affiliate Ant Financial said its wealth management platform will involve more mutual fund companies to allow these companies to leverage its consumer data base

21 марта, 22:37

Interest on reserves and stock prices in 2008, by Scott Sumner

I did a recent post criticizing Bernanke's defense of paying interest on reserves. This policy was introduced in October 2008, and even the Fed viewed the policy as contractionary in intent. Indeed Susan Woodward and Robert Hall called the Fed's explanation a "confession of the contractionary effect of the reserve interest policy". The term 'confession' is rather telling, as it implicitly pushes back against the widespread view that the Fed was doing all it could in 2008 to stimulate the economy. Today I'd like to discuss the market view of IOR. Back in 2010, Louis Woodhill suggested that the Fed announcement of interest on reserves, as well as two subsequent increases in IOR, had a very negative effect on the stock market: A valid way to gauge whether events are "good" or "bad" for the economy is to look at the stock market's reaction to them. The day that Lehman Brothers collapsed, the S&P 500 went down 4.71%. Three days later (i.e., at the fourth market close after the event), the S&P 500 was down by a total of 3.61% from its pre-Lehman close. At the time of the Fed's IOR announcement, the S&P 500 was down by a total of 12.18% from its pre-Lehman close, 15 trading days earlier. However, the day that the Fed announced IOR, the S&P 500 fell by 3.85%, and it was down by a total of 17.22% three days later. On October 22, 2008, the Fed announced that it would increase the interest rate that it paid on reserves. The S&P 500 fell by 6.10% that day, and it was down by a total of 11.11% three days later. On November 5, 2008, the Fed announced another increase in the IOR interest rate. The S&P 500 fell by 5.27% that day, and it was down by a total of 8.60% three days later. I have some serious doubts about Woodhill's way of doing event studies, particularly the four-day windows for each shock. But before getting into interpretation, let's do some math: 1. If we take the three negative IOR shocks cited by Woodhill, and look at the four-day windows that he describes, the declines in the S&P500 are 17.22%, 11.11%, and 8.60%. That adds up to 36.93% decline. But there is a compounding factor that (I think) reduces the total declines to about 32.75% (someone tell me if my math is wrong.) The intuition is that two consecutive 10% drops at up to 19%, not 20%. 2. Of course 2008 was a catastrophic years for the stock market, as this is when the Great Recession got going. The total decline in the S&P500 from December 31, 2007 to December 31, 2008 was 38.5%. 3. Thus the overwhelming majority of the stock market decline of 2008 took place in twelve trading days, immediately following three contractionary IOR announcements, and only a small part of the decline occurred during the other roughly 240 trading days. What can we make of all this? Let me start by criticizing Woodhill, then defend him, and then give you my own view. Let's start with the four-day windows. In an event study, a one-day window would be more appropriate. Why should the market reaction have taken four days? That time frame seems cherry-picked. Yes, even the single day drops were pretty large, much larger than a normal single day movement in the S&P500. But this was a very tumultuous period for the economy and the stock market, and large daily moves were pretty common in late 2008. So this is not statistically significant. If I were to defend Woodhill I'd point to the fact that interest on reserves was a new and unfamiliar policy. It was not well understood by the markets. Indeed it wasn't even well understood by the Fed (which is why adjustments had to be made in October 22 and November 5, to make the policy more effective.) The Fed certainly wasn't loudly publicizing the fact that it was contractionary, you had to read the fine print. Perhaps the markets noticed the effects of IOR were contractionary. Thus over a period of several days they noticed monetary conditions tightening as banks were less anxious to move excess reserves out into the real economy, given that they were now earning more interest on excess reserves. And yes, 2008 was a very volatile period for stocks, but a pretty big share of that volatility came in the twelve trading days cited above, when most of the total decline of 2008 occurred. So IOR may well have caused some of that volatility. On the technical question of event studies, my views are somewhere in between, but a bit closer to those of Woodhill's critics. I'm not comfortable with the four-day windows on stock prices. I also recognize the extreme volatility of stock prices in 2008, having seen the same thing in my study of the Great Depression. However I still put some weight on Woodhill's argument. In the 1930s, some of the very biggest stock price movements occurred immediately after monetary shocks. Thus the largest 2 day stock rally in American history occurred right after Hoover announced a change in gold policy that would lead to 1932's QE policy, and the next day Congress signaled its approval. There are too many such "coincidences" to be dismissed. And suppose you are one of the Fed people who think that IOR helped the Fed to achieve its 2008 policy objectives. The fact that almost the entire stock market crash of 2008 occurred in just a few days after these three IOR announcements certainly doesn't give much reason to think IOR helped the economy. For what's it's worth, I think there's about a 10% chance that Woodhill is basically right, in the sense that at least half of that 32.75% stock decline was linked to tighter money, particularly IOR. But that's still really bad news for IOR! Suppose you were told that some foreign policy move would lead to a 10% chance of a nuclear exchange with North Korea---would you be reassured that 10% is a low probability? The Great Recession is the economic equivalent of a major foreign policy disaster. If there's even a 10% chance of IOR having caused this disaster, that's really bad. I also think there's about a 50% chance that at least half of the stock declines over the three one-day windows were due to IOR. This is partly because in later years we saw IOR (including negative IOR) clearly impacting stock prices in various countries. And even those three one-day windows add up to a bit over 15%, or slightly less with compounding. That's still huge! How would you feel if the Dow fell 3000 points in the next three days? So even in a world where Woodhill is only half right, or even 25% right, he's still basically right. Interest on reserves was a huge policy mistake. And I think there's at least an even chance that he is at least 25% right. Update: Commenter "dlr" presents some very powerful counter-evidence against this post: Like you, I believe that monetary policy was the most proximate cause of the 2008 crash. But I think this theory about IOR is way more unlikely than you do, and I would give less than a 1% chance that this data-mined version of an "event study" accurately portrays the information available from markets. October 6, 2008. Europe was down 5% and S&P Futures were already down 2.5% at 8:15am when the Fed announced IOR. Futures rose on the release before declining again, and were still down 2.5% after trading started, before finishing down 3.8%. Over the weekend, both Fortis and Hypo Bank had to be rescued, and banks in every market were dropping heavily before 8:15. October 22, 2008. The Fed IOR announcement came at 10am. The S&P was *already down* by 4.1% before the announcement. By 11am it was 1.5% *higher* than its 10AM tick, before closing down 6.1%. November 5, 2008. The Fed IOR announcement came at 10am. At the time of the announcement the S&P was down 1.5%. In the 30 minutes subsequent to the announcement, it immediately rose to almost flat on the day. It did not start dropping below its pre-announcement level until after noon. There was never a single Fed IOR announcement that was immediately followed by sharp drop in markets. This seems like it should be extremely persuasive counter-evidence to someone like you, who favors well run event studies the focus on trading just after the announcement before infinite confounding variables enter and take the "event" out of event study. (13 COMMENTS)

Выбор редакции
21 марта, 19:00

Chaos to Starts Middle of March Predicts Clif High of Webbot

Internet data mining expert Clif High says his latest research shows the mainstream legacy media is fearful. High predicts “1/3 of our broadcast media personalities . . . those famous faces, will either be arrested or flee the country” over sex trafficking or the cover-up of it.High also has... [[ This is a content summary only. Visit http://FinanceArmageddon.blogspot.com or http://www.figanews.com/ or http://lindseywilliams101.blogspot.com for full links, other content, and more! ]]

Выбор редакции
20 марта, 22:50

[Из песочницы] Как я сделал тестер-оптимизатор для нахождения прибыльных стратегий на Бирже — 2

Рис. 1. Оптимизация многомерного пространства алгоритмов торговых стратегий. Оптимизация торговых стратегий В процессе алгоритмической торговли постоянно возникает необходимость настройки параметров алгоритмов торговых стратегий. Сочетания всех возможных параметров превращается в большое многомерное пространство вариантов стратегий. Чтобы получить самые прибыльные и стабильные стратегии нужно исследовать это пространство и подобрать оптимальные параметры для торговли. Читать дальше →

17 марта, 13:23

Сотрудников ищут Embria, Bookmate, LinguaLeo и «Нетология»

Редакция vc.ru продолжает публиковать резюме специалистов, желающих работать в стартапах и ИТ-компаниях (выходят по понедельникам), а также вакансии компаний, которые ищут сотрудников (выходят по четвергам).

Выбор редакции
16 марта, 13:56

Common Bird Census, или биоинформатика в орнитологии. Проект в хорошие руки

Всем доброго времени, друзья. Введение Когда мы думаем о биоинформатике, мы обычно представляем себе какие-нибудь сложные последовательности ДНК, фолдинг белка или, на худой конец, моделирование диффузии вируса. В данной же статье речь пойдёт несколько о другой теме, куда более близкой, можно сказать, машинному зрению и анализу документов, или даже прикладной автоматизации, чем высокой науке. Но на самом деле, тема важна и актуальна, хотя бы уже потому, что существует в очень интересной экологической нише. КДПВ: Кого заинтересовал — прошу под кат. Читать дальше →

Выбор редакции
16 марта, 13:12

Data Science Weekend. Презентации спикеров

Хабр, привет! 3-4 марта команда New Professions Lab провела в Москве Data Science Weekend. Как и обещали, публикуем презентации наших спикеров. Если вы хотите получить доступ к видео выступлений, заполните, пожалуйста, короткую форму здесь. Читать дальше →

Выбор редакции
15 марта, 17:39

Superjob Data Science Meetup (отчет, презентации, видео)

Видео, доклады и краткий отчет для тех, кто не приехал и не успел посмотреть прямую трансляцию. В офисе Superjob состоялся Data Science Meetup. Послушать доклады пришли около ста аналитиков и разработчиков, включая специалистов из Renault, Тинькофф банк, Эльдорадо, SAP, Вымпелком, Delloite, ВТБ и тд. Около 500 человек смотрели прямую трансляцию. Читать дальше →

Выбор редакции
13 марта, 22:59

Вебинар: Julia — A fresh approach to numerical computing and data science

Команда FlyElephant приглашает всех на вебинар "Julia — A fresh approach to numerical computing and data science", который проведет со-основатель и CEO в Julia Computing, а также со-автор языка Julia — Viral B. Shah. Вебинар будет проходить 20 марта в 19:00 (EET) / 9:00 am (PST). Язык — английский. Все подробности и регистрация здесь.

Выбор редакции
13 марта, 14:03

Открытый курс машинного обучения. Тема 3. Классификация, деревья решений и метод ближайших соседей

Привет всем, кто проходит курс машинного обучения на Хабре! В первых двух частях (1, 2) мы попрактиковались в первичном анализе данных с Pandas и в построении картинок, позволяющих делать выводы по данным. Сегодня наконец перейдем к машинному обучению. Поговорим о задачах машинного обучения и рассмотрим 2 простых подхода – деревья решений и метод ближайших соседей. Также обсудим, как с помощью кросс-валидации выбирать модель для конкретных данных. Напомним, что к курсу еще можно подключиться, дедлайн по 2 домашнему заданию – 13 марта 23:59. Читать дальше →

09 марта, 00:05

McCain on WikiLeaks dump: 'I can't tell you how serious this is'

Sen. John McCain is raising the alarm about WikiLeaks' release of CIA surveillance techniques, and predicting "a real fundamental evaluation of everything we do" in U.S. intelligence.After the anti-secrecy group dumped documents online detailing tactics that intelligence agencies allegedly use to hack computers and phones, the Senate Armed Services chairman said the situation is "really serious" and requires a wholesale evaluation of who is allowed to have access to such classified materials."You are now looking at ways our intelligence agencies do business being revealed. It has all kind of ramifications. It's going to cause a real fundamental evaluation of everything we do, including FISA," McCain said, referring to a foreign surveillance law that expires later this year. "The first priority is: Who’s getting this information? Who’s able to reveal this kind of information?"McCain said that either the CIA has been hacked or a contractor is leaking documents again, reminiscent of when Edward Snowden distributed documents to news organizations revealing the extent of the sweeping NSA data mining programs. The Arizona senator said that either way the government must tighten up access to classified programs."After 9/11, what was the problem? We stove-piped, we never shared information. So the answer was: Share information with everybody. So now we see the ramifications of that. There’s obviously been an overcompensation of the lessons we learned from 9/11," McCain said, referring to intelligence sharing efforts after the terrorist attacks in 2001. "“I can’t tell you how serious this is."He said he did learn something from the document dump, however."I didn’t know, honestly, that I could be watched from my television, even though it’s off," McCain said. "That’s a little scary when you think about it: Particularly given my behavior patterns. Throwing things at the set, yelling and screaming: 'It’s a lie!'"

Выбор редакции
06 марта, 15:58

Открытый курс машинного обучения. Тема 2: Визуализация данных c Python

Привет всем, кто начал проходить курс! Новые участники, добро пожаловать! Второе занятие посвящено визуализации данных в Python. Сначала мы посмотрим на основные методы библиотек Seaborn и Plotly, затем поанализируем знакомый нам по первой статье набор данных по оттоку клиентов телеком-оператора и подглядим в n-мерное пространство с помощью алгоритма t-SNE. Напомним, что к курсу еще можно подключиться, дедлайн по 1 домашнему заданию – 6 марта 23:59. Сейчас статья уже будет существенно длиннее. Готовы? Поехали! Читать дальше →

06 марта, 15:33

Big Data, или Большой брат следит за тобой

В ряду терминов цифрового новояза (blockchain, bitcoin, big data, virtual corporation, peering net и т.д.) термин big data (большие данные) относится к числу немногих, имеющих вполне достоверную дату рождения - 3 сентября 2008 г., когда вышел специальный номер старейшего британского научного журнала Nature, посвящённый поиску ответа на вопрос «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами данных?». Вообще, проблема работы с большими объёмами данных стара как мир. Интерес к ней обострился в 50-60-е гг. прошлого столетия, когда началась эпоха компьютеров, открывших новые возможности в деле накопления, хранения, классификации, обработки и распространения информации. На самом деле big data (БД) - новый бренд, модная упаковка уже существовавшего «товара». Устоявшегося определения БД нет. Иногда определяют БД как совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия. Данная совокупность инструментов и методов имеет самое прямое отношение к решению задач бизнес-разведки (business intelligence). В 2011 году известная международная консалтинговая компания McKinsey опубликовала исследовательский отчёт под названием «Большие данные: следующий рубеж в сфере инноваций, конкуренции и производительности» (Big data: The next frontier for innovation, competition and productivity). Отчёт содержал впечатляющий перечень методов, применяемых в сфере БД: методы класса Data Mining; краудсорсинг; искусственные нейронные сети, сетевой анализ, оптимизация, в том числе генетические алгоритмы; распознавание образов; прогнозная аналитика; имитационное моделирование; пространственный анализ; статистический анализ; визуализация аналитических данных и т.д. и т.п.

Выбор редакции
06 марта, 11:07

Дисциплина, Точность, Внимание к деталям

Введение: В этой статье речь пойдет о работе с Microsoft Analysis Services и немного о хранилище на Microsoft SQL Server, с которым SSAS работает. Мне пришлось столкнуться с не совсем тривиальными вещами и порой приходилось “прыгать через голову” ради того, чтобы сделать то, что от меня хотят. Работать приходилось в перерывах между совещаниями. Порой новый функционал обсуждался дольше, чем разрабатывался. Часто на совещаниях, по несколько раз, приходилось рассказывать одно и тоже. Когда я сказал, что мне сложно совещаться дольше одного часа, на меня посмотрели с удивлением и непониманием. Во многом, благодаря такой обстановке и появились эти, не совсем тривиальные вещи, о которых я решил написать. Читать дальше →

06 декабря 2016, 23:09

Глобальный мировой заговор управляется из Кембриджа

До нас в ЖЖ еще не добрались Великие Манипуляторы общественным мнением, уже перевернувшие и продолжающие переворачивать мировые общественные отношения, поэтому мы можем спокойно и независимо прозябать здесь дальше, но точно знать, что, кто и как устроил переворот в нашем социально сетевом мире.Далее выдержки из расследования Das Magazin о том, как Big Data и пара ученых обеспечили победу Трампу и BrexitТехнологии персонализированной рекламы в сети Facebook повлияли на итоги выборов в США и референдума о выходе Великобритании из ЕС.[об этом говорили и писали многократно -- теперь подобрались к этой теме с адресами-паролями-явками]Новейшие технологии стали универсальным оружием, которое переходит из хороших рук в плохие, но чаще из плохих в плохие.Итак, за победой Трампа и Brexit стоят конкретные люди и фирмы.[возможно, сейчас всё это специально выносят на обсуждение, чтобы указать на искусственный (сфабрикованный) характер победы Трампа и Brexit -- и дать как минимум "моральное право" начать Новый крестовый поход]Итак, фамилии:-- Михал Козинский (обеляют)-- Александр Никс -- глава компании Cambridge Analytica (подставляют))Именно они создавали всё новые и новые подходы к работе с Big Data, прежде всего, в Фейсбуке,а также с другими данными, которые оставляют цифровые следы:-- покупками по кредитке,-- запросами в Google,-- прогулками со смартфоном в кармане,-- каждым лайком в соцсети...Началось всё в британском Кембриджском университете [где же еще?] на кафедре психометрии Козинского.Психометрия (иногда называют психографией) представляет собой попытку измерить человеческую личность.В 1980-е годы два психолога доказали, что каждая черта характера может быть измерена при помощи пяти измерений -- т.н. «большой пятерки»:-- открытость (насколько вы готовы к новому?),-- добросовестность (насколько вы перфекционист?),-- экстраверсия (как вы относитесь к социуму?),-- доброжелательность (насколько вы дружелюбны и готовы к сотрудничеству?)-- и нейротизм (насколько легко вас вывести из себя?).На основе этих измерений можно точно понимать, с каким человеком имеешь дело, в чем его желания и страхи, наконец, как он себя может вести.Проблема была в сборе данных: чтобы что-то понять о человеке, от него требовалось заполнить огромный опросник.Но потом появился интернет, затем Facebook, затем Козинский.Далее идет большая часть, как Козинский сотоварищи собирали и анализировали данные.На кафедре несколько лет собирали анкеты множества испытуемых (проводилась серия различных меняющихся он-лайн тестов).Главное было научиться соизмерять личные ценности испытуемых, а также его пол, возраст и место жительства -- с лайками и репостами в Facebook.Исследователи полагают, что научились это делать.Сразу к выводам группы Козинского:-- анализа 68 лайков в Facebook достаточно, чтобы определить цвет кожи испытуемого (с 95% вероятностью),-- его гомосексуальность (88% вероятности)-- приверженность Демократической или Республиканской партии (85% вероятности)Модель начали совершенствовать с 2012 года.В неё добавили опции установления по Фейсбук:-- интеллектуального развития-- религиозных предпочтений-- пристрастия к алкоголю, курению или наркотикам...-- развелись ли родители испытуемого до его совершеннолетия или нет.Модель смогла лучше чем коллеги по работе стала узнавать личность после десяти изученных лайков.После 70 лайков — лучше, чем друг.После 150 лайков — лучше, чем родители.После 300 лайков — лучше, чем партнер.А дальше утверждается, что можно узнать о человеке лучше, чем он сам.В день, когда Козинский опубликовал статью о своей модели, он получил два звонка: жалобу и предложение работы.Оба звонка были из компании Facebook.Козинский и в Facebook продолжил свои исследования.Козинский и команда могут оценивать людейпо Большой пятерке критериевисходя из их юзерпика, фотографии в соцсетяхпо числу друзейпо различным личным данным -- вплоть до данных датчика движения в смартфоне (размахиваем ли мы рукой с ним... как далеко ездим (коррелирует с эмоциональной нестабильностью).Смартфон сам по себе огромный психологический опросник, который мы вольно или невольно заполняем.На основе данных можно не только создавать психологический портрет, но искать среди этих портретов нужные.Например, обеспокоенные папаши, озлобленные интроверты, не определившиеся с выбором -- это сторонники демократов.Козинский изобрел поисковую систему по людям.Он стал ставить предупреждения на всех своих научных публикациях о том, что его методы «могут нести угрозу благополучию, свободе или даже жизни людей».В начале 2014 года, к Козинскому обратился молодой ассистент профессора по имени Александр Коган [не родственник ли мужа В.Нуланд?]У него был запрос от некой фирмы, заинтересованной в методе Козинского.Предложение состояло в том, чтобы проанализировать путем психометрии 10 млн американских пользователей Facebook.С какой целью, собеседник не сказал из соображений конфиденциальности.Козинский сначала согласился, ведь речь идет о больших суммах в пользу его института, но потом начал медлить с согласием.В итоге, он выжал из Когана название фирмы: SCL, Strategic Communications Laboratories («Лаборатории стратегических коммуникаций»).Сайт фирмы предлагает маркетинг на основе психологии и логики, но ставит фокус на влиянии на исход выборов: «Мы являемся глобальной компанией по управлению предвыборными кампаниями».За SCL стоит сложная корпоративная система, завязанная на «налоговых гаванях».Позднее это было показано в «Панамских документах» и разоблачениях Wikileaks [вот эти компании зря немцы сюда воткнули -- захотели вызвать у читателей кумлятивный эффект].Часть этой системыответственна за кризисы в развивающихся странах,другая помогала НАТО разрабатывать методы психологической манипуляции гражданами Афганистана,Одна из дочерних компаний SCL — та самая Cambridge Analytica -- как раз та маленькая фирма, организовавшая интернет-кампании в поддержку Brexit и Трампа.Das Magazin предполагает, что SCL получила данные о методе Козинского именно из рук Когана (тот мог скопировать или выстроить заново его систему, чтобы затем продать ее политтехнологам из SCL).Козинский незамедлительно разрывает связь с Коганом и информирует о ситуации своего институтского начальника [информатора Козинского вывели из-под удара]. Далее совсем детектив:Коган переезжает в Сингапур, женится и называет себя доктором Спектром.Козинский переезжает в Штаты, в Стэнфорд.А в ноябре 2015 года лидер радикальных сторонников Brexit Найджел Фарадж объявил, что его сайт подключает к работе со своей интернет-кампанией некую компанию, специализирующуюся на Big Data, а именно, Cambridge Analytica.Ключевая компетенция фирмы: политический маркетинг нового типа — так называемый «микротаргетинг» — основанный на «методе океана».Козинский начинает получать множество писем — учитывая слова «Кембридж», «океан» и «аналитика», многие думают, что он как-то с этим связан.Однако только тогда он сам узнает о существовании такой компании.Он просматривает сайт фирмы и выясняет, что его методология используется в большой политической игре.В июле 2016 году, уже после референдума по Brexit, на его голову начинают обрушиваться проклятия.Каждый раз Козинскому приходится оправдываться и доказывать, что к той фирме он не имеет никакого отношения.Прошло десять месяцев.19 сентября 2016 год в нью-йоркском отеле Grand Hyatt проходит ежегодный саммит Concordia, мировой экономический форум в миниатюре.Участвует действующий президент Швейцарии Йоханн Шнайдер-Амманн и другие сильные мира .Перед собравшимися выступает Александр Никс -- директора Cambridge Analytica.Многие уже знают, что перед ними новый digital-специалист Трампа.«Скоро вы будете называть меня Мистер Brexit», — таинственно написал Трамп в своем Twitter несколькими неделями ранее.Действительно, политологи уже писали тогда о сходстве программ у Трампа и у сторонников выхода Великобритании из ЕС.И лишь немногие знали о связи Трампа с малоизвестной Cambridge Analytica.До тех пор digital-кампания Трампа состояла более-менее из одного человека: Брэда Парскейла.Маркетинговый энтузиаст и основатель одного провалившегося стартапа, он создал для Трампа простенький веб-сайт за $1500.70-летнего Трампа едва ли можно назвать человеком цифровой эпохи: на его рабочем столе даже компьютера нет.Как однажды поведала его персональная ассистентка, нет даже такого явления, как электронное письмо от Трампа.Сама ассистентка приучила его к смартфону.Хиллари Клинтон, напротив, опиралась на наследие Барака Обамы как первого «президента соцсетей».У нее были адресные листы Демократической партии, миллионы подписчиков, поддержка Google и Dreamworks.Когда в июне 2016 года Трамп нанял Cambridge Analytica, многие в Вашингтоне скорчили мину.Иностранные чуваки в костюмах, которые ничего в этой стране не понимают...«Это честь для меня, уважаемые дамы и господа, рассказывать вам сейчас о силе Big Data и психометрии в избирательной кампании», — говорил на саммите Никс.«Еще пару месяцев назад Тед Круз был одним из наименее одобряемых кандидатов.Всего 40% электората знали его имя».Все присутствовавш ие помнили историю стремительного взлета сенатора-консерватора Круза, едва ли не самое необъяснимое событие предвыборной гонки.Последний из серьезных оппонентов Трампа внутри Республиканской партии буквально выскочил из ниоткуда.«Ну и как же так произошло?» — вопрошал Никс.В конце 2014 года Ccambridge Analytica вошла в предвыборную кампанию в США именно как советник Теда Круза, которого финансировал миллиардер Роберт Мерсер.До тех пор, утверждал Никс, предвыборные кампании велись по демографическим критериям:«Глупейшая идея, если всерьез об этом подумать: все женщины получают одинаковый месседж, потому что они одного пола, все афроамериканцы получают другой посыл, исходя из их расы». Таким дилетантским способом (и тут даже Никсу можно ничего не добавлять) вела кампанию команда Клинтон: разделить общество на формально гомогенные группы, подсказанные социологами.Теми самыми, что до самого конца отдавали ей победу.И тут Никс щелкает на другой слайд: пять лиц, каждое соответствует определенному профилю личности, Большая пятерка измерений.«Мы в Cambridge Analytica разработали модель, которая позволит высчитать личность каждого совершеннолетнего гражданина США», — продолжает Никс.Маркетинговый успех Cambridge Analytica основан на трех китах.Это психологический поведенческий анализ, основанный на «модели океана», изучение Big Data и таргетированная реклама.Последнее означает персонализированную рекламу, а также такую рекламу, которая максимально близко подстраивается под характер отдельного потребителя.Никс искренне объясняет, как его компания этим занимается (лекция доступна на YouTube).Его фирма закупает персональные данные из всех возможных источников: кадастровые списки, бонусные программы, телефонные справочники, клубные карты, газетные подписки, медицинские данные.В США возможно купить почти любые персональные данные.Если вы хотите узнать, допустим, где живут женщины-еврейки, можно спокойно купить базу данных.Затем Cambridge Analytica скрещивает эти данные со списками зарегистрированных сторонников Республиканской партии и данными по лайкам-репостам в Facebook — вот и получается личный профиль по «методу океана». Из цифровых данных вдруг возникают люди со страхами, стремлениями и интересами — и с адресами проживания.Процедура идентична разработанной Козинским модели.Cambridge Analytica также использует IQ-тесты и прочие небольшие приложения, чтобы получать осмысленные лайки от пользователей Facebook.И компания Никса делает то, от чего предостерегал Козинский: «У нас есть психограммы всех совершеннолетних американцев, это 220 млн человек. Наш контрольный центр выглядит так, прошу внимания», — говорит Никс, щелкая слайды.Появляется карта Айовы, где Тед Круз собрал неожиданно большое число голосов на праймериз.На карте видны сотни тысяч маленьких точек: красные и синие, по партийным цветам.Никс выстраивает критерии. Республиканцы — и синие точки исчезают. Еще не определились с выбором — точек становится меньше.Мужчины — еще меньше, и так далее.В итоге, появляется имя одного человека: с возрастом, адресом, интересами, политическими предпочтениями.Но как Cambridge Analytica обрабатывает отдельных людей своим месседжем?В другой презентации Никс рассказал, как на примере закона о свободном распространении оружия: «Для боязливых людей с высоким уровнем нейротизма мы представляем оружие как источник безопасности. Вот, на левой картинке изображена рука взломщика, который разбивает окно. А на правой картинке мы видим мужчину с сыном, которые идут по полю с винтовками навстречу закату. Очевидно, утиная охота. Эта картинка для богатых консерваторов-экстравертов».Противоречивая натура Трампа, его беспринципность и исходящая из этого целая прорва различных сообщений внезапно сыграла ему на руку: для каждого отдельного избирателя свой месседж.«Трамп действует как идеальный оппортунистский алгоритм, который опирается лишь на реакцию публики», — отмечала в августе математик Кэти О’Нил.В день третьих дебатов между Трампом и Клинтон команда Трампа отправила в соцсети (преимущественно, Facebook) свыше 175 тыс. различных вариаций посланий.Они различались лишь в мельчайших деталях, чтобы максимально точно психологически подстроиться под конкретных получателей информации: заголовки и подзаголовки, фоновые цвета, использование фото или видео в посте.Филигранность исполнения позволяет сообщениям находить отклик у мельчайших групп населения, пояснил Das Magazin сам Никс: «Таким способом мы можем дотянуться до нужных деревень, кварталов или домов, даже до конкретных людей».В квартале Маленький Гаити в Майами была запущена информация об отказе Фонда Клинтон участвовать в ликвидации последствий землетрясения в Гаити — чтобы разубедить жителей отдавать свои голоса Клинтон.Это было еще одной целью: удержать электорат Клинтон (например, сомневающихся леваков, афроамериканцев и молодых девушек) от урны для голосования, «подавлять» их выбор, по выражению одного из сотрудников Трампа. Использовались и так называемые «темные посты» Facebook: платные объявления посреди ленты новостей, которые могли попадаться только определенным группам лиц. Например, афроамериканцам показывали посты с видео, на котором Клинтон сравнивала чернокожих мужчин с хищниками.Хиллари Клинтон оказалась одной из жертв антирекламы Cambridge Analytica«Мои дети не смогут больше объяснить, что значит рекламный плакат с одинаковым сообщением для всех и каждого», — завершает Никс свое выступление на саммите Concordia, благодарит за внимание и спускается со сцены.Насколько американское общество в данную конкретную минуту обрабатывается специалистами Трампа, сказать трудно, ведь они крайне редко атакуют на центральных телеканалах, а чаще всего используют социальные сети и цифровое ТВ. И пока команда Клинтон, работавшая по лекалам социологов, пребывает в летаргии, в Сан-Антонио, где располагается «цифровой штаб» Трампа, возникает, по словам корреспондента Bloomberg Саши Иссенберга, «вторая штаб-квартира». Всего дюжина сотрудников Cambridge Analytica получила от Трампа в июле $100 тыс., в августе еще $250 тыс., в сентябре еще $5 млн. По подсчетам Никса, общая сумма оплаты услуг составила $15 млн.Но и проводимые мероприятия тоже радикальны: с июля 2016 года волонтеры кампании Трампа получили приложение, которое подсказывает политические предпочтения и личностные типы жителей того или иного дома. Соответственно, волонтеры-агитаторы модифицировали свой разговор с жителями исходя из этих данных. Обратную реакцию волонтеры записывали в это же приложение — и данные отправлялись прямиком в аналитический центр Cambridge Analytica.Фирма выделяет у американских граждан 32 психотипа, сконцентрировавшись лишь на 17 штатах. И как Козинский выяснил, что мужчины-поконники косметики MAC скорее всего являются гомосексуалами, в Cambridge Analytica доказали, что приверженцы американского автопрома однозначно являются потенциальными сторонниками Трампа. Помимо прочего, подобные открытия помогли самому Трампу понять, какие послания где лучше всего применять. Решение предвыборного штаба сконцентрироваться в последние недели на Мичигане и Висконсине было принято на основе анализа данных. Кандидат стал моделью применения системы.Но насколько велико было влияние психометрии на результат выборов?Cambridge Analytica не спешит предъявлять доказательства успешности своей кампании.Вполне возможно, что это вообще вопрос без ответа.Хотя вот, есть один факт: благодаря поддержке Cambridge Analytica Тед Круз превратился из ничего в серьезнейшего конкурента Трампа на праймериз.Вот рост голосов сельских жителей.Вот сокращение электоральной активности афроамериканцев.Даже тот факт, что Трамп потратил на проект так мало денег, может говорить об эффективности персонализированного продвижения. И даже то, что он пустил три четверти рекламного бюджета в цифровую сферу. Facebook превратился в совершенное оружие и лучшего помощника на выборах, как написал в Twitter один из сподвижников Трампа. К слову, в Германии антиэлитарная «Альтернатива для Германии» имеет в Facebook больше подписчиков, чем ведущие партии ХДС и СДПГ вместе взятые.Кроме того, ни в коей мере нельзя утверждать, что социологи, статистики, проиграли выборы, потому что сильно ошиблись со своими прогнозами. Верно обратное: статистики выиграли, но лишь те, что использовали новейшие методы. Шутка истории: Трамп постоянно критиковал эту науку, но выиграл во многом благодаря ней.Второй победитель — компания Cambridge Analytica. Издатель главного консервативного рупора Breitbart Стив Бэннон входит также в совет директоров этой фирмы. Недавно он был назначен старшим стратегом в команде Трампа. Марион Марешаль Ле Пен, активистка французского «Национального фронта» и племянница лидера партии, уже радостно сообщила о сотрудничестве с компанией, на внутреннем корпоративном видео которой изображено совещание по теме «Италия». По словам Никса, сейчас им заинтересованы клиенты со всего мира. Уже были запросы на сотрудничество из Швейцарии и Германии.тыцМари Ле Пен хочет стать следующим клиентом Cambridge Analytica«Нет, — говорит Козинский. — Тут нет моей вины. Это не я соорудил бомбу, я лишь показал, что они существуют».

06 июля 2016, 13:17

Поисковые системы: Google vs Яндекс

Гости Игорь Ашманов, управляющий партнёр компании «Ашманов и партнёры», Сергей Панков, генеральный директор Ingate Digital Agency, Дмитрий Завалишин, основатель и генеральный директор DZ Systems Подпишитесь на канал РБК: http://www.youtube.com/user/tvrbcnews?sub_confirmation=1 ------------------------ Получайте новости РБК в социальных сетях: Facebook: https://www.facebook.com/rbc.ru Twitter: https://twitter.com/ru_rbc ВКонтакте: https://vk.com/rbc Одноклассники: http://ok.ru/rbc

14 октября 2015, 12:01

На пути к победе в информационной войне

Р.Смирнов в заметке "Коллективное несознательное" приводит примеры топорной работы зарубежного информационного интернационала, которые дают надежду на нашу победу в информационной войнеМногие спрашивают типа, а почему такие тексты забористые.  Отвечаю - сбиваю прицел мозговым дронам ).У нас в России есть одна конторка с офисом на самой дорогой улице мира в домике под номером десять.Вот какой мозговой БПЛА у них есть для публики:PL Platform - Уникальная распределенная платформа сбора, многофакторного анализа и хранения больших массивов данных соцмедиа и онлайн-СМИ. В настоящий момент по социальным медиа идет сбор на русском и еще нескольких языках, возможно масштабирование по языкам. По онлайн-СМИ сбор идет на любых языках.PL Platform хранит архив свыше 20 млрд. сообщений (с 2012 года), ежедневные поступления – около 50 млн. сообщений в сутки.или можете ознакомиться с презентацией относительно старых проектов.http://www.dialog-21.ru/adx/aspx/adxGetMedia.aspx?DocID=2244451e-1bb8-4240-892a-9f5030fe51f6Вот еще их продукт - http://eurekaengine.ru/demo - осуществляющий автоматическое определение отношения текста к любым понятиям.Непрерывно сканируют все социальные сети, форумы, блоги и т.д. на предмет "отношений" т.е. пословица про слово воробей стала как нельзя достоверной.По большому счету это так игрушки.  Если Вы думаете, что не анализируется все, вплоть до распознанных разговоров по мобильному и сообщений, то серьезно ошибаетесь.У взрослых дядь, по образцу которых она делалась - тема уже лет 20 как поставлена на поток, не только для спецуры, но даже и для обычных интересующихся доступы к "коллективному бессознательному" продаются. Юнг обзавидуется.Вот например официальный партнер фейсбука продающий "ключи" к оному - http://datasift.com/Его клиенты:Среди них есть наш старый знакомый LexisNexis.  Короче, как и все в Pax American "бессознательное" это тоже бизнес.Дело не в интернете он лишь облегчает процесс.Наивно полагать, что методики моделирования и управления в совокупности с мощью "денег" не справятся с какими нибудь региональными "ментальными эгрегорами" типа уральского, при отсутствии сопротивления ( позитивный пример которого - Сергей Колясников).Силовики, СМИ, университеты, религиозные, общественные деятели, вопрос только в "акторах" и минимизации ресурсов для достижения цели, ну и самой цели конечно.На примере украины прекрасно видно, как ломается ментальная основа и как можно заставить нормальных людей убивать себе подобных фактически за просто так.Послушное блеяние европеиодов так же один из продуктов деятельности машины запущенной римским клубом (а может и раньше).Честно Вам скажу друзья, я эту математическую хрень не люблю, хотя в нее и не плохо могу, так как считаю, что подобное вмешательство в естественное человеческое уничтожает скажем так божественную искру, а денежно-ментально-цифровое рабство ничуть не лучше той языческой гадости, что была в римской империи.  Тем более, что в основе нового миропорядка отнюдь не атеистический моральный кодекс строителей коммунизма, а штуки гораздо менее атеистические и не приятные. Вскользь прошелся здесь.Также не испытываю особо сильного восторга по поводу курса нашего правительства на интеграцию населения России в эту новую "глобальность", но глядя на некоторые шаги руководства остается надежда на то, что все закончится хорошо. Поживем, как говорится, увидим.Личный же рецепт прост - патриотическое сознание и критическое мышление.Посмотрите каким российским персонажам раздали verified статусы в фейсбуке, вслед за украинскими, где его повесили всем вплоть до командиров батальонов и персонажам вроде Геращенко.Россия все verified аккаунты:https://www.facebook.com/navalnyhttps://www.facebook.com/mikhailkhodorkovskyhttps://www.facebook.com/nakhim.shifrinhttps://www.facebook.com/slobodin.mikhailhttps://www.facebook.com/toloknohttps://www.facebook.com/Damiankudriavtsevhttps://www.facebook.com/nossikhttps://www.facebook.com/sindeevahttps://www.facebook.com/maria.lirainhttps://www.facebook.com/borovoihttps://www.facebook.com/andrey.loshakhttps://www.facebook.com/tintorerohttps://www.facebook.com/skuznhttps://www.facebook.com/krasovkinhttps://www.facebook.com/alena.vladimirskayahttps://www.facebook.com/varfolomeevОсобянчком стоят:https://www.facebook.com/ivan.zassourskyhttps://www.facebook.com/Rasstrigahttps://www.facebook.com/tina.kandelakiОтдельно выданы "медальки" Доренке и буддисту Засурскому, с Тиной Какделаки.  В виду бОльшей адекватности оных попробую поинтересоваться о физическом механизме получения "метки".Даже не разбирающийся в сортах политических деликатесов человек, глядя на этот список патентованной "совести нации", может сделать выводы о назначении "сети", соответственно совет - всегда мойте с мылом руки и мозги после фб.Подытожу - в целом мое мнение, не смотря на бешеную медийную активность клоунов - на выходе пшик, типа как с медузой, "переформатирование"русской шматрицы топорное.Удивляюсь, как и кто им еще что то платит, РИАН кладет их на лопатки одной левой, пока кладет.

03 сентября 2015, 11:34

Когнитивная система IBM Watson: принципы работы с естественным языком

IBM Watson — одна из первых когнитивных систем в мире. Эта система умеет очень многое, благодаря чему возможности Watson используются во многих сферах — от кулинарии до предсказания аварий в населенных пунктах. В общем-то, большинство возможностей Watson не являются чем-то уникальным, но в комплексе все эти возможности представляют собой весьма мощный инструмент для решения разнообразных вопросов. Например — распознавание естественного языка, динамическое обучение системы, построение и оценка гипотез. Все это позволило IBM Watson научиться давать прямые корректные ответы (с высокой степенью достоверности) на вопросы оператора. При этом когнитивная система умеет использовать для работы большие массивы глобальных неструктурированных данных, Big Data. Каковы основные принципы работы IBM Watson с языком? Об этом — в продолжении. Читать дальше →

16 июля 2015, 20:27

Palantir, мафия PayPal, спецслужбы, мировое правительство

«Лучший способ избавиться от дракона — это иметь своего собственного» На Хабре нет ни одного упоминания о Palantir`е, в русской Википедии об этом проекте нет статьи, Mithgol молчит — что-то идет не так. Или так. А между тем Palantir стала второй крупнейшей частной компанией Кремниевой Долины с оценкой в 20 000 000 000$ (уступив Uber). Среди прочих заслуг Palantir`а — раскрытие крупных китайских разведывательных операций Ghostnet и Shadow Network. Журналист: — В «Википедии» говорится, что вы входите в управляющий комитет Бильдербергского клуба. Правда ли это, и если да, чем вы там занимаетесь? Организуете тайное мировое господство? Питер Тиль: — Это правда, хотя все не до такой степени тайно или секретно, чтобы я не мог вам рассказать. Суть в том, что ведется хороший диалог между разными политическими, финансовыми, медиа- и бизнес-лидерами Америки и Западной Европы. Никакого заговора нет. И это проблема нашего общества. Нет секретного плана. У наших лидеров нет секретного плана, как решить все наши проблемы. Возможно, секретные планы – это и плохо, но гораздо возмутительнее, по-моему, отсутствие плана в принципе. Приходится собирать информацию о Palantir`е по крохам. И такая жирная кроха прячется в книге Питера Тиля «От нуля к единице» (хотя в этой книге множество намеков и информации между строк, так же как в легендарном курсе и его переводе на Хабре, спасибо zag2art). Питер Тиль: Цель, которую я ставил перед собой, читая стэнфордский курс о стартапах и предпринимательстве, заключалась в том, чтобы донести все те знания о бизнесе, которые я приобрел за последние 15 лет в Кремниевой долине как инвестор и предприниматель, собрать их воедино. С книгой то же самое. Надеюсь, благодаря этой статье и комментам хабрачитателей, положение дел относительно Palantir`а станет чуточку яснее. (Есть многомиллиардный рынок, связанный с аналитикой и ИБ, а мы ничего про него не знаем.) Читать дальше →