• Теги
    • избранные теги
    • Разное487
      • Показать ещё
      Компании819
      • Показать ещё
      Страны / Регионы172
      • Показать ещё
      Международные организации47
      • Показать ещё
      Издания93
      • Показать ещё
      Люди109
      • Показать ещё
      Формат26
      Показатели19
      • Показать ещё
      Сферы10
Выбор редакции
24 мая, 17:24

Упущенные возможности BigData

О том, что за BigData помноженной на искусственный интеллект стоит невероятное будущее написано уже чуть ли не больше, чем собрание сочинений братьев Стругацких и Жуля Верна вместе взятых. Все они, и не совсем без основательно, утверждают, что собранные огромные массивы данных, обработанные с помощью, например, Deep Learning смогут уже сегодня выявить всех мошенников, предотвратить сомнительные сделки и предсказать самые высокодоходные рынки. Сама же по себе финансовая отрасль станет полностью автоматизированной под управлением мудрого искусственного интеллекта. Наверное, так и будет до некоторой степени. Уже сегодня степень автоматизации достигла такого уровня, который еще 10 лет назад казался фантастикой. Все так… Но, как известно, «мелочи» могут привнести множество сюрпризов. Одной из таких мелочей является тот факт, что львиная доля всех данных, которые можно и нужно было бы использовать в задачах борьбы с мошенничеством, прогнозированием рынков представляют собой текстовые данные. Количество ежедневно порождаемых письменных, видео и других данных составляет миллиарды строк, анализ которых с помощью операторов практически бесполезен. Кто-то может, поспорить, что все не так и большинство данных представляют собой обычные таблицы, которые хорошо обрабатываются статистическими методами. И, казалось бы, он будет прав. Банки из TOP-30 рапортуют о широком использовании BigData. Читать дальше →

Выбор редакции
24 мая, 07:16

Карта артистов, неуклюжий поиск связей в данных и как можно изобрести велосипед

Недавно смотрел серию видео популяризатора математики. Там он пытается рассказывать про математический анализ и линейную алгебру немного с позиции человека, который «как бы» изобрел бы ее с нуля. То есть пытается делать доступными простые и понятые визуализации относительно сложных концепций, как бы объясняя их с позиции человека, который как будто бы придумал это впервые. Относительно недавно читал статью на Хабре про unsupervised learning и увидел там раздел про Affinity Propagation. Как оказалось, мы использовали именно этот метод кластерного анализа чисто интуитивно, сами того не ведая. TLDR для данной статьи. Если хотите интерактивную визуализацию, проследуйте сюда. В данной визуализации в виде графа показаны связи между музыкальными жанрами ~25,000 самых популярных артистов мира, причем размер кругляшка показывает популярность данного жанра, а размер ребра графа — силу связи. Читать дальше →

Выбор редакции
23 мая, 16:05

Derwent Innovation - новое имя Thomson Innovation, отражающее гордое наследие компании

Clarivate Analytics инвестирует в будущее Derwent, представляя новые наборы для интеллектуального анализа данных

Выбор редакции
23 мая, 11:58

[Перевод] 8 навыков, необходимых в профессии Data Scientist

Светлана Шаповалова, редактор блога «Нетологии», адаптировала статью Dave Holtz, в которой он рассказал о восьми навыках, которые помогут начать карьеру Data Scientist. Интересна профессия Data Scientist? Самое время начать её изучать: Томас Дэвенпорт и Дж. Патил, известные лидеры области, в статье для Harvard Business Review назвали Data Scientist «самой желанной профессией XXI века». Но как стать дата-сайентистом? Если верить большинству источников, создастся впечатление, что понадобится, как минимум, ученая степень в самых разных областях: от разработки программного обеспечения, обработки данных, работы с базами данных и статистики до машинного обучения и визуализации данных. Читать дальше →

Выбор редакции
22 мая, 18:02

Как стать специалистом по Data science: итоги открытого семинара в Университете ИТМО

16 мая в Университете ИТМО состоялся семинар, посвященный теме машинного обучения. Приглашенный лектор, заведующий кафедрой высокопроизводительных компьютерных технологий Уральского федерального университета Андрей Созыкин, рассказывал о профессии специалиста по Data science и направлениях развития этой сферы в ближайшем будущем. В сегодняшнем материале — выдержки из интервью с лектором и рассказ о том, что нужно знать и уметь будущему специалисту по работе с данными. Читать дальше →

Выбор редакции
18 мая, 13:49

Открытый курс машинного обучения. Тема 10. Градиентный бустинг. Часть 1

Всем привет! Настало время пополнить наш с вами алгоритмический арсенал. Сегодня мы основательно разберем один из наиболее популярных и применяемых на практике алгоритмов машинного обучения — градиентный бустинг. Наша задача — основательно разобраться в бустинге, поэтому статья разбита на 2 части: сегодня мы разберем основную теорию алгоритма, а через 2 недели — практику. О том, откуда у бустинга растут корни и что на самом деле творится под капотом алгоритма — в нашем красочном путешествии в мир бустинга под катом. Рванули! Читать дальше →

Выбор редакции
18 мая, 06:34

Нейрокурятник часть 2: про бота, который постит фотографии

Простейшее работающее решение для информирования о событиях в курятнике в режиме реального времени. И еще немного болтовни о том, почему надо браться за задачи и изучение нового, даже если у вас недостаточно знаний. Статьи про нейрокурятник Заголовок спойлера Вступление про обучение себя нейросетям Железо, софт и конфиг для наблюдения за курами Бот, который постит события из жизни кур — без нейросети Разметка датасетов Параллельное участие в соревнованиях, визуализации внутренностей нейросетей, развитие архитектур моделей Работающая модель для распознавания кур в курятнике Читать дальше →

Выбор редакции
17 мая, 13:47

CRISP-DM: проверенная методология для Data Scientist-ов

Постановка задач машинного обучения математически очень проста. Любая задача  классификации, регрессии или кластеризации – это по сути обычная оптимизационная задача с ограничениями. Несмотря на это, существующее многообразие алгоритмов и методов их решения делает профессию аналитика данных одной из наиболее творческих IT-профессий. Чтобы решение задачи не превратилось в бесконечный поиск «золотого» решения, а было прогнозируемым процессом, необходимо придерживаться довольно четкой последовательности действий. Эту последовательность действий описывают такие методологии, как CRISP-DM. Методология анализа данных CRISP-DM упоминается во многих постах на Хабре, но я не смог найти ее подробных русскоязычных описаний и решил своей статьей восполнить этот пробел. В основе моего материала – оригинальное описание и адаптированное описание от IBM. Обзорную лекцию о преимуществах использования CRISP-DM можно посмотреть, например, здесь. * Crisp (англ.) — хрустящий картофель, чипсы Читать дальше →

Выбор редакции
17 мая, 12:04

[Из песочницы] Анализ взаимосвязи навыков с помощью графов в R

Интересно, но такая область как профессиональное развитие остается немного в стороне от шума из-за data science. Стартапы в сфере HRtech только начинают наращивать обороты и увеличивать свою долю, замещая традиционный подход в сфере работы с профессионалами или, теми, кто хочет стать профессионалом. Сфера HRtech очень разнообразна и включает в себя автоматизацию найма сотрудников, развитие и коучинг, автоматизацию внутренних HR процедур, отслеживание рыночных зарплат, трекинг кандидатов, сотрудников и многое другое. Данное исследование помогает с помощью методов анализа данных ответить на вопрос как взаимосвязаны навыки, какие есть специализации, какие навыки более популярны, а какие навыки следует изучить следующим. Читать дальше →

Выбор редакции
16 мая, 11:32

Многорукий бандит в задаче поиска объектов в видеопотоке

На Хабре уже неоднократно затрагивалась тема применения так называемых “бандитов” для интеллектуального анализа данных. В отличии от уже привычного обучения машин по прецедентам, которое сплошь и рядом применяется в задачах распознавания, многорукий бандит применяется для построения в некотором смысле “рекомендательных” систем. На Хабре уже очень подробно и доступно рассказано о идее многорукого бандита и применимости ее к задаче рекомендации интернет-контента. Мы же в своем очередном посте хотели рассказать вам о симбиозе обучения по прецедентам и обучения с подкреплением в задачах распознавания видеопотока. Читать дальше →

Выбор редакции
16 мая, 10:05

На страх параноикам: куда нас привела разработка системы аналитики для борьбы с промшпионажем

У одного из наших заказчиков появился довольно интересный запрос, связанный с работой контрразведки на предприятии. Цель — чтобы более чем дорогую (в том числе для государства) информацию не выносили наружу. Идея реализации — сбор всех возможных открытых данных о сотрудниках и выявление среди них «казачков» по шаблонам поведения. Собственно, это и раньше делали безопасники вручную, но теперь предлагалось применить хороший дата-майнинг. А дальше стало жутковато: мы поняли, как много можем узнать друг о друге, используя всего лишь открытые данные. Начиная с промышленного шпионажа и заканчивая личными отношениями на работе. Полезло столько всего, что нам чуть было не порезали публикацию этого поста. Да и порезали бы, если бы полезных «гражданских» применений не оказалось бы в разы больше. Читать дальше →

Выбор редакции
15 мая, 14:18

Дисциплина, точность, внимание к деталям, часть вторая

Введение В этой статье я продолжу рассказ о своем опыте работы с Microsoft Analysis Services. В дополнение к предыдущей статье, я хочу написать про нестандартные решения, которые были сделаны в последнем проекте. Эти решения более тесно сблизили меня с Microsoft Analysis Services, я стал больше его уважать и делать с его помощью то, что ранее мне казалось невероятным. Читать дальше →

Выбор редакции
15 мая, 08:30

Проблемы современного Data Science

Привет, Хабр! В последнее время все чаще приходится наблюдать, что ожидания работодателей и потенциальных ученых по данными сильно отличаются. Компания, инвестируя в новые разработки в первую очередь ждет возврат на инвестиции, а не очередную модель. Специалист же, окончивший всевозможные курсы ждет на вход чистые и понятные данные, а на выходе хотел бы отдать модель прикрепив к ней метрики качества. А дальше «пусть менеджеры разбираются», как это все будет встроено в процесс и как именно полученная модель будет использоваться. В результате возникает пропасть и непонимание между бизнесом и учеными. По факту оказывается, что модели сами по себе никому не нужны, а на деле приходится заниматься очень большим количеством рутинных задач. Хотелось бы на обобщенных примерах (все совпадения с реальной жизнью случайны) показать, какие же на самом деле трудности приходится преодолевать, чтобы принести работодателю деньги. Наверное, после этого в аналитику данных люди будут идти более осознанно, попутно получая нужные для работы навыки, а не изучая очередную статью про алгоритм. Читать дальше →

Выбор редакции
12 мая, 16:39

New Info About Pokémon GO's Upcoming Raids Suggests Two Possibilities

New leaked info from a Pokemon GO data mine gives further clues about what the game's new mystery "raids" might be, and there are two distinct possibilities.

Выбор редакции
12 мая, 13:59

Метрики в задачах машинного обучения

Привет, Хабр! В задачах машинного обучения для оценки качества моделей и сравнения различных алгоритмов используются метрики, а их выбор и анализ — непременная часть работы датасатаниста. В этой статье мы рассмотрим некоторые критерии качества в задачах классификации, обсудим, что является важным при выборе метрики и что может пойти не так. Читать дальше →

Выбор редакции
11 мая, 14:20

Введение в OpenCV применительно к распознаванию линий дорожной разметки

Привет, Хабр! Публикуем материал выпускника нашей программы Deep Learning и координатора программы по большим данным, Кирилла Данилюка о его опыте использования фреймворка компьютерного зрения OpenCV для определения линий дорожной разметки. Читать дальше →

11 мая, 14:10

Cleaning Out The Factor Zoo

The explosion of financial research in recent years has uncovered an expanding assortment of alpha-generating possibilities that presumably offer a shortcut for enhancing returns over and above a market index. But as a growing list of studies reminds, you can drive a bus through the gap between the reported laundry list of factors and those […]

09 мая, 02:06

Is history cyclical?, by Scott Sumner

I just finished reading Tyler Cowen's new book, "The Complacent Class." Tyler is really good at bringing together lots of seemingly disparate trends and finding a common underlying theme. Many (but not all) of the anecdotes in the book will seem familiar to readers that are well read on current events, but if you are like me then you may not have noticed how they all relate to a single underlying theme. That's Tyler's special talent In the final chapter Tyler looks to the future, and this is the part of the book that I found the least convincing. In this chapter, Tyler presents a sort of cyclical view of history. Before getting into the details, let's stipulate that history is cyclical in the sense that good times are followed by bad times, where "bad times" are defined as less good times than the previous good times. Thus when bad things happen, such as 9/11, Iraq and the Great Recession, we might be justified in retrospectively labeling the 1990s as "good times." I have no problem with that sort of claim, but it's almost tautological. Of course Tyler has bigger fish to fry, and extends this idea in a number of interesting directions. This is where I have some reservations. On page 198, Tyler refers to a return of the cyclical perspective to macroeconomics. He seems particularly sympathetic to Minsky's claim that long periods of stability lead to excessive risk taking, which sows the seeds of the next economic/financial crisis. While Tyler doesn't make this specific argument, some people worry that a Fed policy that produces short-term stabilization might do so at the cost of bigger crises down the road. I'm skeptical of the view that stability leads to behavior that makes the economy more unstable in the long run. If that were true, and if bankers were rational, then they would tighten up on loan standards after a long period of stability. I think we all agree that they do not do so. In my view that's because long periods of stability do not increase the risk of future depressions, whereas my opponents would probably cite some behavioral economics research and then argue that bankers don't become more cautious after long periods of stability because they are irrational. The idea that history is cyclical is closely related to some similar ideas in economics and finance, such as the claim that recessions occur at regular frequencies, and the idea that the asset markets are prone to repeated cycles of bubbles and busts. Because America has never gone more than 10 years without a recession, it seems logical to assume that the longer we go without a recession, the more likely we'll experience one in the near future. But business cycle research doesn't seem to back up that intuition; instead the business cycle is more like a random walk. And when we look around the world, we see other countries with economies that are similar to the US, which have gone two or more decades without a recession. (26 years for Australia.) I suppose Australia will eventually have another recession, but I don't see any reason why it's more likely to occur next in Australia than in America or the UK. Because the human eye likes to impose order on random processes, a graph of the S&P500 looks sort of cyclical. But again, studies show that stock price movements are fairly random, albeit perhaps not a complete random walk. In fact, when a market has recently been less volatile, the odds are that it will continue to be less volatile than usual, at least in the near future. [Today Tyler linked to a study that questions previous "market anomaly" studies. Some say the problem is data mining, but in a sense it's even deeper, a lack of understanding of what "statistical significance" actually means.] Instead of stability and complacency leading to the Great Recession, I see the real problem as being government created moral hazard and poorly thought out monetary policy. That's not to deny that complacency plays some role; I imagine that policymakers are less likely to shift policy when it seems to have been successful. But I believe that moral hazard is much more likely to lead to excessive risk taking than stability. Why do I believe that? Because moral hazard should lead to socially excessive risk taking, whereas stability should not. To overcome that strong theoretical presumption I need hard evidence. Tyler also considers other types of dangers, such as war. He is skeptical of sunny forecasts of "the end of history" or Steven Pinker's claim that the planet is becoming steadily less violent. I'm a bit more sympathetic to those optimistic views, but on the other hand the exceptions are so large (for instance WWI and WWII) that it's probably best we take Tyler's perspective and spend more time worrying about "black swans". I certainly won't live long enough to see whether Pinker's conjecture is accurate, but I might live long enough to see it refuted in the eyes of most people Here's an analogy. I think it's quite possible that in 50 years, 1985 will still be seen as the beginning of a "Great Moderation" in the business cycle. I don't see that hypothesis as having been refuted by 2007-09. But on the other hand, back in 2006 we would all have been much better off if we didn't believe those economists who thought that the Fed had gotten a handle on the business cycle. Here's a graph of RGDP growth rates (year-over-year). Notice that since the Great Recession, RGDP growth has been even less volatile than during the 1960s expansion. The final chapter also discusses Eric Cline's book "1177 B.C.: The Year Civilization Collapsed". The title sounded intriguing, so I read this book last year. Unfortunately, while it was an interesting read, the book did not really present any evidence that life in 1167 BCE was much different from life in 1187 BCE. (If you like this sort of historical speculation, I'd recommend one of Charles Pellegrino's books instead. It may not be more accurate, but it's more entertaining) I'm generally skeptical of most forecasting, including the specific forecasts at the end of The Complacent Class. However Tyler probably didn't intend that we put too much weight on any single forecast, rather that we become less complacent about whether progress was inevitable. If so, then the book will have provided a useful public service. (13 COMMENTS)

Выбор редакции
08 мая, 07:45

Нейрокурятник ч.0. Или нейро- без курятника

Или как правильно закоптиться в нейросети Курочка снесла яичко. Сам процесс выглядит ужасно. Результат — съедобно. Массовый геноцид кур. В этой статье будет описано: Где, как и почему можно получить небольшое качественное самообразование в сфере работы с нейросетями БЕСПЛАТНО, СЕЙЧАС и СОВСЕМ НЕ БЫСТРО; Будет описана логика рекурсии и будут порекомендованы книги по теме; Будет описан список основных терминов, которые нужно разобрать на 2-3 уровня абстракции вниз; Будет приведен ipynb-notebook, который содержит необходимые ссылки и базовые подходы; Будет немного своеобразного саркастичного юмора; Будут описаны некоторые простые закономерности, с которыми вы столкнетесь при работе с нейросетями; Статьи про нейрокурятник Заголовок спойлера Вступление про обучение себя нейросетям Железо, софт и конфиг для наблюдения за курами Разметка датасетов Параллельное участие в соревнованиях, визуализации внутренностей нейросетей, развитие архитектур моделей Работающая модель для распознавания кур в курятнике Бот, который постит события из жизни кур Читать дальше →

Выбор редакции
04 мая, 05:39

Нейрокурятник: часть 1. Установка Raspberry Pi и камеры в курятник и их настройка

Большой брат следит за тобой, птица! Идея пришла давно. У кого-то мысли отапливать курятники майнящими криптовалюты видеокартами (криптокурятник), что прекрасно, несомненно, а у кого-то мысли в распознавании изображений, звуков, в нейросетях и их реальном применении. Когда-то давно читали статью про японца, который помог отцу с сортировкой огурцов; решили, что анализировать, как несутся куры у наших родителей, присылая им отчеты в мессенджер — идея из веселых. Читать дальше →

06 декабря 2016, 23:09

Глобальный мировой заговор управляется из Кембриджа

До нас в ЖЖ еще не добрались Великие Манипуляторы общественным мнением, уже перевернувшие и продолжающие переворачивать мировые общественные отношения, поэтому мы можем спокойно и независимо прозябать здесь дальше, но точно знать, что, кто и как устроил переворот в нашем социально сетевом мире.Далее выдержки из расследования Das Magazin о том, как Big Data и пара ученых обеспечили победу Трампу и BrexitТехнологии персонализированной рекламы в сети Facebook повлияли на итоги выборов в США и референдума о выходе Великобритании из ЕС.[об этом говорили и писали многократно -- теперь подобрались к этой теме с адресами-паролями-явками]Новейшие технологии стали универсальным оружием, которое переходит из хороших рук в плохие, но чаще из плохих в плохие.Итак, за победой Трампа и Brexit стоят конкретные люди и фирмы.[возможно, сейчас всё это специально выносят на обсуждение, чтобы указать на искусственный (сфабрикованный) характер победы Трампа и Brexit -- и дать как минимум "моральное право" начать Новый крестовый поход]Итак, фамилии:-- Михал Козинский (обеляют)-- Александр Никс -- глава компании Cambridge Analytica (подставляют))Именно они создавали всё новые и новые подходы к работе с Big Data, прежде всего, в Фейсбуке,а также с другими данными, которые оставляют цифровые следы:-- покупками по кредитке,-- запросами в Google,-- прогулками со смартфоном в кармане,-- каждым лайком в соцсети...Началось всё в британском Кембриджском университете [где же еще?] на кафедре психометрии Козинского.Психометрия (иногда называют психографией) представляет собой попытку измерить человеческую личность.В 1980-е годы два психолога доказали, что каждая черта характера может быть измерена при помощи пяти измерений -- т.н. «большой пятерки»:-- открытость (насколько вы готовы к новому?),-- добросовестность (насколько вы перфекционист?),-- экстраверсия (как вы относитесь к социуму?),-- доброжелательность (насколько вы дружелюбны и готовы к сотрудничеству?)-- и нейротизм (насколько легко вас вывести из себя?).На основе этих измерений можно точно понимать, с каким человеком имеешь дело, в чем его желания и страхи, наконец, как он себя может вести.Проблема была в сборе данных: чтобы что-то понять о человеке, от него требовалось заполнить огромный опросник.Но потом появился интернет, затем Facebook, затем Козинский.Далее идет большая часть, как Козинский сотоварищи собирали и анализировали данные.На кафедре несколько лет собирали анкеты множества испытуемых (проводилась серия различных меняющихся он-лайн тестов).Главное было научиться соизмерять личные ценности испытуемых, а также его пол, возраст и место жительства -- с лайками и репостами в Facebook.Исследователи полагают, что научились это делать.Сразу к выводам группы Козинского:-- анализа 68 лайков в Facebook достаточно, чтобы определить цвет кожи испытуемого (с 95% вероятностью),-- его гомосексуальность (88% вероятности)-- приверженность Демократической или Республиканской партии (85% вероятности)Модель начали совершенствовать с 2012 года.В неё добавили опции установления по Фейсбук:-- интеллектуального развития-- религиозных предпочтений-- пристрастия к алкоголю, курению или наркотикам...-- развелись ли родители испытуемого до его совершеннолетия или нет.Модель смогла лучше чем коллеги по работе стала узнавать личность после десяти изученных лайков.После 70 лайков — лучше, чем друг.После 150 лайков — лучше, чем родители.После 300 лайков — лучше, чем партнер.А дальше утверждается, что можно узнать о человеке лучше, чем он сам.В день, когда Козинский опубликовал статью о своей модели, он получил два звонка: жалобу и предложение работы.Оба звонка были из компании Facebook.Козинский и в Facebook продолжил свои исследования.Козинский и команда могут оценивать людейпо Большой пятерке критериевисходя из их юзерпика, фотографии в соцсетяхпо числу друзейпо различным личным данным -- вплоть до данных датчика движения в смартфоне (размахиваем ли мы рукой с ним... как далеко ездим (коррелирует с эмоциональной нестабильностью).Смартфон сам по себе огромный психологический опросник, который мы вольно или невольно заполняем.На основе данных можно не только создавать психологический портрет, но искать среди этих портретов нужные.Например, обеспокоенные папаши, озлобленные интроверты, не определившиеся с выбором -- это сторонники демократов.Козинский изобрел поисковую систему по людям.Он стал ставить предупреждения на всех своих научных публикациях о том, что его методы «могут нести угрозу благополучию, свободе или даже жизни людей».В начале 2014 года, к Козинскому обратился молодой ассистент профессора по имени Александр Коган [не родственник ли мужа В.Нуланд?]У него был запрос от некой фирмы, заинтересованной в методе Козинского.Предложение состояло в том, чтобы проанализировать путем психометрии 10 млн американских пользователей Facebook.С какой целью, собеседник не сказал из соображений конфиденциальности.Козинский сначала согласился, ведь речь идет о больших суммах в пользу его института, но потом начал медлить с согласием.В итоге, он выжал из Когана название фирмы: SCL, Strategic Communications Laboratories («Лаборатории стратегических коммуникаций»).Сайт фирмы предлагает маркетинг на основе психологии и логики, но ставит фокус на влиянии на исход выборов: «Мы являемся глобальной компанией по управлению предвыборными кампаниями».За SCL стоит сложная корпоративная система, завязанная на «налоговых гаванях».Позднее это было показано в «Панамских документах» и разоблачениях Wikileaks [вот эти компании зря немцы сюда воткнули -- захотели вызвать у читателей кумлятивный эффект].Часть этой системыответственна за кризисы в развивающихся странах,другая помогала НАТО разрабатывать методы психологической манипуляции гражданами Афганистана,Одна из дочерних компаний SCL — та самая Cambridge Analytica -- как раз та маленькая фирма, организовавшая интернет-кампании в поддержку Brexit и Трампа.Das Magazin предполагает, что SCL получила данные о методе Козинского именно из рук Когана (тот мог скопировать или выстроить заново его систему, чтобы затем продать ее политтехнологам из SCL).Козинский незамедлительно разрывает связь с Коганом и информирует о ситуации своего институтского начальника [информатора Козинского вывели из-под удара]. Далее совсем детектив:Коган переезжает в Сингапур, женится и называет себя доктором Спектром.Козинский переезжает в Штаты, в Стэнфорд.А в ноябре 2015 года лидер радикальных сторонников Brexit Найджел Фарадж объявил, что его сайт подключает к работе со своей интернет-кампанией некую компанию, специализирующуюся на Big Data, а именно, Cambridge Analytica.Ключевая компетенция фирмы: политический маркетинг нового типа — так называемый «микротаргетинг» — основанный на «методе океана».Козинский начинает получать множество писем — учитывая слова «Кембридж», «океан» и «аналитика», многие думают, что он как-то с этим связан.Однако только тогда он сам узнает о существовании такой компании.Он просматривает сайт фирмы и выясняет, что его методология используется в большой политической игре.В июле 2016 году, уже после референдума по Brexit, на его голову начинают обрушиваться проклятия.Каждый раз Козинскому приходится оправдываться и доказывать, что к той фирме он не имеет никакого отношения.Прошло десять месяцев.19 сентября 2016 год в нью-йоркском отеле Grand Hyatt проходит ежегодный саммит Concordia, мировой экономический форум в миниатюре.Участвует действующий президент Швейцарии Йоханн Шнайдер-Амманн и другие сильные мира .Перед собравшимися выступает Александр Никс -- директора Cambridge Analytica.Многие уже знают, что перед ними новый digital-специалист Трампа.«Скоро вы будете называть меня Мистер Brexit», — таинственно написал Трамп в своем Twitter несколькими неделями ранее.Действительно, политологи уже писали тогда о сходстве программ у Трампа и у сторонников выхода Великобритании из ЕС.И лишь немногие знали о связи Трампа с малоизвестной Cambridge Analytica.До тех пор digital-кампания Трампа состояла более-менее из одного человека: Брэда Парскейла.Маркетинговый энтузиаст и основатель одного провалившегося стартапа, он создал для Трампа простенький веб-сайт за $1500.70-летнего Трампа едва ли можно назвать человеком цифровой эпохи: на его рабочем столе даже компьютера нет.Как однажды поведала его персональная ассистентка, нет даже такого явления, как электронное письмо от Трампа.Сама ассистентка приучила его к смартфону.Хиллари Клинтон, напротив, опиралась на наследие Барака Обамы как первого «президента соцсетей».У нее были адресные листы Демократической партии, миллионы подписчиков, поддержка Google и Dreamworks.Когда в июне 2016 года Трамп нанял Cambridge Analytica, многие в Вашингтоне скорчили мину.Иностранные чуваки в костюмах, которые ничего в этой стране не понимают...«Это честь для меня, уважаемые дамы и господа, рассказывать вам сейчас о силе Big Data и психометрии в избирательной кампании», — говорил на саммите Никс.«Еще пару месяцев назад Тед Круз был одним из наименее одобряемых кандидатов.Всего 40% электората знали его имя».Все присутствовавш ие помнили историю стремительного взлета сенатора-консерватора Круза, едва ли не самое необъяснимое событие предвыборной гонки.Последний из серьезных оппонентов Трампа внутри Республиканской партии буквально выскочил из ниоткуда.«Ну и как же так произошло?» — вопрошал Никс.В конце 2014 года Ccambridge Analytica вошла в предвыборную кампанию в США именно как советник Теда Круза, которого финансировал миллиардер Роберт Мерсер.До тех пор, утверждал Никс, предвыборные кампании велись по демографическим критериям:«Глупейшая идея, если всерьез об этом подумать: все женщины получают одинаковый месседж, потому что они одного пола, все афроамериканцы получают другой посыл, исходя из их расы». Таким дилетантским способом (и тут даже Никсу можно ничего не добавлять) вела кампанию команда Клинтон: разделить общество на формально гомогенные группы, подсказанные социологами.Теми самыми, что до самого конца отдавали ей победу.И тут Никс щелкает на другой слайд: пять лиц, каждое соответствует определенному профилю личности, Большая пятерка измерений.«Мы в Cambridge Analytica разработали модель, которая позволит высчитать личность каждого совершеннолетнего гражданина США», — продолжает Никс.Маркетинговый успех Cambridge Analytica основан на трех китах.Это психологический поведенческий анализ, основанный на «модели океана», изучение Big Data и таргетированная реклама.Последнее означает персонализированную рекламу, а также такую рекламу, которая максимально близко подстраивается под характер отдельного потребителя.Никс искренне объясняет, как его компания этим занимается (лекция доступна на YouTube).Его фирма закупает персональные данные из всех возможных источников: кадастровые списки, бонусные программы, телефонные справочники, клубные карты, газетные подписки, медицинские данные.В США возможно купить почти любые персональные данные.Если вы хотите узнать, допустим, где живут женщины-еврейки, можно спокойно купить базу данных.Затем Cambridge Analytica скрещивает эти данные со списками зарегистрированных сторонников Республиканской партии и данными по лайкам-репостам в Facebook — вот и получается личный профиль по «методу океана». Из цифровых данных вдруг возникают люди со страхами, стремлениями и интересами — и с адресами проживания.Процедура идентична разработанной Козинским модели.Cambridge Analytica также использует IQ-тесты и прочие небольшие приложения, чтобы получать осмысленные лайки от пользователей Facebook.И компания Никса делает то, от чего предостерегал Козинский: «У нас есть психограммы всех совершеннолетних американцев, это 220 млн человек. Наш контрольный центр выглядит так, прошу внимания», — говорит Никс, щелкая слайды.Появляется карта Айовы, где Тед Круз собрал неожиданно большое число голосов на праймериз.На карте видны сотни тысяч маленьких точек: красные и синие, по партийным цветам.Никс выстраивает критерии. Республиканцы — и синие точки исчезают. Еще не определились с выбором — точек становится меньше.Мужчины — еще меньше, и так далее.В итоге, появляется имя одного человека: с возрастом, адресом, интересами, политическими предпочтениями.Но как Cambridge Analytica обрабатывает отдельных людей своим месседжем?В другой презентации Никс рассказал, как на примере закона о свободном распространении оружия: «Для боязливых людей с высоким уровнем нейротизма мы представляем оружие как источник безопасности. Вот, на левой картинке изображена рука взломщика, который разбивает окно. А на правой картинке мы видим мужчину с сыном, которые идут по полю с винтовками навстречу закату. Очевидно, утиная охота. Эта картинка для богатых консерваторов-экстравертов».Противоречивая натура Трампа, его беспринципность и исходящая из этого целая прорва различных сообщений внезапно сыграла ему на руку: для каждого отдельного избирателя свой месседж.«Трамп действует как идеальный оппортунистский алгоритм, который опирается лишь на реакцию публики», — отмечала в августе математик Кэти О’Нил.В день третьих дебатов между Трампом и Клинтон команда Трампа отправила в соцсети (преимущественно, Facebook) свыше 175 тыс. различных вариаций посланий.Они различались лишь в мельчайших деталях, чтобы максимально точно психологически подстроиться под конкретных получателей информации: заголовки и подзаголовки, фоновые цвета, использование фото или видео в посте.Филигранность исполнения позволяет сообщениям находить отклик у мельчайших групп населения, пояснил Das Magazin сам Никс: «Таким способом мы можем дотянуться до нужных деревень, кварталов или домов, даже до конкретных людей».В квартале Маленький Гаити в Майами была запущена информация об отказе Фонда Клинтон участвовать в ликвидации последствий землетрясения в Гаити — чтобы разубедить жителей отдавать свои голоса Клинтон.Это было еще одной целью: удержать электорат Клинтон (например, сомневающихся леваков, афроамериканцев и молодых девушек) от урны для голосования, «подавлять» их выбор, по выражению одного из сотрудников Трампа. Использовались и так называемые «темные посты» Facebook: платные объявления посреди ленты новостей, которые могли попадаться только определенным группам лиц. Например, афроамериканцам показывали посты с видео, на котором Клинтон сравнивала чернокожих мужчин с хищниками.Хиллари Клинтон оказалась одной из жертв антирекламы Cambridge Analytica«Мои дети не смогут больше объяснить, что значит рекламный плакат с одинаковым сообщением для всех и каждого», — завершает Никс свое выступление на саммите Concordia, благодарит за внимание и спускается со сцены.Насколько американское общество в данную конкретную минуту обрабатывается специалистами Трампа, сказать трудно, ведь они крайне редко атакуют на центральных телеканалах, а чаще всего используют социальные сети и цифровое ТВ. И пока команда Клинтон, работавшая по лекалам социологов, пребывает в летаргии, в Сан-Антонио, где располагается «цифровой штаб» Трампа, возникает, по словам корреспондента Bloomberg Саши Иссенберга, «вторая штаб-квартира». Всего дюжина сотрудников Cambridge Analytica получила от Трампа в июле $100 тыс., в августе еще $250 тыс., в сентябре еще $5 млн. По подсчетам Никса, общая сумма оплаты услуг составила $15 млн.Но и проводимые мероприятия тоже радикальны: с июля 2016 года волонтеры кампании Трампа получили приложение, которое подсказывает политические предпочтения и личностные типы жителей того или иного дома. Соответственно, волонтеры-агитаторы модифицировали свой разговор с жителями исходя из этих данных. Обратную реакцию волонтеры записывали в это же приложение — и данные отправлялись прямиком в аналитический центр Cambridge Analytica.Фирма выделяет у американских граждан 32 психотипа, сконцентрировавшись лишь на 17 штатах. И как Козинский выяснил, что мужчины-поконники косметики MAC скорее всего являются гомосексуалами, в Cambridge Analytica доказали, что приверженцы американского автопрома однозначно являются потенциальными сторонниками Трампа. Помимо прочего, подобные открытия помогли самому Трампу понять, какие послания где лучше всего применять. Решение предвыборного штаба сконцентрироваться в последние недели на Мичигане и Висконсине было принято на основе анализа данных. Кандидат стал моделью применения системы.Но насколько велико было влияние психометрии на результат выборов?Cambridge Analytica не спешит предъявлять доказательства успешности своей кампании.Вполне возможно, что это вообще вопрос без ответа.Хотя вот, есть один факт: благодаря поддержке Cambridge Analytica Тед Круз превратился из ничего в серьезнейшего конкурента Трампа на праймериз.Вот рост голосов сельских жителей.Вот сокращение электоральной активности афроамериканцев.Даже тот факт, что Трамп потратил на проект так мало денег, может говорить об эффективности персонализированного продвижения. И даже то, что он пустил три четверти рекламного бюджета в цифровую сферу. Facebook превратился в совершенное оружие и лучшего помощника на выборах, как написал в Twitter один из сподвижников Трампа. К слову, в Германии антиэлитарная «Альтернатива для Германии» имеет в Facebook больше подписчиков, чем ведущие партии ХДС и СДПГ вместе взятые.Кроме того, ни в коей мере нельзя утверждать, что социологи, статистики, проиграли выборы, потому что сильно ошиблись со своими прогнозами. Верно обратное: статистики выиграли, но лишь те, что использовали новейшие методы. Шутка истории: Трамп постоянно критиковал эту науку, но выиграл во многом благодаря ней.Второй победитель — компания Cambridge Analytica. Издатель главного консервативного рупора Breitbart Стив Бэннон входит также в совет директоров этой фирмы. Недавно он был назначен старшим стратегом в команде Трампа. Марион Марешаль Ле Пен, активистка французского «Национального фронта» и племянница лидера партии, уже радостно сообщила о сотрудничестве с компанией, на внутреннем корпоративном видео которой изображено совещание по теме «Италия». По словам Никса, сейчас им заинтересованы клиенты со всего мира. Уже были запросы на сотрудничество из Швейцарии и Германии.тыцМари Ле Пен хочет стать следующим клиентом Cambridge Analytica«Нет, — говорит Козинский. — Тут нет моей вины. Это не я соорудил бомбу, я лишь показал, что они существуют».

06 июля 2016, 13:17

Поисковые системы: Google vs Яндекс

Гости Игорь Ашманов, управляющий партнёр компании «Ашманов и партнёры», Сергей Панков, генеральный директор Ingate Digital Agency, Дмитрий Завалишин, основатель и генеральный директор DZ Systems Подпишитесь на канал РБК: http://www.youtube.com/user/tvrbcnews?sub_confirmation=1 ------------------------ Получайте новости РБК в социальных сетях: Facebook: https://www.facebook.com/rbc.ru Twitter: https://twitter.com/ru_rbc ВКонтакте: https://vk.com/rbc Одноклассники: http://ok.ru/rbc

14 октября 2015, 12:01

На пути к победе в информационной войне

Р.Смирнов в заметке "Коллективное несознательное" приводит примеры топорной работы зарубежного информационного интернационала, которые дают надежду на нашу победу в информационной войнеМногие спрашивают типа, а почему такие тексты забористые.  Отвечаю - сбиваю прицел мозговым дронам ).У нас в России есть одна конторка с офисом на самой дорогой улице мира в домике под номером десять.Вот какой мозговой БПЛА у них есть для публики:PL Platform - Уникальная распределенная платформа сбора, многофакторного анализа и хранения больших массивов данных соцмедиа и онлайн-СМИ. В настоящий момент по социальным медиа идет сбор на русском и еще нескольких языках, возможно масштабирование по языкам. По онлайн-СМИ сбор идет на любых языках.PL Platform хранит архив свыше 20 млрд. сообщений (с 2012 года), ежедневные поступления – около 50 млн. сообщений в сутки.или можете ознакомиться с презентацией относительно старых проектов.http://www.dialog-21.ru/adx/aspx/adxGetMedia.aspx?DocID=2244451e-1bb8-4240-892a-9f5030fe51f6Вот еще их продукт - http://eurekaengine.ru/demo - осуществляющий автоматическое определение отношения текста к любым понятиям.Непрерывно сканируют все социальные сети, форумы, блоги и т.д. на предмет "отношений" т.е. пословица про слово воробей стала как нельзя достоверной.По большому счету это так игрушки.  Если Вы думаете, что не анализируется все, вплоть до распознанных разговоров по мобильному и сообщений, то серьезно ошибаетесь.У взрослых дядь, по образцу которых она делалась - тема уже лет 20 как поставлена на поток, не только для спецуры, но даже и для обычных интересующихся доступы к "коллективному бессознательному" продаются. Юнг обзавидуется.Вот например официальный партнер фейсбука продающий "ключи" к оному - http://datasift.com/Его клиенты:Среди них есть наш старый знакомый LexisNexis.  Короче, как и все в Pax American "бессознательное" это тоже бизнес.Дело не в интернете он лишь облегчает процесс.Наивно полагать, что методики моделирования и управления в совокупности с мощью "денег" не справятся с какими нибудь региональными "ментальными эгрегорами" типа уральского, при отсутствии сопротивления ( позитивный пример которого - Сергей Колясников).Силовики, СМИ, университеты, религиозные, общественные деятели, вопрос только в "акторах" и минимизации ресурсов для достижения цели, ну и самой цели конечно.На примере украины прекрасно видно, как ломается ментальная основа и как можно заставить нормальных людей убивать себе подобных фактически за просто так.Послушное блеяние европеиодов так же один из продуктов деятельности машины запущенной римским клубом (а может и раньше).Честно Вам скажу друзья, я эту математическую хрень не люблю, хотя в нее и не плохо могу, так как считаю, что подобное вмешательство в естественное человеческое уничтожает скажем так божественную искру, а денежно-ментально-цифровое рабство ничуть не лучше той языческой гадости, что была в римской империи.  Тем более, что в основе нового миропорядка отнюдь не атеистический моральный кодекс строителей коммунизма, а штуки гораздо менее атеистические и не приятные. Вскользь прошелся здесь.Также не испытываю особо сильного восторга по поводу курса нашего правительства на интеграцию населения России в эту новую "глобальность", но глядя на некоторые шаги руководства остается надежда на то, что все закончится хорошо. Поживем, как говорится, увидим.Личный же рецепт прост - патриотическое сознание и критическое мышление.Посмотрите каким российским персонажам раздали verified статусы в фейсбуке, вслед за украинскими, где его повесили всем вплоть до командиров батальонов и персонажам вроде Геращенко.Россия все verified аккаунты:https://www.facebook.com/navalnyhttps://www.facebook.com/mikhailkhodorkovskyhttps://www.facebook.com/nakhim.shifrinhttps://www.facebook.com/slobodin.mikhailhttps://www.facebook.com/toloknohttps://www.facebook.com/Damiankudriavtsevhttps://www.facebook.com/nossikhttps://www.facebook.com/sindeevahttps://www.facebook.com/maria.lirainhttps://www.facebook.com/borovoihttps://www.facebook.com/andrey.loshakhttps://www.facebook.com/tintorerohttps://www.facebook.com/skuznhttps://www.facebook.com/krasovkinhttps://www.facebook.com/alena.vladimirskayahttps://www.facebook.com/varfolomeevОсобянчком стоят:https://www.facebook.com/ivan.zassourskyhttps://www.facebook.com/Rasstrigahttps://www.facebook.com/tina.kandelakiОтдельно выданы "медальки" Доренке и буддисту Засурскому, с Тиной Какделаки.  В виду бОльшей адекватности оных попробую поинтересоваться о физическом механизме получения "метки".Даже не разбирающийся в сортах политических деликатесов человек, глядя на этот список патентованной "совести нации", может сделать выводы о назначении "сети", соответственно совет - всегда мойте с мылом руки и мозги после фб.Подытожу - в целом мое мнение, не смотря на бешеную медийную активность клоунов - на выходе пшик, типа как с медузой, "переформатирование"русской шматрицы топорное.Удивляюсь, как и кто им еще что то платит, РИАН кладет их на лопатки одной левой, пока кладет.

03 сентября 2015, 11:34

Когнитивная система IBM Watson: принципы работы с естественным языком

IBM Watson — одна из первых когнитивных систем в мире. Эта система умеет очень многое, благодаря чему возможности Watson используются во многих сферах — от кулинарии до предсказания аварий в населенных пунктах. В общем-то, большинство возможностей Watson не являются чем-то уникальным, но в комплексе все эти возможности представляют собой весьма мощный инструмент для решения разнообразных вопросов. Например — распознавание естественного языка, динамическое обучение системы, построение и оценка гипотез. Все это позволило IBM Watson научиться давать прямые корректные ответы (с высокой степенью достоверности) на вопросы оператора. При этом когнитивная система умеет использовать для работы большие массивы глобальных неструктурированных данных, Big Data. Каковы основные принципы работы IBM Watson с языком? Об этом — в продолжении. Читать дальше →

16 июля 2015, 20:27

Palantir, мафия PayPal, спецслужбы, мировое правительство

«Лучший способ избавиться от дракона — это иметь своего собственного» На Хабре нет ни одного упоминания о Palantir`е, в русской Википедии об этом проекте нет статьи, Mithgol молчит — что-то идет не так. Или так. А между тем Palantir стала второй крупнейшей частной компанией Кремниевой Долины с оценкой в 20 000 000 000$ (уступив Uber). Среди прочих заслуг Palantir`а — раскрытие крупных китайских разведывательных операций Ghostnet и Shadow Network. Журналист: — В «Википедии» говорится, что вы входите в управляющий комитет Бильдербергского клуба. Правда ли это, и если да, чем вы там занимаетесь? Организуете тайное мировое господство? Питер Тиль: — Это правда, хотя все не до такой степени тайно или секретно, чтобы я не мог вам рассказать. Суть в том, что ведется хороший диалог между разными политическими, финансовыми, медиа- и бизнес-лидерами Америки и Западной Европы. Никакого заговора нет. И это проблема нашего общества. Нет секретного плана. У наших лидеров нет секретного плана, как решить все наши проблемы. Возможно, секретные планы – это и плохо, но гораздо возмутительнее, по-моему, отсутствие плана в принципе. Приходится собирать информацию о Palantir`е по крохам. И такая жирная кроха прячется в книге Питера Тиля «От нуля к единице» (хотя в этой книге множество намеков и информации между строк, так же как в легендарном курсе и его переводе на Хабре, спасибо zag2art). Питер Тиль: Цель, которую я ставил перед собой, читая стэнфордский курс о стартапах и предпринимательстве, заключалась в том, чтобы донести все те знания о бизнесе, которые я приобрел за последние 15 лет в Кремниевой долине как инвестор и предприниматель, собрать их воедино. С книгой то же самое. Надеюсь, благодаря этой статье и комментам хабрачитателей, положение дел относительно Palantir`а станет чуточку яснее. (Есть многомиллиардный рынок, связанный с аналитикой и ИБ, а мы ничего про него не знаем.) Читать дальше →