• Теги
    • избранные теги
    • Разное521
      • Показать ещё
      Компании812
      • Показать ещё
      Страны / Регионы175
      • Показать ещё
      Международные организации50
      • Показать ещё
      Издания92
      • Показать ещё
      Люди122
      • Показать ещё
      Формат27
      Показатели20
      • Показать ещё
      Сферы12
Выбор редакции
24 июля, 12:59

Поиск по документации InterSystems с помощью технологий iKnow и iFind

В СУБД InterSystems Caché есть встроенная технология работы с неструктурированных данными iKnow, а также технология полнотекстового поиска iFind. Решили разобраться с технологией и заодно сделать что-то полезное. В итоге получился DocSearch — Веб приложение для поиска по документации InterSystems, с использованием технологий iKnow и iFind. Читать дальше →

19 июля, 13:15

Антон Федчин («Одноклассники»): «Я не верю, что мессенджеры могут съесть соцсети»

Руководитель «Одноклассников» Антон Федчин — о текущем состоянии проекта, о будущем мобильных игр в соцсетях, о планах Mail.ru Group по экспансии на рынок мессенджеров и о том, как отразилась на площадке ее блокировка на Украине.

Выбор редакции
18 июля, 16:48

Анализируем карьеру игроков NHL с помощью Survival Regression и Python

Привет, Хабр! Сегодня рассмотрим один из подходов к оценке временного риска, который основан на кривой выживаемости и одноименной регрессии, и применим его к анализу продолжительности карьеры игроков НХЛ. Когда у данного пациента произойдет рецидив? Когда наш клиент уйдет? Ответы на подобные вопросы можно найти с помощью анализа выживания, который может быть использован во всех областях, где исследуется временной промежуток от «рождения» до «смерти» объекта, либо аналогичные события: период от поступления оборудования до его выхода из строя, от начала использования услуг компании и до отказа от них и т.д. Чаще всего данные модели используются в медицине, где необходимо оценить риск летального исхода у больного, чем и обусловлено название модели, однако они также применимы в сфере производства, банковском и страховом секторах. Читать дальше →

Выбор редакции
17 июля, 16:38

[Из песочницы] Как тысячи игроков Eve Online помогают в расшифровке человеческого тела

От переводчика Представляю вашему вниманию перевод статьи Мэта Камена (Matt Kamen) от 28 апреля 2016 года. В статье рассказывается о том, какие возможности могут предоставить и предоставляют многопользовательские игры в решении важных проблем для всего человечества, связанных с необходимостью привлечения большого количества человеческих ресурсов. Credit CCP Games Читать дальше →

Выбор редакции
17 июля, 14:03

Чудесный мир Word Embeddings: какие они бывают и зачем нужны?

Начать стоит от печки, то есть с постановки задачи. Откуда берется сама задача word embedding? Лирическое отступление: К сожалению, русскоязычное сообщество еще не выработало единого термина для этого понятия, поэтому мы будем использовать англоязычный. Сам по себе embedding — это сопоставление произвольной сущности (например, узла в графе или кусочка картинки) некоторому вектору. Читать дальше →

Выбор редакции
17 июля, 09:43

Можно ли уехать из Клинцов? (data mining of blablacar.ru)

Парсинг сайта blablacar.ru и анализ пассажиропотока из г. Клинцы Брянской области с помощью языка программирования R. Читать дальше →

Выбор редакции
13 июля, 14:16

Вуз или техникум: куда поступать, чтобы удачно трудоустроиться и хорошо зарабатывать?

Привет, Хабр! Прошлым летом мы опубликовали статью о результатах мониторинга трудоустройства выпускников вузов. Проект получил активную поддержку от вузов и всех заинтересованных сторон, благодаря чему за прошедший год был проведен ряд улучшений. Во-первых, были собраны и обработаны данные о выпускниках вузов 2014 и 2015 годов. Данные за 2015 год были обработаны и опубликованы буквально несколько дней назад (возможно, кто-то из читателей заметил недавние публикации в СМИ на эту тему). Так что теперь можно анализировать результаты мониторинга сразу за три года, прослеживая динамику показателей. Но об этом мы расскажем подробнее в следующей статье. Во-вторых, были собраны, обработаны и опубликованы на портале spo.graduate.edu.ru данные о выпускниках среднего профессионального образования 2013 и 2014 годов выпуска. Для тех, кто не очень разбирается в официальных терминах, – это выпускники «колледжей», «техникумов» и т.п. Вот о результатах этого мониторинга, а также об их сравнении с результатами мониторинга вузов мы и поговорим в данной статье. Читать дальше →

13 июля, 12:18

The election that's on pace to shatter U.S. spending records

Party officials on both sides agree that the Illinois governor's race could cost more than $300 million. Yes, $300 million.

11 июля, 01:31

России невероятно повезет, если мир пойдет по пути цифровизации

Одним госзаказом цифровую экономику не запустить, дополнительный спрос нужно находить за границей

Выбор редакции
08 июля, 09:41

Чем занимались пиарщики РПЦ в день встречи Путина и Трампа на G20?

В рамках данной статьи мы будем проводить замеры динамики пульсации сущностей в информационном пространстве. Читать дальше →

Выбор редакции
04 июля, 16:20

Видеозаписи с Avito Data Science meetup

Привет всем! Сегодня мы публикуем видеозаписи с митапа для профессионалов Data Science, который прошел в нашем московском офисе 24 июня. Под катом — доклады о построении рекомендательных систем от специалистов из Яндекс.Дзена, OZON.ru и Avito, а также подробные описания решений финалистов нашего конкурса, который прошел на площадке Dataring.ru. И, конечно, награждение его победителей! Читать дальше →

04 июля, 16:19

Цифровизация трейдинга. Часть1 Фатальные заблуждения трейдеров, погружающихся на финансовое дно, и возможный путь спасения

Приветствую обитателей Смарт-лаба.То, что я вам скажу сегодня, возможно вам скажут завтра, но, скорее всего,  в искаженном виде, а  может  и  не  скажут никогда.И не говорите потом, что вас не предупреждали.Миллионы трейдеров (инвесторов) в мире  погружаются на финансовое дно  и  покоятся на нем  из-за  трех  вещей: Вера (ложная) – в  «интуицию», в то, что рынок пойдет в вашу сторону, в торговую систему  на основе традиционных классических  ТА и ФА, использующих примитивные модели финрынка и не имеющих  мощных   автоматических  адаптационных механизмов,  при этом не зная и не понимая, как  говорят математики, что является  главной компонентой  в трейдинге и роли управляющих  латентных переменных на финрынкеДоверие (наивное) –  статистическим данным, отчетам, новостям, аналитикам,  гуру, кумирам и прочим говорящим головам Надежда (напрасная) – снять  приличный (!) потенциал с финансовых  полей  без  специальных синтетических (физико-математических и кибернетических)  знаний.Вера, доверие и надежда -  это химеры в современном трейдинге без  понимания принципов оптимального управления и  математического обоснования.Поэтому многие трейдеры, как поется в одной песне, «… и  в темноте целуют губы, но не те».Все это следствие эффекта когнитивной ригидности и распространенного заблуждения, что  все вокруг  находятся в той же системе координат, в  которой они сами, а  других систем координат  не существует (эффект окукливания).Погружение на финансовое дно — это результат несоответствия  сложности объекта (рынка) и знаний субъекта (трейдера) об этом объекте.  Некоторые даже думают, что со временем они «научатся»  понимать рынок и снимать с него  приличный потенциал.Раньше  может быть  — да, сейчас — нет, и тысячу раз -  нет.Так что же делать, где спасение?Где и как  найти глобальные  направляющие косинусы вектора движения трейдерско-инвесторской мысли?Спасение  -  в цифровизации трейдинга (ЦТ ну или в цифровом   трейдинге, кому как нравится). Вы будете смеяться, но для эффективного трейдинга необходим точный математический  расчет направления движения цены. Эту проблему  решает цифровизация. Цифровизация  трейдинга  это: -         количественный и математически обоснованный  анализ и прогнозирование  на основе вскрытых фундаментальных законов финрынков (инвариантных «неэффективностей») и технологий  Data Mining && Big Data-         реализация  принципов  оптимального управления сложными объектами в нестационарных средах  при построении торговых систем-         автоматизация анализа, прогнозирования и высокоэффективного адаптивного управления позициями с учетом влияния  на    рынок  латентных переменных и четко определяя все его фазы,  освобождая   «оральных» аналитиков от рутинной работы по анализу рынков, часто отражающей их безосновательные фантазии (т.е. аналитика и прогнозы становятся автоматическими,  динамическими и имеющими  математическое обоснование). Реализуют ЦТ  продвинутые Quantitative трейдеры (ПКТ), обладающие совершенно иной ментальностью и набором  специальных знаний.ПКТ никогда  не верят словам и,  как тот старый солдат, «не знают слов любви», у них нет несбыточных надежд на рост или падение финрынков -  они доверяют только аналитическим прогнозирующим  числовым матрицам, выдаваемых алгоритмами управления позициями.Подробнее  о ПКТ и как стать хотя бы маленьким Quantitative трейдером  в следующей части (м.б.).Quaerite et invenietis.Удачи.

04 июля, 06:30

You Want A Picture Of The Future? Imagine A Boot Stamping On Your Face

Authored by John Whitehead via The Rutherford Institute, We have arrived, way ahead of schedule, into the dystopian future dreamed up by such science fiction writers as George Orwell, Aldous Huxley, Margaret Atwood and Philip K. Dick. Much like Orwell’s Big Brother in 1984, the government and its corporate spies now watch our every move. Much like Huxley’s A Brave New World, we are churning out a society of watchers who “have their liberties taken away from them, but … rather enjoy it, because they [are] distracted from any desire to rebel by propaganda or brainwashing.” Much like Atwood’s The Handmaid’s Tale, the populace is now taught to “know their place and their duties, to understand that they have no real rights but will be protected up to a point if they conform, and to think so poorly of themselves that they will accept their assigned fate and not rebel or run away.” And in keeping with Philip K. Dick’s darkly prophetic vision of a dystopian police state—which became the basis for Steven Spielberg’s futuristic thriller Minority Report which was released 15 years ago—we are now trapped into a world in which the government is all-seeing, all-knowing and all-powerful, and if you dare to step out of line, dark-clad police SWAT teams and pre-crime units will crack a few skulls to bring the populace under control. Minority Report is set in the year 2054, but it could just as well have taken place in 2017. Seemingly taking its cue from science fiction, technology has moved so fast in the short time since Minority Report premiered in 2002 that what once seemed futuristic no longer occupies the realm of science fiction. Both worlds—our present-day reality and Spielberg’s celluloid vision of the future—are characterized by widespread surveillance, behavior prediction technologies, data mining, fusion centers, driverless cars, voice-controlled homes, facial recognition systems, cybugs and drones, and predictive policing (pre-crime) aimed at capturing would-be criminals before they can do any damage. All of this has come about with little more than a whimper from a clueless American populace largely comprised of nonreaders and television and internet zombies. But we have been warned about such an ominous future in novels and movies for years. The following films may be the best representation of what we now face as a society. Fahrenheit 451 (1966). Adapted from Ray Bradbury’s novel, this film depicts a futuristic society in which books are banned and serves as an adept metaphor for our obsessively politically correct society where virtually everyone now pre-censors speech. THX 1138 (1970). This is a somber view of a dehumanized society totally controlled by a police state. The people are force-fed drugs to keep them passive, and they no longer have names but only letter/number combinations such as THX 1138. Any citizen who steps out of line is quickly brought into compliance by robotic police equipped with “pain prods”—electro-shock batons. Soylent Green (1973). Set in a futuristic overpopulated New York City, the people depend on synthetic foods manufactured by the Soylent Corporation. The theme is chaos where the world is ruled by ruthless corporations whose only goal is greed and profit. Blade Runner (1982). In a 21st century Los Angeles, human life is cheap, and anyone can be exterminated at will by the police (or blade runners). Based upon a Philip K. Dick novel, this exquisite Ridley Scott film questions what it means to be human in an inhuman world. Nineteen Eighty-Four (1984). The best adaptation of Orwell’s dark tale, this film visualizes the total loss of freedom in a world dominated by technology and its misuse, and the crushing inhumanity of an omniscient state. They Live (1988). John Carpenter’s bizarre sci-fi social satire action film makes an effective political point about the underclass—that is, everyone except those in power—the point being that we, the prisoners of our devices, are too busy sucking up the entertainment trivia beamed into our brains and attacking each other up to start an effective resistance movement. The Matrix (1999). Humanity is at war against technology which has taken the form of intelligent beings, and computer programmer Thomas A. Anderson, secretly a hacker known by the alias “Neo,” is actually living in The Matrix, an illusionary world that appears to be set in the present in order to keep the humans docile and under control. Minority Report (2002). This film poses the danger of technology operating autonomously. Before long, we all may be mere extensions or appendages of the police state—all suspects in a world commandeered by machines. V for Vendetta (2006). This film depicts a society ruled by a corrupt and totalitarian government where everything is run by an abusive secret police. The subtext here is that authoritarian regimes through repression create their own enemies—that is, terrorists—forcing government agents and terrorists into a recurring cycle of violence. Land of the Blind (2006). This dark political satire is based on several historical incidents in which tyrannical rulers were overthrown by new leaders who proved just as evil as their predecessors. All of these films—and the writers who inspired them—understood what many Americans, caught up in their partisan, flag-waving, zombified states, are still struggling to come to terms with: that there is no such thing as a government organized for the good of the people. Even the best intentions among those in government inevitably give way to the desire to maintain power and control at all costs. Eventually, as I point out in my book Battlefield America: The War on the American People, even the sleepwalking masses (who remain convinced that all of the bad things happening in the police state—the police shootings, the police beatings, the raids, the roadside strip searches—are happening to other people) will have to wake up. Sooner or later, the things happening to other people will start happening to us and our loved ones. When that painful reality sinks in, it will hit with the force of a SWAT team crashing through your door, a taser being aimed at your stomach, and a gun pointed at your head. And there will be no channel to change, no reality to alter, and no manufactured farce to hide behind. As George Orwell warned, “If you want a picture of the future, imagine a boot stamping on a human face forever.”

Выбор редакции
01 июля, 13:13

[Перевод] Делаем data science-портфолио: история через данные

Предисловие переводчикаПеревод внезапно удачно попал в струю других датасайенсных туториалов на хабре. :) Этот написан Виком Паручури, основателем Dataquest.io, где как раз и занимаются подобного рода интерактивным обучением data science и подготовкой к реальной работе в этой области. Каких-то эксклюзивных ноу-хау здесь нет, но очень подробно рассказан процесс от сбора данных до первичных выводов о них, что может быть интересно не только желающим составить резюме на data science, но и тем, кто просто хочет попробовать себя в практическом анализе, но не знает, с чего начать. Data science-компании всё чаще смотрят портфолио, когда принимают решение о приёме на работу. Это, в  частности, из-за того, что лучший способ судить о практических навыках — именно портфолио. И хорошая новость в том, что оно полностью в вашем распоряжении: если постараетесь – сможете собрать отличное портфолио, которым будут впечатлены многие компании. Читать дальше →

Выбор редакции
29 июня, 21:49

Футбол как точная наука: как Университет ИТМО помогает организаторам Кубка конфедераций и ЧМ-2018

Кубок конфедераций плавно подходит к концу – остается всего пара решающих матчей. Однако футбол – это не только красивая игра, но и повод для проведения серьезных научных исследований. В этом материале расскажем, как ученые Университета ИТМО работают над проектами, помогающими сделать просмотр футбольного матча на стадионе безопаснее и комфортнее. Читать дальше →

23 июня, 18:41

Is Chicago the New Silicon Valley? Rahm Emanuel Thinks So

Speaking at Techweek Chicago's latest "Growth Summit" on Thursday, Chicago Mayor Rahm Emanuel described a side of the Windy City that non-residents might not be familiar with--a growing hotbed of innovation in the tech industry.

Выбор редакции
21 июня, 20:00

Полезные функции Google Таблиц, которых нет в Excel

Cтатья написана в соавторстве с Ренатом Шагабутдиновым. В этой статье речь пойдет о нескольких очень полезных функциях Google Таблиц, которых нет в Excel (SORT, объединение массивов, FILTER, IMPORTRANGE, IMAGE, GOOGLETRANSLATE, DETECTLANGUAGE) Очень много букв, но есть разборы интересных кейсов, все примеры, кстати, можно рассмотреть поближе в Google Документе goo.gl/cOQAd9 (файл-> создать копию, чтобы скопировать файл себе на Google Диск и иметь возможность редактирования). Читать дальше →

19 июня, 07:19

US intensifies fight against tax evasion by using data mining

Agents pursue ‘leavers’ who moved Swiss bank accounts to other offshore centres

19 июня, 07:19

US intensifies fight against tax evasion by using data mining

Agents pursue ‘leavers’ who moved Swiss bank accounts to other offshore centres

Выбор редакции
16 июня, 13:46

Data Science meetup в офисе Avito 24 июня

24 июня мы собираем специалистов по Data Science в нашем московском офисе, чтобы обменяться опытом в создании рекомендательных сервисов. На встрече мы подведём итоги проходившего на площадке Dataring.ru конкурса Avito на построение рекомендательной системы для объявлений: наградим победителей и попросим их подробнее рассказать о своих решениях. Кроме того, в программе интересные доклады от представителей Яндекс.Дзена, OZON.ru и, конечно же, Avito. Подробности под катом! Читать дальше →

06 декабря 2016, 23:09

Глобальный мировой заговор управляется из Кембриджа

До нас в ЖЖ еще не добрались Великие Манипуляторы общественным мнением, уже перевернувшие и продолжающие переворачивать мировые общественные отношения, поэтому мы можем спокойно и независимо прозябать здесь дальше, но точно знать, что, кто и как устроил переворот в нашем социально сетевом мире.Далее выдержки из расследования Das Magazin о том, как Big Data и пара ученых обеспечили победу Трампу и BrexitТехнологии персонализированной рекламы в сети Facebook повлияли на итоги выборов в США и референдума о выходе Великобритании из ЕС.[об этом говорили и писали многократно -- теперь подобрались к этой теме с адресами-паролями-явками]Новейшие технологии стали универсальным оружием, которое переходит из хороших рук в плохие, но чаще из плохих в плохие.Итак, за победой Трампа и Brexit стоят конкретные люди и фирмы.[возможно, сейчас всё это специально выносят на обсуждение, чтобы указать на искусственный (сфабрикованный) характер победы Трампа и Brexit -- и дать как минимум "моральное право" начать Новый крестовый поход]Итак, фамилии:-- Михал Козинский (обеляют)-- Александр Никс -- глава компании Cambridge Analytica (подставляют))Именно они создавали всё новые и новые подходы к работе с Big Data, прежде всего, в Фейсбуке,а также с другими данными, которые оставляют цифровые следы:-- покупками по кредитке,-- запросами в Google,-- прогулками со смартфоном в кармане,-- каждым лайком в соцсети...Началось всё в британском Кембриджском университете [где же еще?] на кафедре психометрии Козинского.Психометрия (иногда называют психографией) представляет собой попытку измерить человеческую личность.В 1980-е годы два психолога доказали, что каждая черта характера может быть измерена при помощи пяти измерений -- т.н. «большой пятерки»:-- открытость (насколько вы готовы к новому?),-- добросовестность (насколько вы перфекционист?),-- экстраверсия (как вы относитесь к социуму?),-- доброжелательность (насколько вы дружелюбны и готовы к сотрудничеству?)-- и нейротизм (насколько легко вас вывести из себя?).На основе этих измерений можно точно понимать, с каким человеком имеешь дело, в чем его желания и страхи, наконец, как он себя может вести.Проблема была в сборе данных: чтобы что-то понять о человеке, от него требовалось заполнить огромный опросник.Но потом появился интернет, затем Facebook, затем Козинский.Далее идет большая часть, как Козинский сотоварищи собирали и анализировали данные.На кафедре несколько лет собирали анкеты множества испытуемых (проводилась серия различных меняющихся он-лайн тестов).Главное было научиться соизмерять личные ценности испытуемых, а также его пол, возраст и место жительства -- с лайками и репостами в Facebook.Исследователи полагают, что научились это делать.Сразу к выводам группы Козинского:-- анализа 68 лайков в Facebook достаточно, чтобы определить цвет кожи испытуемого (с 95% вероятностью),-- его гомосексуальность (88% вероятности)-- приверженность Демократической или Республиканской партии (85% вероятности)Модель начали совершенствовать с 2012 года.В неё добавили опции установления по Фейсбук:-- интеллектуального развития-- религиозных предпочтений-- пристрастия к алкоголю, курению или наркотикам...-- развелись ли родители испытуемого до его совершеннолетия или нет.Модель смогла лучше чем коллеги по работе стала узнавать личность после десяти изученных лайков.После 70 лайков — лучше, чем друг.После 150 лайков — лучше, чем родители.После 300 лайков — лучше, чем партнер.А дальше утверждается, что можно узнать о человеке лучше, чем он сам.В день, когда Козинский опубликовал статью о своей модели, он получил два звонка: жалобу и предложение работы.Оба звонка были из компании Facebook.Козинский и в Facebook продолжил свои исследования.Козинский и команда могут оценивать людейпо Большой пятерке критериевисходя из их юзерпика, фотографии в соцсетяхпо числу друзейпо различным личным данным -- вплоть до данных датчика движения в смартфоне (размахиваем ли мы рукой с ним... как далеко ездим (коррелирует с эмоциональной нестабильностью).Смартфон сам по себе огромный психологический опросник, который мы вольно или невольно заполняем.На основе данных можно не только создавать психологический портрет, но искать среди этих портретов нужные.Например, обеспокоенные папаши, озлобленные интроверты, не определившиеся с выбором -- это сторонники демократов.Козинский изобрел поисковую систему по людям.Он стал ставить предупреждения на всех своих научных публикациях о том, что его методы «могут нести угрозу благополучию, свободе или даже жизни людей».В начале 2014 года, к Козинскому обратился молодой ассистент профессора по имени Александр Коган [не родственник ли мужа В.Нуланд?]У него был запрос от некой фирмы, заинтересованной в методе Козинского.Предложение состояло в том, чтобы проанализировать путем психометрии 10 млн американских пользователей Facebook.С какой целью, собеседник не сказал из соображений конфиденциальности.Козинский сначала согласился, ведь речь идет о больших суммах в пользу его института, но потом начал медлить с согласием.В итоге, он выжал из Когана название фирмы: SCL, Strategic Communications Laboratories («Лаборатории стратегических коммуникаций»).Сайт фирмы предлагает маркетинг на основе психологии и логики, но ставит фокус на влиянии на исход выборов: «Мы являемся глобальной компанией по управлению предвыборными кампаниями».За SCL стоит сложная корпоративная система, завязанная на «налоговых гаванях».Позднее это было показано в «Панамских документах» и разоблачениях Wikileaks [вот эти компании зря немцы сюда воткнули -- захотели вызвать у читателей кумлятивный эффект].Часть этой системыответственна за кризисы в развивающихся странах,другая помогала НАТО разрабатывать методы психологической манипуляции гражданами Афганистана,Одна из дочерних компаний SCL — та самая Cambridge Analytica -- как раз та маленькая фирма, организовавшая интернет-кампании в поддержку Brexit и Трампа.Das Magazin предполагает, что SCL получила данные о методе Козинского именно из рук Когана (тот мог скопировать или выстроить заново его систему, чтобы затем продать ее политтехнологам из SCL).Козинский незамедлительно разрывает связь с Коганом и информирует о ситуации своего институтского начальника [информатора Козинского вывели из-под удара]. Далее совсем детектив:Коган переезжает в Сингапур, женится и называет себя доктором Спектром.Козинский переезжает в Штаты, в Стэнфорд.А в ноябре 2015 года лидер радикальных сторонников Brexit Найджел Фарадж объявил, что его сайт подключает к работе со своей интернет-кампанией некую компанию, специализирующуюся на Big Data, а именно, Cambridge Analytica.Ключевая компетенция фирмы: политический маркетинг нового типа — так называемый «микротаргетинг» — основанный на «методе океана».Козинский начинает получать множество писем — учитывая слова «Кембридж», «океан» и «аналитика», многие думают, что он как-то с этим связан.Однако только тогда он сам узнает о существовании такой компании.Он просматривает сайт фирмы и выясняет, что его методология используется в большой политической игре.В июле 2016 году, уже после референдума по Brexit, на его голову начинают обрушиваться проклятия.Каждый раз Козинскому приходится оправдываться и доказывать, что к той фирме он не имеет никакого отношения.Прошло десять месяцев.19 сентября 2016 год в нью-йоркском отеле Grand Hyatt проходит ежегодный саммит Concordia, мировой экономический форум в миниатюре.Участвует действующий президент Швейцарии Йоханн Шнайдер-Амманн и другие сильные мира .Перед собравшимися выступает Александр Никс -- директора Cambridge Analytica.Многие уже знают, что перед ними новый digital-специалист Трампа.«Скоро вы будете называть меня Мистер Brexit», — таинственно написал Трамп в своем Twitter несколькими неделями ранее.Действительно, политологи уже писали тогда о сходстве программ у Трампа и у сторонников выхода Великобритании из ЕС.И лишь немногие знали о связи Трампа с малоизвестной Cambridge Analytica.До тех пор digital-кампания Трампа состояла более-менее из одного человека: Брэда Парскейла.Маркетинговый энтузиаст и основатель одного провалившегося стартапа, он создал для Трампа простенький веб-сайт за $1500.70-летнего Трампа едва ли можно назвать человеком цифровой эпохи: на его рабочем столе даже компьютера нет.Как однажды поведала его персональная ассистентка, нет даже такого явления, как электронное письмо от Трампа.Сама ассистентка приучила его к смартфону.Хиллари Клинтон, напротив, опиралась на наследие Барака Обамы как первого «президента соцсетей».У нее были адресные листы Демократической партии, миллионы подписчиков, поддержка Google и Dreamworks.Когда в июне 2016 года Трамп нанял Cambridge Analytica, многие в Вашингтоне скорчили мину.Иностранные чуваки в костюмах, которые ничего в этой стране не понимают...«Это честь для меня, уважаемые дамы и господа, рассказывать вам сейчас о силе Big Data и психометрии в избирательной кампании», — говорил на саммите Никс.«Еще пару месяцев назад Тед Круз был одним из наименее одобряемых кандидатов.Всего 40% электората знали его имя».Все присутствовавш ие помнили историю стремительного взлета сенатора-консерватора Круза, едва ли не самое необъяснимое событие предвыборной гонки.Последний из серьезных оппонентов Трампа внутри Республиканской партии буквально выскочил из ниоткуда.«Ну и как же так произошло?» — вопрошал Никс.В конце 2014 года Ccambridge Analytica вошла в предвыборную кампанию в США именно как советник Теда Круза, которого финансировал миллиардер Роберт Мерсер.До тех пор, утверждал Никс, предвыборные кампании велись по демографическим критериям:«Глупейшая идея, если всерьез об этом подумать: все женщины получают одинаковый месседж, потому что они одного пола, все афроамериканцы получают другой посыл, исходя из их расы». Таким дилетантским способом (и тут даже Никсу можно ничего не добавлять) вела кампанию команда Клинтон: разделить общество на формально гомогенные группы, подсказанные социологами.Теми самыми, что до самого конца отдавали ей победу.И тут Никс щелкает на другой слайд: пять лиц, каждое соответствует определенному профилю личности, Большая пятерка измерений.«Мы в Cambridge Analytica разработали модель, которая позволит высчитать личность каждого совершеннолетнего гражданина США», — продолжает Никс.Маркетинговый успех Cambridge Analytica основан на трех китах.Это психологический поведенческий анализ, основанный на «модели океана», изучение Big Data и таргетированная реклама.Последнее означает персонализированную рекламу, а также такую рекламу, которая максимально близко подстраивается под характер отдельного потребителя.Никс искренне объясняет, как его компания этим занимается (лекция доступна на YouTube).Его фирма закупает персональные данные из всех возможных источников: кадастровые списки, бонусные программы, телефонные справочники, клубные карты, газетные подписки, медицинские данные.В США возможно купить почти любые персональные данные.Если вы хотите узнать, допустим, где живут женщины-еврейки, можно спокойно купить базу данных.Затем Cambridge Analytica скрещивает эти данные со списками зарегистрированных сторонников Республиканской партии и данными по лайкам-репостам в Facebook — вот и получается личный профиль по «методу океана». Из цифровых данных вдруг возникают люди со страхами, стремлениями и интересами — и с адресами проживания.Процедура идентична разработанной Козинским модели.Cambridge Analytica также использует IQ-тесты и прочие небольшие приложения, чтобы получать осмысленные лайки от пользователей Facebook.И компания Никса делает то, от чего предостерегал Козинский: «У нас есть психограммы всех совершеннолетних американцев, это 220 млн человек. Наш контрольный центр выглядит так, прошу внимания», — говорит Никс, щелкая слайды.Появляется карта Айовы, где Тед Круз собрал неожиданно большое число голосов на праймериз.На карте видны сотни тысяч маленьких точек: красные и синие, по партийным цветам.Никс выстраивает критерии. Республиканцы — и синие точки исчезают. Еще не определились с выбором — точек становится меньше.Мужчины — еще меньше, и так далее.В итоге, появляется имя одного человека: с возрастом, адресом, интересами, политическими предпочтениями.Но как Cambridge Analytica обрабатывает отдельных людей своим месседжем?В другой презентации Никс рассказал, как на примере закона о свободном распространении оружия: «Для боязливых людей с высоким уровнем нейротизма мы представляем оружие как источник безопасности. Вот, на левой картинке изображена рука взломщика, который разбивает окно. А на правой картинке мы видим мужчину с сыном, которые идут по полю с винтовками навстречу закату. Очевидно, утиная охота. Эта картинка для богатых консерваторов-экстравертов».Противоречивая натура Трампа, его беспринципность и исходящая из этого целая прорва различных сообщений внезапно сыграла ему на руку: для каждого отдельного избирателя свой месседж.«Трамп действует как идеальный оппортунистский алгоритм, который опирается лишь на реакцию публики», — отмечала в августе математик Кэти О’Нил.В день третьих дебатов между Трампом и Клинтон команда Трампа отправила в соцсети (преимущественно, Facebook) свыше 175 тыс. различных вариаций посланий.Они различались лишь в мельчайших деталях, чтобы максимально точно психологически подстроиться под конкретных получателей информации: заголовки и подзаголовки, фоновые цвета, использование фото или видео в посте.Филигранность исполнения позволяет сообщениям находить отклик у мельчайших групп населения, пояснил Das Magazin сам Никс: «Таким способом мы можем дотянуться до нужных деревень, кварталов или домов, даже до конкретных людей».В квартале Маленький Гаити в Майами была запущена информация об отказе Фонда Клинтон участвовать в ликвидации последствий землетрясения в Гаити — чтобы разубедить жителей отдавать свои голоса Клинтон.Это было еще одной целью: удержать электорат Клинтон (например, сомневающихся леваков, афроамериканцев и молодых девушек) от урны для голосования, «подавлять» их выбор, по выражению одного из сотрудников Трампа. Использовались и так называемые «темные посты» Facebook: платные объявления посреди ленты новостей, которые могли попадаться только определенным группам лиц. Например, афроамериканцам показывали посты с видео, на котором Клинтон сравнивала чернокожих мужчин с хищниками.Хиллари Клинтон оказалась одной из жертв антирекламы Cambridge Analytica«Мои дети не смогут больше объяснить, что значит рекламный плакат с одинаковым сообщением для всех и каждого», — завершает Никс свое выступление на саммите Concordia, благодарит за внимание и спускается со сцены.Насколько американское общество в данную конкретную минуту обрабатывается специалистами Трампа, сказать трудно, ведь они крайне редко атакуют на центральных телеканалах, а чаще всего используют социальные сети и цифровое ТВ. И пока команда Клинтон, работавшая по лекалам социологов, пребывает в летаргии, в Сан-Антонио, где располагается «цифровой штаб» Трампа, возникает, по словам корреспондента Bloomberg Саши Иссенберга, «вторая штаб-квартира». Всего дюжина сотрудников Cambridge Analytica получила от Трампа в июле $100 тыс., в августе еще $250 тыс., в сентябре еще $5 млн. По подсчетам Никса, общая сумма оплаты услуг составила $15 млн.Но и проводимые мероприятия тоже радикальны: с июля 2016 года волонтеры кампании Трампа получили приложение, которое подсказывает политические предпочтения и личностные типы жителей того или иного дома. Соответственно, волонтеры-агитаторы модифицировали свой разговор с жителями исходя из этих данных. Обратную реакцию волонтеры записывали в это же приложение — и данные отправлялись прямиком в аналитический центр Cambridge Analytica.Фирма выделяет у американских граждан 32 психотипа, сконцентрировавшись лишь на 17 штатах. И как Козинский выяснил, что мужчины-поконники косметики MAC скорее всего являются гомосексуалами, в Cambridge Analytica доказали, что приверженцы американского автопрома однозначно являются потенциальными сторонниками Трампа. Помимо прочего, подобные открытия помогли самому Трампу понять, какие послания где лучше всего применять. Решение предвыборного штаба сконцентрироваться в последние недели на Мичигане и Висконсине было принято на основе анализа данных. Кандидат стал моделью применения системы.Но насколько велико было влияние психометрии на результат выборов?Cambridge Analytica не спешит предъявлять доказательства успешности своей кампании.Вполне возможно, что это вообще вопрос без ответа.Хотя вот, есть один факт: благодаря поддержке Cambridge Analytica Тед Круз превратился из ничего в серьезнейшего конкурента Трампа на праймериз.Вот рост голосов сельских жителей.Вот сокращение электоральной активности афроамериканцев.Даже тот факт, что Трамп потратил на проект так мало денег, может говорить об эффективности персонализированного продвижения. И даже то, что он пустил три четверти рекламного бюджета в цифровую сферу. Facebook превратился в совершенное оружие и лучшего помощника на выборах, как написал в Twitter один из сподвижников Трампа. К слову, в Германии антиэлитарная «Альтернатива для Германии» имеет в Facebook больше подписчиков, чем ведущие партии ХДС и СДПГ вместе взятые.Кроме того, ни в коей мере нельзя утверждать, что социологи, статистики, проиграли выборы, потому что сильно ошиблись со своими прогнозами. Верно обратное: статистики выиграли, но лишь те, что использовали новейшие методы. Шутка истории: Трамп постоянно критиковал эту науку, но выиграл во многом благодаря ней.Второй победитель — компания Cambridge Analytica. Издатель главного консервативного рупора Breitbart Стив Бэннон входит также в совет директоров этой фирмы. Недавно он был назначен старшим стратегом в команде Трампа. Марион Марешаль Ле Пен, активистка французского «Национального фронта» и племянница лидера партии, уже радостно сообщила о сотрудничестве с компанией, на внутреннем корпоративном видео которой изображено совещание по теме «Италия». По словам Никса, сейчас им заинтересованы клиенты со всего мира. Уже были запросы на сотрудничество из Швейцарии и Германии.тыцМари Ле Пен хочет стать следующим клиентом Cambridge Analytica«Нет, — говорит Козинский. — Тут нет моей вины. Это не я соорудил бомбу, я лишь показал, что они существуют».

06 июля 2016, 13:17

Поисковые системы: Google vs Яндекс

Гости Игорь Ашманов, управляющий партнёр компании «Ашманов и партнёры», Сергей Панков, генеральный директор Ingate Digital Agency, Дмитрий Завалишин, основатель и генеральный директор DZ Systems Подпишитесь на канал РБК: http://www.youtube.com/user/tvrbcnews?sub_confirmation=1 ------------------------ Получайте новости РБК в социальных сетях: Facebook: https://www.facebook.com/rbc.ru Twitter: https://twitter.com/ru_rbc ВКонтакте: https://vk.com/rbc Одноклассники: http://ok.ru/rbc

14 октября 2015, 12:01

На пути к победе в информационной войне

Р.Смирнов в заметке "Коллективное несознательное" приводит примеры топорной работы зарубежного информационного интернационала, которые дают надежду на нашу победу в информационной войнеМногие спрашивают типа, а почему такие тексты забористые.  Отвечаю - сбиваю прицел мозговым дронам ).У нас в России есть одна конторка с офисом на самой дорогой улице мира в домике под номером десять.Вот какой мозговой БПЛА у них есть для публики:PL Platform - Уникальная распределенная платформа сбора, многофакторного анализа и хранения больших массивов данных соцмедиа и онлайн-СМИ. В настоящий момент по социальным медиа идет сбор на русском и еще нескольких языках, возможно масштабирование по языкам. По онлайн-СМИ сбор идет на любых языках.PL Platform хранит архив свыше 20 млрд. сообщений (с 2012 года), ежедневные поступления – около 50 млн. сообщений в сутки.или можете ознакомиться с презентацией относительно старых проектов.http://www.dialog-21.ru/adx/aspx/adxGetMedia.aspx?DocID=2244451e-1bb8-4240-892a-9f5030fe51f6Вот еще их продукт - http://eurekaengine.ru/demo - осуществляющий автоматическое определение отношения текста к любым понятиям.Непрерывно сканируют все социальные сети, форумы, блоги и т.д. на предмет "отношений" т.е. пословица про слово воробей стала как нельзя достоверной.По большому счету это так игрушки.  Если Вы думаете, что не анализируется все, вплоть до распознанных разговоров по мобильному и сообщений, то серьезно ошибаетесь.У взрослых дядь, по образцу которых она делалась - тема уже лет 20 как поставлена на поток, не только для спецуры, но даже и для обычных интересующихся доступы к "коллективному бессознательному" продаются. Юнг обзавидуется.Вот например официальный партнер фейсбука продающий "ключи" к оному - http://datasift.com/Его клиенты:Среди них есть наш старый знакомый LexisNexis.  Короче, как и все в Pax American "бессознательное" это тоже бизнес.Дело не в интернете он лишь облегчает процесс.Наивно полагать, что методики моделирования и управления в совокупности с мощью "денег" не справятся с какими нибудь региональными "ментальными эгрегорами" типа уральского, при отсутствии сопротивления ( позитивный пример которого - Сергей Колясников).Силовики, СМИ, университеты, религиозные, общественные деятели, вопрос только в "акторах" и минимизации ресурсов для достижения цели, ну и самой цели конечно.На примере украины прекрасно видно, как ломается ментальная основа и как можно заставить нормальных людей убивать себе подобных фактически за просто так.Послушное блеяние европеиодов так же один из продуктов деятельности машины запущенной римским клубом (а может и раньше).Честно Вам скажу друзья, я эту математическую хрень не люблю, хотя в нее и не плохо могу, так как считаю, что подобное вмешательство в естественное человеческое уничтожает скажем так божественную искру, а денежно-ментально-цифровое рабство ничуть не лучше той языческой гадости, что была в римской империи.  Тем более, что в основе нового миропорядка отнюдь не атеистический моральный кодекс строителей коммунизма, а штуки гораздо менее атеистические и не приятные. Вскользь прошелся здесь.Также не испытываю особо сильного восторга по поводу курса нашего правительства на интеграцию населения России в эту новую "глобальность", но глядя на некоторые шаги руководства остается надежда на то, что все закончится хорошо. Поживем, как говорится, увидим.Личный же рецепт прост - патриотическое сознание и критическое мышление.Посмотрите каким российским персонажам раздали verified статусы в фейсбуке, вслед за украинскими, где его повесили всем вплоть до командиров батальонов и персонажам вроде Геращенко.Россия все verified аккаунты:https://www.facebook.com/navalnyhttps://www.facebook.com/mikhailkhodorkovskyhttps://www.facebook.com/nakhim.shifrinhttps://www.facebook.com/slobodin.mikhailhttps://www.facebook.com/toloknohttps://www.facebook.com/Damiankudriavtsevhttps://www.facebook.com/nossikhttps://www.facebook.com/sindeevahttps://www.facebook.com/maria.lirainhttps://www.facebook.com/borovoihttps://www.facebook.com/andrey.loshakhttps://www.facebook.com/tintorerohttps://www.facebook.com/skuznhttps://www.facebook.com/krasovkinhttps://www.facebook.com/alena.vladimirskayahttps://www.facebook.com/varfolomeevОсобянчком стоят:https://www.facebook.com/ivan.zassourskyhttps://www.facebook.com/Rasstrigahttps://www.facebook.com/tina.kandelakiОтдельно выданы "медальки" Доренке и буддисту Засурскому, с Тиной Какделаки.  В виду бОльшей адекватности оных попробую поинтересоваться о физическом механизме получения "метки".Даже не разбирающийся в сортах политических деликатесов человек, глядя на этот список патентованной "совести нации", может сделать выводы о назначении "сети", соответственно совет - всегда мойте с мылом руки и мозги после фб.Подытожу - в целом мое мнение, не смотря на бешеную медийную активность клоунов - на выходе пшик, типа как с медузой, "переформатирование"русской шматрицы топорное.Удивляюсь, как и кто им еще что то платит, РИАН кладет их на лопатки одной левой, пока кладет.

03 сентября 2015, 11:34

Когнитивная система IBM Watson: принципы работы с естественным языком

IBM Watson — одна из первых когнитивных систем в мире. Эта система умеет очень многое, благодаря чему возможности Watson используются во многих сферах — от кулинарии до предсказания аварий в населенных пунктах. В общем-то, большинство возможностей Watson не являются чем-то уникальным, но в комплексе все эти возможности представляют собой весьма мощный инструмент для решения разнообразных вопросов. Например — распознавание естественного языка, динамическое обучение системы, построение и оценка гипотез. Все это позволило IBM Watson научиться давать прямые корректные ответы (с высокой степенью достоверности) на вопросы оператора. При этом когнитивная система умеет использовать для работы большие массивы глобальных неструктурированных данных, Big Data. Каковы основные принципы работы IBM Watson с языком? Об этом — в продолжении. Читать дальше →

16 июля 2015, 20:27

Palantir, мафия PayPal, спецслужбы, мировое правительство

«Лучший способ избавиться от дракона — это иметь своего собственного» На Хабре нет ни одного упоминания о Palantir`е, в русской Википедии об этом проекте нет статьи, Mithgol молчит — что-то идет не так. Или так. А между тем Palantir стала второй крупнейшей частной компанией Кремниевой Долины с оценкой в 20 000 000 000$ (уступив Uber). Среди прочих заслуг Palantir`а — раскрытие крупных китайских разведывательных операций Ghostnet и Shadow Network. Журналист: — В «Википедии» говорится, что вы входите в управляющий комитет Бильдербергского клуба. Правда ли это, и если да, чем вы там занимаетесь? Организуете тайное мировое господство? Питер Тиль: — Это правда, хотя все не до такой степени тайно или секретно, чтобы я не мог вам рассказать. Суть в том, что ведется хороший диалог между разными политическими, финансовыми, медиа- и бизнес-лидерами Америки и Западной Европы. Никакого заговора нет. И это проблема нашего общества. Нет секретного плана. У наших лидеров нет секретного плана, как решить все наши проблемы. Возможно, секретные планы – это и плохо, но гораздо возмутительнее, по-моему, отсутствие плана в принципе. Приходится собирать информацию о Palantir`е по крохам. И такая жирная кроха прячется в книге Питера Тиля «От нуля к единице» (хотя в этой книге множество намеков и информации между строк, так же как в легендарном курсе и его переводе на Хабре, спасибо zag2art). Питер Тиль: Цель, которую я ставил перед собой, читая стэнфордский курс о стартапах и предпринимательстве, заключалась в том, чтобы донести все те знания о бизнесе, которые я приобрел за последние 15 лет в Кремниевой долине как инвестор и предприниматель, собрать их воедино. С книгой то же самое. Надеюсь, благодаря этой статье и комментам хабрачитателей, положение дел относительно Palantir`а станет чуточку яснее. (Есть многомиллиардный рынок, связанный с аналитикой и ИБ, а мы ничего про него не знаем.) Читать дальше →