• Теги
    • избранные теги
    • Разное420
      • Показать ещё
      Компании755
      • Показать ещё
      Страны / Регионы155
      • Показать ещё
      Международные организации45
      • Показать ещё
      Издания87
      • Показать ещё
      Люди87
      • Показать ещё
      Формат21
      Показатели17
      • Показать ещё
      Сферы8
Выбор редакции
01 декабря, 20:50

Boston Police Department Set to Join Trend of Using Internet Surveillance Tech

By Joe Wright A whole host of reasons are being given to justify the increased surveillance and data mining of social media and the wider...

Выбор редакции
01 декабря, 13:42

Как мы участвовали в HR-хакатоне. Наши выпускники делятся своим решением и впечатлениями от участия

Всем привет! 23-24 ноября в Digital October проходил хакатон по анализу данных в HR-сфере, в котором победила команда выпускников нашей программы "Специалист по большим данным". Кирилл Данилюк, Игорь Парфенов, Егор Андреев и Александр Иваночкин делятся своим решением и впечатлениями от участия. Читать дальше →

Выбор редакции
01 декабря, 12:46

Пример использования Product API от Fetchee для парсинга товаров интернет-магазина

В этой инструкции мы расскажем о том, как с помощью Fetchee Product API получить данные о товаре по URL на примере интернет-магазина lamoda. Для тех, кто не читал нашу прошлую заметку — Product API будет полезен разработчикам, которым требуется получать данные о товарах из любого магазина, но которые не хотят тратить время на создание собственной системы парсинга или уже осознали, что open-source библиотеки обладают существенными ограничениями и требуют много времени на поддержку. Наш автоматический и не требующий настройки API для парсинга eCommerce данных даёт возможность сосредоточится на разработке основных функций вашего приложения. К тому же попробовать его очень просто. Детали под катом. Читать дальше →

Выбор редакции
30 ноября, 12:59

[Из песочницы] Низкоуровневая оптимизация и измерение производительности кода на R

За последнее десятилетие R прошёл большой путь: от нишевого (как правило, академического) инструмента до мейнстримной «большой десятки» самых популярных языков программирования. Такой интерес вызван многими причинами, среди которых и принадлежность к open source, и деятельное коммьюнити, и активно растущий сегмент применения методов machine learning / data mining в разнообразных бизнес-задачах. Приятно видеть, когда один из твоих любимых языков уверенно завоёвывает новые позиции, и когда даже далёкие от профессиональной разработки пользователи начинают интересоваться R. Но здесь есть, однако, одна большая проблема: Какая же?

25 ноября, 16:10

FlyElephant празднует первый год работы в публичном доступе и анонсирует сотрудничество с HPC-HUB

В ноябре FlyElephant празднует первый год работы в публичном доступе. FlyElephant — это платформа для дата-сайентистов, инженеров и ученых, которая ускоряет бизнес с помощью автоматизации Data Science и Engineering Simulation. Читать дальше →

Выбор редакции
25 ноября, 09:26

data.table: выжимаем максимум скорости при работе с данными в языке R

На эксклюзивных условиях представляем для вас полный вариант статьи из журнала Хакер, посвященной разработке на R. Под катом вы узнаете, как выжать максимум скорости при работе с табличными данными в языке R. Читать дальше →

Выбор редакции
23 ноября, 23:43

[Из песочницы] Сравнение технологических подходов к решению задач по извлечению данных

Целью статьи является попытка сравнительного анализа основных подходов в решении задач семантического анализа текстов, их различиях и эффективности на уровне концепций, без учета нюансов, комбинаций вариантов и возможных трюков, способствующих улучшению ожидаемого результата. На сегодняшний день существует огромное количество материалов описывающий те или иные техники решения задач семантического анализа текстов. Это и латентно-семантический анализ, SVM-анализ, «перенос-свертка» и многое другое. Писать очередную статью про обзор и сравнение конкретных алгоритмов – это значит впустую потрать время. Мне бы хотелось в рамках нескольких статей обсудить базовые идеи и проблемы, лежащие в основе семантического анализа с точки зрения их практического применения, если можно так выразится, с базовой философско-онтологической точки зрения. В какой степени возможно использовать порождающие грамматики для анализа текста? Накапливать ли варианты написания и разного рода "корпуса" или разрабатывать алгоритмы анализа на основании правил? В рамках нашего рассуждения я осознанно постараюсь уйти от каких-либо терминов и устоявшихся выражений, ибо как говорил У. Куайн – термины это всего лишь имена в рамках онтологий не имеющие никакого практического значения для решения задач логики и понимания чего-либо в частности.[1] Поэтому, с его позволения, будем опираться на единичные дескрипции Рассела, а проще говоря, давать полные описания в ущерб существующим устоявшимся терминам. Читать дальше →

Выбор редакции
23 ноября, 21:00

Bad Data Mining

I keep promising to stop writing about lessons from the election that are applicable to markets, and then I keep finding more examples. So rather than make any promises I cannot keep, let’s just jump right into this. Since Donald Trump’s surprise victory — though it wasn’t a surprise to those of you with the… Read More The post Bad Data Mining appeared first on The Big Picture.

Выбор редакции
23 ноября, 11:32

Как остановить отток людей с онлайн-курса и заодно попасть на хакатон

Онлайн-курсы, кроме своей удобности и доступности, славятся тем, что на них необычайно легко забивать, что с успехом и делают многие слушатели. Забивать слушателям случается по самым разным причинам — непонятен курс, пропущен дедлайн, не успел набрать баллы, вышел Fallout 4 – у всех свои оправдания. А вот у нас оправданий быть не может: если человек покидает курс, мир теряет потенциального разработчика или специалиста по анализу данных, а ещё киловатт-часы и затраченное нашим героем время. Самая сложная задача здесь — определить, кто из пользователей убежит, а зная их, уже намного проще предотвратить потери: “предупрежден, значит вооружен”. В конце статьи вы узнаете, как с помощью решения проблемы попасть на хакатон по анализу данных Читать дальше →

Выбор редакции
22 ноября, 17:24

Еще примеры использования R для решения практических бизнес-задач

С момента прошлой публикации пришлось примеряться к ряду различных задач, связанных тем или иным образом с обработкой данных. Задачи совершенно разные, но во всех случаях инструменты R позволили элегантно и эффективно их решить. Ниже, собственно, кейсы (картинок нет). Читать дальше →

22 ноября, 14:00

5 Ways to Increase Your Cross-Selling

The financial services firm USAA prizes its relationships with customers and consistently earns the highest customer loyalty scores in the industry for both its U.S. banking and insurance businesses. The high level of trust affords USAA access to copious customer data that it uses to inform personalized cross-selling and upselling. The company does deep data mining through multiple sources to spot signature events in customers’ lives. Those events trigger USAA to contact the customer at just the right time, with just the right offer, such as auto insurance when a customer’s daughter is about to turn 16. As a result, USAA outperforms most competitors in the number of products held by its customers. USAA is something of an exception, though. Many firms still underinvest or underachieve in growing share of wallet with existing customers, compared to their initiatives in acquiring new customers. In the past, marketers have struggled to deliver the higher response rates they need from existing customers — a smaller group than potential new customers. Several trends have converged in recent years to break through the barriers to higher response rates. The proliferation of customer data and the greater computing power to organize and analyze that data make it feasible to create much more dynamic and insightful profiles of customers. Digital channels now allow companies to fine-tune marketing messages based on observed behavior. And many companies have made significant investments to improve their customers’ experience, earning them greater leeway to cross-sell. These favorable changes have motivated marketers to reassess cross-selling opportunities, which can be substantial. For example, Bain & Company’s recent analysis of the U.S. telecommunications industry found that up to 60% of customers split their services across multiple providers for mobile phone, landline, TV, and internet services. For one telecom provider, convincing just 10% of those customers to switch one service from a competitor was worth up to $480 million in incremental annual revenue. A similar story can be told in retail banking, insurance, credit cards, retail, and other industries. Managers wanting to grow share of wallet and raise the productivity of their cross-selling efforts may have to confront longstanding practices that stand in the way. To that end, here are five guidelines for expanding share with current customers. Take a balance-sheet view. Many businesses organize around product lines and focus on achieving quarterly, monthly, or even weekly targets. Although this centers the organization on achieving in-year goals, it hinders efforts to maximize the long-term value of customer relationships. Effective cross-selling organizations, such as American Express, complement the P&L perspective with a longer-term, balance-sheet view of the business and a multiyear view of customer value. Create dynamic, high-resolution customer profiles. With the exponential growth in data and the increased computing power available, companies can now combine internal and external data that spans several years to build more-useful customer profiles. Knowing how the customer’s product usage has changed over time, how he or she has migrated among products, and which triggers or leading indicators caused changes in behavior is essential for designing effective share-of-wallet strategies. Focus on discrete customer growth missions. When companies set customer growth goals, they too often pursue overly broad or diffuse objectives, such as “Let’s sell home insurance to all high-value auto insurance customers,” rather than identifying and focusing on the pockets of greatest opportunity. Defining a high-value customer growth mission, by contrast, narrows the aperture to focus on the organization. An example of such a discrete customer mission might be: “Let’s target our high-value customers who are in the market for home insurance and are customers of competitor X, which has low loyalty scores.” Defining customer missions takes work. Companies must understand the most profitable customer segments, how their behaviors and preferences have changed over time, the products and channels they use, and how they stack up against the competition in each area. And they must calculate the real economic value of these segments, so that they can create targeted strategies that will be profitable. Just get started. It’s a common misconception that a company must invest in new data warehouses or CRM systems before taking action. In fact, organizations can mobilize quickly around internal data that resides in existing databases, assemble external market data in a few weeks, and often use analytical tools that exist in-house. MGM Resorts was looking to raise booking rates among existing customers at its casino and resort properties in Las Vegas. Using existing customer data, MGM launched a multivariate campaign, testing different offer packages (a room discount versus a coupon to play slot machines), travel windows, brand messages, email frequency, and more. For one set of target customers, the best combination of variables achieved a 180% lift in bookings over the control offer and was worth millions in incremental revenue when extrapolated to the full set of customers. Moreover, MGM learned how different groups of customers — say, gamblers and nongamblers — responded differently to each offer. To keep the insights coming, MGM has set up a new cross-functional test-and-learn team, which has continued to introduce new variations with these customer groups. Build a repeatable model. The test-and-learn approach allows a company to log some early wins, build new capabilities, and iron out the kinks as the organization learns how to work to a different rhythm. Leaders can then decide if it makes sense to create a new team dedicated to share-of-wallet growth and possibly to invest in building new capabilities or installing new technologies. Conditions are right for companies to reinvigorate their cross-selling strategies. Now it’s up to managers to harness the wealth of customer data, advanced analytic techniques, and the power of digital channels for customer growth missions. Companies that outperform in these missions will be able to systematically expand their share of spending among loyal customers.

17 ноября, 14:13

Hope For The Best? We Need To Prepare For The Worst

So let me get this straight: We have a president-elect who is a billionaire con-artist and whose megalomania has been on display for decades, and he appointed as his "chief strategist" in the White House a white supremacist who is so extreme that even right-wingers like Glenn Beck and Ben Shapiro tell us he's "terrifying." And we're supposed to "wait and see" if this arrangement turns out okay? For years now, Donald Trump has been mainlining Big Lie ideology right into the bloodstream of the American body politic. The harsh and dehumanizing rhetoric we heard throughout the 2016 campaign could play a significant role in the crimes that follow. Such rhetoric gives permission for people to act out in ways they might not otherwise. We're already seeing an uptick in racist hate crimes reported since the election. His top assistant, Stephen K. Bannon, the former Naval officer who made a fortune at Goldman Sachs and founded Beitbart news, is not the kind of guy who is going to sit around in the West Wing waiting for something to happen. He knows exactly where he wants to take the country (and the world) in two years, four years, eight years, forever. All the Trump White House will need is some kind of crisis to exploit and their liberal opposition, the news media, and the Democrats in Congress are likely to fall in line behind the president to "keep us safe," much as they did for George W. Bush in September 2001 during another time of bitter national division. If a presidential administration can fuse corporate and state power through "regulatory capture" by appointing, for example, a global warming denier to the Environmental Protection Agency or a fossil fuel industry lobbyist to be Secretary of the Interior, then it can pull off the same trick at the FBI and CIA by placing ideologues and sycophants in the National Security State. Across the country we already have militarized police forces, a growing number of private prisons, a data-mining NSA, and a president-elect who's known to be petty and vindictive who talks about torturing terrorists and killing their families. The apparatus for a police state already exists and Trump and Bannon are just the kind of guys to take it out for a whirl. (The Espionage Act is still on the books and the internment camps for Japanese Americans during World War Two were set up by a simple Executive Order. The Authorization for the Use of Force resolution, which grants the president vast war powers that should belong to Congress, sits on a desk waiting for President Trump.) "Birtherism" was one of the craziest of the Big Lies perpetrated by the anti-Obama crowd and our President-Elect was at the center of it. Most people have largely forgotten how freaky and delegitimizing the whole "birther" movement really was. Not long ago, wackos like Orly Taitz were running around claiming to have "proof" that President Obama was not born in the United States and Trump stepped up to become the birther in chief. He also said he doubted Obama could ever have completed his degree at Harvard Law School without some kind of forgery. Trump went from being the nation's most famous promoter of birtherism to launching a presidential campaign that smeared Mexicans and Muslims; an interesting way to launch a new career in public service. So what do we have? The Big Lie (check); scape-goating minorities (check); visceral hatred for opponents (check); fetishizing torture, mass deportation, and militarism (check); belligerent nationalism (check); the corporate seizing of state power (check); appointing white supremacists to key positions (check). This kind of thing has been sitting in plain sight for years now. David Neiwert, in his 2009 book The Eliminationists: How Hate Talk Radicalized the American Right, has many examples of the mindset of the people who were just elected. Rush Limbaugh: "I tell people don't kill all the liberals. Leave enough so we can have two on every campus -- living fossils -- so we will never forget what these people stood for." Ann Coulter: "My only regret with Timothy McVeigh is he did not go the New York Times Building." Bill O'Reilly: "Everybody got it? Dissent, fine; undermining, you're a traitor. Got it? So, all those clowns over at the liberal radio network, we could incarcerate them immediately. Will you have that done, please? Send over the FBI and just put them in chains, because they, you know, they're undermining everything and they don't care, couldn't care less." Dinesh D'Souza: "There is no way to restore the culture without winning the war on terror. Conversely, the only way to win the war on terror is to win the culture war. Thus we arrive at a sobering truth. In order to crush the Islamic radicals abroad, we must defeat the enemy at home." David Horowitz: "Make no mistake about it, there is a war going on in this country. The aggressors in this war are Democrats, liberals and leftists who began a scorched earth campaign against President Bush before the initiation of hostilities in Iraq." And whenever right-wing radio and TV hosts were called out on their incendiary rhetoric they always hid behind the idea that they were just "entertainers." Now that Donald Trump "entertained" himself right into the White House, what are we to make of these ideas now that they're going to be fully weaponized? And what signal does Trump send by appointing Myron Ebell, a climate change denier from a fossil fuel financed lobbying shop, as his key environmental official to oversee the transition at the EPA? We're facing a planetary catastrophe and they're saying: "Drill, Baby, Drill! The "alt-right" websites refer to the Earth as the "green blob" worthy only of being drained, pumped, fracked, and drilled until every last drop of fossil fuel is burned. The full-throttle greed emanating from the corporate tools who run the Congress, along with the incoming Trump administration, appear to have a death wish, collective environmental suicide. And in Trump and Bannon, Paul Ryan and Mitch McConnell, we've got the twisted psychopaths ready to make a dying planet die more quickly. In addition to hating planet Earth, many of the men around Trump also have a deep-seated misogyny. Trump's past statements about women alone, if continued through the bully pulpit of the U.S. presidency, will make life harder and more miserable for women the world over who live under repressive patriarchal regimes. And the Vice President-Elect is a Christian fundamentalist with a fixation on controlling the uteruses of women he'll never know. Meanwhile, the corporate media -- CNN, MSNBC, Fox News, CBS, ABC, NBC -- are all normalizing this dangerous authoritarian turn. We should be in FULL STOP mode with test patterns on our TV screens given the enormity of the national crisis. Nothing good can come out of allowing a megalomaniac and a white supremacist to run the free world. The commentary saying that the bumpkins who voted for Trump are going to become disillusioned after he fails to deliver misses a key point of the 2016 election. The one truth Trump noted during the campaign was that there's nothing he could do to lose the support of his followers -- their votes were not transactional. A huge bloc of white voters were motivated by culture not policy. This whole fucking election felt at times like the prolonged public lynching of the nation's first black president. Some white folks turned their heads and looked away; others could only watch by peaking through their fingers -- but watch they did. Still others danced in the streets seeing the "usurper" get his comeuppance: replaced by someone who couldn't be more different. "Democracy is a process, not a static condition," wrote William H. Hastie. "It is becoming, rather than being. It can easily be lost, but is never fully won. Its essence is eternal struggle." -- This feed and its contents are the property of The Huffington Post, and use is subject to our terms. It may be used for personal consumption, but may not be distributed on a website.

16 ноября, 00:14

Pay To Play In Seattle's Suburbs

This past August with the silent efficiency of a sharpened guillotine, 28 eviction notices were placed on the doors of Renton Woods apartment home residents, most of whom were single, black women with children. On the surface, the Renton Woods apartments in Renton, Washington, (suburb of Seattle), is the kind of sprawling A-Z, non-descript, passive taupe with burgundy accent, complexes that commuters drive by without a glance. A sad irony in the Pacific Northwest these days, is that these types of large apartment complexes represent a dwindling resource: safe harbor for low income citizens in a tight Seattle housing market. Every January an organized homeless count occurs and this year 160 people were tallied living on the streets of Renton, a sharp increase from the previous year, but a far cry from the thousands living homeless in Seattle. And that change in Renton in large part is due to a lack of affordable housing. The tech boom in Seattle is blowing back to the surburbs...which is a good thing, if we had legislation in place to protect our most vulnerable citizens...all of us. As anyone in Seattle knows, homelessness doesn't just hurt the homeless...poor leadership, squandered opportunities and bureaucracy over the long term, hurts the taxpayer as well. By not foreseeing low income housing as an important resource and protecting it as such in a high tech boom, Seattle leadership has been reactive and has effectively given the foxes carte blanch to the hen house by not forcing real estate conglomerates to be accountable to a fair portion of the financial burden and social responsibility of gentrification, not the taxpayer. And yet, in the last two years, less than twenty miles away in the suburbs of Renton, billion dollar out-of-state real estate conglomerates using data mining analytics to determine that multifamily properties like Renton Woods are precious plumbs ripe for the picking because of their proximity to Seattle. According to land records, Renton Woods Apartments, consists of 27 buildings with a total of 260 units. In December 2015 Renton Woods was purchased from AMFP111 Emerald Heights LL for over 40 million. Asking who is AMFP111 LL is like trying to find Waldo. Generally these companies have third parties or "resident agents" who broker deals for anonymity. AMFP111Emerald Heights LL is Abacus Capital Group a New York based consortium. Abacus Capital Group is one of three real estate conglomerates responsible for gobbling up multi family properties in Renton and spitting out 70 low income familes. Legally they are not being evicted, but rather being notified that their Section 8 housing vouchers will not be "renewed." Between the three real estate conglomerates: Abacus Capital Group, TruAmerican Multifamily out of Delaware and California company Fairfield Residential they have purchased 6 multifamily units represent over a thousand apartment units in Renton that are critical for low income families and the city of Renton. According to Jill Richardson from the Renton Housing Authority, "We have seen this trend of out of state owners purchasing the large apartment complexes. They ask for local property management firms to manage the properties. The local property management companies are very aggressive in getting the business of these out of state owners and promising they can get very high returns and they know how to do it. The property management companies know that by terminating Section 8 tenants - they can raise the rents more aggressively for new renters. One tenant told me they were going to raise the rent of her apartment to $3,000 from $2000 for new Amazon workers that are coming in from out of state. There is a new Amazon warehouse in Auburn." Neighbor to Renton Woods, Gramercy Apartments, purchased in June 2016 by the Fairfield Residential a California real estate conglomerate for over 61 million and in September issued 42 Section 8 evictions and absolutely no one paid attention. In Renton, TruAmerican Multifamily out of Delaware, purchased Windsor Place Apartments for over 36 million in September 2015 and has served 7 Section 8 evictions without any press. Additionally, TruAmerican Multifamily also purchased Carriages at Fairwood Downs in 2014, Montclair Heights and Constellation Apartments. It is unclear if any Section 8 residences have been issued non renewals at those locations. What is crystal clear to anyone paying attention is that these companies are like mercenaries, they have zero connection to the community with one goal: to make money for their investors. They have the property managers do their dirty work like kicking out the low income so they can rebrand the apartments with a name change and new signage, upgrade common areas and units, raise rents, boot out the Section 8 residents and ultimately wipe out affordable housing. The horrible reality in Seattle, and the surrounding suburbs, is a real estate market that has very limited affordable housing. And without the protection of the "powers that be" these families will be facing homelessness and that burden will ultimately fall to the tax payer and these real estate tycoons walk away with billions. And right now, the only reason anyone is even paying attention to these folks is because the story broke of the evictions that would put these families with small children out on October 31st, Halloween. As a result, the media attention and the plea by the residents at Renton Woods effected by the "non-renewals" to the city council and Mayor was cause for the government to consider a "Source of Income Discrimination" ordinance protecting renters whose income comes from Social Security, Social Security Income, Disability, TANF or Section 8 subsidy. But why did the city leaders, given the state of homelessness in Seattle, wait so long? The problem isn't capitalism, it's greed that goes unchecked. Renton Woods is a horrible symptom of this seemingly incurable disease of homelessness in Seattle...like chopping down the rain forest, once all the low income housing is gone, it's been nearly impossible with all the politicizing, bureaucracy and failure of leadership to get it back. The city of Renton is in a unique position to learn from our big sis in Seattle and put proactive measures into place BEFORE all affordable housing is gone...these real estate tycoons use data to see the signs that will make them millions and so do our city officials. According to a recent quote from a Seattle Times article, Jill Richardson from the Renton Housing Authority was quoted, "We are very disturbed, as some of these are landlords that we've partnered with for years," Richardson told council members at the Monday night meeting. The Times piece went on to say, "How small the pool of participating Renton landlords has shrunk is also unclear. The authority does not track over time the number of units available to Section 8 renters, or the number of landlords who accept Section 8 vouchers." This isn't exactly correct. This situation is happening in real time. The city is alerted with the tax windfall when one of these multifamily complexes have been sold and the Renton Housing Authority sends monthly checks and yearly 1099's to the new out of state owners, so it is possible to track. According to Richardson, "We give these complexes Housing Assistance Payments each month and yes - we get paperwork showing the new ownership change so that we can process the checks with the new owner name. We give all landlords a year end 1099 that reports all the money that we paid them for the year." When will government entities move past bureaucracy, pry up a few boards and see the very clear picture that has already emerged in Seattle and is spilling into its suburbs...Out of state conglomerates coming in with the same emotional removal and distance of drone operators who see profits, not people, netting millions for their shareholders leaving suffering in the form of homelessness and taxpayers to pay for it. At what point do they say, "Hey, maybe we should talk to the Mayor and the City Council, BEFORE, these evictions happen?" As a result of the media attention, the 41 eviction notices given out to the apartment complex next door to Renton Woods, Grammercy Apartment Homes have been mitigated, for the moment, according to the Renton Housing Authority. As of today, the 28 Renton Woods Section 8 residents have been given an additional month reprieve and a one thousand dollars pay out toward moving expenses. Renton has an opportunity to be ahead of the curve by enacting legislation that stands up for our most vulnerable citizens and tax payers by enacting laws and levying taxes that don't punish out of state investors but make them pay to play. In this case, if you purchase a multi-family apartment complex you purchase the past as well as the future. -- This feed and its contents are the property of The Huffington Post, and use is subject to our terms. It may be used for personal consumption, but may not be distributed on a website.

Выбор редакции
15 ноября, 02:35

Clif High -- DOW & Gold $125,000-Hyperinflation Coming

On gold and silver, Internet data mining expert Clif High says never mind the recent price drop. High says, “They’re real money, always have been, and you are going to need it. . . . How can it be silly to hold real money? Americans are going to have to face up to the fact that we have been... [[ This is a content summary only. Visit http://FinanceArmageddon.blogspot.com or http://www.newsbooze.com or http://goldbasics.blogspot.com for full links, other content, and more! ]]

Выбор редакции
14 ноября, 16:55

Приглашаем на Moscow Data Science Meetup 25 ноября

25 ноября в московском офисе Mail.Ru Group пройдет традиционная встреча сообщества Moscow Data Science. Участники поделятся профессиональным опытом решения практических задач анализа данных и пообщаются в неформальной обстановке. Встреча будет посвящена глубокому обучению. Присоединяйтесь! Читать дальше →

Выбор редакции
11 ноября, 14:25

Женщины и убийства: есть ли тут взаимосвязь? [часть 2 из 2]

R код (gist) для воспроизведения всех результатов В первой части, подхваченный вдохновением и желанием проверить гипотезы сразу, я проанализировал взаимосвязь между соотношением полов и распространенностью убийств в странах Европы. Результаты не подтвердили моих ожиданий. Похоже, что во многом страны Европы напоминают регионы одной страны со своей периферией и своими центрами. В следующей итерации своего скептицизма, результаты которого вы можете прочитать ниже, я проверяю свою гипотезу на данных американских графств, как и авторы исходной статьи. Коротко о гипотезеЕсли вам лень заглянуть в первую часть статьи, то вот кратко суть. Авторы опубликованного в журнале Human Nature исследования утверждают, что соотношения полов во взрослом населении влияет на распространенность тяжких преступлений (в частности, убийств): чем больше женщин, тем больше и преступлений. Я по-прежнему думаю, что все дело в упущенной переменной — центральность/периферийность (urban/rural) — которая и должна объяснять как повышенную долю женщин в городах, так и большее количество преступлений в них. Убедительно подтвердить свои догадки на простеньких европейских данных мне не удалось. Попробуем на подробных американских. Читать дальше →

Выбор редакции
11 ноября, 10:56

Product API от Fetchee: автоматический парсинг товаров интернет-магазинов

С начала работы над Fetchee у нас был план предложить решение для парсинга данных о товарах интернет-магазинов корпоративным клиентов и стартап-сообществу. Отзывы, которые мы собрали за время работы, говорили о его потенциальной востребованности и подвели к запуску нового продукта, который поможет разработчикам быстро создавать собственные приложения, на основе одной из главных функций Fetchee — сбора eCommerce данных и слежения за ценами в любых интернет-магазинах мира. Читать дальше →

Выбор редакции
10 ноября, 16:20

12 кейсов по биг дате: подтвержденные примеры из индустрии, когда биг дата приносит деньги

Хабр, привет! Проанализировали кейсы по big data, в которых технологии больших данных помогли компаниям более эффективно работать с клиентами или оптимизировать внутренние процессы. Кстати, совсем скоро у нас стартует первый набор программы Big Data for Executives, цель которой подготовить руководителя или владельца бизнеса к использованию данных в своей деятельности. Почитать о ней подробнее можно здесь. Читать дальше →

Выбор редакции
10 ноября, 11:56

[Перевод] Создание интерактивных графиков с R и Highcharts

Иногда в попытках решить простые задачи приходят в голову великие идеи. Это особенно верно для разработчиков, которые готовы приложить массу усилий для решения простой проблемы к полному своему удовлетворению. Эта история о том, как Торстейн Хенси, основатель и СРО Highcharts искал простой инструмент для создания графиков, чтобы поместить на свою домашнюю страницу замеры глубины снега на Викафьеллет, местной горе, где у семьи был коттедж. Разочаровавшись в обычных flash-расширениях и коммерческих решениях, доступных на тот момент, он решил создать собственное и, конечно же, им поделиться. Для создания красивых графиков в этой статье я воспользуюсь пакетом highcharter Джошуа Кунста, оболочкой для javascript-библиотеки Highcharts и Shiny. Пожалуйста, учтите, что все продукты в этой библиотеке бесплатны для некоммерческого использования. Для коммерческих проектов и сайтов воспользуйтесь этим. Читать дальше →

Выбор редакции
09 ноября, 10:01

Рекомендации на основе изображений товаров

В данной статье я хотел бы рассмотреть на практике вариант построения простейшей рекомендательной системы основанной на схожести изображений товаров. Этот материал предназначен для тех, кто хотел бы попробовать применить Deep Learning, а именно свёрточные нейронные сети, в простом, интересном и практически применимом проекте, но не знает с чего начать. Читать дальше →

06 июля, 13:17

Поисковые системы: Google vs Яндекс

Гости Игорь Ашманов, управляющий партнёр компании «Ашманов и партнёры», Сергей Панков, генеральный директор Ingate Digital Agency, Дмитрий Завалишин, основатель и генеральный директор DZ Systems Подпишитесь на канал РБК: http://www.youtube.com/user/tvrbcnews?sub_confirmation=1 ------------------------ Получайте новости РБК в социальных сетях: Facebook: https://www.facebook.com/rbc.ru Twitter: https://twitter.com/ru_rbc ВКонтакте: https://vk.com/rbc Одноклассники: http://ok.ru/rbc

14 октября 2015, 12:01

На пути к победе в информационной войне

Р.Смирнов в заметке "Коллективное несознательное" приводит примеры топорной работы зарубежного информационного интернационала, которые дают надежду на нашу победу в информационной войнеМногие спрашивают типа, а почему такие тексты забористые.  Отвечаю - сбиваю прицел мозговым дронам ).У нас в России есть одна конторка с офисом на самой дорогой улице мира в домике под номером десять.Вот какой мозговой БПЛА у них есть для публики:PL Platform - Уникальная распределенная платформа сбора, многофакторного анализа и хранения больших массивов данных соцмедиа и онлайн-СМИ. В настоящий момент по социальным медиа идет сбор на русском и еще нескольких языках, возможно масштабирование по языкам. По онлайн-СМИ сбор идет на любых языках.PL Platform хранит архив свыше 20 млрд. сообщений (с 2012 года), ежедневные поступления – около 50 млн. сообщений в сутки.или можете ознакомиться с презентацией относительно старых проектов.http://www.dialog-21.ru/adx/aspx/adxGetMedia.aspx?DocID=2244451e-1bb8-4240-892a-9f5030fe51f6Вот еще их продукт - http://eurekaengine.ru/demo - осуществляющий автоматическое определение отношения текста к любым понятиям.Непрерывно сканируют все социальные сети, форумы, блоги и т.д. на предмет "отношений" т.е. пословица про слово воробей стала как нельзя достоверной.По большому счету это так игрушки.  Если Вы думаете, что не анализируется все, вплоть до распознанных разговоров по мобильному и сообщений, то серьезно ошибаетесь.У взрослых дядь, по образцу которых она делалась - тема уже лет 20 как поставлена на поток, не только для спецуры, но даже и для обычных интересующихся доступы к "коллективному бессознательному" продаются. Юнг обзавидуется.Вот например официальный партнер фейсбука продающий "ключи" к оному - http://datasift.com/Его клиенты:Среди них есть наш старый знакомый LexisNexis.  Короче, как и все в Pax American "бессознательное" это тоже бизнес.Дело не в интернете он лишь облегчает процесс.Наивно полагать, что методики моделирования и управления в совокупности с мощью "денег" не справятся с какими нибудь региональными "ментальными эгрегорами" типа уральского, при отсутствии сопротивления ( позитивный пример которого - Сергей Колясников).Силовики, СМИ, университеты, религиозные, общественные деятели, вопрос только в "акторах" и минимизации ресурсов для достижения цели, ну и самой цели конечно.На примере украины прекрасно видно, как ломается ментальная основа и как можно заставить нормальных людей убивать себе подобных фактически за просто так.Послушное блеяние европеиодов так же один из продуктов деятельности машины запущенной римским клубом (а может и раньше).Честно Вам скажу друзья, я эту математическую хрень не люблю, хотя в нее и не плохо могу, так как считаю, что подобное вмешательство в естественное человеческое уничтожает скажем так божественную искру, а денежно-ментально-цифровое рабство ничуть не лучше той языческой гадости, что была в римской империи.  Тем более, что в основе нового миропорядка отнюдь не атеистический моральный кодекс строителей коммунизма, а штуки гораздо менее атеистические и не приятные. Вскользь прошелся здесь.Также не испытываю особо сильного восторга по поводу курса нашего правительства на интеграцию населения России в эту новую "глобальность", но глядя на некоторые шаги руководства остается надежда на то, что все закончится хорошо. Поживем, как говорится, увидим.Личный же рецепт прост - патриотическое сознание и критическое мышление.Посмотрите каким российским персонажам раздали verified статусы в фейсбуке, вслед за украинскими, где его повесили всем вплоть до командиров батальонов и персонажам вроде Геращенко.Россия все verified аккаунты:https://www.facebook.com/navalnyhttps://www.facebook.com/mikhailkhodorkovskyhttps://www.facebook.com/nakhim.shifrinhttps://www.facebook.com/slobodin.mikhailhttps://www.facebook.com/toloknohttps://www.facebook.com/Damiankudriavtsevhttps://www.facebook.com/nossikhttps://www.facebook.com/sindeevahttps://www.facebook.com/maria.lirainhttps://www.facebook.com/borovoihttps://www.facebook.com/andrey.loshakhttps://www.facebook.com/tintorerohttps://www.facebook.com/skuznhttps://www.facebook.com/krasovkinhttps://www.facebook.com/alena.vladimirskayahttps://www.facebook.com/varfolomeevОсобянчком стоят:https://www.facebook.com/ivan.zassourskyhttps://www.facebook.com/Rasstrigahttps://www.facebook.com/tina.kandelakiОтдельно выданы "медальки" Доренке и буддисту Засурскому, с Тиной Какделаки.  В виду бОльшей адекватности оных попробую поинтересоваться о физическом механизме получения "метки".Даже не разбирающийся в сортах политических деликатесов человек, глядя на этот список патентованной "совести нации", может сделать выводы о назначении "сети", соответственно совет - всегда мойте с мылом руки и мозги после фб.Подытожу - в целом мое мнение, не смотря на бешеную медийную активность клоунов - на выходе пшик, типа как с медузой, "переформатирование"русской шматрицы топорное.Удивляюсь, как и кто им еще что то платит, РИАН кладет их на лопатки одной левой, пока кладет.

03 сентября 2015, 11:34

Когнитивная система IBM Watson: принципы работы с естественным языком

IBM Watson — одна из первых когнитивных систем в мире. Эта система умеет очень многое, благодаря чему возможности Watson используются во многих сферах — от кулинарии до предсказания аварий в населенных пунктах. В общем-то, большинство возможностей Watson не являются чем-то уникальным, но в комплексе все эти возможности представляют собой весьма мощный инструмент для решения разнообразных вопросов. Например — распознавание естественного языка, динамическое обучение системы, построение и оценка гипотез. Все это позволило IBM Watson научиться давать прямые корректные ответы (с высокой степенью достоверности) на вопросы оператора. При этом когнитивная система умеет использовать для работы большие массивы глобальных неструктурированных данных, Big Data. Каковы основные принципы работы IBM Watson с языком? Об этом — в продолжении. Читать дальше →

16 июля 2015, 20:27

Palantir, мафия PayPal, спецслужбы, мировое правительство

«Лучший способ избавиться от дракона — это иметь своего собственного» На Хабре нет ни одного упоминания о Palantir`е, в русской Википедии об этом проекте нет статьи, Mithgol молчит — что-то идет не так. Или так. А между тем Palantir стала второй крупнейшей частной компанией Кремниевой Долины с оценкой в 20 000 000 000$ (уступив Uber). Среди прочих заслуг Palantir`а — раскрытие крупных китайских разведывательных операций Ghostnet и Shadow Network. Журналист: — В «Википедии» говорится, что вы входите в управляющий комитет Бильдербергского клуба. Правда ли это, и если да, чем вы там занимаетесь? Организуете тайное мировое господство? Питер Тиль: — Это правда, хотя все не до такой степени тайно или секретно, чтобы я не мог вам рассказать. Суть в том, что ведется хороший диалог между разными политическими, финансовыми, медиа- и бизнес-лидерами Америки и Западной Европы. Никакого заговора нет. И это проблема нашего общества. Нет секретного плана. У наших лидеров нет секретного плана, как решить все наши проблемы. Возможно, секретные планы – это и плохо, но гораздо возмутительнее, по-моему, отсутствие плана в принципе. Приходится собирать информацию о Palantir`е по крохам. И такая жирная кроха прячется в книге Питера Тиля «От нуля к единице» (хотя в этой книге множество намеков и информации между строк, так же как в легендарном курсе и его переводе на Хабре, спасибо zag2art). Питер Тиль: Цель, которую я ставил перед собой, читая стэнфордский курс о стартапах и предпринимательстве, заключалась в том, чтобы донести все те знания о бизнесе, которые я приобрел за последние 15 лет в Кремниевой долине как инвестор и предприниматель, собрать их воедино. С книгой то же самое. Надеюсь, благодаря этой статье и комментам хабрачитателей, положение дел относительно Palantir`а станет чуточку яснее. (Есть многомиллиардный рынок, связанный с аналитикой и ИБ, а мы ничего про него не знаем.) Читать дальше →