Робото-журналистика: вкалывают роботы – счастлив человек?

Кибер-журналист против био-журналиста: пока ничья

В мае 2015 года Скотт Хорсли (Scott Horsley), корреспондент NPR в Белом доме и бывший бизнес-журналист, бросил дерзкий вызов пишущему алгоритму Wordsmith компании Automated Insights. «Мы хотели узнать, – пишет NPR, – как наше лучшее перо покажет себя против машины». Поскольку NPR – радио, то био-журналист был достаточно тренирован для быстрого письма. По условиям соревнования, оба противника должны были дождаться публикации финансового отчета сети кафе Denny’s и – вперед. Причем у Скота было преимущество – ведь он был постоянным клиентом Denny’s. У него там даже была любимая официантка, Женевьев, которая знала наизусть его заказ: сэндвич из яичницы с беконом. Не помогло. Хотя… как судить.

Робот управился за две минуты, Скот Хорсли – за семь с небольшим. NPR публикует обе заметки и предлагает читателю своего рода тест Тьюринга – определить, какой текст сгенерирован роботом, а какой – человеком.

Робот написал, конечно же, левую заметку. В ней очевидно выше плотность цифр, и она суше по стилю. Тогда как Скот, вспомнив то ли меню, то ли Женевьев, подпустил немного необязательной для финансового отчета лирики. Например, вставил фразу: «Рост продаж показывает, что потребители не прочь раскрыть свои бумажники ради блинчиков, яиц и картофельных оладий».

Формально словарь робота больше, поскольку должен включать в себя весь словарный запас языка (это свыше 1 млн слов для английского языка). Словарь образованного англоговорящего человека может достигать 100 тысяч слов. Но робот должен использовать наиболее частотные слова, что и делает его язык «суше». Кроме того, словарь этого робота ограничен еще и финансовой специализацией. Ему и «в голову» не могло прийти, что можно использовать в финансовом отчете кулинарные или спортивные названия (grand slam). Человек же, наоборот, частотностью не ограничен и волен использовать сколь угодно редкие и вычурные слова, расширяя контекст и образность. Более того, человек-писатель потому и писатель, что использует оригинальные образы. Роботу для финансового отчета это просто не нужно.

“But that could change”, это может измениться, – пишет NPR. Если хозяин решит скормить Wordsmith массивы более раскованных текстов NPR и слегка подкрутит алгоритм, то «Словесный кузнец» быстро перестроит свою лексику, точнее – расширит границы и принципы ее применения. Это все настраивается.

Кто победил в соревновании? Робот написал быстрее, деловитее. Скот Хорсли, как это ни банально, – медленнее, но человечнее. Аудитория этой заметки – финансисты. Ценна ли для них лирическая вставка про кошельки и блинчики? Покуда читатели еще люди, а не роботы, то, наверное, да, ценна.

В общем, ничья. Хотя две минуты против семи… Для радио, для новостей финансового рынка – это может оказаться критично.

Есенинское состязание жеребенка с паровозом проводилось и в академической среде. В 2012 году Кристер Клирвал (Christer Clerwall), профессор медиа и коммуникаций из университета Карлстад, Швеция, попросил 46 студентов прочитать два спортивных отчета – один написанный роботом, и один – человеком. Человеческая заметка была сокращена до размеров роботической, но и роботическая слегка поправлена редактором: заголовок, лид, первые абзацы – как это обычно делает редактор в СМИ. Студентам было поручено оценить материалы по ряду критериев: объективность, доверие, аккуратность, занудность, интересность, ясность, удовольствие читать, полезность, цельность и т.п.

Результаты показали, что одна заметка выигрывала в одних параметрах, другая – в других. Человеческий текст получил больше баллов по критериям «хорошо написано», «приятно читать». Роботический текст, тоже предсказуемо, получил больше баллов по критериям «объективность», «четкое описание», «аккуратность» и т.п. То есть снова ничья.

Но самое главное, что выявило исследование шведского профессора, – что различия между средним текстом био-журналиста и средним текстом кибер-журналиста незначительны. Это критически важный фактор для оценки будущего и уже настоящего робото-журналистики. Кибер-скептики все время говорят, что робот не может написать лучше человека. Но это неверный подход. «А может, заметке робота не обязательно быть «лучше»? Что если она будет просто достаточно хорошей?» – делится профессор Клирвал своими опасениями с Wired.

Робото-журналистика, третья угроза

Интернет освободил частное авторство. Миллионы людей сами информируют друг друга обо всем на свете. Что самое страшное – бесплатно, но с большим желанием. Да, в интернете полно хлама, но мы потребляем информацию, тщательно подобранную под наши интересы. Контент в сети фильтруется не перед публикацией, а после – в ходе распространения, благодаря вирусному редактору. В результате старые СМИ лишены монополии на формирование повестки. Так что дело не ограничится смертью газет. Интернет угрожает старым СМИ не столько переходом с бумаги на цифру, сколько вовлечением аудитории в авторство.

Другая угроза традиционной журналистике – корпоративные СМИ и прочий контент-маркетинг. Корпорации ведь тоже получили возможность авторства. А значит, им все меньше нужны традиционные СМИ как посредник. Корпорации могут теперь и сами.

И если в среде авторов-любителей контент «улучшается» за счет сотрудничества (вирусный редактор), то корпорации улучшают свою медийность из-за конкуренции за внимание публики. В гонке медийных вооружений они переманивают у СМИ профессионалов, применяют инновации и, что самое главное, переходят от прямой рекламы к социально-значимой тематике. Ведь брендам нужна аудитория: реклама лишь тратит аудиторию, а контент способен ее собирать. И хотя широкой публике эти процессы не очень заметны, но медийность корпораций, развиваясь, наносит традиционным СМИ не меньший ущерб, чем блогосфера.

Однако блогосфера и корпоративная журналистика хотя бы состоят из людей. На несчастную журналистику надвигается третья угроза, бездушная, нечеловеческая. Если блогосфера лишает СМИ подписки, корпорации лишают рекламы, то алгоритмы грозят отнять профессию.

Еще недавно тема робото-журналистики была сильно зарубежной. И в самом деле, тем, кто знаком с бытом российских редакций, довольно трудно представить себе новостные алгоритмы в их обиходе. Но в конце октября «Яндекс» объявил, что создает информагентство, где новости станут писать роботы. Среди редакторов, изможденных борьбой с интернетом и убытками, эта тема вызвала новый приступ смутной тревоги и, конечно, неприятия. «Ну, окей, – говорят те, кто немного знаком с проблемой, – роботы когда-нибудь будут писать спортивные заметки, финансовую аналитику или обзоры погоды. Но на большее они неспособны».

Неверная оценка. Роботы не то что «когда-нибудь будут» писать о погоде, финансах или спорте – они уже вовсю делают это сейчас, причем в умопомрачительных объемах. Соответственно, вопрос в том, будут ли они «способны на большее». Сразу ответ: да.

Заметка о землетрясении и тектонические сдвиги

Это землетрясение вошло в историю журналистики. 17 марта 2014 года в 6.25 утра журналист и программист The Los Angeles Times Кен Швенке (Ken Schwencke) был разбужен подземными толчками. Он подбежал к компьютеру, где в издательской системе его уже ожидала заметка, написанная его алгоритмом Quakebot. Кен пробежал заметку глазами и нажал кнопку «Опубликовать». Так LAT стала первым СМИ, написавшем о землетрясении, – через 3 минуты после толчка. Робот-журналист опередил своих био-коллег.

Вот эта заметка на сайте LAТ, дополненная через час после повторного толчка. Она подписана именем Швенке, но в конце указано: «this post was created by an algorithm written by the author.»

Алгоритм Quakebot, написанный Кеном Швенке, к тому времени существовал уже два года. Quakebot подключен к ленте американской службы геомониторинга. Из нее он мгновенно берет исходные данные – место, время, амплитуду, сравнивает эти данные с предыдущими землетрясениями в этом районе, тем самым автоматически определяя историческую значимость события. Данные помещаются в подходящий шаблон, и заметка готова. Робот загружает ее в издательскую систему и посылает редактору уведомление. На Пулитцера заметка явно не тянет, зато редактор уже через несколько минут после события имеет готовую публикацию. Остается добавить, что землетрясения входят в перечень горячих новостей Лос-Анджелеса. На сайте Los Angeles Times есть целый раздел Earthquakes, который пополняется роботом-юнкором.

В той же Los Angeles Times робот ведет и другую рубрику – криминальную хронику Homicide Report, причем с 2007 (!) года. Как только полицейский coroner вывешивает в свою базу (она, очевидно, публична) рапорт о чьей-то насильственной смерти, робот берет все данные, помещает их на карту, относит к категориям по расе, полу, причине смерти, участии полицейских и т.п., и публикует заметку с простенькой шаблонной формулировкой в ленту. Далее, если событие того заслуживает, журналист добирает информацию и дописывает развернутую криминальную заметку. А если нет – то нет.

Медиа-критики отмечают, насколько робот – криминальный репортер изменил газетную манеру освещения убийств. Если раньше журналисты писали только об убийствах с резонансным потенциалом, то робот сообщает абсолютно обо всех убийствах. Учет всей статистики, а не избранных случаев, позволяет видеть на карте «плотность» убийств в разных районах, причем как в целом, так и по категориям (пол, раса и т.п.). Эта визуализированная статистика порождает вторичный контент, упускаемый «писательской» журналисткой. Такая карта убийств обретает дополнительную ценность, например, для рынка недвижимости.

Остается добавить, что этот робот покрывает своей криминальной хроникой территорию с населением 10 миллионов человек – примерно столько живет в Швеции или Португалии. Разумеется, био-журналист просто не смог бы делать мгновенные статистические сопоставления в таких масштабах.

Анализируя эти кейсы, медиа-критики, стараясь лучиться оптимизмом, отмечают, что робот лишь помогает журналисту – собирает фактуру, дает первичную переработку. «Освобождая» тем самым журналиста для творческих изысканий. Это действительно так. Робот - криминальный репортер вообще почти не пишет, Quakebot пишет шаблонные заметки. Хорошие помощники.

Сложнее дело с финансовой и спортивной робото-журналистикой.

Генеративная журналистика

Вот заметка, написанная алгоритмом Wordsmith и опубликованная агентством Associated Press (читать не обязательно, оцените глубину).

Заметка была составлена менее чем за 1 секунду. Робот «скушал» фактуру отчета, сделал нужные сопоставления по рынку и в динамике и потом сгенерировал весьма развернутый и достаточно складный текст.

Куда более впечатляет тот факт, что в 2014 году «Словесный кузнец» публиковал в Associated Press 3000 финансовых заметок в квартал. Это примерно в 10 раз больше, чем до того писали собственные журналисты AP. Кстати, роботы уже вовсю захватывают финансовую поляну в ведущих медиа. Еще один лидер рынка генеративной журналистики (назовем ее так), компания Narrative Science, поставляет услуги своего робота Quill порталу Forbes.

Чтобы осознать зияющую глубину этой пропасти, заглянем еще в ее спортивный раздел. Вот фрагмент отчета о бейсбольном матче детской лиги, написанный алгоритмом The Stats Monkey из конюшни той же Narrative Science.

Фишка в том, что The Stats Monkey использует бейсбольный слэнг. И это еще не всё. Статданные детских матчей вводятся родителями в специальное приложение на iPhone прямо по ходу игры. И болельщики – родственники маленьких бейсболистов - получают развернутый отчет о матче еще до того, как соперники на поле завершили обмен рукопожатиями. Разумеется, такие отчеты, какой бы ни была их стилистическая шедевральность, для этих болельщиков важнее суперкубковых реляций.

В 2011 году алгоритм написал 400 тысяч отчетов для детской лиги. В 2012 – 1,5 миллиона. Для справки – в США в тот год насчитывалось 35 тысяч журналистов, которые, конечно, ни за какие коврижки не стали бы освещать матчи детской лиги. Вот еще один аспект робото-журналистики – алгоритмы могут оказывать услугу журналистики там, где человек-журналист не снизойдет из-за мелкомасштабья.

Иными словами, робот уже многократно превосходит человека в работе с данными, в скорости, в охвате. Но сможет ли он превзойти человека в стиле?

Два аргумента о негодных способностях робота

Главный аргумент против будущего засилия роботов-журналистов связан с неспособностью машины к творчеству. По сути, он распадается на два тезиса: робот не может придумывать, как человек, робот не может писать, как человек.

1) Робот не может придумывать

Да. Действительно, serendipity – способность человека сделать случайное открытие «нипочему» (яблоко упало на голову) выглядит случайным сполохом цепочки возбужденных нейронов. Похожее явление – эврика, внезапное озарение, логически не выводимое. Поэтому творческий «тыдыдж» всегда останется прерогативой человека. За творчеством, эвристикой и прочей serendipity стоит способность человека к проактивности, или воля. Действия же робота принципиально предопределены алгоритмом.

Поэтому, скажут скептики, робот не сможет, например, увидеть сенсацию в ряду однотипных событий, как делает человек-редактор. И уже тем более робот не сможет решить раздуть сенсацию, как это делают люди-редакторы, выхватывая какое-то событие из однотипного ряда.

Но. А что если робот умеет нечто другое, к чему человек не способен? Прежде всего, речь идет о кросс-анализе любых по размеру баз данных и выискивании корреляций. Например, кросс-анализ потребительских и политических предпочтений вдруг выявит, что владельцы красных жигулей исправно голосуют за Буша. Человека вырубило бы тут же, потому что надо найти причинно-следственное объяснение. А в мире больших данных причинность, сдерживающая наш разум, может оказаться ненужной. У робота есть возможность находить фантастические, иногда фантастически влиятельные для маркетинга, политики или журналистики корреляции, которыми пронизан мир, но мы их не видим.

А что если способность алгоритма выявлять корреляции компенсирует или даже заменяет всякие серендипные способности человека, вроде чутья, озарения или даже чувства юмора? Фактура, добытая из Big Data, может быть не менее интересна и иррациональна, чем творческие эксперименты человека.

2) У робота нет чувства (стиля)

Да. Это верно, у робота нет целеполагания сделать красиво, а если бы и было, то что это – «красиво»?

Но. Градусником красоты для робота может стать человек. Если нельзя обсчитать красоту, то можно обсчитать реакцию людей на «красоту». Вообразим, что в память робота закачаны все тексты и все реакции людей на них: лайки, перепосты, комментарии, переходы. Роботы уже сегодня способны таким образом вычислять привлекательность заголовков, тем, ключевых слов и т.п. Редактор угадывает – робот знает. Теперь вообразим, что с помощью биометрии (eye tracking уже позволяет), робот будет анализировать реакцию на конкретные идиомы, эпитеты, синтаксические конструкции, визуальные образы. Подобные технологии все более доступны, вопрос лишь в объеме данных и скорости переработки.

Такая система автоматически начнет производить все более аттрактивные заголовки и тексты. Да, возникнут другие проблемы: 1) аттрактивность станет белым шумом, 2) погоня за реакцией читателя сделает генеративную журналистку дегенеративной. Но на переходном этапе важно другое: анализ человеческих реакций при достаточной массиве данных заменяет роботу отсутствующее у него чутье.

Иначе говоря, на любой аргумент о том, чего не может робот, можно привести не менее убедительный аргумент о том, чего не может человек. В этом состязании способностей примерно тоже ничья.

Состязание в самом начале, а уже – ничья.

Дорожная карта робото-журналистики

Исходя из того, что мы уже знаем о роботах-журналистах, можно примерно представить, как они захватят мир. Ну, или, для начала, профессию. Вот ключевые фрагменты будущего механизма робото-журналистики.

1) Большие данные. Умение алгоритма работать с большими данными, очевидно, будет только развиваться. Способность к обнаружению корреляций в какой-то мере заменяет роботу человеческую креативность. Лучшие умы и лучшие инвесторы работают над этим. А не над сохранением журналистики.

2) Корпус всех текстов и анализ накопленных аудиторных реакций. Мониторя в сети или накапливая в собственной базе все журналистские тексты, алгоритм может легко вычислить, какие тексты – со всеми их тактико-техническими характеристиками – собирают больше всего лайков, прочтений, репостов, комментариев.

Конечно, могут оставаться какие-то ниши, посильные только человечьему чутью. Вот они и будут заповедниками био-колумнистов. Однако в индустриальном масштабе эти слепые для робота пятна не будут играть роли, особенно если учесть, насколько из-за роботов вырастет общий оборот контента.

3) Биометрия. Получив доступ к невыраженным реакциям, к языку тела, робот сможет учитывать не только старые реакции на старые тексты, но и мгновенные реакции на здесь-и-сейчас воспринимаемый контент. Прочитал человек заголовок про Путина – тачскрин чует, как вспотели руки, веб-камера фиксирует, как расширились зрачки, микрофон слышит, как участилось дыхание. Все ясно. И так – на массивах из тысяч читателей. Этот бытовой полиграф заменит чутье редактора.

Технологии замещения человека алгоритмом будут эволюционировать, причем с ускорением. А почему они должны останавливаться на достигнутом? Да и что считать достигнутым уровнем? Это открытая вверх и вперед дорога. Где-то впереди по ней маячит призрак искусственного интеллекта.

Прогноз для мира

Сооснователь и главный научный руководитель компании Narrative Science Кристиан Хаммонд уверен, что к 2030 году компьютеры будут писать 90% новостей. Хаммонд также считает, что в 2017 году компьютер напишет материал, достойный Пулитцеровской премии.

Поскольку точные сроки названы, называть другие неинтересно, то предреку только, что нас ждет количественная и качественная конкуренция с кибер-коллегами. В количественной конкуренции био-журналисты проигрывают прямо сейчас. В качественной мы уступим в течение 5-7 лет.

Любопытно, что на ранних стадиях перехода журналистики от людей к роботам убийцами профессии станут родные редакторы. Редакции вынуждены производить как можно больше контента, чтобы повысить трафик. Журналисту некогда заняться серьезными темами, он должен гнать материалы на сайт: «motion for motion's sake» - движение ради движения. Этот эффект теоретик журналистики Дин Старкман (Dean Starkman) назвал hamsterization of journalism – от hamster wheel, беличье колесо. Хамстеризация журналистики в погоне за трафиком сокращает время работы журналиста над материалом ради количества материалов: “do more with less”.

Сто тысяч читателей одной статьи – это качественная журналистика. Но надо ли биться за сто тысяч читателей для одной статьи, если можно поставить сто тысяч статей, каждая из которых принесет десять прочтений? Кого выберет редактор: капризного журналиста с растущей зарплатой и тремя текстами в неделю, или безотказный алгоритм со снижающейся абонплатой и тремя текстами в минуту?

Associated Press покупает услуги Wordsmith вовсе не потому, что «кузнец» пишет лучше человека. А потому, что он пишет больше и быстрее. Так что спор о качестве текста вообще нерелевантен. Роботы захватят редакции благодаря своим экономическим, а не литературным достоинствам.

Роботы-журналисты в России

Что касается прогноза для России, то нужно понять сначала, где мы находимся сейчас. Бототворчество активно развивается в политической сфере и в коммерции, но не в журналистике. Известны любопытные эксперименты Sports.ru – пожалуй, самой инновационной редакции на этом поле. Например, робот ведет там спортивную хронику. Другой робот пишет короткие фразы и подбирает к ним гифки, иногда получается даже смешно.

В Sports.ru сделали генератор заголовков в помощь спортивному блогеру.

Но самый, на мой взгляд, интересный эксперимент Sports.ru в этой сфере– робот, который научился использовать популярные комментарии из смежных тем. Сокращая их и добавляя пару крепких болельщицких выражений, робот быстро набрал 300 «плюсов» популярности, а это первая отсечка, которая дает блогерам портала статус для «минусовки» других участников. «Набрал за два дня, гораздо быстрее, чем обычные пользователи, – рассказал мне Михаил Калашников, директор по продуктам Sports.ru. – После этого мы его отключили. Думаем, что теперь делать с этим знанием».

На первый взгляд, обычный форумный бот. Но важно вот что: он использовал анализ человечьих реакций (вычислил наиболее популярные у читателей формулировки) для производства собственного контента. Ему остается научиться у Wordsmith генерировать тексты – и это будет полноценный робот-журналист, лучше редактора знающий, чего хочет публика.

В анонсированном недавно проекте «Яндекс для медиа», уже представлен, видимо, первый в России робот-журналист, пишущий если не готовые тексты, то заготовки, суммирующие информацию о пробках и погоде. Подобный сервис напоминает алгоритм криминальной хроники Los Angeles Times, работающий с 2007 года. Это еще не совсем журналист, а, скорее, помощник журналиста, формирующий ленту текстовых уведомлений с опорой на статистику.

Всеволод Пуля упоминает алгоритм, составляющий отчёты о котировках акций на finmarket.ru, еще какие-то алгоритмы-помощники. Наверняка в России есть роботы, пишущие тексты под другие задачи, скажем, у Ашманова. Но журналистского текста, пусть даже финансового или спортивного, написанного роботом, в России, видимо, еще нет. Иначе бы он прогремел. Если так, то отставание нашего рынка от западного можно оценить примерно в 5-7 лет.

Прогноз для России

Угрозу роботов для российской журналистики надо рассматривать в контексте остальных угроз. Российские СМИ с лихвой изведали всех тех бед, которые причиняет журналистике блогосфера с вирусным редактором. Она отбирает у СМИ эксклюзив, аудиторию, рынок.

Но все же основной угрозой для журналистики в России становится развитие корпоративной медийности. Проблема в том, что в норме корпоративные медиа должны конкурировать – это будет улучшать их социальное звучание. Но у нас главной корпорацией является государство. Его корпоративная медийность конкуренции не предполагает. Вот его медийность и вытесняет журналистику с рынка. Лишившиеся рыночных источников СМИ превращаются в канал трансляции для этого корпоративного медиа. В лучшем случае они творчески переосмысливают заданные темы. Это не совсем журналистика, а, скорее, отмывание действительности в особо крупных размерах.

Так что есть хорошая новость: алгоритмы не успеют погубить российскую журналистику. Она им не достанется.

Wordsmith или Quill вряд ли выучат русский язык. А для выращивания русскоязычного робота такой мощности нужен, прежде всего, сильный рынок венчурных инвестиций. В общем, алгоритмы не отнимут у российских журналистов профессию.

Тем не менее, остаться в стороне от технологических новаций не удастся. Новости о нашествии роботов так или иначе будут тревожить журналистов. Для редакций выигрышной будет следующая стратегия: быть в числе первых в начале роботизации и в числе последних – в ее конце.

Сейчас редакционное использование алгоритма, генерирующего тексты, может быть интересной PR-акцией – для аудитории, для инвестора. А вот когда и если алгоритмы уже насытят рынок, тогда звучащий среди их металлического скрежета человечий голос, безусловно, получит особую привлекательность для публики.

В этом смысле, как ни странно, потребительской ценностью человеческой журналистики на ее последних стадиях окажется… редакционная ошибка. До тех пор, пока роботы не поймут этого и не научатся симулировать так же и ошибку.

В 2014 году Wordsmith, один из двух самых мощных новостных алгоритмов, написал и опубликовал в медиа ОДИН МИЛЛИАРД заметок. Это больше, чем написано людьми-журналистами. Часть этого миллиарда пошла на физическое увеличение объемов медиа-контента. Ну, а другая часть уже пошла на замещение, то есть вытеснение людей из профессии.

Рынок будет требовать больше, больше. И ничто не помешает роботу написать сколь угодно больше, кроме ограниченной способности людей читать все это. Но и это ограничение будет снято, когда читать тоже будут роботы.

Почитать по теме

• Я не верю в роботов-журналистов, но знаю, что часть журналистcкой работы могут выполнять роботы. Основатель стартапа Narrative Sciencе Стюарт Френкель рассказал Slon.ru о том, как компьютеры могут заменить работников СМИ. Петр Биргер. Slon.ru, 26.05.10.
• Журналисты, которые никогда не спят. Robo-hunter, 1 октября 2014.
• Журналисты больше не нужны: какие роботы работают за нас. Олег Акбаров. Look At Me, 2 июля 2014.
• In Case You Wondered, a Real Human Wrote This Column. By Steve Lohr. The New York Times, Sept. 10, 2011.
• More News Is Being Written By Robots Than You Think. By Jason Dorrier. SingularityHub, Mar 25, 2014.
• Can an Algorithm Write a Better News Story Than a Human Reporter? By Steven Levy. Wired, 04.24.12.
• Robots have mastered news writing. Goodbye journalism. By Liat Clark. Wired, 06 March 2014.
• Robots Are Invading the News Business, and It’s Great for Journalists. By Kevin Roose. New York Magazine, Jul 14, 2014.
• Automation, Algorithms, And Android News Readers: How Robots Are Changing The Face Of Journalism. By Edward Sinnott. Junkee.com, 7/8/2015.
• Can Robots Do Public Interest Journalism? By Nicholas Diakopoulos. European journalism observatory, February 11, 2015.
• Enter the Robot Journalist. Users' perceptions of automated content. By Christer Clerwall. Journalism Practice, Volume 8, Issue 5, 2014.
• Should media outlets tell readers the news was created by robots? By Matt Sutton. J-source, May 12, 2014.
• 5 white-collar jobs robots already have taken. By Erik Sherman. Fortune, February 25, 2015.