Автоматизированная журналистика в современном глобальном мире

Следует отметить, что такой подход трудозатратен и на него может согласиться не каждый пользователь. Генераторы-полуавтоматы, безусловно, упрощают работу веб-оптимизаторов, но человеческий фактор в процессе генерации остается очень высоким.Второй подход дает более удачные результаты с точки зрения качества порожденного текста. Но по-настоящему хорошие результаты описанными программами достигаются в случае, если пользователь заменяет целые куски текста, которые генератор использует в перестановках. И обратно, чем больше автоматическая часть, тем менее похожими на написанный человеком текст получаются итоговые статьи.Результаты анализа текста напрямую влияют на результат порождения: чемкачественнее произведено распознавание текста, тем более хороших результатов можно ждать от генератора. Но задача распознавания машиной текста на естественном языке является сложной задачей, решение которой приблизит человека к созданию искусственного интеллекта. Поэтому описанные полуавтоматы, прибегающие к помощи человека, справляются с задачей порождения статей лучше, чем полностью автоматические инструменты.Рассмотрим подробнее некоторых представителей отрасли "автоматизированной журналистики".2.1 MagicarticlerewriterОдним из наиболее известных инструментов контент-менеджеров, специалистов поуправлению содержанием веб-сайта, является коммерческий продукт MagicArticleRewriter, выпущенный на рынок в 2009 году. На данный момент версию 1.8приложения, выпущенную в феврале 2010 года, можно приобрести за 77 долларов. Всвободном доступе его нет, поэтому посмотреть на работу приложения непосредственноне представляется возможным, но по описанию продукта и отзывам пользователей можносделать некоторые выводы об используемом в приложении подходе к генерации текста.С помощью MagicArticleRewriter можно породить множество текстов из некоторойзаданной статьи. Это происходит путем замены отдельных слов синонимами и целыхпредложений их семантическими эквивалентами. Подбор эквивалентов для слов ипредложений осуществляется пользователем приложения. Пользователь может выбратьодин или несколько синонимов для слов текста из встроенной базы данных либо ввестисемантический эквивалент слова или предложения вручную. Приложение работает с базойданных, содержащей около 30 000 слов вместе с синонимами. (Примечание – По даннымоксфордского университета в современном английском языке содержится свыше 170 000слов, а также порядка 50 000 устаревших слов).После проделанной пользователем работы получается прототип текста сдобавленными вариантами слов и предложений. На основе этого прототипа MagicArticleRewriter способен породить случайный экземпляр статьи либо указанное пользователемчисло новых статей, каждая из которых будет сохранена в отдельный файл на жесткомдиске.Программа имеет удобный пользовательский интерфейс и массу положительныхотзывов. Но следует отметить, что имеются и негативные отзывы, называющие функциюгенерации множества текстов «сплошным мошенничеством». Пользователи отмечаютнизкое качество порожденного текста, некорректную морфологическую обработкуТакже к слабым местам данного программного продукта стоит отнести функцию случайной генерации статей, не учитывающую близость порожденных текстов между собой.2.2. PowerArticleRewriterЕще одним продуктом, порождающим новые статьи из старого контента, является PowerArticleRewriter. Он появился в 2008 году.Функциональность этого продукта очень похожа на функциональность MagicArticleRewriter. Для обработки приложением оригинальная статья может быть введена вспециальное текстовое поле либо загружена из файла. Действия пользователя в PowerArticleRewriter аналогичны его действиям в MagicArticleRewriter: после загрузки текстав систему пользователь создает множества семантических эквивалентов для слов изтекста. Для этого используются синонимы слов из встроенного тезауруса либоэквиваленты слов, предложенные самим пользователем. К тому же, существует функция«вложенных вариаций», то есть пользователь может указать варианты замены не толькодля отдельных предложений из текста, но и для уже предложенных семантическихэквивалентов предложений. В результате описанной обработки текста получаетсянекоторая структура; опираясь на нее, программа порождает новый текст, который можноотредактировать и сохранить. Также в приложении имеется возможность генерациипроизвольного числа уникальных текстов с последующим сохранением на жесткий дисккомпьютера.Этот продукт, как и предыдущий, является коммерческим, его пробная версиядоступна в течение пятнадцати дней, что и позволило непосредственно ознакомиться с егоработой. Стоимость лицензионной версии PowerArticleRewriter составляет 97 долларов.2.3 ArticleRewriteWorker«ArticleRewriteWorker – инструмент для генерации статей высокого качества,большинство из которых могут быть проиндексированы поисковыми роботамиGoogle/YAHOO/MSN, несмотря на небольшие грамматические ошибки, появляющиесяпри генерации», - с официального сайта ArticleRewriteWorker.Работа приложения направлена на автоматическую генерацию указанного числа (от1 до 1000) текстов, лексически отличных от исходного с заданным значением степениискаженности (от «очень низкого» до «наивысшего»). Приложение имеет встроенныйтезаурус размером 35 500 слов.Приложение имеет два режима работы: «автоматический» (Примечание – ФункцияAuto) и «ручной» (Примечание – Функция Manual). В «автоматическом» режиме работыгенерация осуществляется путем замены слова или словосочетания на любой из егосинонимов, имеющихся во встроенном тезаурусе. В «ручном» режиме работы передэтапом генерации пользователю предлагается выбрать семантические эквиваленты дляслов текста из тезауруса (при наличии слова в базе данных) или предложить свой вариант.То есть, функция Manual позволяет отобрать синонимы слова, соответствующиеконтексту. Такое сокращение множества синонимов приводит к повышению степенисемантического соответствия порожденного текста и оригинальной статьи.После процедуры генерации пользователь может вручную отредактировать каждыйиз порожденных текстов для улучшения его качества, а именно: произвести заменынекорректно употребленных слов, расставить знаки препинания и исправитьграмматические ошибки.В приложении имеется возможность загрузки статьи из файла, а также сохранениялюбого порожденного текста на жестком диске компьютера. Среди прочих ArticleRewriteWorker отличается красочным пользовательским интерфейсом.Последняя версия продукта вышла в феврале 2011 года. Продукт является платным,его можно приобрести за 50 долларов, в свободном распространении имеется егоурезанный вариант.2.4 WordFlood 2.0WordFlood 2.0 – это настольное приложение, представленное на официальномсайте продукта, как «помощник писателей и интернет-маркетологов при выборе лучшихслов и фраз для упрощения процессов создания и редактирования текстов». WordFlood неявляется генератором контента в прямом смысле этого слова, но, по факту, решает ту жесамую задачу, что и вышеописанные автоматические генераторы, а именно: создает новыеоригинальные статьи для продвижения веб-сайтов. И, судя по работе приложения, подходк созданию новых текстов примерно такой же, как и в продуктах, ориентированных наавтоматическую генерацию. То есть, пользователю предлагается выбрать новые,подходящие по контексту варианты слов и предложений из некоторого тезауруса либоввести собственные. Плюсом системы является большой объем лексической базы данныхс синонимами - около 140 000 слов и фраз английского языка. К минусам системыотносится создание только одной статьи на выходе.Пользовательский интерфейс приложения делится на две части: текстовое поле, куданепосредственно вводится исходный текст, либо загружается из файла; и поле синонимов, в котором отображаются слова с предложенными вариантами синонимов. После выборапользователем подходящих замен для слов изменение текста также отображается втекстовом поле. Особенностью интерфейса, положительно влияющей на качествопорожденной статьи, создатели приложения называют поле синонимов. Оно даетвозможность единовременного обзора нескольких подряд идущих слов и варианты ихзамены. Эта особенность, по утверждению создателей приложения, позволяет непотеряться в контексте, что в свою очередь увеличивает скорость работы пользователя стекстом.После вышеописанной полуавтоматической обработки текста пользователемполучается одна новая статья, которую можно сохранить для дальнейшего использования.Приложение WordFlood 2.0 распространяется с 2008 года, до сих поросуществляется его поддержка и приобрести продукт можно за 67 долларов.Испытательная версия программы работает в течение двух недель с момента установки,это позволило наряду с изучением описания продукта WordFlood 2.0 наглядноознакомиться с его функциональностью.2.5 Другие автоматические генераторы веб-контентаОписанные в данной главе генераторы статей не единственные, можно назвать идругие похожие продукты, например:- Quick Article Spinner;- Instant Article Wizard;- Article Queen;- ADSpinner;- EZ-ReWriter Software имногиедругие.Большинство из них является платными коробочными продуктами, но такжевстречаются и бесплатные приложения и веб-сайты.ЗаключениеПодводя итог, скажем, что перспективы перед гуманитарными исследованиями от использования автоматизированных систем тематической индексацииоткрываются необъятные. Можно предположить, что в перспективе, реализация идеи тематической индексации приведёт к специализации интернет-поисковиков. Она также позволит поисковым программам операционных систем автоматически создавать рубрицированный каталог всех электронных текстов на персональных компьютерах. Тематический поисковик сможет индексировать файлы и сайты по ограниченному набору тематик из какой-либо узкой предметной области, скажем из истории России, но зато предельно корректно.В интеллектуальных поисковиках будущего можно будет исключать из результатов поиска не просто нежелательные слова (их всех не предусмотришь), но и нежелательные тематики; регулировать ранжирование результатов поиска по степени доминирования тематики в текстах или в их фрагментах. Тривиальный поиск по словам, конечно, тоже останется, но он будет уже иметь вторичный характер.Априорные величины для тематической индексации текстов по формуле Байеса могут сформировать только гуманитарии – специалисты в дискурсивных особенностях тех областей знаний, для которых происходит обработка текстов и документов. Речь идёт в частности о составлении дисциплинарных, субдисциплинарных и междисциплинарных идеографических словарей нового типа. В таких словарях по каждой предметно-тематической рубрике будет содержаться список и объяснение всех контекстно-инвариантных употреблений определённых словоформ, понятий или идиом. Для обозначения подобных «сборников контекстов» (с перечислением, но без анализа) в корпусной лингвистике используется термин «конкорданс». Однако существующие конкордансы носят исключительно языковедческо-справочный характер. Здесь же имеется ввиду создание неких предметных баз знаний.Эвристические возможности фильтрации, сортировки и компоновки информации в такой базе знаний как раз и откроет новые горизонты гуманитаристики. Они станут действенным поводом для новых форм рефлексии гуманитариев над методами и целями своих исследований, над своими языками и текстами, и предоставят широкой аудитории новые поводы заинтересоваться этими текстами. Будь то классические философские трактаты, электронные архивы сообщений СМИ за прошлые годы, базы данных с отчётной отраслевой документацией, протоколы заседаний или любые иные корпуса текстов. У гуманитариев помимо задачи «выписывать из разных книжек в одну тетрадку», появятся новые более творческие задачи, связанные с поиском способов автоматизации конспектирования, реферирования и аннотирования текстов. Автоматизация настраиваемых субдисциплинарных рубрикаций, ранжирования и комбинаторики текстов создаёт новые стимулы их прочтения, новые направления интересов, новые способы интерпретации описанных в текстах событий и явлений. Соответственно, всё это может открыть и новые перспективы гуманитарных наук XXI века.Список литературыБиргер П. «Я не верю в роботов-журналистов, но знаю, что часть журналистcкой работы могут выполнять роботы». Основатель стартапаNarrativeSciencе Стюарт Френкель рассказал Slon.ru о том, как компьютеры могут заменить работников СМИ//Slon.- Режим доступа: http://slon.ru/Соколов А.В. Метатеория социальной коммуникации. - СПб., 2002.- 470 с.Ландэ Д.В. Поиск знаний в Internet.- Киев, 2010.- 320 с.Маркова, М.В. Порождение уникального WEB-контента на основе аннотированного текста / Материалы XLIX Международной Студенческой Конференции «Студент и научно-технический прогресс»: Информационные технологии (16-20 апреля 2011 г.).Новосиб. гос. ун-т. Новосибирск, 2011. – С. 209.Официальный информационный ресурс продукта PowerArticleRewriter[Электронный ресурс]. – Режим доступа: http://powerarticlerewriter.com/, свободный.Официальный ресурс продукта ArticleRewriteWorker / [Электронный ресурс]. –Режим доступа: http://www.articlerewriteworker.com/, свободный.Официальный ресурс проекта WordFlood / [Электронный ресурс]. – Режим доступа:http://www.wordflood.com/, свободный.Бочаров А.В. Автоматизация обработки неструктурированной текстовой информации и перспективы гуманитарных наук в XXI веке//Человек-текст-эпоха. -Томск: Изд-во ТГУ, 2011.-Вып. 4.- С. 15-37.