Термин "Unicorn" (единорог) уже несколько лет используется для характеристики успешного стартапа стоимостью более 1 млрд долларов. Если в высокотехнологичных сферах, в том числе в IT, единороги хоть изредка, но встречаются, то в реальном мире они по-прежнему остаются выдумкой. Как и большое количество «мусорных» новостей, которые не несут практической ценности, а лишь создают информационный шум.

Проблема быстрого поиска новостной информации и ее обработки становится всё актуальней, поэтому герой спецпроекта «Фабрика единорогов» решил подключить новые технологии для создания принципиального нового способа взаимодействия со СМИ. Александр ЧЕЧЕНЕВ, студент 3 курса Института кибербезопасности и защиты информации, придумал уникальный новостной агрегатор Findly, основанный на искусственном интеллекте. Его разработка была признана лучшим молодежным проектом Санкт-Петербурга 2021 года и заняла призовое место на конкурсе проектов Политеха. Как работает система, при чем здесь актер Милош Бикович и во сколько сейчас оценивается проект Александра, читайте в нашем материале.

Выход за рамки

Идея разработать действительно полезный новостной агрегатор, чтобы он при этом отличался от тысячи других конкурентов, пришла Александру во время обучения на курсе «Основы проектной деятельности». «Когда я увидел возможность работать с новостным агрегатором, то сразу понял, что из этого может получиться интересный проект. Я предложил выйти за рамки задания для создания действительно нового и удобного сервиса, и после тщательной проработки плана заказчик и команда меня поддержали», — отмечает Александр Чеченев.

Александр так загорелся идей, что за пару дней придумал «фишку» проекта — не просто размещать новости, а использовать специальные алгоритмы, которые позволят любому желающему получить краткую выжимку по новости. Она формируется в виде 10 наиболее интересных фактов и цитат из различных статей по одной новости.

Хочу все знать!

Так на свет появился проект Findly — новостной сервис, который может провести онлайн-поиск и анализ любой новости при помощи искусственного интеллекта за 10 секунд. Интересные новости по различным темам каждый день автоматически публикуются в приложении, также пользователям доступен анализ по любым запросам через telegram-бота.

Проект Александра предлагает принципиально новый подход для новостных агрегаторов. Зачастую молодым людям неинтересно читать длинные статьи, и они редко задумываются о достоверности источника, поэтому Findly берет эту работу на себя. Алгоритм прописан так, что сервис сам, без участия человека, ищет интересные статьи по запросам на авторитетных сайтах, читает их, вычленяет из новостей факты и находит самую полную и нейтральную новость, которую и выдает пользователю. Более того, сервис предупреждает читателя, если какие-то статьи содержат предвзятое отношение к событию. Также автоматически выделяются теги (ключевое содержимое): по ним можно фильтровать новости и получать рекомендации из похожих статей.

Разработанный алгоритм является практически идеальной системой для фильтрации и оценки контента и работает точнее, чем большинство алгоритмов, представленных на рынке. Он использует не поиск статей, в которых больше всего раз встречается поисковый запрос, как это делают поисковые системы, а улучшает уже существующую выдачу, отмечая самой интересной ту статью, в которой больше всего различных фактов по теме. Для этого используется матрица смежности: весь контент развеивается на леммы (Ле́мма — начальная, словарная форма слова. Например, существительные и прилагательные — им. падеж ед. ч., глаголы и глагольные формы — инфинитивы. — Примеч. Ред.) и на основе их пересечений и работает алгоритм.

Трудности перевода

Интересный факт, что во время работы над Findly команда Александра столкнулась с весьма необычными трудностями. Алгоритму, который отвечает за поиск нейтральных новостей, нужно было четко прописать, какие части речи он должен искать в тексте и какую важность они занимают в предложении. Например, если используется стандартный алгоритм анализа (всего их пять), то наиболее важными считаются числительные. Нельзя попросить алгоритм фильтровать новости, например, с оценочным словом «восхитительный». Сервису нужно дать четкий алгоритм для работы с каждой леммой: например, все вспомогательные части речи из предложений удаляются, а остальные помогают оценить практическую значимость всего предложения, исходя из важности каждого слова. «Нам пришлось с новыми силами погрузиться в школьную программу русского языка, хотя, казалось бы, мы работаем над IT-проектом», — отмечает герой.

Терпение и труд все перетрут

Первая новость, которая прошла через тестирование агрегатора, была о том, что актеру Милошу Биковичу дали российское гражданство. Ее пришлось десятки раз прогонять по тогда еще очень медленно работающему алгоритму, устранять множество ошибок, редактировать и улучшать способ фильтрации. Александр уже начал расстраиваться, что и со следующей новостью его ждет бесконечный путь устранения ошибок, но все прошло идеально. «Тогда и пришло осознание, что несмотря на другую тему и приоритеты алгоритм сработал правильно, значит, он получился универсальный. Тогда я и понял, что иду в верном направлении!» — вспоминает Александр. Конечно, проект не состоялся бы без помощи наставников: советы по технической реализации команде давал Василий Михайлович КРУНДЫШЕВ — инженер-исследователь Центра кибербезопасности цифровых технологий Политеха.

Что будет дальше?

Проектом Findly заинтересовались бизнес-инкубатор «Ингрия» и Российская академия наук. РАН оценила новостной сервис в 4 млн рублей и готова профинансировать его доработку: необходима персонализация, социальные функции и отсутствие зависимости от других сервисов. После выполнения всех работ Александр планирует продать проект заинтересованным компаниям.

«Молодым людям, которые боятся сделать первый шаг, главное побороть свою неуверенность и страх. Ежедневное улучшение приложения в течение месяца позволило добиться того, что сайт набирает почти 100% в рейтинге производительности Google, в то время как у общеизвестных новостных агрегаторов этот процент в несколько раз ниже», — отмечает наш герой.