AI LinkedIn автоматически генерирует текстовые описания фотографий

Достаточно ли надежны современные технологии компьютерного зрения для создания текстовых описаний фотографий в разных областях? Это вопрос, который исследователи LinkedIn изучали в течение последних нескольких лет, решения которого они подробно изложили на сайте poltava-trend.in.ua . Одним из их более многообещающих усилий является инструмент, который добавляет предложенные альтернативные текстовые описания для изображений, автоматически загружаемых в LinkedIn, что достигается с помощью платформы Microsoft Cognitive Services и уникального набора данных, полученных из LinkedIn.

«В настоящее время LinkedIn позволяет участникам вручную добавлять альтернативное текстовое описание при загрузке изображений через веб-интерфейс, но не все участники предпочитают использовать эту функцию», — пишут авторы статей Випин Гупта, Анант Санкар и Джйотсна Таплиял. «Чтобы поддержать наше видение, мы должны сделать мультимедийные материалы доступными для всех наших членов

Гупта и его коллеги указывают на многочисленные проблемы, связанные с задачей автоматического создания титров, возможно, наиболее очевидно, субъективный характер рассматриваемых титров. Лучшие из них требуют обширного опыта и знаний о различных объектах и ​​их атрибутах, а также информации, основанной на времени, которая помогает более точно идентифицировать изображенные действия.

Чтобы устранить эти препятствия, команда коснулась API анализа Cognitive Services, чтобы разработать функцию, которая генерирует альтернативные текстовые описания для фотографий, ранжированных по доверительному баллу. Затем они наняли оценщиков-людей, чтобы оценить их эффективность, сверяя баллы — которые были получены с помощью альтернативных текстовых описаний, категорий и тегов — с метками, которые они сами написали.

Хотя API-интерфейс Microsoft распознавал группы людей, объекты, такие как газеты, и места, подобные метро, ​​довольно успешно, он изначально боролся со средствами массовой информации LinkedIn, содержащими изображения с профессиональным контекстом, такими как слайды, проекторы, выставки, конференции, семинары, плакаты, сертификаты, диаграммы и т. Д. , Команда разработчиков решила эту проблему, оценив правильность существующих альтернативных текстовых описаний в LinkedIn, что помогло выявить пригодные для использования шаблоны, специфичные для качества заголовков изображений.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *