Российские ученые выпустили самый большой в мире открытый набор данных PackEat для обучения компьютерного зрения в розничной торговле. Разработка призвана повысить точность систем учёта и «умных касс» в супермаркетах.
Датасет содержит свыше 100 тысяч фотографий 34 видов и 65 сортов фруктов и овощей. Снимки сделаны в реальных магазинах разных городов и охватывают более 370 тысяч отдельных объектов. Примерно 9 тысяч изображений имеют детальную разметку с указанием количества предметов и общего веса упаковки.
Особенность набора в том, что он учитывает реальные условия: товары в пакетах, частичное перекрытие друг другом и сложный фон прилавка. Это помогает алгоритмам решать ключевые задачи: отличать сорта, выделять каждый объект в куче и вести автоматический подсчет.
Над датасетом работали специалисты «Яндекса», Центра искусственного интеллекта Сколтеха и Санкт-Петербургского государственного университета аэрокосмического приборостроения. Его описание опубликовано в журнале Scientific Data, а сами изображения и код моделей выложены на платформах Zenodo и Kaggle для свободного использования.