Дослідники Лабораторії штучного інтелекту і комп'ютерних наук Массачусетського технологічного університету розробили нейронну мережу, яка здатна не тільки визначити список інгредієнтів по фотографії страви, але також підказати, як його готувати. З подробицями роботи можна ознайомитися на сайті університету.

Новоспечений штучний інтелект отримав назву Recipe1M. Повідомляється, що для того, щоб його навчити, вчені попередньо зібрали з різних кулінарних сайтів один мільйон рецептів (які включали зображення готової страви, список інгредієнтів і інструкцію з приготування).

Потім фахівці навчили нейронну мережу визначати страви за їхніми фотографіями.

На основі натренованої нейромережі дослідники створили систему Pic2Recipe . Щоб отримати список інгредієнтів і спосіб приготування, користувачеві досить завантажити фотографію шуканого страви. Так, до зображення тарілки печива нейросеть пропонує список інгредієнтів з борошна, яєць і масла.

Разом з тим, на даному етапі система далека від досконалості: Pic2Recipe коректно визначає рецепт їжі тільки в 65% випадків. За словами дослідників, причина настільки невисокої точності криється в різних ракурсах фотографій.

«В основному це проблема правильного масштабування. Існує безліч варіацій фотографій їжі: так, фотографія може бути зроблена крупним планом або з деякої відстані. Крім того, люди можуть фотографувати не ціла блюдо, а окремий його елемент або частину », - розповів один з розробників системи Нік Хайнс.

Цікаво, що нейросеть найкраще справляється з печивом і кексами, оскільки таких рецептів з кулінарних сайтів в базі виявилося найбільше. Найгірше система розпізнає смузі і суші.

Крім цього, нейросеть погано визначає ті страви, рецепти яких дублюються в базі даних, а також не завжди може точно визначити спосіб приготування страви, наприклад, гасили цибулю або смажили.

Разом з тим, розробники вважають своє творіння досить перспективним.

«Ми розраховуємо, що в подальшому люди зможуть користуватися покращеною версією нашого алгоритму, щоб відстежувати раціон харчування протягом дня, визначаючи точну кількість калорій в конкретному блюді, а також дізнаватися про здорових звичках і харчових перевагах людей на основі фотографій їжі з їх акаунтів в соціальних мережах », - заявив один з авторів дослідження Хамед Хаддад.

джерела: Techcrunch , The Verge

• раніше ми писали про програму Sony Lifelog, які розраховують калорійність їжі по фотографії.