Новости
Дослідники Лабораторії штучного інтелекту і комп'ютерних наук Массачусетського технологічного університету розробили нейронну мережу, яка здатна не тільки визначити список інгредієнтів по фотографії страви, але також підказати, як його готувати. З подробицями роботи можна ознайомитися на сайті університету.
Новоспечений штучний інтелект отримав назву Recipe1M. Повідомляється, що для того, щоб його навчити, вчені попередньо зібрали з різних кулінарних сайтів один мільйон рецептів (які включали зображення готової страви, список інгредієнтів і інструкцію з приготування).
Потім фахівці навчили нейронну мережу визначати страви за їхніми фотографіями.
На основі натренованої нейромережі дослідники створили систему Pic2Recipe . Щоб отримати список інгредієнтів і спосіб приготування, користувачеві досить завантажити фотографію шуканого страви. Так, до зображення тарілки печива нейросеть пропонує список інгредієнтів з борошна, яєць і масла.
Разом з тим, на даному етапі система далека від досконалості: Pic2Recipe коректно визначає рецепт їжі тільки в 65% випадків. За словами дослідників, причина настільки невисокої точності криється в різних ракурсах фотографій.
«В основному це проблема правильного масштабування. Існує безліч варіацій фотографій їжі: так, фотографія може бути зроблена крупним планом або з деякої відстані. Крім того, люди можуть фотографувати не ціла блюдо, а окремий його елемент або частину », - розповів один з розробників системи Нік Хайнс.
Цікаво, що нейросеть найкраще справляється з печивом і кексами, оскільки таких рецептів з кулінарних сайтів в базі виявилося найбільше. Найгірше система розпізнає смузі і суші.
Крім цього, нейросеть погано визначає ті страви, рецепти яких дублюються в базі даних, а також не завжди може точно визначити спосіб приготування страви, наприклад, гасили цибулю або смажили.
Разом з тим, розробники вважають своє творіння досить перспективним.
«Ми розраховуємо, що в подальшому люди зможуть користуватися покращеною версією нашого алгоритму, щоб відстежувати раціон харчування протягом дня, визначаючи точну кількість калорій в конкретному блюді, а також дізнаватися про здорових звичках і харчових перевагах людей на основі фотографій їжі з їх акаунтів в соціальних мережах », - заявив один з авторів дослідження Хамед Хаддад.
джерела: Techcrunch , The Verge
- раніше ми писали про програму Sony Lifelog, які розраховують калорійність їжі по фотографії.