Теперь вы можете загружать изображения в Google Bard; Вот несколько классных примеров

Google незаметно улучшал Bard и добавлял новые функции каждые несколько недель, доводя его возможности до уровня ChatGPT. Теперь компания добавила возможность загружать изображения в Bard для более широкого использования помимо текста. Не заблуждайтесь, Google Bard по-прежнему является текстовой большой языковой моделью. Тем не менее, поисковый гигант интегрировал Google Lens, обратный поиск изображений и несколько систем VQA (визуальные ответы на вопросы), чтобы Бард чувствовал себя мультимодальной моделью. Тем не менее, текущие возможности зрения Барда действительно несколько удивительны, и мы протестировали его ниже, чтобы узнать о его возможностях. На этой ноте давайте взглянем на несколько интересных примеров загрузки изображений в Google Bard.

Лучшая полезность возможностей Bard по работе с изображениями заключается в том, что теперь вы можете загрузить изображение, нажав кнопку (+). Затем он может быстро захватывать тексты из загрузок. Затем Google Bard автоматически выполняет OCR и делает точную работу. При этом, несмотря на длинный список языковой поддержки в Bard, в настоящее время функция OCR работает только для английского языка. Я попробовал несколько международных и региональных языков, но мне не удалось получить тексты из отсканированных изображений. Тем не менее, для быстрого извлечения текста из изображений Bard может быть очень полезен.

Мы все сталкиваемся с трудностями, когда нам приходится извлекать таблицы из отсканированных изображений или документов. Однако Google Bard может легко извлекать таблицы с неповрежденным форматированием. Фактически, вы также можете экспортировать таблицу в Google Sheets и выполнять дальнейшее редактирование или обработку данных. Как это круто? Сказав, что в настоящее время Бард часто галлюцинирует, а в некоторых случаях заполняет ячейки неверными данными, поэтому обязательно проверьте их перед экспортом.

3. Создавайте код для веб-сайтов/приложений с помощью мокапов

Чтобы продемонстрировать Функция мультимодальности GPT-4. В марте 2023 года OpenAI продемонстрировала, как ее модель понимает набросанную заметку, и быстро создала макет веб-сайта из листа бумаги. Хотя мультимодальная функция еще не появилась в GPT-4, Google Bard может генерировать код, соответствующий макету. Имейте в виду, что Bard не является мультимодальной моделью, а использует сегментацию изображения с помощью Google Lens для понимания изображения. Тем не менее, Бард удивил нас своими результатами.

Я загрузил скриншот целевой страницы Facebook, и он быстро сгенерировал код в HTML и CSS, который выглядел примерно так же. Я также загрузил изображение простого веб-сайта, которое нарисовал на бумаге, и Google Bard достаточно хорошо справился с его воссозданием. Кроме того, вы можете использовать аналогичные методы для воссоздания пользовательского интерфейса для приложений для смартфонов и других веб-сайтов.

4. Google Bard может объяснять изображения

Google Bard хорошо объясняет изображения и резюмирует, что на них происходит. Вы можете загружать малоизвестные изображения, и это может быстро предоставить достоверную информацию. Я загрузил некачественное изображение биологического механизма, и оно правильно идентифицировало его как клеточный митоз. Это далее объяснило процесс шаг за шагом.

В другом примере я загрузил диаграмму, и она правильно поняла изображение и объяснила данные. Он даже создал таблицу точек данных, чтобы я мог работать с ней в Google Sheets. В частности, для студентов, Бард может быть полезен для понимания концепций в науке и других темах. Вы можете просто загрузить изображение и спросить об этом Барда.

5. Получите информацию о питании из изображений

Используя возможности Bard по обработке изображений, вы можете получить пищевую ценность продуктов. Просто загрузите изображение еды на свою тарелку, и программа подсчитает общую калорийность за считанные секунды. Это может быть очень полезно для людей, которые придерживаются регулируемой диеты.

В моем тестировании он не мог измерить размер порции, но давал примеры, чтобы вы могли самостоятельно рассчитать общее потребление калорий. Похоже, Google использует сегментацию изображений для классификации продуктов питания и получения информации о пищевой ценности.

6. Импровизируйте рецепты еды

Еще один отличный вариант использования — добавить изображение сырых продуктов и попросить Google Bard придумать различные рецепты еды. Вы также можете добавлять изображения продуктов в свой холодильник, и он без труда создаст для вас персональные рецепты. Кроме того, вы можете спросить Барда о конкретных кухнях разных уголков мира. А если вы на диете, вы можете попросить Google Bard создать рецепты обезжиренных низкокалорийных блюд для сытости.

7. Решите математические вопросы

Вы также можете использовать Google Bard для решения математических задач. Вы можете загрузить изображение своих математических задач в Bard, и он попытается решить вопрос за вас. В моем тестировании подход Барда был правильным, но из-за проблем с обозначениями он дал только неправильные ответы. Я думаю, что потребуется обновить его систему зрения, чтобы сделать Барда более подходящим для обработки математических обозначений и вопросов.

8. Объясните мемы и шутки

Google Bard также может объяснять мемы и шутки. Вы можете загружать изображения забавных мемов и мультфильмов и спрашивать Барда, что в них смешного, и он предложит свою собственную интерпретацию. Я загрузил то же изображение, которое OpenAI продемонстрировал во время Представление GPT-4, и Бард правильно понял веселый абсурд, скрывающийся за изображением.

В другом случае я загрузил в Google Bard изображение из The New Yorker Cartoons и попросил объяснить шутку. Однако на этот раз он просто объяснил сцену и не мог сказать, почему изображение было забавным. Он полностью упустил фразу электронной почты, которая обычно используется на рабочих местах. Я предлагаю вам попробовать Google Bard самостоятельно и проверить, достаточно ли он умен, чтобы понимать остроумие и юмор.

9. Перевести уравнения в LaTeX

Не секрет, что многим людям трудно писать на LaTeX и предпочитают использовать текстовые процессоры. Однако для научно-исследовательских работ и академического письма LaTeX требуется для добавления сложных уравнений и высококачественного набора текста. В таком случае может помочь Google Bard. Вы можете добавить изображения уравнений, и Бард сможет перевести их в код LaTeX. Это удивительно, правда? Итак, приступайте к переводу уравнений в код LaTeX в кратчайшие сроки.

10. Загружайте медицинские отчеты и задавайте вопросы

Наконец, вы можете загружать изображения своих медицинских отчетов и сканировать их в Google Bard. Затем вы можете задавать медицинские вопросы, основанные на них. Некоторые медики в Твиттере показали, что Бард вполне подходит для дифференциальной диагностики. Это также может помочь пользователям понять свое здоровье и разобраться в медицинских отчетах.

Googleのbard凄い & 怖い ！！！
　
Бардによる脳CTの診断！
　
｢画像には脳の白い部分が写っていると言えます。。。脳腫瘍、脳卒中、出血など、さまざまな原因が考えられます｣
　
答えは脳出血です。その鑑別診断を挙げるだけでも凄いですね。特化型で学習しているわけではありませんので。 pic.twitter.com/aEdF5xtlqt— 河野 健一 生成AI ✕ 医療に注目！ 手術支援AI CEO 脳外科医 (@CeoImed) 14 июля 2023 г.

Тем не менее, имейте в виду, что Google Bard работает на LLM общего назначения под названием PaLM 2. Поисковый гигант разработал отдельную модель Med-PaLM 2 для медицинского домена, которая довольно точна и продвинута, но недоступна для обычных пользователей. пользователей еще. Поэтому я рекомендую пользователям держаться подальше от любой самодиагностики с помощью Bard. Настоятельно рекомендуется проконсультироваться с врачом. И, наконец, если вы загружаете свои личные медицинские отчеты в Bard, обязательно удалите чаты Bard, чтобы защитить свою конфиденциальность.