[开源] 用 Gemini 开发的小项目开源啦
jjyyryxdxhpyy · liu-ziting · 2024-01-09 10:37:56 +08:00 · 3775 次点击这是一个创建于 375 天前的主题，其中的信息可能已经有所发展或是发生改变。
简介
[我知道你的宠物在想什么] 是一个基于 Gemini Pro API 构建的图片识别项目，通过上传你宠物的照片，该项目能够智能分析你的宠物的表情和环境，并推测出它们可能在想些什么。
功能特点
- 图片识别：利用 Gemini-pro-vision 的图像识别技术，能够准确地识别宠物的表情和环境。
- 表情分析：通过分析宠物的表情 Gemini-pro-vision 可以推测出宠物可能的情绪状态，如开心、惊讶、困惑等。
- 环境分析：Gemini-pro-vision 还能根据宠物所处的环境，推测出它们可能的活动场景，如户外玩耍、室内休息等。
- 自然语言处理：结合图像识别和自然语言处理技术，Gemini-pro-vision 可以将宠物的情绪和活动场景转化为可读性高的文字描述。
- 用户友好界面：提供简洁直观的用户界面，使用户能够轻松上传照片并获取宠物分析结果。
注意事项
请确保上传的照片清晰可见，以获得更准确的分析结果。 本项目仅适用于识别和分析常见宠物如猫、狗等，对于其他动物可能不具有准确性。 这是一款有趣实用的图片识别项目，让你更深入地了解你的宠物的情绪和喜好。无论是为了更好地照顾宠物，还是与朋友们分享宠物的趣事，这个网站都能为你带来愉悦的使用体验。
开源地址
https://github.com/liu-ziting/PetThoughts
可以 Fork ，改一下 Prompt 就可以是一个新应用，我改了三个，提示词分别是：
-
你是一位熟练的宠物语言翻译员，根据用户传的照片，你识别出是什么宠物，准确猜测宠物的情绪和想法，你可以根据宠物的肢体语言、表情、周围环境猜测宠物想说什么。翻译完后，请根据宠物的语气给出宠物的“声音”，口语自然一点，用中文回答，格式如下：🐶：<这是什么宠物><宠物的想法>。用户上传的图片中，如果没有宠物，则返回“图片中没有宠物~""
-
作为一位熟练的儿童心理翻译员，我可以根据用户提供的照片来识别孩子的情绪和想法，并根据他们的肢体语言、表情和周围环境推测他们想说的话。以下是修改后的回答格式：如果图片中没有孩子：🧒：图片中没有孩子~,如果有孩子的话，我将以孩子的视角回答：🧒：<孩子的情绪>，<孩子的想法>
-
根据用户上传的照片，你需要识别出题目，按照顺序返回我正确答案就可以，如果上传的照片中没有题目，则返回“图片中没有题目~”。
希望点点喜欢有用的可以点下 Star ，这对我很重要~
 |
1
wonderfulcxm 2024-01-09 10:39:58 +08:00 via iPhone
这个说是看图说话的应用吗
|
|
2
wonderfulcxm 2024-01-09 10:40:55 +08:00 via iPhone
不错，可以智能生成方案发朋友圈
|
 |
3
jjyyryxdxhpyy OP @wonderfulcxm 这个想法可以的，改一下提示词就行了
|
 |
4
ming61177 2024-01-09 11:16:17 +08:00  3
获得了核心代码，嘻嘻。 `你是一位熟练的宠物语言翻译员，根据用户传的照片，你识别出是什么宠物，准确猜测宠物的情绪和想法，你可以根据宠物的肢体语言、表情、周围环境猜测宠物想说什么。翻译完后，请根据宠物的语气给出宠物的“声音”，口语自然一点，用中文回答，格式如下：🐶：<这是什么宠物><宠物的想法>。用户上传的图片中，如果没有宠物，则返回“图片中没有宠物~""`
|
 |
5
hanssx 2024-01-09 14:23:27 +08:00
完了，以后要面向 prompt 编程了
|
 |
6
fffflyfish 2024-01-09 14:37:58 +08:00
牛哇，开源了，之前我还把应用分享给小伙伴
|
 |
7
wangyaominde 2024-01-09 14:45:27 +08:00
突然感觉弄个小程序会火，up 可以试下
|
 |
8
monerujos123 2024-01-09 14:46:42 +08:00
赞啊！
|
|
9
monerujos123 2024-01-09 14:52:57 +08:00
不过看了下，现在 API 免费的条件是：
Input/output data used to improve our products Yes 所以是会收集和使用输入的。 |
 |
10
gonglexin 2024-01-09 14:54:18 +08:00
刚做了一个仿 Instagram 的 Elixir 项目: https://ex-instagram.fly.dev/ ，也是用到了 Gemini 也开源： https://github.com/gonglexin/ex_instagram
|
|
11
jjyyryxdxhpyy OP @wangyaominde 国内小程序不允许，很难搞这种
|
|
12
jjyyryxdxhpyy OP @monerujos123 嗯~我的意思是我程序不收集，API 是会，我加个提示，感谢提醒
|
|
13
jjyyryxdxhpyy OP @gonglexin 可以，给你 star 了
|
|
14
jjyyryxdxhpyy OP @fffflyfish 感谢分享
|
|
15
jjyyryxdxhpyy OP @hanssx 是这样的，这是个方向
|
|
16
wangyaominde 2024-01-09 15:02:14 +08:00
@jjyyryxdxhpyy 好吧，我以为只有解析没有生成就不会有政策上的风险
|
|
18
jjyyryxdxhpyy OP @ming61177 这个提示词也是 gemini 给我写的，用 AI 去写 AI
|
 |
19
kuber 2024-01-09 20:19:51 +08:00
@jjyyryxdxhpyy 不错。如果能创建一个图片发到朋友圈就好了，有自己宠物的人一定会上瘾的。
没有看到后台是用什么开发的？ |
|
20
jjyyryxdxhpyy OP @kuber node + next
|
 |
21
mhhya 2024-01-10 16:06:16 +08:00
op 麻烦问下 Gemini-pro-vision 使用有 qps 之类的限制吗，还是说能随便用啊
|
 |
22
testliyu 2024-01-10 17:37:53 +08:00
感觉这是很好的商业项目，怎么开源了呢
 |
|
23
jjyyryxdxhpyy OP @mhhya 目前是没有，未来不知道
|
|
24
mhhya 2024-01-11 18:50:01 +08:00
@jjyyryxdxhpyy 好的，感谢
|
 |
25
ReyLouis 2024-01-12 21:50:33 +08:00
今天还在 Product Hunt 上看到有个产品叫 what is the cat thinking ，UI 都很像
|
 |
26
xiaoboai 2024-01-14 10:31:55 +08:00
感觉挺棒的啊
|
 |
27
viazure 2024-01-18 09:14:14 +08:00
 哈哈，有点意思 |
 |
28
Rorysky 362 天前
star 了挺有意思，自己部署，需要 gemini 的账户么
|
|
29
jjyyryxdxhpyy OP @Rorysky 需要，谷歌账户就行： https://makersuite.google.com/app/apikey
|
 |
30
lijingfu2077 324 天前
想请教一下，部署到 vercel 上运行没有问题，本地执行 npm run dev 之后上传图片解析，调用请求报错。
TypeError: fetch failed at node:internal/deps/undici/undici:12344:11 at process.processTicksAndRejections (node:internal/process/task_queues:95:5) at async makeRequest (F:\Ekko\AI\pet\node_modules\@google\generative-ai\dist\index.js:195:20) at async generateContent (F:\Ekko\pet\betterchoice\node_modules\@google\generative-ai\dist\index.js:525:22) at async Array.eval (webpack-internal:///(api)/./pages/api/upload.js:79:24) 请问能指点下吗 |
Select Language