今天早上和几个朋友一起在玩 ChatGPT,总共 3 个人,除了我之外他们都是大厂对标 P7 以上的产品经理。
局是我组的,而选他们的前提是可以在互联网找到一些关于他们的信息。
其中有一个和我一样是多年写作者,出过书,后来因为公司 PR 不允许所以没再更新自己的博客。
还有一个是某团队的产品负责人,之前也在一些公开场合代表公司发表过演讲,在 2023 年之前的多家媒体报道中都能看到他的信息。
之所以强调 2023 年之前,是因为 ChatGPT 非 Plus 用户使用的数据集就是 2023 年之前的。
当然,我在网络上留下的数据痕迹肯定是 2023 年之前就有的。
我们测试的主要目的是想看看 ChatGPT 是否认识我们并能否给出准确信息,并且准备在同一个会话中持续训练他认识我们。
大概 2 个月前,我问了 ChatGPT 一个问题,当时它是无解的。
两个月之后,当我再问 ChatGPT 同一个问题时,它有所进步,但还是一本正经胡说八道。另外两个朋友看到最新的回答后跟我说,ChatGPT 在给你算命呢。
我。。。
你们也看到了,这里面有很多的纰漏,不仅从业经历是错的,包括对我出的书的表述也是错误的。为了让他更进一步了解我,我又问了另外一个问题。
然后,我又追问了。
比如,当我质问《产品经理必懂的技术那点事儿》和它给出的作者之间的关系时,它认错了。
然后,我让 ChatGPT 再介绍一次唐韧是谁。
比较出乎意料的是,关联到36氪的专栏作家这一事实是它自己联想查询出来的,我之前并未提及。
对于瞎扯的部分,我做了一些修正。
本以为这次应该能说个八九不离十了,于是我又给了他一次机会。 你看,刚修正过的答案它又说错了,显然不长记性。正当我无语之时,我真的输入了三个句号。没想到,这次它给出的答案是相对来说最准确的一次。
当我再问一遍同样的问题时,答案的收敛性更强了一些,但对于一些已知的答案它总会发散回答,比如提供一些增量信息。
我们星球是 2023 年创立的,ChatGPT 说的是 2023 年。到这里,它说出了自己的两个不足,一个是数据库截止 2023 年,另一个是它无法联网。
看了我前两天文章的读者知道,当 ChatGPT Plugins 推出后,这个问题会得到解决。
最后,我抱着耐心再问了一遍。
其实不只是我,他们两个也遇到了同样的问题,其瞎扯乱编程度甚至还超过我这个版本。
体验完之后,他们也对 ChatGPT 的算命能力有了领教,八字先生的生意估计也要被抢了。
之后我又拿着这个问题去问了百度和谷歌,从得到答案来看,谷歌给出的信息是最准确且高效的。
除了这个小实验之外,我还试着用 ChatGPT 去解决产品工作中的很多问题。从实际表现来看,比回答我是谁说得更好。
如果你们感兴趣,下次我再聊聊如何把 ChatGPT 运用到产品工作中去提效。
说实话,工作助手的角色才是它现在最大的价值体现。
················· 唐韧出品 ·················