随着ChatGPT热度飙升，质疑和争议也随之而来，有分析指出，这种技术在教育和学术界可能引发滥用问题。
调查显示在美国，有不少大学生在用ChatGPT做作业。因此纽约、洛杉矶等城市，已开始禁止在教室和任何学校设备上使用ChatGPT，理由是学生可以使用它轻松完成各类作业与测试。
ChatGPT的走红也引发了学术界的担忧，强大的语言理解和学习能力，使其产出的学术摘要可以骗过期刊审稿人。目前，已有多家知名学术期刊正在更新编辑规则，禁止将ChatGPT列为论文合著者，且不允许在论文中使用其所生产的文本。
此外，还有用户声称，已经找到了挖掘其所谓“黑暗面”的方法，可利用所谓“越狱”技巧迫使人工智能违反自己的规则，为用户提供任何他们想要的内容。
欧盟官员日前表示，正在评估ChatGPT的风险，考虑设立规章制度，以规范其使用，确保向用户提供高质量、有价值的信息和数据。
上海市人工智能学会副秘书长江勇博士分析，科技的进步在历史上都是“双刃剑”，既要享受到科技的成果，同时也要去防范风险和不足，特别是在立法上要设置“红线”，运用法治工具，才能让人工智能新科技走得更长远。
