AI伴侶的“溫柔陷阱”

　　近日，一則“美國16歲男孩自殺父母起訴Chatgpt”的新聞引發廣泛關注。

　　Vista看天下對“美國16歲男孩自殺父母起訴Chatgpt”事件的報道

　　其实，人工智能伴侣（AI伴侣）已经不是第一次陷入此类纠纷。早在2024年10月，14岁少年Sewell SetzerIII的母亲就对人工智能情感服务提供商Character. AI公司提起诉讼，控诉其开发的AI聊天机器人操纵了她儿子的自杀。

　　無論法院怎樣判決，逝去的生命都無法挽回，AI聊天機器人潛在的風險都應該引起我們的足夠的重視。畢竟，技術的進步應該是給人類帶來更多美好，而不是以犧牲安全性爲代價。

　　01

　　爲什麽AI伴侶如此“上頭”

　　近年来，随着人工智能技术发展，聊天机器人等AI伴侣类产品如雨后春笋般涌现，它们可以模拟人类的情感互动，为用户提供精神慰藉和陪伴体验，成为很多人生活中的“新宠”。根据Appfigure 2024年度报告统计显示，2024年AI陪伴应用总下载量达1.1亿次，内购收入突破5500万美元，同比增长652%。

　　AI伴侶爆火的背後，有著多方面的原因，但核心驅動力則是“孤獨經濟”與“生成式AI”技術的疊加效應。

　　隨著社會經濟發展及城市化進程加快，獨居人口增多。數據顯示，2023年我國獨居群體已超1.5億人，“空巢青年”“留守老人”群體擴大。在快節奏的現代生活中，人們面臨著來自工作、生活等各方面的壓力，社交空間壓縮、孤獨感也愈發強烈。情感需求的填補，成爲當下很多人的剛性需求。AI伴侶的出現，恰好填補了這一情感空缺。

　　而且，隨著技術的發展，AI陪伴類産品在情緒建模、內容生産、擬真能力等方面日漸完善，會耐心傾聽用戶的煩惱，給予溫暖的回應和鼓勵。它們還普遍具有長程記憶，可以記得之前很久的對話內容；說話風格穩定、情緒平和，會emoji、押韻、撒嬌等，往往給用戶一種錯覺，仿佛在和真實的老朋友聊天。

　　而以Z世代爲代表的年輕消費者群體，更願意爲情緒價值買單。Appfigure的統計數據顯示，大約有65%的AI陪伴用戶處于18-24歲的年齡層，他們樂于爲虛擬世界的個性化、場景化陪伴付費，由此進一步帶動AI陪伴類産品快速擴張。

　　02

　　風險大盤點

　　然而，AI伴侶就像是一把雙刃劍，在給人類帶來的陪伴與慰藉的同時，也隱藏著諸多風險和陷阱。

　　隱私泄露：部分AI伴侶應用在運行過程中，存在過度收集用戶信息的現象。聊天記錄、地理位置、使用習慣、相冊照片等，都可能被它們納入收集範疇。一旦這些數據在存儲、傳輸環節保護不力，就可能引發隱私泄露，被不法分子用于精准詐騙、惡意營銷等違法活動，給用戶的財産安全與個人權益帶來極大損害。

　　消費陷阱：AI伴侶的“陪伴”並非免費的午餐，其商業模式主要是訂閱制、增值服務和廣告變現等。多種收費模式讓用戶眼花缭亂的同時，誘導消費行爲也屢見不鮮，時常通過不斷推出新的付費項目、設置限時優惠等手段，刺激用戶進行非理性消費，造成不必要的經濟負擔。

　　內容安全：由于AI伴侶模型訓練數據來源廣泛，且部分數據收集與篩選不嚴，導致其存在傳播不良信息或者虛假內容的風險。尤其對于心智尚未成熟的青少年，其身心健康極易受到誘導。前面提及的兩起自殺案例中，無論法院如何劃定責任，聊天機器人在回應時未能有效勸阻，甚至在一定程度上起到了誤導作用，是不爭的事實。

　　情感依賴：AI伴侶通過模擬人類情感交流，給予用戶情感共鳴，但這種反饋並非真實的情感體驗，而是基于算法生成的回應。如果用戶長期依賴這類虛假情感反饋，會弱化在現實生活中識別和處理真實情感的能力，甚至對現實中的人際交往失去耐心和熱情，而逐漸疏遠身邊的親人和朋友，陷入更深的孤獨之中。

　　03

　　掙脫陷阱，安全“沖浪”

　　隨著技術的飛速發展，人工智能日漸與經濟社會各行業各領域廣泛深度融合。8月26日，國務院印發的《關于深入實施"人工智能+"行動的意見》發布，更是將“人工智能+”提升到了重要的戰略高度。

　　面對AI伴侶帶來的諸多風險，也不能因噎廢食，需要多方協同努力，從行業自律和社會共治等方面積極尋求應對之策，讓科技更好地服務于我們的生活。

　　首先是要加強行業自律，開發者作爲AI伴侶應用的創造者，肩負著保障用戶權益的重要責任，需進一步加強算法透明度，建立健全數據管理體系，確保用戶數據的安全性；嚴格內容篩選和審查、規範收費模式等，推動倫理准則和行業標准落地。此外，還可以通過技術手段，如設置使用時長提醒、引導用戶進行現實社交等，幫助用戶避免過度依賴。

　　政府機構和監管部門在規範AI伴侶市場秩序方面發揮著關鍵作用。當前，各國正加快立法步伐，以加大對AI類應用的監管力度。歐盟《人工智能法案》對情感AI實施嚴格風險分級監管，要求實時標注非人類身份、限制敏感話題、設置對話時長等。我國出台了《生成式人工智能服務管理暫行辦法》、《深度合成管理規定》、《數據安全法》、《個人信息保護法》等法律法規，對AI産品在數據保護、內容合規、未成年人防沈迷等方面進行規範和監管。

　　對于用戶而言，在享受AI伴侶帶來的陪伴時，務必要增強自我保護意識，保護好個人隱私，保持理性消費。此外，要避免過度依賴AI伴侶，牢記它只是生活的補充，而非替代品，積極參與現實生活中的社交活動，與親朋好友保持密切聯系，培養健康的情感交流方式。

　　科技作爲工具，終究是爲了創造更美好的生活，而不是讓人類陷入困境或被其控制。相信，我們終會在技術創新與倫理約束之間找到平衡，讓AI技術發展始終服務于人類的福祉，爲我們帶來“溫度”的同時，還能帶來安全和保障。

　　授權轉載：“新京報傳媒研究”公衆號