亞馬遜栽了個(gè)大跟頭。
長(zhǎng)期以來，這家電商巨頭一直應(yīng)用AI提升效率，但萬萬沒想到的是，原本應(yīng)該公平公正、沒有意識(shí)的AI，也會(huì)“作死”了……
好的不學(xué)，非要學(xué)別人重男輕女、歧視女性。
而這個(gè)內(nèi)部秘密，剛剛被路透社曝光于天下。
事件一出，掀起了軒然大波。
國(guó)外的網(wǎng)友們紛紛開始吐槽，講述自己曾經(jīng)經(jīng)歷過的不公平事件，以及奇葩的計(jì)算機(jī)系統(tǒng)等等。還有一堆網(wǎng)友開始分析問題原因。
亞馬遜也喜提了一波嘲諷：
“可以說這個(gè)人工智能很成功，因?yàn)樗７铝藖嗰R遜當(dāng)前的招聘狀態(tài)。”
一個(gè)戴有色眼鏡的AI
篩簡(jiǎn)歷是很多HR的核心工作之一，對(duì)于亞馬遜這樣的大公司來講，不僅崗位多，投遞同一個(gè)崗位的求職者可能也非常多，于是，無窮無盡的瀏覽簡(jiǎn)歷就成了HR的日常。
而且，同一個(gè)崗位收到的簡(jiǎn)歷里，總有一些達(dá)不到用人標(biāo)準(zhǔn)的、“文不對(duì)題”的簡(jiǎn)歷，即使是適合的人，也會(huì)分出三六九等，有人很優(yōu)秀，也有人比優(yōu)秀的人更優(yōu)秀。從求職者之中挑選最合適的人，也是讓HR們頭疼的一件事。
那能不能找一個(gè)AI，來自動(dòng)幫HR們篩簡(jiǎn)歷呢?
于是，作為一家電商公司，亞馬遜把日常的用戶給商品標(biāo)星打分的功能，挪到了AI給求職者簡(jiǎn)歷打分上。這樣，HR們就可以美滋滋的說：“我，只看五星簡(jiǎn)歷，AI快給我挑出來。”
2014年，這個(gè)項(xiàng)目就開始了，亞馬遜的機(jī)器學(xué)習(xí)團(tuán)隊(duì)開始開發(fā)篩簡(jiǎn)歷AI。
但是到2015年，亞馬遜發(fā)現(xiàn)：糟了，這個(gè)AI不學(xué)好，學(xué)會(huì)了人類性別歧視那一套。
如果把投遞“軟件開發(fā)工程師”或者其他技術(shù)崗位的求職者簡(jiǎn)歷扔給這個(gè)AI來打分，它就會(huì)給包含“女”這個(gè)關(guān)鍵詞的簡(jiǎn)歷打低星，而“男”則不受影響。
另外，如果簡(jiǎn)歷上寫著求職者畢業(yè)于某兩所女子大學(xué)，這個(gè)AI也會(huì)給求職者降星。路透社的線人并沒有說是哪兩所學(xué)校。
人類能不能找到一份工作，竟然要看“AI的臉色”，作為女性求職者，憑什么讓AI對(duì)我說三道四?在美國(guó)，這種涉嫌歧視的事情稍不注意就會(huì)招來一大波反對(duì)的聲音，引發(fā)大負(fù)面。亞馬遜趕緊修改這個(gè)AI，讓它對(duì)“男”、“女”這些詞保持中立。
但是，改是改不完的，今天教AI不要歧視女性，明天它會(huì)不會(huì)歧視黑人?后天它會(huì)不會(huì)歧視LGBT人群?大后天它會(huì)不會(huì)開地圖炮?這些都說不準(zhǔn)。
后來，亞馬遜放棄了這個(gè)項(xiàng)目。
都是你們?nèi)祟惖腻仯?/strong>
一個(gè)好好的AI，怎么成長(zhǎng)過程中就自動(dòng)學(xué)會(huì)了性別歧視這種壞毛病?
這得看它是“吃”什么長(zhǎng)大的，也就是用什么數(shù)據(jù)來訓(xùn)練的AI。
很不幸，鍋還是得亞馬遜自己來背，因?yàn)檫@個(gè)AI“吃”的都是亞馬遜自家的招聘數(shù)據(jù)，來自亞馬遜過去10年來收到的簡(jiǎn)歷，依據(jù)這些簡(jiǎn)歷，亞馬遜的AI學(xué)會(huì)了挑出男性求職者。
男性本身就多?
這些數(shù)據(jù)有什么問題呢?路透社分析，可能是因?yàn)榭萍夹袠I(yè)中的大部分技術(shù)崗位都是男性在做。
△美國(guó)知名科技公司全球員工性別比
△美國(guó)知名科技公司技術(shù)崗員工性別比
路透社整理了自2017年起這些公司公布的數(shù)據(jù)，從中可以看出，像谷歌、蘋果、微軟、Facebook這些公司，整體上男性占了2/3，而單獨(dú)挑出技術(shù)崗位，男性比例則達(dá)到了將近4/5。
AI學(xué)會(huì)了人類的歧視
不過，數(shù)據(jù)量大小并不意味著少數(shù)數(shù)據(jù)就會(huì)被歧視，相信亞馬遜的AI也不會(huì)傻到只選取簡(jiǎn)歷數(shù)據(jù)中大多數(shù)人的共同特點(diǎn)，那樣豈不是錯(cuò)過了少數(shù)天才?
在Hacker News和Reddit的評(píng)論區(qū)，一些更懂技術(shù)的網(wǎng)友把矛頭對(duì)準(zhǔn)了數(shù)據(jù)體現(xiàn)的亞馬遜在招聘中現(xiàn)存的性別歧視問題。
從技術(shù)上講，可以說這個(gè)人工智能是成功的，因?yàn)樗７铝藖嗰R遜當(dāng)前的招聘狀態(tài)。
并給出了背后的邏輯。
機(jī)器學(xué)習(xí)過程不會(huì)引入任何偏差，但訓(xùn)練數(shù)據(jù)中存在的任何偏差都將在算法中忠實(shí)地展現(xiàn)出來。
也就是說，AI自己本身是一個(gè)天真無邪的“幼兒”，它不會(huì)自主的學(xué)會(huì)偏見和歧視，但如果給“幼兒”上課的“老師”亞馬遜的招聘數(shù)據(jù)自身帶了偏見，那么這些偏見就會(huì)“言傳身教”給無辜的AI。
或者說，AI是從人類社會(huì)中，學(xué)會(huì)了人類的偏見和歧視。
我們不想讓AI歧視女性，但這絕非易事，因?yàn)锳I無法忽視它所學(xué)習(xí)的人類社會(huì)對(duì)女性的歧視。這絕對(duì)是一個(gè)難題，不僅僅是技術(shù)上的難題，更是哲學(xué)層面上的難題。
AI在無意中學(xué)會(huì)人類之惡，這并不是第一次發(fā)生。
此前的微軟的聊天機(jī)器人Tay，就曾經(jīng)學(xué)會(huì)了人類的那些極端言論，在Twitter上咒罵女權(quán)主義者和猶太人。
而招聘AI這一次，人類的錯(cuò)誤讓AI重蹈覆轍了。
“很顯然，我們沒有吸取微軟Tay的任何教訓(xùn)。”有網(wǎng)友評(píng)論道。
這個(gè)AI靠抓關(guān)鍵詞?
不只是訓(xùn)練數(shù)據(jù)的問題。路透社的報(bào)道中還披露了亞馬遜訓(xùn)練AI的細(xì)節(jié)。
•開發(fā)了500個(gè)針對(duì)特定工作職能及崗位的模型。
•訓(xùn)練每個(gè)模型去識(shí)別過去求職者簡(jiǎn)歷中出現(xiàn)的近5萬個(gè)關(guān)鍵詞。
•模型算法按照重要程度給求職者的技能進(jìn)行優(yōu)先級(jí)排序。
所以這個(gè)AI，很大一部分工作是在抓關(guān)鍵詞嘛。比如它偏好的“執(zhí)行”、“抓取”這種詞，在男性求職者的簡(jiǎn)歷中出現(xiàn)次數(shù)更多，也從另一個(gè)維度造成了女性候選人的劣勢(shì)。
因此，這也是導(dǎo)致性別歧視的一個(gè)原因。甚至，還可能會(huì)給人“鉆空子”的機(jī)會(huì)。
Reddit上的一名網(wǎng)友評(píng)論稱：
“亞馬遜閱讀簡(jiǎn)歷的AI從一開始就注定了要失敗，因?yàn)槿魏稳硕伎梢匀W(xué)習(xí)怎樣寫好一份簡(jiǎn)歷。讓我寫一份醫(yī)生的簡(jiǎn)歷，我打賭我會(huì)比真醫(yī)生寫的要好。”
想一想那些“簡(jiǎn)歷寫作技巧”的培訓(xùn)，是不是都告訴你HR看一份簡(jiǎn)歷只要二三十秒，簡(jiǎn)歷里有某些關(guān)鍵詞、重要數(shù)據(jù)就能吸引HR的注意?
因此，這種抓關(guān)鍵詞的機(jī)制，就得以讓很多人通過強(qiáng)行往簡(jiǎn)歷里塞關(guān)鍵詞，而獲得更高的星級(jí)，造成了另一種不公平。
AI招聘，道阻且長(zhǎng)
根據(jù)招聘公司CareerBuilder 2017年在美國(guó)進(jìn)行的一項(xiàng)調(diào)查，55%的人力資源經(jīng)理表示，將會(huì)在未來五年中采用AI，并將其作為日常工作中的工具。
一些“激進(jìn)”或者說有大量招聘需求的公司，已經(jīng)將AI應(yīng)用到招聘環(huán)節(jié)中去了。比如希爾頓酒店，就在招聘的時(shí)候，會(huì)先利用聊天機(jī)器人面試，并為求職者匹配合適的崗位，之后再進(jìn)入下一輪面試。
在接受采訪時(shí)，希爾頓招聘副主管Sarah Smart表示，“人工智能會(huì)分析求職者的語調(diào)、眼神和回答的表情，來判斷求職者是否對(duì)工作富有熱情，從而來幫助我們篩選求職者。”
具體體驗(yàn)怎么樣呢?體驗(yàn)過聊天機(jī)器人面試官的Japser Rey說，“和聊天機(jī)器人對(duì)話時(shí)，我不用擔(dān)心自己會(huì)分神，而且機(jī)器人不會(huì)戴有色眼鏡看人，相對(duì)更公平公正一些。”
相對(duì)來說，大部分公司并沒有將AI放到具體的招聘決策環(huán)節(jié)之中，只是作為一個(gè)輔助工具。
•百度：將AI應(yīng)用到了招聘上，在今年的校園招聘中，采用AI分析簡(jiǎn)歷、推薦崗位。
•高盛：開發(fā)了簡(jiǎn)歷分析工具，會(huì)將求職者與“最適合”的部門進(jìn)行匹配。
•LinkedIn：根據(jù)網(wǎng)站上發(fā)布的崗位消息，利用算法為雇主提供求職者的排名。
盡管人們對(duì)AI招聘并不十分待見，但卻無法阻擋這樣一個(gè)趨勢(shì)：AI終將左右你找工作這件事。
它只會(huì)遲到，但不會(huì)缺席。
來源：量子位(QbitAI)
