搜尋結果
2020年9月22日 · 傳統工藝或農業能展現新的樣貌嗎？. 讓這些地方創生故事，帶你看到無限可能. 一般民俗中嚴禁「送傘」以避免「送散」，但對客家文化來說，「傘」卻有極深的寓意。. 結婚新娘下轎須以紙傘遮蔽驅邪，傘打開後呈現的圓形樣態則代表「圓滿」，「油紙」客語 ...
- 利用「卷積神經網路」發現「視覺手性」
- 「鏡像翻轉」是一個有效的數據增強方法
- 神經網路的訓練過程
- 針對人臉數據做個別訓練
- 研究過程的意外發現
- 超級神童兼學霸，前途無量啊！
- 你可能會有興趣
針對這一問題，來自康乃爾大學的研究員，首次挑戰了常規神經網路訓練中，圖片「翻轉不變性」（flip-invariant）的這一假設。研究的題目叫做視覺手性（Visual Chirality），並在 CVPR 2020 中獲得了最佳論文提名。 而該研究的一作，是此屆 CVPR 大會上年紀最小的獲獎者，年僅 21 歲的華人科研新秀——林之秋。 這項研究在多種領域（人臉、網路圖片、數字處理圖像）上利用卷積神經網路，發現了許多常人難以捕捉的「視覺手性」線索，且透過自監督訓練，在多項數據集上達到了 60%，甚至到 90% 的精度。
為了理解這一鏡像翻轉話題，我們先來看下這樣的一個例子： 在上面這張圖中，你能判斷出哪些圖像被翻轉了嗎？答案如下： 圖一：鏡像翻轉（線索：文字）。我們可以很容易看出來文字被翻轉過了。 圖二：沒有翻轉（線索：鈕扣）。男士襯衫的鈕扣一般位於身體右側。 圖三：鏡像翻轉（線索：吉他）。吉他手的主手應當在吉他右側。 鏡像翻轉對於人類而言並沒有太大的區別（如圖二和圖三），因此難以判斷。然而，神經網路卻可以通過自監督訓練的方法在這個任務上達到非常高的精度，並能指出圖片中哪些區域可以被用於識別鏡像翻轉。 手性代表著單張圖片的翻轉不對稱性，而視覺手性（Visual Chirality）則是針對圖像分佈所定義的翻轉不對稱性。 當一個圖像分佈具備視覺手性時，使用鏡像翻轉作為數據增強方法，將不可避免的會改變一個數據集...
這項研究利用了「自監督學習」方法來訓練卷積神經網路。 對於任何一個數據集，只需要將其原有的圖片標記為「無翻轉」，並將鏡像翻轉過的圖片標記為「有翻轉」，就可以訓練神經網路識別鏡像翻轉這個二分類任務（binary classification ）。 同時，可以根據神經網路在驗證集的表現，來評估這一圖像分佈是否具備視覺手性：如果驗證集上的精度大於 50%，便有充足的證據來證明視覺手性的存在。 這項研究利用了 ResNet-50 作為基本的網路結構，並使用 SGD 方法來訓練網路。為了了解神經網路學到了哪些視覺手性線索，研究人員利用了類激活映射（CAM：Class Activation Map）方法，在原有圖片上對於視覺手性敏感的區域進行了高亮。 同時因為能造成視覺手性的現象有很多，研究人員還推出了...
為了深入了解人臉的視覺手性現象，研究人員在人臉數據集上進行了孤立訓練。 在 Flickr-Faces-HQ （FFHQ）人臉數據集上進行了訓練，並在測試集上取得了高達 81% 的精度，還利用手性特徵聚類對人臉中的視覺手性現象進行了初步的探討： 1. 瀏海分界處：人們一般用右手來分理瀏海，這會導致瀏海的朝向向一側偏移，並出現視覺手性現象。 2. 眼睛：人們在看向物體時傾向於用一隻主視眼進行瞄準，這樣會導致人們的目光在進行拍攝時出現偏移；多數人的主視眼為右眼，而這一現象可能是導致視覺手性現象的成因。 3. 鬍子：與頭髮一樣，可能與人們習慣於用右手理鬍子有關。 文中對以上的視覺手性現象的討論均為初步的分析，而人臉中任有大量的視覺手性線索值得被發掘。
除此之外，研究人員還對數字圖像處理過程 （例如去馬賽克和圖片壓縮）中產生的視覺手性現象進行了分析。 舉個例子，當研究人員首次利用神經網路，在 Instagram 數據集上進行自監督訓練時，發現沒有使用隨機剪裁（random cropping）的神經網路。 但在部分圖片上，類激活映射所得到的熱圖更著重關注圖片的邊緣部分，如下圖所示： 而在使用隨機剪裁後，研究人員得到的新的熱圖，則更關注來自於圖片中物體本身的線索。 研究人員提出：當數字圖像處理過程和鏡像翻轉不具備「交換律」時，視覺手性將會憑空產生在一個圖像分佈上。 作者通過概率論與群論（group theory），對此假設進行了嚴謹的數學論證，並透過神經網路實驗驗證了這一現象在網路圖片中廣泛存在，而此類線索往往肉眼不可見，但卻在圖片中存在固定的...
這項研究的第一作者，是 1998 年生的華人科學新秀——林之秋。 林之秋 17 歲便考入美國「常春藤」盟校——康奈爾大學，而這也是他「開掛人生」的開始。 林之秋僅用兩年時間就全部修完電腦和數學兩個專業的本科課程，並從大二開始選修博士課程，同時跟隨電腦系的教授從事科研工作。他在多項專業課上，例如多元微積分、線性代數、高等抽象代數、人工智慧、電腦操作系統等都取得過第一名。 由於成績極為優異，自大二起林之秋就接受電腦系邀請，以助教身份給高年級同學講課，為康乃爾科技學院編寫碩士生的預修課程，甚至在高階機器學習課上給博士生的試卷打分數。 而這篇「CVPR 2020 最佳論文提名」的研究，是林之秋從大二就開始著手準備的項目，這也顯示了他「超級大學霸」的真實實力。 如今，本科畢業的林之秋，總成績在學院數千...
2016年11月10日 · 台灣教授的沉痛告白：學術論文淪為計算身價的標準，沒有得到認證你就什麼都不是. CO 肥皂箱 2016-11-10. 【我們為什麼挑選這篇文章】. 一位前教授在他的部落格發文告白他所觀察到的台灣學術界亂象。. 期刊論文在台灣似乎像是學術認定的身分證，不管是多厲害 ...
2020年12月31日 · （本文經原作者 研之有物 授權轉載，並同意 BuzzOrange 編寫導讀與修訂標題，原文標題為〈植物 DNA 竟記載著歷史！構樹說的南島語族遷徙史〉。首圖來源：翻攝自Paper mulberry 構樹臉書粉專。 【我們為什麼選擇這篇文章？】 在台灣，不論是都市的大馬路旁，或高樓大廈的牆縫中，常有機會看到構樹的 ...
2016年11月22日 · 從論文造假看學術圈腐敗──全世界只有台灣是「底層自殺」、上級不用負責. CO 肥皂箱 2016-11-22. 【我們為什麼選這篇文章】. 最近傳出台大論文造假的消息，就連校長楊泮池也牽涉其中。. 然而科技部長楊弘敦卻只悠悠了說了一句：「古今中外，先進國家都會 ...
2021年7月5日 · 【為什麼我們要挑選這篇文章】夏天到了，現在中午動輒 35 度以上，柏油路被馬路曬得發燙，讓城市高溫的狀況更嚴重。在美國，有個縣將「立可白」塗在馬路上，讓路面溫度降了將近 7 度。為什麼立可白有降溫的功用？（責任編輯：郭家宏） 北半球的夏天已經到來。人們白天穿行在城市當中 ...
2020年9月18日 · 相信樂高是時下大人小孩都喜愛的玩具，甚至是愛不釋手的收藏！且年年推陳出新的款式總是讓全球樂高迷為之瘋狂，繼迪士尼、哈利波特城堡後，今年樂高又推出「超級瑪利歐」，讓玩家真實體驗過去只能在遊戲機裡操作的經典遊戲。 然而資深樂高玩家一定知道，當你打開樂高包裝盒，映入眼簾 ...
