第394章 超參數全自動搜索

江寒掛了電話,沉吟不語。

老江關切地問:“沒談妥嗎?”

江寒搖了搖頭,嘆了口氣:“談下來一半。”

“一半?”

江寒點了點頭:“大江入駐高新區,問題不是太大,只是時間上……最快也得排到下半年了。”

周市長雖然對自己印象很好,但在原則問題上,一點也不肯鬆動。

這就沒辦法了。

江寒和老江研究了一下,最後還是決定出去租寫字樓。

但說實話,就算找得到理想的地方,只怕一時半會兒之間,也很難辦妥,更要多掏不少錢。

正說話間,夏如冰來上班了。

不知不覺之中,她已經恢復了原本的明豔,精神狀態更是十分良好。

一見面,夏如冰就笑吟吟地打招呼:“老闆早,江總早!”

江寒灑然一笑:“早!”

老江也儒雅地點頭:“夏總早。”

江寒打量了夏如冰一眼,忍不住旁敲側擊了一句:“小姨啊,看您的氣色,這幾天好像心情挺不錯?”

夏如冰嫣然巧笑:“是啊,閒了這麼久,總算有點事做,當然開心了。”

江寒:“……”

這麼敬業的嗎?

但他關心的,其實是她和老易倆人,到底有沒有和好……

“剛纔你們兩個,一本正經的,到底在研究什麼?”夏如冰問。

江寒將打算租樓的事情,跟夏如冰說了。

夏如冰明媚一笑:“這事兒好辦啊,盛夏這棟樓裡,不是還剩不少地方嗎?反正這麼多地方,他們也用不了,稍微挪動一下,騰出一層、半層樓,問題應該不大。”

江寒無語一秒:“這樣不太好吧?”

шшш ●TTKдN ●¢O

夏如虹能給自己兩件辦公室,加地下的機房,已經很難得了。

如果再得寸進尺的話……

夏如冰笑了笑:“這樣吧,我打個電話問問,如果盛夏那邊不方便,咱們再另外想轍兒。”

江寒考慮了一下,點了點頭:“也行,不過……別讓夏阿姨爲難。”

“那當然。”

夏如虹答應了一聲,又說:“老闆,一會兒會有不少人來應聘,你要不要把把關?”

江寒灑然一笑:“好!不過我只負責技術人員,其他的職位,還要你和老江自己決定。”

距離面試開始,還有一個多小時。

江寒想了想,來到了隔壁。

這個實驗室佈置好之後,一直沒怎麼用,今天正好試試機、找找感覺。

這裡配備了兩臺相當先進的電腦,和地下機房裡的服務器直連,通過這兩臺終端,就可以方便地操作服務器。

前天,江寒爲了製作OCR軟件,批量打造了上千個人工神經網絡。

其中絕大多數,都擁有一模一樣的網絡結構,只是引入的訓練數據不同。

這樣訓練出來的模型,也就只有權重參數上的區別……

經過兩天的訓練,這些網絡已經完全訓練完畢。

江寒將這些網絡,組合到了一起,再套上一層事先準備好的,用vc--編寫的簡易UI。

很快,OCR軟件就初步成型,可以投入使用了。

江寒思考了一下,命名爲“極光OCR”。

至於這個名字的含義……其實他沒想那麼多,就是覺得挺順口的。

然後,他又將源代碼和可執行文件,全都用U盤拷貝下來,帶走。

這樣晚上回家後,就可以正式啓動那個計劃,在虛擬空間裡暢快地學習了……

隨後,江寒進入了虛擬空間。

他爲ImageNet比賽編寫的代碼,還有相關的論文草稿,就保存在286電腦中。

江寒很快將這些東西,發送到了外面的電腦中。

然後又打開手機,把昨晚下載的訓練數據、校驗數據,也傳送給這臺終端電腦。

程序有了,數據也有了。

江寒又進行了一番算不上辛苦的調試,深度卷積神經網絡終於基本成型。

但在開始訓練之前,還有一點工作要做。

這個深度CNN,所擁有的參數實在太多了,哪怕原始數據有足足12萬多條,也很很容易發生過擬合。

所以,爲了提升泛化能力,有必要做一下數據增廣。

數據增廣的方案有許多。

江寒思考了一下,選擇了一種新方案。

原始圖像是256×256的分辨率。

江寒設計了一個程序,從中隨機扣出來224×224大小的區域。

每張原始圖像,都有(256-224)^2=1024種不同的扣法,這樣一來,就相當於將原始數據增廣了1024倍!

接下來,他又將得到的圖像,全都水平鏡像一次,就得到了等於原始數據2048倍的超大數據集合。

增廣完數據,江寒還覺得不夠保險,爲了進一步提高算法的效能,他決定對網絡中用到的超參數,進行一些優化。

以前他也做過人工神經網絡超參數的優化,但那時採用的手段,主要是手動修改超參數,然後人工分析、比對。

看修改了某個超參數後,網絡的表現是上升了還是下降了,從而找出較爲優秀的模型。

不用說,這種做法最大的缺陷,就是效率實在太低。

江寒在這次的比賽中,決定使用一種新技術。

這是他前一陣子,煞費苦心設計出來的方案,代碼複雜度令人髮指。

好在他的腦子夠好用,在消耗了大量心血,吃掉了無數冰島紅極參之後,終於是開發成功了。

功能很簡單,就是自動對超參數進行搜索、優化,以找到結構更合理、性能更好的人工神經網絡。

江寒爲這門技術取名ASSP(Auto search for super parameters)。

當然,其實就是“搜索超參數”的英文直譯……

ASSP的原理很簡單,就是包裝在人工神經網絡模板外層的一個“殼”。

通過一個調度函數,在訓練神經網絡之前,先按照事先確定的規則,微調某些超參數。

每當完成一輪訓練,還會按照既定的規則,從各個方面進行評分。

比如,在梯度下降的過程中,模型是否收斂、收斂速度如何?

不能收斂的網絡,根本無法訓練,也就毫無價值,如果收斂速度過慢,訓練起來也會缺少效率。

此外,網絡模型在驗證集中的表現,泛化能力、識別準確度、網絡的穩健性……

最後,將每次訓練完成後,人工神經網絡的綜合得分,從高到低排一下序。

江寒通過最後生成的表格,就可以選取合適的超參數組合了。

爲了讓這個超參數搜索程序,獲得更高的工作效率,需要先指定超參數的搜索範圍。

範圍太大的話,會導致搜索時間過長,可能會等不及出結果;如果範圍太小,又很可能找不到合格的超參數取值。

這個搜索範圍,可以看做SFSP的超參數,只能憑經驗設定。

好在江寒已經訓練過許多次人工神經網絡,有着十分充足的經驗。

他將ASSP和深度CNN的代碼融合之後,連同訓練數據、驗證數據,全都上傳到了地下數據處理中心的服務器裡。

差不多兩天之後,ASSP就能得到初步的成果。

至於整個CNN網絡的訓練,那可就有得等了。

原始數據是12萬多條,增廣到2048倍之後,就是2億4千5百萬餘條數據!

數據量實在太龐大了,即使使用了GPU來提速,至少也需要5~7天,才能完成初步的訓練。

江寒讓程序跑起來之後,就走出了實驗室。

打算回到遊戲工作室裡,休息一下,然後去主持面試。

剛喝了兩口水,手機忽然響了起來。

來電是夏如虹的,江寒連忙接了起來,叫了聲:“阿姨。”

“你在哪了?”夏如虹聲音溫婉。

“17樓辦公室。”江寒回答。

夏如虹打這個電話,主要是討論寫字機器人的銷量和分成。

寫字機器人上市的時候,已經接近年底,所以截止2012年12月31日,只賣出了30多萬臺。

按照當初的約定,江寒將獲得3.5%銷售額的分成。

機器人的出廠價是每臺558元,3.5%就是每臺19.53元,30萬臺……

江寒隨便心算了一下,就得出了答案:580多萬。

這就比較讓人愉快了。

有了這筆錢,星空那邊的錢,暫時就不急着動用了。

這樣也能避免不少匯兌、稅費之類的損失……

第410章 六度分割理論?第153章 眼氣誰呢這是?第176章 現學現賣第196章 背黑鍋我來第229章 從源頭上防仿製?第216章 有些事,再多的錢也沒得談第23章 震驚商城,開啓!第217章 超級粉絲第38章 賣歌第56章 花錢容易賺錢難第253章 不幸猜中了第180章 想謙虛都沒地方謙虛第40章 好朋友來了第176章 現學現賣第296章 攪動風雲第430章 超算落成,九段助陣第266章 篩選模型,以及最後的優勝者第423章 超算和MPP架構第430章 超算落成,九段助陣第108章 情趣第22章 名偵探婉瑩第353章 神乎其技第251章 特效藥第158章 查崗?第243章 比賽心得和騙分教程第222章 《Adaline網絡》和《最小均方濾波器(LMS)》第193章 這也太考驗人了吧?第75章 金少樓的警告第408章 初入燕園第306章 就剩這麼幾個了第97章 媽媽問我爲何跪着看手機?第401章 有種奇遇叫頓悟第2章 基本操作第138章 避蚊胺,登山第369章 點八個,贈十個……第396章 線性CCD掃描相機第260章 這可是B5啊!第242章 搞出問題怎麼辦?第188章 金風玉露一相逢第273章 假如氪金就能變強第22章 名偵探婉瑩第364章 徑向基神經網絡第128章 被傳染了怎麼辦?第312章 阱中有坑,坑裡有釘第179章 馬爾可夫隨機場第192章 許文強和馮程程第261章 曉之以理,動之以錢第261章 曉之以理,動之以錢第202章 輸得明明白白第111章 虛擬空間,開啓!第362章 社會我老方第365章 一套接着一套第212章 他和夏總到底什麼關係?第101章 偷換概念第45章 火了第110章 敲竹槓第128章 被傳染了怎麼辦?第172章 誰是誰的小糖人?第255章 調整超參數,以及防止過擬合第326章 “戰神一號”的弱點第140章 虛驚第421章 身世大白第71章 憑什麼是江寒?第15章 夏雨菲的羨慕第69章 論如何追女孩紙第359章 大佬,怪蜀黍?第120章 《數字混淆加密(簡易版)》第240章 怎麼住?第400章 不可逾越的高山第169章 最後0.5公分第212章 他和夏總到底什麼關係?第386章 測量“虛擬空間”的曲率第316章 順藤摸瓜第406章 不可思議的學習效率第297章 Py大法威力無窮第96章 暫時保管?第318章 飛機點餐攻略第36章 家宴第256章 擴展歐幾里得算法,以及增強線段樹第419章 媽可能是親媽,爹……第409章 晨曦III巨型計算機第135章 巧合?考驗?第266章 篩選模型,以及最後的優勝者第100章 談判第376章 很像一臺成熟的計算機了第125章 我有一個同桌第294章 峰迴路轉,轉了又轉第61章 記憶和遺忘的生物學原理第421章 身世大白第336章 女孩的心思你別猜第399章 此一時,彼一時第387章 打印機和繪圖儀第383章 全自動刷分第85章 吊橋效應第39章 這可能是個誤會第154章 腦力提升的副作用第107章 附加條件第415章 滿分入選國家隊第394章 超參數全自動搜索第94章 水論文的正確姿勢
第410章 六度分割理論?第153章 眼氣誰呢這是?第176章 現學現賣第196章 背黑鍋我來第229章 從源頭上防仿製?第216章 有些事,再多的錢也沒得談第23章 震驚商城,開啓!第217章 超級粉絲第38章 賣歌第56章 花錢容易賺錢難第253章 不幸猜中了第180章 想謙虛都沒地方謙虛第40章 好朋友來了第176章 現學現賣第296章 攪動風雲第430章 超算落成,九段助陣第266章 篩選模型,以及最後的優勝者第423章 超算和MPP架構第430章 超算落成,九段助陣第108章 情趣第22章 名偵探婉瑩第353章 神乎其技第251章 特效藥第158章 查崗?第243章 比賽心得和騙分教程第222章 《Adaline網絡》和《最小均方濾波器(LMS)》第193章 這也太考驗人了吧?第75章 金少樓的警告第408章 初入燕園第306章 就剩這麼幾個了第97章 媽媽問我爲何跪着看手機?第401章 有種奇遇叫頓悟第2章 基本操作第138章 避蚊胺,登山第369章 點八個,贈十個……第396章 線性CCD掃描相機第260章 這可是B5啊!第242章 搞出問題怎麼辦?第188章 金風玉露一相逢第273章 假如氪金就能變強第22章 名偵探婉瑩第364章 徑向基神經網絡第128章 被傳染了怎麼辦?第312章 阱中有坑,坑裡有釘第179章 馬爾可夫隨機場第192章 許文強和馮程程第261章 曉之以理,動之以錢第261章 曉之以理,動之以錢第202章 輸得明明白白第111章 虛擬空間,開啓!第362章 社會我老方第365章 一套接着一套第212章 他和夏總到底什麼關係?第101章 偷換概念第45章 火了第110章 敲竹槓第128章 被傳染了怎麼辦?第172章 誰是誰的小糖人?第255章 調整超參數,以及防止過擬合第326章 “戰神一號”的弱點第140章 虛驚第421章 身世大白第71章 憑什麼是江寒?第15章 夏雨菲的羨慕第69章 論如何追女孩紙第359章 大佬,怪蜀黍?第120章 《數字混淆加密(簡易版)》第240章 怎麼住?第400章 不可逾越的高山第169章 最後0.5公分第212章 他和夏總到底什麼關係?第386章 測量“虛擬空間”的曲率第316章 順藤摸瓜第406章 不可思議的學習效率第297章 Py大法威力無窮第96章 暫時保管?第318章 飛機點餐攻略第36章 家宴第256章 擴展歐幾里得算法,以及增強線段樹第419章 媽可能是親媽,爹……第409章 晨曦III巨型計算機第135章 巧合?考驗?第266章 篩選模型,以及最後的優勝者第100章 談判第376章 很像一臺成熟的計算機了第125章 我有一個同桌第294章 峰迴路轉,轉了又轉第61章 記憶和遺忘的生物學原理第421章 身世大白第336章 女孩的心思你別猜第399章 此一時,彼一時第387章 打印機和繪圖儀第383章 全自動刷分第85章 吊橋效應第39章 這可能是個誤會第154章 腦力提升的副作用第107章 附加條件第415章 滿分入選國家隊第394章 超參數全自動搜索第94章 水論文的正確姿勢