中文字幕一级黄色A级片|免费特级毛片。性欧美日本|偷拍亚洲欧美1级片|成人黄色中文小说网|A级片视频在线观看|老司机网址在线观看|免费一级无码激情黄所|欧美三级片区精品网站999|日韩av超碰日本青青草成人|一区二区亚洲AV婷婷

最優(yōu)化的研究始于牛頓，拉格朗日和柯西時代的早期，特別是牛頓，高斯和萊布尼茨等在微積分領(lǐng)域做出的貢獻，推動了包括微積分方法在內(nèi)的數(shù)學基礎(chǔ)的發(fā)展，使得對函數(shù)的優(yōu)化成為可能，柯西第一個提出最速下降法求解無約束優(yōu)化問題，然后，伯努利，歐拉拉格朗日，費馬和魏爾施特拉斯發(fā)展了微積分最小化函數(shù)的基礎(chǔ)，拉格朗日發(fā)明了求解約束優(yōu)化問題的方法，該方法使用了以他的名字命名的位置乘數(shù)，稱為“拉格朗日乘數(shù)法”。30世紀后半葉，隨著數(shù)學計算機的發(fā)明，涌現(xiàn)出大量的求解復雜優(yōu)化問題的方法和技術(shù)，持續(xù)的努力刺激了最優(yōu)化時代不同的，全新的領(lǐng)域更深入的研究，一個重大事件是喬治丹茨格發(fā)明的線性規(guī)劃，在此介紹了幾個里程碑式的人物和事件：

庫恩和塔克

在1951年開展了非線性規(guī)劃的問題的早期研究。非線性規(guī)劃是指目標函數(shù)或約束條件或者兩者均包含非線性部分的一般形式。貝爾曼，在1057年提出了動態(tài)規(guī)劃問題的最優(yōu)性原則，該原則采用快樂將問題分解為更小的子問題的優(yōu)化策略，描述子問題間關(guān)系的方程以他的名字命名。組合最優(yōu)化，一個通用術(shù)語，指一組包含可運籌學，算法理論和計算復雜性理論的最優(yōu)化方法。此域中的方法旨在當詳盡搜索不可行時，在離散空間中搜索出一套可行解，其目標是找到最優(yōu)解，它在多個領(lǐng)域有重要應用，包括人工智能，機器學習，數(shù)學和軟件工程等，它也適用于設計不確定度性的優(yōu)化問題。

丹齊格、查納斯和庫伯

約束和參數(shù)取決于隨機變量的隨機規(guī)劃。魯棒規(guī)劃，類似于隨機規(guī)劃，掌握最優(yōu)化問題中的數(shù)據(jù)的不確定性的嘗試，它不通過隨機變量解決問題，而是通過考慮輸入數(shù)據(jù)的隨機不準確性。模擬退火算法和進化算法家族，這些方法有時被稱為啟發(fā)式方法，它們很少或不進行問題的優(yōu)化假設，因此可以在大量的候選方案中找出全局最優(yōu)解，但是啟發(fā)式方法并不能保證得到最優(yōu)解。

在所有這些方法以及此處未提及的方法中，由于一種方法可以歸類到很多分類中，因此很難對優(yōu)化方法進行分類，一個粗略的分類是將其分為線性和非線性規(guī)劃，線性規(guī)劃旨在尋找一組線性方程組的最優(yōu)解，如最小生成樹和單純性法，線性規(guī)劃方法解決的一個問題是旅行商問題：尋求兩個連通圖的頂點之間的最小距離，非線性規(guī)劃試圖解決非線性方程組問題，可以進一步分為兩個子類，確定性問題和隨機問題。確定性非線性規(guī)劃在解空間中進行基于梯度信息的迭代搜索，每一次迭代，都向函數(shù)最小化的方向進行搜索，隨機方法則不同，它基于概率論的原則進行搜索，由于不需要梯度信息，這使得其能夠適用于任意的優(yōu)化問題，由于優(yōu)化方法很多，本書中僅詳細討論大量的全局最優(yōu)化技術(shù)中主要的、相關(guān)的優(yōu)化方法，同時對最優(yōu)化方法的令人激動的發(fā)展歷史進行一次“普查”。

核心問題

最優(yōu)化問題通常是多模的，即存在虛假的局部最優(yōu)解，這導致最優(yōu)解難以找到，因此是最優(yōu)化問題的最大挑戰(zhàn)之一。考慮確定性方法是基于其導數(shù)或逼近值的計算，它們沿著梯度向量的方向收斂到函數(shù)梯度為零的位置，如果問題的解空間是單峰的，則能快速找到可信的，魯棒的全局最優(yōu)解，然而，采用迭代方法使得它們通常不是找到了全局最優(yōu)解，而是陷入了局部最優(yōu)，多次運行的隨機初始化可能有助于找到更好的局部最優(yōu)解，但不能保證找到全局最優(yōu)解。由于多模問題存在大量的局部最優(yōu)解，因此隨機初始化可能導致隨機收斂，得到的結(jié)果不可復現(xiàn)且是次優(yōu)的，此外，在實踐中應用時也很少進行假設的，例如，函數(shù)的導數(shù)不能定義的情況。

除了微積分函數(shù)最小化，確定性方法通常還用于多個重要領(lǐng)域，例如，人工神經(jīng)網(wǎng)絡領(lǐng)域著名的訓練方法，反向傳播算法，是典型的梯度下降學習算法，前饋式神經(jīng)網(wǎng)絡的參數(shù)是隨機初始化的，因此每一次的BP在解空間運行執(zhí)行梯度下降，都會收斂于一組參數(shù)，另一個典型的例子是在一些統(tǒng)計模型中發(fā)現(xiàn)最大似然或最大后驗概率的參數(shù)估計的期望最大化算法，最常見的模型是高斯混合模型，參數(shù)的概率密度函數(shù)表示為高斯概率密度函數(shù)的加權(quán)和，在信號處理，模式是被和其他相關(guān)的工具領(lǐng)域中，GMMs通常用作概率分布的屬性或特征的參數(shù)化模型，為了確定一個特定的GMM的參數(shù)，EM用作執(zhí)行期望，步驟或是最大化步驟的迭代方法，其中，期望步驟用于計算對數(shù)極大似然的期望，該對數(shù)極大似然基于當前參數(shù)估計得出，最大化步驟用于計算使得期望步驟找到期望的極大似然對數(shù)最大化的參數(shù)。這些估計值用于確定下一個期望步驟的潛在變量的分布。EM是確定性最優(yōu)化方法中的典型例子，在誤差空間中進行下降，如果下降步長選擇合適，可以看到EM與梯度下降法師相同的，GFMMs是一個特別有用的數(shù)據(jù)挖掘工具，通常用于數(shù)據(jù)分布建模和聚類，K-均值算法是另一個確定性最優(yōu)化技術(shù)，也許是最流行的數(shù)據(jù)聚類算法之一，類似的，當用于高維數(shù)據(jù)空間的復雜聚類結(jié)果，為了便于觀察，結(jié)果分別著上了紅，綠，藍的顏色，數(shù)據(jù)點用著色的像素點表示，聚類中心用于白色+號表示。模擬中，分別進行4次，13次和127次K-均值運算，以提取圖示中的前三個例子的真實聚類，盡管進行了產(chǎn)過10000次的運行，但是沒有哪一次將最后一個例子成功聚類為42類，考慮到該例子的極端多模誤差空間，具有極多的局部最優(yōu)解，因此結(jié)果是符合預期的。

這些缺陷使得研究人員將目光轉(zhuǎn)移到隨機最優(yōu)化方法尤其是進化算法上，如遺傳算法，遺傳規(guī)劃，進化策略和進化規(guī)則。所有的進化算法都是以種群為基礎(chǔ)的技術(shù)，這樣可以避免陷入局部最優(yōu)，但也并不能保證找到最優(yōu)解，換言之，另一個主要的缺點依然存在：不能確定包含最優(yōu)解的解空間的真正維數(shù)，很多問題，如數(shù)據(jù)聚類，需要解空間的維數(shù)信息，不然將不能收斂到全局最優(yōu)解，聚類數(shù)目必須預先設定，在很多的聚類問題中，尤其是聚類數(shù)目的復雜聚類問題，這基本上是不可能過的，因此需要最優(yōu)化方法根據(jù)解空間的維度信息找到最優(yōu)解，這也是前面提到的最優(yōu)化方法的主要問題，例如，BP只能訓練前饋人工神經(jīng)網(wǎng)絡們不能搜索實際學習問題的最優(yōu)化構(gòu)型，因此典型的BP的一次運行能夠?qū)崿F(xiàn)次優(yōu)化人工神經(jīng)網(wǎng)絡構(gòu)型的的次優(yōu)參數(shù)設置。

迄今為止所提到的所有最優(yōu)化方法和很多其他方法都僅適用于靜態(tài)問題。現(xiàn)實世界中的很多問題都是動態(tài)的，由于系統(tǒng)和/或環(huán)境的變化，需要系統(tǒng)進行二次優(yōu)化，雖然可以將動態(tài)問題視為一系列的獨立過程，采用在每一次變化之后重啟最優(yōu)化算法的方式解決，但這可能導致重要信息的丟失，尤其是當變化不是劇烈的而是漸進式的情況更是如此，此類問題中的大多數(shù)都具有多模的性質(zhì)，使得動態(tài)最優(yōu)化問題變得更加復雜，因此迫切需要強大而有效的最優(yōu)化技術(shù)，鑒于上述原因，近10年來，研究人員的目光集中在了進化算法，尤其是粒子群優(yōu)化上，PSO與EAs聯(lián)系密切，介于GA與EP之間。與GA不同的是，PSO沒有復雜的進化算子，如交叉，選擇和突變等，它高度依賴于隨機過程，但是PSO存在一些主要的問題和重大的缺陷，如參數(shù)依賴性和多樣性丟失，多樣性丟失問題和重大的缺陷，如參數(shù)依賴性和多樣性丟失，多樣性丟失問題增加陷入局部最優(yōu)的概率，是導致提前收斂的主要原因，尤其是搜索空間維數(shù)過大以及處理多模優(yōu)化問題時，這一缺陷更加明顯。

低價特征，在許多的計算機視覺模式是和信號處理領(lǐng)域扮演了重要角色，特征是從原始數(shù)據(jù)中提取的能夠表示一定的屬性和特點的各種信息，然而，自動提取的特征，往往缺少正確處理所需的辨別能力，在大量多樣的媒體內(nèi)同數(shù)據(jù)情況下尤其如此，在基于內(nèi)容的圖像索引和檢索領(lǐng)域，此即語義鴻溝問題，語義鴻溝是指用于計算機獲取的圖像視覺信息與用戶對圖像理解的語義信息不一致性而導致的低階特征和高階檢索需求間的距離，因此，為了在多媒體分類，索引和檢索應用領(lǐng)域以及其他相關(guān)領(lǐng)域取得合理的性能，對特征進行優(yōu)化十分關(guān)鍵，由于特征通常為高維，因此能夠處理多模態(tài)和維度成為最優(yōu)化方法的基本要求。此外沒在這些應用領(lǐng)域，特征往往是動態(tài)的，這又要求最優(yōu)化方法具備應對隨時對會發(fā)生的變化的可擴展型和即時適應性?？偠灾@些核心需求都超出了基本PSO和其他EA方法的能力。