再見(jiàn)！Python 循環(huán)，向量化已超神
再見(jiàn)！Python 循環(huán)，向量化已超神
gh_1d7504e4dee1
分享Python架構(gòu)師，Python架構(gòu)師教程、Python教程、Python微服務(wù)架構(gòu)、Python分布式架構(gòu)、Python高可用架構(gòu)、Pycharm注冊(cè)碼、Pycharm教程、Python爬蟲(chóng)、Python數(shù)據(jù)分析等。
以下文章來(lái)源于數(shù)據(jù)STUDIO ，作者云朵君
點(diǎn)擊領(lǐng)取《Python學(xué)習(xí)手冊(cè)》，后臺(tái)回復(fù)「福利」獲取?！簲?shù)據(jù)STUDIO』專(zhuān)注于數(shù)據(jù)科學(xué)原創(chuàng)文章分享，內(nèi)容以 Python 為核心語(yǔ)言，涵蓋機(jī)器學(xué)習(xí)、數(shù)據(jù)分析、可視化、MySQL等領(lǐng)域干貨知識(shí)總結(jié)及實(shí)戰(zhàn)項(xiàng)目。
使用向量化 -- Python中循環(huán)的超級(jí)快速替代品
我們?cè)趲缀跛械木幊陶Z(yǔ)言中都學(xué)習(xí)過(guò)循環(huán)。所以，默認(rèn)情況下，只要有重復(fù)性的操作，我們就會(huì)開(kāi)始實(shí)施循環(huán)。但是當(dāng)我們處理大量的迭代（數(shù)百萬(wàn)/數(shù)十億行）時(shí)，使用循環(huán)真是遭罪啊～，你可能會(huì)被卡住幾個(gè)小時(shí)，后來(lái)才意識(shí)到這是行不通的。這就是在Python中實(shí)現(xiàn)向量化變得超級(jí)關(guān)鍵的地方。
什么是向量化？
向量化是在數(shù)據(jù)集上實(shí)現(xiàn)（NumPy）數(shù)組操作的技術(shù)。在后臺(tái)，它對(duì)數(shù)組或系列的所有元素一次性進(jìn)行操作（不像’for’循環(huán)那樣一次操作一行）。
在這篇博客中，我們將看看一些用例，在這些用例中，我們可以很容易地用向量化代替Python循環(huán)。這將幫助你節(jié)省時(shí)間，并在編碼方面變得更加熟練。
點(diǎn)擊領(lǐng)取Python面試題手冊(cè)
Python從入門(mén)到進(jìn)階知識(shí)手冊(cè)
使用案例1: 尋找數(shù)字的總和
首先，我們來(lái)看看一個(gè)基本的例子，即在Python中使用循環(huán)和向量來(lái)尋找數(shù)字的總和。
使用循環(huán)
import time
start
= time.time()
# 遍歷之和
total =
0
# 遍歷150萬(wàn)個(gè)數(shù)字
for
item
in
range
(
0
,
1500000
):
total = total + item
print(
’sum is:’
+
str
(total))
end
= time.time()
print(
end
-
start
)
#1124999250000
#0.14 Seconds
使用向量化
import numpy as np
start = time.time()
# 向量化和--使用numpy進(jìn)行向量化
# np.range創(chuàng)建從0到1499999的數(shù)字序列
print(np.sum(np.arange(1500000)))
end = time.time()
print(end - start)
##1124999250000
##0.008 Seconds
與使用范圍函數(shù)的迭代相比，向量化的執(zhí)行時(shí)間約18倍。在使用Pandas DataFrame時(shí)，這種差異將變得更加明顯。
使用案例2:DataFrame數(shù)學(xué)運(yùn)算
在數(shù)據(jù)科學(xué)中，當(dāng)使用Pandas DataFrame時(shí)，開(kāi)發(fā)者會(huì)使用循環(huán)來(lái)創(chuàng)建新的數(shù)學(xué)運(yùn)算的派生列。
在下面的例子中，我們可以看到，在這樣的用例中，循環(huán)可以很容易地被向量化所取代。
創(chuàng)建DataFrame
DataFrame是以行和列的形式存在的表格數(shù)據(jù)。
我們正在創(chuàng)建一個(gè)有500萬(wàn)行和4列的pandas DataFrame，其中充滿(mǎn)了0到50之間的隨機(jī)值。
import
numpy
as
np
import
pandas
as
pd
df = pd.DataFrame(np.random.randint(
0
,
50
,
size=(
5000000
,
4
)),
columns=(
’a’
,
’b’
,
’c’
,
’d’
))
df.shape
# (5000000, 5)
df.head()
我們將創(chuàng)建一個(gè)新的列’ratio’，以找到列’d’和’c’的比率。
使用循環(huán)
import time
start
= time.time()
# Iterating through DataFrame using iterrows
for
idx,
row
in
df.iterrows():
# creating a new column
df.at[idx,
’ratio’
] =
100
* (
row
[
"d"
] /
row
[
"c"
])
end
= time.time()
print(
end
-
start
)
### 109 Seconds
使用向量化
start = time.time()
df[
"ratio"
] = 100 * (df[
"d"
] / df[
"c"
])
end = time.time()
print(end - start)
### 0.12 seconds
我們可以看到DataFrame有了明顯的改進(jìn)，與python中的循環(huán)相比，向量化幾乎快了1000倍。
使用案例3:DataFrame上If-else語(yǔ)句
我們實(shí)現(xiàn)了很多需要我們使用 "if-else" 類(lèi)型邏輯的操作。我們可以很容易地用python中的向量化操作代替這些邏輯。
看一下下面的例子來(lái)更好地理解它（我們將使用在用例2中創(chuàng)建的DataFrame）。
想象一下，如何根據(jù)退出的列’a’的一些條件來(lái)創(chuàng)建一個(gè)新的列’e’。
使用循環(huán)
import time
start
= time.time()
# Iterating through DataFrame using iterrows
for
idx,
row
in
df.iterrows():
if
row.a ==
0
:
df.at[idx,
’e’
] = row.d
elif (row.a <=
25
) & (row.a >
0
):
df.at[idx,
’e’
] = (row.b)-(row.c)
else
:
df.at[idx,
’e’
] = row.b + row.c
end
= time.time()
print(
end
-
start
)
### Time taken: 177 seconds
使用向量化
start
= time.time()
df[
’e’
] = df[
’b’
] + df[
’c’
]
df.loc[df[
’a’
] <=
25
,
’e’
] = df[
’b’
] -df[
’c’
]
df.loc[df[
’a’
]==
0
,
’e’
] = df[
’d’
]
end
= time.time()
print(
end
-
start
)
## 0.28007707595825195 sec
與帶有if-else語(yǔ)句的python循環(huán)相比，向量化操作要比循環(huán)快600倍。
使用案例4:解決機(jī)器學(xué)習(xí)/深度學(xué)習(xí)網(wǎng)絡(luò)
深度學(xué)習(xí)要求我們解決多個(gè)復(fù)雜的方程，而且是針對(duì)數(shù)百萬(wàn)和數(shù)十億行的方程。在Python中運(yùn)行循環(huán)來(lái)解決這些方程是非常慢的，此時(shí)，向量化是最佳的解決方案。
例如，要計(jì)算以下多線性回歸方程中數(shù)百萬(wàn)行的y值。
我們可以用向量化代替循環(huán)。
m1,m2,m3...的值是通過(guò)使用對(duì)應(yīng)于x1,x2,x3...的數(shù)百萬(wàn)個(gè)值來(lái)解決上述方程而確定的（為了簡(jiǎn)單起見(jiàn)，只看一個(gè)簡(jiǎn)單的乘法步驟）
創(chuàng)建數(shù)據(jù)
>>
> import numpy as np
>>
>
# 設(shè)置 m 的初始值
>>
> m = np.random.rand(
1
,
5
)
array([[
0
.
49976103
,
0
.
33991827
,
0
.
60596021
,
0
.
78518515
,
0
.
5540753
]])
>>
>
# 500萬(wàn)行的輸入值
>>
> x = np.random.rand(
5000000
,
5
)
使用循環(huán)
import numpy as np
m = np.random.rand(1,5)
x = np.random.rand(5000000,5)
total = 0
tic = time.process_time()
for i in range(0,5000000):
total = 0
for j in range(0,5):
total = total + x[i][j]*m[0][j]
zer[i] = total
toc = time.process_time()
print (
"Computation time = "
+ str((toc - tic)) +
"seconds"
)
####Computation time = 28.228 seconds
使用向量化
tic = time.process_time()
#dot product
np.dot(x,m.T)
toc = time.process_time()
print (
"Computation time = "
+ str((toc - tic)) +
"seconds"
)
####Computation time = 0.107 seconds
np.dot在后端實(shí)現(xiàn)了向量的矩陣乘法。與python中的循環(huán)相比，它的速度提高了165倍。
寫(xiě)在最后
Python中的向量化是非常快的，當(dāng)在處理非常大的數(shù)據(jù)集時(shí)，建議你應(yīng)該優(yōu)先考慮向量化而不是循環(huán)。這樣，隨著時(shí)間的推移，你會(huì)逐漸習(xí)慣于按照向量化的思路來(lái)編寫(xiě)代碼。
程序員技術(shù)交流群
掃碼進(jìn)群記得備注： 城市、昵稱(chēng)和技術(shù)方向 。
閱讀更多
-
細(xì)思恐極，插上 U 盤(pán)就開(kāi)始執(zhí)行 Python 代碼 -
【Pycharm教程】使用 PyCharm 構(gòu)建 R 包 -
復(fù)旦發(fā)布中國(guó)版 ChatGPT ：MOSS