np.linalg.solve, sp.sparse.linalg.spsolve, gmres 장단점 비교

'np.linalg.solve', 'sp.sparse.linalg.spsolve', 'gmres' 방법은 모두 선형 시스템을 푸는데 사용됩니다. 선형 시스템이란, 다음과 같은 형태의 방정식들의 집합을 의미합니다.

 

$$Ax=b$$

 

여기서 $A$는 행렬, $x$는 미지수 벡터, $b$는 상수 벡터입니다. 이러한 선형 시스템을 푸는 것은, $x$ 벡터를 찾는 것입니다.

 

np.linalg.solve

NumPy 패키지에 포함되어 있는 np.linalg.solve 함수는, 행렬 $A$와 벡터 $b$를 인자로 받아 $Ax=b$의 해인 $x$를 구하는 함수입니다. 이 함수는 $A$가 dense(밀집 행렬)일 때 사용합니다.

import numpy as np

# Ax=b 형태의 선형 시스템 설정
A = np.array([[3, 2, 1], [2, 3, 1], [1, 1, 2]])
b = np.array([1, 2, 3])

# np.linalg.solve 함수 사용
x = np.linalg.solve(A, b)

print("x =", x)

 

sp.sparse.linalg.spsolve

SciPy 패키지에 포함되어 있는 sp.sparse.linalg.spsolve 함수는, 희소 행렬(sparse matrix) $A$와 벡터 $b$를 인자로 받아 $Ax=b$의 해인 $x$를 구하는 함수입니다. 이 함수는 $A$가 sparse(희소 행렬)일 때 사용합니다. 희소 행렬은 대부분의 원소가 0인 행렬로, 행렬의 크기가 커지면 일반적으로 메모리를 많이 차지하기 때문에, 희소 행렬을 사용하는 것이 더 효율적입니다.

import numpy as np
from scipy.sparse.linalg import spsolve
from scipy.sparse import csc_matrix

# Ax=b 형태의 선형 시스템 설정
A = csc_matrix([[3, 0, 1], [0, 3, 0], [1, 0, 2]])
b = np.array([1, 2, 3])

# sp.sparse.linalg.spsolve 함수 사용
x = spsolve(A, b)

print("x =", x)

 

gmres

GMRES(Generalized Minimal Residual)는 대칭성이 없는 선형 시스템 $Ax=b$의 해를 구하는데 사용되는 iterative한 방법 중 하나입니다. GMRES는 해를 근사적으로 구하는데, 해의 근사치는 벡터 공간에서 가장 잘 맞는다는 의미에서 최소 잔차 법(Minimal Residual)이라고도 합니다. 이 방법은 일반적인 행렬에서도 사용 가능하며, 특히 희소 행렬(sparse matrix)에서 효과적입니다.

 

GMRES 방법은 iterative한 방법이기 때문에, 최적의 근사해를 찾기 위해서는 많은 반복이 필요할 수 있습니다. 따라서, gmres 함수를 사용할 때는 반복 횟수와 수렴 기준값을 적절히 조정하여 최적의 근사해를 구하는 것이 중요합니다.

import numpy as np
from scipy.sparse.linalg import gmres
from scipy.sparse import csc_matrix

# Ax=b 형태의 선형 시스템 설정
A = csc_matrix([[3, 0, 1], [0, 3, 0], [1, 0, 2]])
b = np.array([1, 2, 3])

# gmres 함수 사용
tolerance = 1e-5
max_iter = 100
x, info = gmres(A, b, tol=tolerance, maxiter=max_iter)

print("x =", x)
print("info =", info)

 

위 예제 코드에서 np.linalg.solve는 dense matrix(밀집 행렬)을 다루기 때문에, 예제에서는 밀집 행렬을 사용하였습니다. sp.sparse.linalg.spsolve는 sparse matrix(희소 행렬)을 다루기 때문에, 예제에서는 csc_matrix를 사용하여 행렬을 정의하였습니다. GMRES 방법은 sparse matrix에서도 잘 동작하기 때문에, 예제에서도 csc_matrix를 사용하였습니다. GMRES 방법은 수렴하도록 tolerence 값과 max_iter 값을 설정해주어야 합니다. 예제 코드에서는 tolerence 값이 1e-5이고, max_iter 값이 100으로 설정되어 있습니다.

 

np.linalg.solve 함수는 $A$가 dense한 경우에 사용하며, spsolve 함수는 $A$가 sparse한 경우에 사용합니다. 반면에 gmres 함수는 $A$가 dense하거나 sparse한 경우 모두 사용할 수 있습니다. gmres 함수는 반복적인 방법으로 $Ax=b$ 형태의 선형 시스템을 푸는데, 이때 Arnoldi 알고리즘을 사용합니다. gmres 함수는 $Ax=b$의 근사해 $x$와 수렴까지 걸린 반복 횟수를 반환합니다.

 

따라서, 선형 시스템을 푸는데 있어서는 $A$의 특성에 따라서 np.linalg.solve, spsolve, gmres 함수 중에서 적절한 함수를 선택하여 사용하는 것이 중요합니다. $A$가 dense한 경우에는 np.linalg.solve 함수를 사용하고, $A$가 sparse한 경우에는 spsolve 함수를 사용하는 것이 좋습니다. 만약 $A$가 dense하거나 sparse하지만 반복적인 방법으로 선형 시스템을 푸는 것이 필요한 경우에는 gmres 함수를 사용할 수 있습니다.