K近邻（K-Nearest Neighbors, KNN）算法是机器学习领域中最简单且直观的分类算法之一。其基本思想是通过计算待分类样本与训练集中各样本之间的距离，选择距离最近的K个邻居样本，并根据这些邻居的类别标签来预测待分类样本的类别。然而，KNN算法的分类效果很大程度上依赖于距离度量的准确性和样本分布的均匀性。本文将详细探讨如何通过距离度量学习与样本权重调整来精细化KNN算法，从而提升其分类准确率。
在KNN算法中，最常用的距离度量是欧氏距离。然而，欧氏距离在处理高维数据或具有复杂分布的数据时，可能无法准确反映样本之间的真实关系。距离度量学习旨在学习一个更合适的距离度量，使得在这个度量下，同类样本之间的距离更近，不同类样本之间的距离更远。
一种常见的距离度量学习方法是马氏距离（Mahalanobis Distance）。马氏距离通过引入一个半正定矩阵M，将原始空间中的样本映射到一个新的空间中，在新的空间中计算距离。矩阵M可以通过优化问题来学习，使得同类样本之间的距离尽可能小，不同类样本之间的距离尽可能大。
# 假设X为训练样本矩阵，y为训练样本标签
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics.pairwise import mahalanobis_distances
import numpy as np
# 假设已经通过某种方法学习到了M矩阵
M = np.array([[...]]) # 示例矩阵，实际使用时需替换为学习到的M
# 计算马氏距离
def mahalanobis_knn(X_train, y_train, X_test, M):
distances = mahalanobis_distances(X_test, X_train, VI=np.linalg.inv(M))
knn = KNeighborsClassifier(n_neighbors=k)
knn.fit(distances, y_train)
return knn.predict(distances)
# 使用马氏距离的KNN进行分类
predictions = mahalanobis_knn(X, y, X_test, M)
在标准的KNN算法中，所有邻居样本在分类决策中的贡献是相等的。然而，在实际应用中，不同邻居样本的重要性可能不同。例如，与待分类样本距离较近的邻居可能具有更高的可靠性。因此，通过调整邻居样本的权重，可以进一步提升KNN算法的分类准确率。
一种简单而有效的方法是使用距离加权投票（Distance-Weighted Voting）。在这种方法中，每个邻居样本的权重与其到待分类样本的距离成反比。即，距离越近的邻居样本在分类决策中的贡献越大。
# 距离加权投票的KNN实现
class WeightedKNeighborsClassifier:
def __init__(self, n_neighbors=3):
self.n_neighbors = n_neighbors
self.neighbors = []
self.distances = []
self.weights = []
def fit(self, X, y):
self.X_train = X
self.y_train = y
def predict(self, X):
for x in X:
distances = np.linalg.norm(self.X_train - x, axis=1)
sorted_indices = np.argsort(distances)
self.neighbors = self.y_train[sorted_indices[:self.n_neighbors]]
self.distances = distances[sorted_indices[:self.n_neighbors]]
self.weights = 1 / self.distances
self.weights /= np.sum(self.weights) # 归一化权重
# 投票决定分类
vote_counts = np.zeros(np.unique(self.y_train).shape[0])
for i in range(self.n_neighbors):
vote_counts[np.where(np.unique(self.y_train) == self.neighbors[i])[0][0]] += self.weights[i]
prediction = np.argmax(vote_counts)
yield np.unique(self.y_train)[prediction]
# 使用距离加权投票的KNN进行分类
predictions = [pred for pred in WeightedKNeighborsClassifier(k).predict(X_test)]
本文详细介绍了如何通过距离度量学习与样本权重调整来精细化KNN算法，以提升其分类准确率。距离度量学习使得KNN算法能够更准确地衡量样本之间的相似性，而样本权重调整则使得分类决策更加合理。这两种方法共同作用下，可以显著提升KNN算法在复杂数据集上的分类性能。