Классификация данных гравитационным методом с помощью дообучения нейронных сетей

дообучения нейронных сетей
Задачи:
Создать единый класс, позволяющий правильно задавать параметры при начальном предобучении сети на заданных данных;
Построить, использовать и получить ожидаемые метрики от двух сверточных нейронных сетей (ResNet18, ResNet101) с классическим методом обучения градиентного спуска.
Построить на основе данных нейронных сетей новую модель, с использованием гравитационного метода обучения и получить метрики.
Сравнить результаты прогнозирования двумя методами, наметить следующий этап изучения данного метода и его улучшения.

классификацию с помощью нейронной сети без использования заранее предобученной модели.

Минимизация, либо полное избавление от разметки данных перед первоначальным обучением нейронной сети.

Необходимость метода обучения нейронной сети, основанного на степени уверенности в принадлежности данных к одному из классов, начиная с начального момента классификации.

Решение: создание уникального метода обучения сетей, позволяющего работать с неразмеченными данными и объединяющего возможность использования для любых сетей и входных данных.

решения задачи:
Определение решаемой задачи (классификация, прогнозирование, модификация);
Определение ограничений решаемой области (скорость, точность);
Определение входных и выходных данных (тип: размер изображения, формат, цвет и т.п. для входа, количество классов для выхода)

Топология сверточной нейронной сети.

Визуализация свертки и подвыборки

в виде набора вероятностей (уверенности в том, что экземпляр принадлежит к одному из классов).
Среди получившихся вероятностей выберем данные, которые имеют наибольшую степень уверенности по каждому из классов.
Обучение нейронной сети на первоначальных точках и последующих за ними данных, при преодолении порога степени уверенности принадлежания к классу по каждому из экземпляров.

признаков, матрицу в виде (1).
Тогда на каждом последующем шаге обучения нейросеть будет давать модифицированную матрицу по всем данным значениям, как вероятности их принадлежности к определенному признаку.
Функция, на основе функции Хевисайда, позволяет при наложении на каждую строку матрицы получить выбор данных, которые уже классифицированны, что позволяет задать первоначальную точность на каждом из шаге (λ).
Тогда согласно 3 и 4 получим новые данные для обучения сети и происходит возврат на первый пункт.

наборе данных в виде рукописных цифр (MNIST), нейросеть, натренированная методом градиентного спуска справилась значительно лучше (точность у метода градиентного спуска на 7.87% и 7.36% больше, чем у гравитационного метода для сетей ResNet18 и ResNet101 соответственно).
На наборе данных из одежды (FashionMNIST) нейронная сеть, натренированная методом гравитационного обучения справилась незначительно хуже (на 0.83% и 1.96% меньше правильно определенных образов для сетей ResNet18 и ResNet101 соответственно).

Результаты метрик полученные обеими моделями с тренировкой гравитационным методом.

Результаты метрик полученные обеими моделями с тренировкой методом градиентного спуска.

сетей. Также было проведено сравнение модели с другими нейросетями, построенными на основе обучения методом градиентного спуска и сравнены метрики на двух различных датасетах.
Полученные метрики позволяют судить о работспособности метода, однако, из-за его недостаточной изученности, пока что невозможно подобрать наиболее идеальные параметры для классификации данных. Данная работа направлена на продолжение исследований данного метода обучения сетей, что даст возможность для более обширного понимания применимости данного метода при классификации данных.
Метод гравитационного обучения был реализован на языке Python. При тестировании использовался также яхык программирования Python и было произведено в среде Visual Studio Code с использованием библиотек Pandas, TorchVision, PyTorch, numpy.
Метод обучения получил высокую оценку при классификации данных, а иакже разработана программа дальнейшего исследования.

with the help of additional training of neural networks
Tasks:
Create a single class that allows you to correctly set the parameters during the initial pre-training of the network on the given data;
Build, use and get expected metrics from two convolutional neural networks (ResNet18, ResNet101) with classical gradient descent learning method.
Build a new model based on neural network data using the gravitational learning method and get metrics.
Compare the results of forecasting by two methods, outline the next stage in the study of this method and its improvement.

the optimal parameters for training networks were selected. The model was also compared with other neural networks built on the basis of gradient descent learning and the metrics were compared on two different datasets.
The obtained metrics make it possible to judge the performance of the method, however, due to its insufficient knowledge, it is not yet possible to select the most ideal parameters for data classification. This work is aimed at continuing research on this method of learning networks, which will provide an opportunity for a broader understanding of the applicability of this method in data classification.
The gravity learning method was implemented in Python. The testing also used the Python programming language and was carried out in the Visual Studio Code environment using the Pandas, TorchVision, PyTorch, Numpy libraries.
The training method was highly appreciated in the classification of data, and a program for further research was also developed.