АСИНХРОННА ЦЕНТРАЛІЗОВАНА ОБРОБКА ПОТОКОВИХ ДАНИХ У РОЗПОДІЛЕНИХ СИСТЕМАХ РЕАЛЬНОГО ЧАСУ
DOI:
https://doi.org/10.17721/3041-2323.2025.122-136Ключові слова:
асинхронне федеративне навчання, розподілені системи реального часу, централізована координація, агрегація ваг нейронної мережі, FedAvg, FedAsync, робустна агрегація, FedAdam, FedYogi, застарілість оновленьАнотація
У цій статті представлено структурований і прагматичний аналіз кількох методів агрегації для асинхронного централізованого федеративного навчання: класичне федеративне усереднення (FedAvg), асинхронне градієнтне/параметричне просування (методи в стилі FedAsync), робустна агрегація на основі координатно-зважених медіан та адаптивні оптимізатори, такі як FedAdam та FedYogi. Дослідження зосереджено на їх поведінці за умов гетерогенного часу клієнтів, застарілості оновлень, розділів даних, що не є IID (незалежні та однаково розподілені), та обмежень реального часу, що виникають у розподілених системах реального часу. Проведено аналіз чутливості методів до затриманих та неактуальних оновлень, а також дсолідженно комунікаційні та обчислювальні витрати на центральному вузлі. Проведено напівгіпотетичний, реалістичний експериментальний дослід з використанням наборів даних, що не є IID, з режимами відмов, включаючи відключення вузлів і дрейф системного часу. Порівняльні висновки з дослідження визначають що FedAvg різко деградує при високій застарілості; надійна агрегація може несподівано посилити вплив застарілих, але структурно узгоджених викидів; а адаптивні методи демонструють нетривіальну напругу між швидшою конвергенцією та нестабільністю, коли моделі затримок змінюються з часом.
Посилання
P. Blanchard, E. M. El Mhamdi, R. Guerraoui, and J. Stainer, “Machine learning with adversaries: Byzantine tolerant gradient descent,” in Proc. NIPS, 2017.
G. C. Buttazzo, Hard Real-Time Computing Systems: Predictable Scheduling Algorithms and Applications, 3rd ed. Springer, 2017.
T. Chen, G. Giannakis, T. Sun, and W. Yin, “LAG: Lazily aggregated gradient for communication-efficient distributed learning,” IEEE Trans. Signal Process., vol. 68, pp. 4365–4379, 2020.
P. Kairouz et al., “Advances and open problems in federated learning,” Foundations and Trends in Machine Learning, vol. 14, no. 1–2, pp. 1–210, 2021.
H. Kopetz, Real-Time Systems: Design Principles for Distributed Embedded Applications, 2nd ed. Springer, 2011.
H. B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y Arcas, “Communication-efficient learning of deep networks from decentralized data,” in Proc. AISTATS, 2017 (arXiv:1602.05629, 2016).
S. Reddi et al., “Adaptive federated optimization,” in Proc. ICLR, 2021.
P. Tabuada, “Event-triggered real-time scheduling of stabilizing control tasks,” IEEE Trans. Autom. Control, vol. 52, no. 9, pp. 1680–1685, 2007.
C. Xie, S. Koyejo, and I. Gupta, “Asynchronous federated optimization,” arXiv:1903.03934, 2019.
D. Yin, Y. Chen, R. Kannan, and P. Bartlett, “Byzantine-robust distributed learning: Towards optimal statistical rates,” in Proc. ICML, 2018.
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2025 Прикладні інформаційні системи та технології в цифровому суспільстві
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
