A Survey on the Interplay between Software Engineering and Systems Engineering during SoS Architecting

Abstract

Background: The Systems Engineering and Software Engineering disciplines are highly intertwined in most modern Systems of Systems (SoS), and particularly so in industries such as defense, transportation, energy and health care. However, the combination of these disciplines during the architecting of SoS seems to be especially challenging; the literature suggests that major integration and operational issues are often linked to ambiguities and gaps between system-level and software-level architectures. Aims: The objective of this paper is to empirically investigate: 1) the state of practice on the interplay between these two disciplines in the architecting process of systems with SoS characteristics; 2) the problems perceived due to this interplay during said architecting process; and 3) the problems arising due to the particular characteristics of SoS systems. Method: We conducted a questionnaire-based online survey among practitioners from industries in the aforementioned domains, having a background on Systems Engineering, Software Engineering or both, and experience in the architecting of systems with SoS characteristics. The survey combined multiple-choice and openended questions, and the data collected from the 60 respondents were analyzed using quantitative and qualitative methods. Results: We found that although in most cases the software architecting process is governed by system-level requirements, the way requirements were specified by systems engineers, and the lack of domain-knowledge of software engineers, often lead to misinterpretations at software level. Furthermore, we found that unclear and/or incomplete specifications could be a common cause of technical debt in SoS projects, which is caused, in part, by insufficient interface definitions. It also appears that while the SoS concept has been adopted by some practitioners in the field, the same is not true about the existing and growing body of knowledge on the subject in Software Engineering resulting in recurring problems with system integration. Finally, while not directly related to the interplay of the two disciplines, the survey also indicates that low-level hardware components, despite being identified as the root cause of undesired emergent behavior, are often not considered when modeling or simulating the system. Conclusions: The survey indicates the need for tighter collaboration between the two disciplines, structured around concrete guidelines and practices for reconciling their differences. A number of open issues identified by this study require further investigation.

Antecedentes: Las disciplinas de ingeniería de sistemas e ingeniería de software están muy entrelazadas en la mayoría de los sistemas de sistemas (SoS) modernos, y particularmente en industrias como la defensa, el transporte, la energía y la atención médica. Sin embargo, la combinación de estas disciplinas durante la arquitectura de SoS parece ser especialmente desafiante; la literatura sugiere que los principales problemas operativos y de integración a menudo están vinculados a ambigüedades y brechas entre las arquitecturas a nivel de sistema y a nivel de software. Objetivos: El objetivo de este artículo es investigar empíricamente: 1) el estado de la práctica sobre la interacción entre estas dos disciplinas en el proceso de arquitectura de sistemas con características SoS; 2) los problemas percibidos debido a esta interacción durante dicho proceso de arquitectura; y 3) los problemas derivados de las características particulares de los sistemas SoS. Método: Realizamos una encuesta en línea basada en un cuestionario entre profesionales de industrias en los dominios antes mencionados, con experiencia en ingeniería de sistemas, ingeniería de software o ambas, y experiencia en la arquitectura de sistemas con características de SoS. La encuesta combinó preguntas abiertas y de opción múltiple, y los datos recopilados de los 60 encuestados se analizaron utilizando métodos cuantitativos y cualitativos. Resultados: Descubrimos que, aunque en la mayoría de los casos el proceso de arquitectura de software se rige por los requisitos a nivel del sistema, la forma en que los ingenieros de sistemas especificaron los requisitos y la falta de conocimiento del dominio de los ingenieros de software a menudo conduce a malas interpretaciones a nivel de software. Además, descubrimos que las especificaciones poco claras o incompletas podrían ser una causa común de la deuda técnica en los proyectos de SoS, que se debe, en parte, a definiciones de interfaz insuficientes. También parece que, si bien el concepto SoS ha sido adoptado por algunos profesionales en el campo, no ocurre lo mismo con el creciente cuerpo de conocimiento existente sobre el tema en ingeniería de software, lo que genera problemas recurrentes con la integración del sistema. Finalmente, aunque no está directamente relacionado con la interacción de las dos disciplinas, la encuesta también indica que los componentes de hardware de bajo nivel, a pesar de ser identificados como la causa raíz del comportamiento emergente no deseado, a menudo no se consideran al modelar o simular el sistema. Conclusiones: La encuesta indica la necesidad de una colaboración más estrecha entre las dos disciplinas, estructurada en torno a pautas y prácticas concretas para reconciliar sus diferencias. Una serie de problemas abiertos identificados por este estudio requieren una mayor investigación.