Fundamentos de Pesquisa em Ciência da Computação II

Workshop: desenvolvimento de revisão da literatura

Por: Joenio Marques da Costa
Prof.: Cassio Vinicius Serafim Prazeres

Debian: Um ecossistema sustentável para distribuição e uso de Software para Pesquisa

Orientação: Christina von Flach

Início: 2024.1 / Fim previsto: 2027.2

Debian GNU/Linux é um sistema operacional composto inteiramente por software livre.

Software para Pesquisa

Software para pesquisa (do ingês, research software) é definido como software usado para coletar, processar, visualizar ou analisar resultados de pesquisas científicas, incluindo desde protótipos escritos pelos próprios pesquisadores até produtos completos desenvolvidos profissionalmente [1].

[1] ALLEN, A. et al. Engineering academic software (dagstuhl perspectives workshop 16252). In: Dagstuhl Manifestos. [S.l.]: Schloss Dagstuhl-Leibniz-Zentrum fuer Informatik, 2017. v. 6, n. 1.

Sustentabilidade de Software

Costuma-se definir sustentabilidade de software a partir da sua dimensão técnica [2], como a capacidade do software de perdurar e de continuar sendo suportado ao longo do tempo [3],

[2] PENZENSTADLER, B.; FEMMER, H. A Generic Model for Sustainability with Process- and Product-specific Instances. In: Proceedings of the 2013 Workshop on Green in/by Software Engineering. New York, NY, USA: ACM, 2013. (GIBSE ’13), p. 3–8. ISBN 978-1-4503-1866-2. Disponível em: http://doi.acm.org/10.1145/2451605.2451609.

[3] VENTERS, C. C. et al. Software sustainability: The modern tower of babel. In: CEUR Workshop Proceedings. [S.l.: s.n.], 2014. v. 1216, p. 7–12.

Pesquisa Pratica

O termo guarda-chuva “practice research” foi adotado como aglutinador de praticas de pesquisa relacionadas a practice-led, practice-based, practice as research (PaR), arts research, artistic research, action research, entre outros [4].

[4] BULLEY, J.; SAHIN, O. Practice Research - Report 1: What is practice research? and Report 2: How can practice research be shared? [S.l.], 2021. Disponível em: https://bl.iro.bl.uk/concern/reports/b51c0f52-9801-49d9-9f00-cca89741091b.

Revisão da literatura: Escopo

O escopo do estudo inclui o sistema Debian mencionado em publicações acadêmicas ou na literatura cinza sobre o uso do Debian em projetos de pesquisa acadêmico.

Revisão da literatura: Objetivo

O objetivo da pesquisa é definido segundo a estrutura Goal-Question-Metric (GQM) [5].

• Objetivo (Goal): Nível conceitual
• Questão (Question): Nível operacional
• Métrica (Metric): Nível quantitativo

[5] Basili, Victor R., Gianluigi Caldiera, e H. Dieter Rombach. 1994. “The Goal Question Metric Approach”. In Encyclopedia of Software Engineering. Wiley.

Objetivo: Objeto de estudo (GQM)

O objeto de estudo são projetos de pesquisa acadêmicos usando Debian como objeto de estudo ou como infraestrutura, ou que contribuam com o Debian, publicados em documentos incluindo literatura acadêmica e não-acadêmica.

GQM: Goal = Propósito; Assunto; Objeto; Perspectiva.

Coleta e análise exploratória dos dados

Busca realizada em 23 de maio de 2025 pelo termo “debian” no título, abstract e keywords apenas.

Debian mindmap

Referências

• [1] ALLEN, A. et al. Engineering academic software (dagstuhl perspectives workshop 16252). In: Dagstuhl Manifestos. [S.l.]: Schloss Dagstuhl-Leibniz-Zentrum fuer Informatik, 2017. v. 6, n. 1.
• [2] PENZENSTADLER, B.; FEMMER, H. A Generic Model for Sustainability with Process- and Product-specific Instances. In: Proceedings of the 2013 Workshop on Green in/by Software Engineering. New York, NY, USA: ACM, 2013. (GIBSE ’13), p. 3–8. ISBN 978-1-4503-1866-2. Disponível em: http://doi.acm.org/10.1145/2451605.2451609.
• [3] VENTERS, C. C. et al. Software sustainability: The modern tower of babel. In: CEUR Workshop Proceedings. [S.l.: s.n.], 2014. v. 1216, p. 7–12.
• [4] BULLEY, J.; SAHIN, O. Practice Research - Report 1: What is practice research? and Report 2: How can practice research be shared? [S.l.], 2021. Disponível em: https://bl.iro.bl.uk/concern/reports/b51c0f52-9801-49d9-9f00-cca89741091b.
• [5] Basili, Victor R., Gianluigi Caldiera, e H. Dieter Rombach. 1994. “The Goal Question Metric Approach”. In Encyclopedia of Software Engineering. Wiley.

Metodologia

• Goal-Question-Metric (GQM)
  Basili, Caldiera, e Rombach 1994
• Multivocal Literature Review (MLR)
  Garousi, Felderer, e Mäntylä 2019
• Software Engineering Guidelines for REporting Secondary Studies (SEGRESS)
  Kitchenham, Madeyski, e Budgen 2023

Goal-Question-Metric (GQM)
Basili, Caldiera, e Rombach 1994

• Objetivo (Goal): Nível conceitual
  • Propósito (Purpose) da medição
  • Assunto (Issue) a ser medido
  • Objeto (Object) a ser medido
  • Perspectiva (Viewpoint) de onde a medição é feita
• Questão (Question): Nível operacional
• Métrica (Metric): Nível quantitativo

Objetivo (Goal): Nível conceitual

• Propósito: Caracterizar e quantificar o uso do Debian em projetos de pesquisa.
• Assunto: Visibilidade do Debian em projetos de pesquisa.
• Objeto: Documentos publicados na literatura acadêmica e na literatura cinza.
• Perspectiva: Pesquisador interessado em ecossistemas de software para pesquisa.

Sumário da definição do Objetivo

Caracterizar e quantificar o uso do Debian em projetos de pesquisa, com foco em medir a visibilidade do Debian em projetos de pesquisa publicados na literatura acadêmica e na literatura cinza, sob a perspectiva do pesquisador interessado em ecossistemas de software para pesquisa.

Questão (Question): Nível operacional

• RQ 1. : Mapeando os tipos de publicações que mencionam o Debian.
• RQ 2. : Mapeando os projetos de pesquisa que usam o Debian
• RQ 3. : Quais são as características dos projetos de pesquisa usando o Debian?

Questão - RQ 1.

Mapeando os tipos de publicações que mencionam o Debian:

• RQ 1.1. : Quantos estudos usando o Debian em pesquisas foram encontrados na literatura cinza?
• RQ 1.2. : Quantos estudos usando o Debian em pesquisas foram encontrados na literatura acadêmica?
• RQ 1.3. : Quantos estudos por tipo de publicação foram encontrados na literatura selecionada? (Exemplo: periódico, conferência, tese, wiki, site)?

Questão - RQ 2.

Mapeando os projetos de pesquisa que usam o Debian:

• RQ 2.1. : Quais são os projetos de pesquisa encontrados?
• RQ 2.2. : Quantos e quais são os estudos que apresentam o Debian como: (1) objeto de estudo, (2) apoio metodológico, (3) infraestrutura de software para pesquisa, ou (4) contribuição científica ou técnica?
• RQ 2.3. : Quais das dimensoes da classificação de research software foram encontradas?

Questão - RQ 3.

Quais são as características dos projetos de pesquisa usando o Debian?

• RQ 3.1. : Quais são os campos de estudo usando Debian? (Exemplo: Química, Biologia, Medicina, etc)?
• RQ 3.2. : Quais são os atributos dos projetos em termos de autores, afiliações, métricas de impacto?
• RQ 3.3. : Quais são as disciplinas científicas mais presentes em número de publicações encontradas nos documentos selecionados?

Métrica (Metric): Nível quantitativo

Para responder às questões de pesquisa RQ 1., as seguintes métricas foram usadas:

• M1. : Número de publicações na literatura cinza com menção ao Debian.
• M2. : Número de publicações na literatura acadêmica com menção ao Debian.

Métrica (Metric): Nível quantitativo

Para responder às questões de pesquisa RQ 2., as seguintes métricas foram usadas:

• M3. : Número de publicações que apresentam o Debian como objeto de estudo.
• M4. : Número de publicações que apresentam o Debian como apoio metodológico.
• M5. : Número de publicações que apresentam o Debian como infraestrutura de software para pesquisa.
• M6. : Número de publicações que apresentam o Debian como contribuição científica ou técnica.

Métrica (Metric): Nível quantitativo

Para responder às questões de pesquisa RQ 3., as seguintes métricas foram usadas:

• M7. : Número de publicações por campo de estudo com menção ao Debian.
• M8. : Número e lista de autores e afiliações de publicações com menção ao Debian.

Multivocal Literature Review (MLR) [6]

Fases para condução da revisão de literatura:

1. Processo de busca
   • Onde buscar
   • Quando parar a busca
2. Seleção de fontes
   • Critérios de inclusão e exclusão para seleção de fontes
   • Processo de seleção de fontes
3. Avaliação de qualidade das fontes
4. Extração de dados
   • Elaboração de formulários de extração de dados
   • Logística e procedimento de extração de dados
   • Possibilidade de extração e síntese automatizadas de dados
5. Síntese de dados

[6] Garousi, Vahid, Michael Felderer, e Mika V. Mäntylä. 2019. “Guidelines for including grey literature and conducting multivocal literature reviews in software engineering”. Information and Software Technology 106: 101–21. https://doi.org/10.1016/j.infsof.2018.09.006.

Fontes de busca

Formally-published Literature:

• ScienceDirect https://www.sciencedirect.com
• Web of Science https://www.webofscience.com
• Scopus https://www.scopus.com
• SpringerLink https://link.springer.com
• ACM Digital Library https://dl.acm.org
• IEEE Xplore https://ieeexplore.ieee.org
• Compendex (Engineering Village) https://www.engineeringvillage.com
• Google Scholar https://scholar.google.com.br
• OpenAlex https://openalex.org
• PubMed https://pubmed.ncbi.nlm.nih.gov

Fontes de busca

Gray Literature (GL):

• Google Search https://www.google.com
• DuckDuckGo Search https://duckduckgo.com
• Debian site https://www.debian.org
• Debian wiki https://wiki.debian.org

Strings de busca

Formally-published Literature:

• “Debian”

(busca feita em titulos, abstract e palavras-chave)

Gray Literature (GL):

• “Debian” AND “science”
• “Debian” AND “scientific software”
• “Debian” AND “research software”

Criterios de inclusão e exclusão - MLR

Critérios de inclusão e exclusão para garantir inclusão de todas as fontes relevantes e para excluir fontes fora do escopo do estudo.

Criterios de inclusão

Foi incluido:

• (i) Literatura que explicitamente discute sobre o uso do Debian para fazer ciência, em qualquer campo do conhecimento;
• (ii) Artigos de conferência, periódicos e páginas web, wiki sobre o uso do Debian em pesquisas acadêmicas;
• (iii) Literatura publicada até 2025;
• (iv) Primeiras 5 páginas da busca web em literatura cinza (Google Search, DuckDuckGo Search, etc).

Criterios de exclusão

Foi excluído:

• (i) Literatura inacessível;
• (ii) Resultados da busca web da literatura cinza (Google Search, DuckDuckGo Search, etc) considerados similar a outros resultados;
• (iii) Google ads e outros anúncios;
• (iv) Artigos e páginas em outros idiomas além do inglês.

Processo de seleção de fontes - MLR

• Coleta realizada manualmente
• Critérios de inclusão e exclusão aplicados igualmente na literatura acadêmicas e na literatura cinza
• Dados armazenados em formato CSV, BibTeX, RIS, download manual, uso do Git para gerenciar os arquivos

Critérios de avaliação de qualidade
Gray Literature

Checklist para avaliacao de qualidade para estudos da literatura cinza:

• O autor tem outros trabalhos publicados no campo de estudo?
• O autor tem experência na área? (exemplo: papel de engenheiro de software senior)
• O trabalho cobre uma questão específica em relação as questões de pesquisa?
• O trabalho refere-se a uma população ou caso particular, incluido nos objetivos deste estudo?
• As afirmações das fontes são objetivas? Ou são opiniões subjetivas?
• O documento tem uma data explicita declarada?

Cada questão assume valor 0 ou 1, cada documento recebe pontuação máxima de 6 pontos, o ponto de corte mínimo é 3, documentos com pontuação inferior são excluídos.

Extração de dados - MLR

Elaboração de formulário para extração dos dados

A tabela abaixo descreve cada coluna da planilha utilizada para coleta e análise dos resultados.

SEGRESS

SEGRESS é uma extensao do padrão PRISMA 2020 para suprir limitações do PRISMA 2020 no contexto de estudos em engenharia de software, uma vez que o PRISMA 2020 foi inicialmente proposto para o contexto médico e área de saúde, os desenvolvedores do PRISMA 2020 afirmam expressamente que é intenção ser usado para SR (sistemathic reviews) qualititativas, mixedmethod reviews, e meta-análise.

Kitchenham, Barbara, Lech Madeyski, e David Budgen. 2023. “SEGRESS: Software Engineering Guidelines for REporting Secondary Studies”. IEEE Transactions on Software Engineering 49 (3): 1273–98. https://doi.org/10.1109/TSE.2022.3174092.