Forráskódtárak gráfalapú statikus analízise

Forráskódtárak gráfalapústatikus analízise

Budapesti Műszaki és Gazdaságtudományi EgyetemMéréstechnika és Információs Rendszerek Tanszék

Hibatűrő Rendszerek Kutatócsoport

Stein Dániel

Projekt résztvevői

Lucz Tamás Soma– Honfi Dávid– Vörös András

Stein Dániel– Szárnyas Gábor Lippai Ádám

Tartalom

1. Problémakör

2. Eszközök

3. Felhasználási lehetőségek

4. Neo4j tanulságok, példák

Folytonos integráció (FI)

Continuous Integration (CI) – Több fejlesztő együttműködése

– Integrációs problémák megelőzése

– Például

– Jenkins

– Hudson

– Travis CI

Verziókezelés

Fordítás

Fejlesztés

Egység- és integrációs teszt

Apple,https://blog.codecentric.de/en/2014/02/curly-braces/

Statikus analízis

– Nincs szükség a program fordítására és futtatására

– Alaki és strukturális jellegű szabályellenőrzést végzünk

– FI mellett vagy részeként alkalmazandó

– Egy lehetséges módja a kódanalízis, kódmintaillesztés

Verziókezelés

Fordítás

Fejlesztés

Kódanalízis

Statikus analízis

Verziókezelés

Fordítás

Fejlesztés

Kódanalízis

Statikus analízis

Verziókezelés

Fordítás

Fejlesztés

Kódanalízis

– Java

– FindBugs

– PMD

– CheckStyle

Statikus analízis

Verziókezelés

Fordítás

Fejlesztés

Kódanalízis

– Java

– FindBugs

– PMD

– CheckStyle

– JavaScript

– ESLint

– Facebook Infer, Flow

– Tern

– TAJS

– A kódanalízis időigényes folyamat

– Nagy projektekre (100k+ LOC) lassú, nem

alkalmazható FI-szerű ütemezéssel

Megoldandó probléma

egységteszt

kódanalízis

☼ ☆☾☆

– Átmeneti megoldás: tömbösítés

egységteszt

kódanalízis

☼ ☆☾☆

egységteszt

kódanalízis

– Átmeneti megoldás: tömbösítés

Minél hamarabb,

minél gyorsabban

eredményt kell adni.

egységteszt

kódanalízis

☼ ☆☾☆

egységteszt

kódanalízis

– Memóriakorlátba ütközhetünk...

– globális szabályok

– a struktúrát memóriában tárolva(in-memory megközelítés)

– nagy méretű kódbázisok ellenőrzésekor.

– Inkrementalitás hiánya

– Kötegelt feldolgozás

– Kisebb módosítás is teljes feldolgozást indukál

A bemutatott megoldás

– Inkrementalitás elvét alkalmazzuk– Kötegelt feldolgozás helyett

– A módosítás hatásával frissítjük az eredményt

– A memóriában egyszerre csak a minimálisan szükséges részleteket tároljuk

kódanalizátor

Δ2.-1.1.

VCS Workspace Abstact SyntaxTree

Abstract SemanticGraph

Well-formednessRules

Query Execution Database

Main.js | ++----

Dependency.js | +++++-

FIterator.js | ----

Parser.js | ++

AutomaticWell-formedness

Rule Evaluation

Manual Executionand Data Extraction

Querying and Transformation

discoverer

ChangeProcessor.js

CommandParser.js

FileIterator.js

iterators

DepCollector.js

FileDiscoverer.js

InitIterator.js

Main.js

whitepages

ConnectionMgr.js

DependencyMgr.js

neo4jValidation Report

<!><?>

Module

declaration

declarators

binding init

left right

Architektúra áttekintés

Main.js | ++----

FIterator.js | ----

Parser.js | ++

Rule Evaluation

discoverer

ChangeProcessor.js

CommandParser.js

FileIterator.js

iterators

DepCollector.js

FileDiscoverer.js

InitIterator.js

Main.js

whitepages

ConnectionMgr.js

DependencyMgr.js

<!><?>

Module

declaration

declarators

binding init

left right

Main.js | ++----

FIterator.js | ----

Parser.js | ++

Rule Evaluation

discoverer

ChangeProcessor.js

CommandParser.js

FileIterator.js

iterators

DepCollector.js

FileDiscoverer.js

InitIterator.js

Main.js

whitepages

ConnectionMgr.js

DependencyMgr.js

<!><?>

Module

declaration

declarators

binding init

left right

Main.js | ++----

FIterator.js | ----

Parser.js | ++

Rule Evaluation

discoverer

ChangeProcessor.js

CommandParser.js

FileIterator.js

iterators

DepCollector.js

FileDiscoverer.js

InitIterator.js

Main.js

whitepages

ConnectionMgr.js

DependencyMgr.js

<!><?>

Module

declaration

declarators

binding init

left right

Kódfeldolgozás lépései

tokenizer

forráskód

tokenek

parser

scope analyzer

tokenizer

forráskód

tokenek

parser

scope analyzer

tokenizer

forráskód

tokenek

parser

scope analyzer

tokenizer

forráskód

tokenek

parser

scope analyzer

Utasítások sorozata

adott nyelven formalizálva.

tokenizer

forráskód

tokenek

parser

scope analyzer

Utasítások sorozata

adott nyelven formalizálva.

tokenizer

forráskód

tokenek

parser

scope analyzer

tokenizer

forráskód

tokenek

parser

scope analyzer

token – a legrövidebb, még jelentéssel rendelkező karaktersorozat

tokenizer

forráskód

tokenek

parser

scope analyzer

tokenizer

forráskód

tokenek

parser

scope analyzer

Token Token típus

VAR (Keyword)

IDENTIFIER (Ident)

ASSIGN (Punctuator)

NUMBER (NumericLiteral)

DIV (Punctuator)

NUMBER (NumericLiteral)

tokenizer

forráskód

tokenek

parser

scope analyzer

Module

VariableDeclarationStatement

VariableDeclaration

VariableDeclarator

BindingIdentifiername = `foo`

BinaryExpressionoperator = `Div`

LiteralNumericExpressionvalue = 1.0

declaration

declarators

binding init

left right

tokenizer

forráskód

tokenek

parser

scope analyzer

Abstract Syntax Tree (AST)

– A tokenek sorozatának

– nyelvtani struktúrájának

– fa reprezentációja.

Module

VariableDeclaration

VariableDeclarator

declaration

declarators

binding init

left right

tokenizer

forráskód

tokenek

parser

scope analyzer

Module

VariableDeclaration

VariableDeclarator

declaration

declarators

binding init

left right

tokenizer

forráskód

tokenek

parser

scope analyzer

Module

declaration

declarators

binding init

left right

tokenizer

forráskód

tokenek

parser

scope analyzer

Module

declaration

declarators

binding init

left right

tokenizer

forráskód

tokenek

parser

scope analyzer

Module

declaration

declarators

binding init

left right

GlobalScope

variables

references

children

declarations

astNode

tokenizer

forráskód

tokenek

parser

scope analyzer

Kódfeldolgozás lépéseiAbstract Semantic Graph(ASG)

– Gráf, nem feltétlenül fa.

– Szintaktikai struktúramellett szemantikaiinformációt is hordoz.

– Tartalmazkeresztéleket →

– A részkifejezésekakár közösek is lehetnek.

Module

declaration

declarators

binding init

left right

GlobalScope

variables

references

children

declarations

astNode

tokenizer

forráskód

tokenek

parser

scope analyzer

Module

declaration

declarators

binding init

left right

GlobalScope

variables

references

children

declarations

astNode

AST vs ASG

Gráfmintaillesztés

VariableDeclarator

LNExpressionvalue = 1.0

– Gráfminta

– Deklaratív,

– gráfszerű formalizmus

– feltételek kifejezésére.

VariableDeclarator

– Gráfminta

– Deklaratív,

VariableDeclarator

binding be

– Gráfminta

– Deklaratív,

VariableDeclarator

binding be

– Gráfminta

– Deklaratív,

Gráfminta lekérdezésCyphernyelvennullával történő osztás keresésére

binding

Mintaillesztéseredménye

Folyamat áttekintés

központiverziókezelő

rendszer

fejlesztőimunkaállomás

Git, Visual StudioCode

rendszer

fejlesztőimunkaállomás

tokenizer

forráskód

tokenek

parser

scope analyzer

Git, Visual StudioCode ShapeSecurityShift

rendszer

transzformációfejlesztői

munkaállomás

tokenizer

forráskód

tokenek

parser

scope analyzer

Git, Visual StudioCode ShapeSecurityShift Java, Cypher

rendszer

munkaállomás

tokenizer

forráskód

tokenek

parser

scope analyzer

gráfadatbázis

Git, Visual StudioCode ShapeSecurityShift Java, Cypher Neo4j

rendszer

munkaállomás

tokenizer

forráskód

tokenek

parser

scope analyzer

feldolgozás

gráfadatbázis

rendszer

munkaállomás

tokenizer

forráskód

tokenek

parser

scope analyzer

feldolgozás

gráfadatbázis

Felhasználás statikus analízis

– Lokális hibaminták keresése(linter hibák)

– nélküli

keresése

– Többször változtatott

– Nem használt változó

– Globális lekérdezések

– Elérhetetlen kódrészlet

– Keretrendszer

– Tetszőlegesen bővíthető

– Cégszintű szabályok

– Egyszerűbben használható(nem visitor mintás megoldás)

Felhasználás transzformáció

Control Flow Graph (CFG)

– A program futása során

– elérhető összes utasítássorozat

– gráf reprezentációja.

utasítás

if feltétel

utasítás

utasítás utasítás

if feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

Felhasználás tesztgenerálás

– Lefutási esetek vizsgálata

– Megadott feltételek mellett

– elérhető az adott utasítás?

– Melyik a legrövidebb út oda?

– Teszt paraméterek előállítása

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

feltétel

utasítás

Felhasználás típusanalízis

– Dinamikus nyelvek támogatása

– Python

– JavaScript / ECMAScript

Felhasználás típusanalízis

– Dinamikus nyelvek támogatása

– Python

– JavaScript / ECMAScript

http://marijnhaverbeke.nl/blog/tern.html

Felhasználás impakt analízis

– A folytonos integrációhoz igazodva

– Különböző branch-ek kezelése

– Branch-en belüli változások követése

– Fájlszintű inkrementális kiértékelés

– Fejlesztők számára differenciális visszajelzés

Miért Neo4j?+++

– Gyors prototipizálás

– Tranzakciók támogatása

– Fejlett tooling

– Nem skálázható

– Csak diszk-alapú működés

Észrevételek MERGE

– MATCH or CREATE

– Kényelmi szempontból nagyszerű

– Cserébe drága

– Lehetséges megoldások:

– MERGE-ök ritkítása

– Lekérdezések szétszedése

– Létrehozás, ha még nincs

– MERGE helyett MATCH

– Megelőzés

– Adatok felvételekor előkészítés

Észrevételek MERGE

Észrevételek if-then-else

– Nincs rá Cypher nyelvi elem

– Trükközéssel oldható meg

– Naggggggyon lassú

– Megoldás:

– Két kisebb, diszjunkt eset

– Nincs rá Cypher nyelvi elem

– Trükközéssel oldható meg

– Naggggggyon lassú

– Megoldás:

– Két kisebb, diszjunkt eset

28∞ vs 15 sec

Észrevételek elérhetőség

– A korlátozás nélküli tranzitív

lezárt nem gyors

– A mintázatra illeszkedő

tranzitív lezárt trükközéssel

megoldható

lezárt nem gyors

megoldható

lezárt nem gyors

megoldható

Összefoglalás

– Forráskódelemző keretrendszer

– Globális hibaminták keresése

– Közel valós idejű visszajelzés

– Típusanalízis

– Tesztgenerálás

– Megközelítés dinamikus és nem dinamikus nyelvekhez

– Neo4j-t használva

– Tárolás

– Transzformáció

– Verziókezelés

– Mintaillesztés

– Metaadat-tár

Köszönetnyilvánítás

– Dr. Ráth István Zoltán

– Ujhelyi Zoltán

– Izsó Benedek

MTA-BME LendületKiberfizikiai RendszerekKutatócsoport

Forráskódtárak gráfalapú statikus analízise

Technology

Szolgáltatásbiztonság modell alapú analízise

Kutyafélék agressziójaetologia.elte.hu/file/statikus/08_KutyafelekAgonisztikus_2016.pdf · Kutyafélék agressziója Értelmezések • Humán – etológiai (negatív/antiszociális

A GERINC DEFORMITÁSOK HÁROM DIMENZIÓS ANALÍZISE ÉS …neurofibromatozis.com/e107_files/downloads/illest.tezisek.pdf · elváltozásokra visszavezetni és magyarázni a gerinc

A viselkedéselemzés négy kérdése - etologia.elte.huetologia.elte.hu/file/statikus/02_EtoBSc_45p_4kerdes_2019_MA.pdf · Tanulás Korhoz (szenzitív időszak) kötött folyamatok

Tájékozódás, navigáció, vándorlásetologia.elte.hu/file/statikus/05_EtoBSc_45p_tajekozodas_2019_PP.pdf · –Egyes madarak (galamb, albatrosz) –Abszolút rugalmasság. Pontról-pontra

Végeselem módszer gyakorlata (Szerkezetek számítógépes analízise)

Tanulás az idegrendszerbenbanmi/elte/tanulas13.pdf · Nemlineáris rendszerek stabilitás-analízise: Lyapunov-függvény segítségével definiáljuk az állapotokhoz rendelhető

Firka 2000-2001. / 3. sz. · megoldás az Intel Pentium II-es és III-as, valamint az AMD Athlon processzorára jellemzo. 1.2. Statikus RAM memóriák (SRAM – Static RAM) A statikus

Gyors prototípus kísérleti és numerikus szilárdsági analízise

A PMP22 gén mutációs analízise

Informatikai Stratégiaiig.bme.hu/itstrategia/bme_informatikai_strategia_2018...4 1.1 A BME informatikai SWOT analízise 1.1.1 Erősségek Az Informatikai Igazgatóságon dolgozó

MTA DOKTORA PÁLYÁZAT DOKTORI ÉRTEKEZÉSreal-d.mtak.hu/115/1/Kappelmayer.pdfMTA DOKTORA PÁLYÁZAT DOKTORI ÉRTEKEZÉS CELLULÁRIS MARKEREK ANALÍZISE HEMATOLÓGIAI KÓRKÉPEKBEN

gyorszol.hugyorszol.hu/dok/Városüzemeltetés/BETON_HULLADEK_HASZNOSITA… · A kezelt hulladékok szemcseméret-analízise alapján PM 10 vagy annál kisebb méretü szálló porképzódés

Vékonyréteg szerkezetek mélységprofil-analízise

FELHASZNÁLÓI KÉZIKÖNYV · 2018. 9. 21. · STATIKUS ELEKTROMOSSÁG. Bizonyos szőnyegekben felhalmozódhat a statikus elektromosság. Az esetleges elektrosztatikus kisülésnek

FI rendszerek analízise a komplex frekvenciatartománybanbilicz/oktatas/JR2/JR2_gy3_uj.pdf · FI rendszerek analízise a komplex frekvenciatartományban Dr. Horváth Péter, BME

Vadállatok, mint társállatoketologia.elte.hu/file/statikus/09_Ember-állat_Társállatok_2017_ÚD.pdf-biológus, zoológus, állatorvos, állattenyésztő, vadgazdálkodási, biológiai

JavaScript forráskódtárak gráfalapú statikus analízise

Pulz áló vörös óriáscsillagok fényváltozásának idő-frekvencia analízise

Előjáték domesztikációhoz?etologia.elte.hu/file/statikus/17_Emelteto_bb1c1316_Urbanizacio_201… · Problémás majmok •Páviánok Fokvárosban •Eredetileg „természetes