Gradle in Enterprise, Is it possible?

Is It possible?

Gradle in Enterprise

@tolkv

@lavcraft

Чего не будет

3

Чего не будет● Релизь чаще — будет счастье!

4

● Релизь чаще — будет счастье!● Каждый коммит — релиз

5


● Релизь чаще — будет счастье!● Каждый коммит — релиз● Автоматизируй все

6


● Релизь чаще — будет счастье!● Каждый коммит — релиз● Автоматизируй все● Сделано — значит зарелижено

7


8

Что будет

● Жизненный цикл скриптов сборки

9

Что будет

Что будет● Жизненный цикл скриптов сборки● Основные проблемы

10

● Жизненный цикл скриптов сборки● Основные проблемы● Инструменты для решения

11

Что будет

● Жизненный цикл скриптов сборки● Основные проблемы● Инструменты для решения● Императивный vs декларативный Gradle

12

Что будет

● Жизненный цикл скриптов сборки● Основные проблемы● Инструменты для решения● Императивный vs декларативный Gradle● Можно ли превратиться из Зерга в Протосса

13

Что будет

Где мы

Bin

GIT CI Dev

Prod14

Bin

GIT CI Dev

Prod15

Где мы

Bin

GIT CI Dev

Prod16

Где мы

Мотивация

17

Мотивация

18

Мотивация

19

Плохой код

20

Плохой билдскрипт

21

Стратегия успеха

22

Что нужно сделать

23

Что нужно сделать● Добыть ресурсов

24

Что нужно сделать● Добыть ресурсов● Подготовить базу

25

Что нужно сделать● Добыть ресурсов● Подготовить базу● Создать армию

26

Что нужно сделать● Добыть ресурсов● Подготовить базу● Создать армию● Укрепить позиции

27

Что нужно сделать● Добыть ресурсов● Подготовить базу● Создать армию● Укрепить позиции● Захватить мир

28

● Кто писал “скрипты сборки”?

29

Все еще собираете?

● Кто писал “скрипты сборки” с нуля?

30


● Кто писал “скрипты сборки” с нуля?● А кто правил существующие?

31


● Кто писал “скрипты сборки” с нуля?● А кто правил существующие?● По какому принципу пишут логику сборки?

32


● Кто писал “скрипты сборки” с нуля?● А кто правил существующие?● По какому принципу пишут логику сборки?● Правильно - по остаточному принципу

33


● build.gradle

34

Готовимся собирать

● build.gradle● settings.gradle

35


● build.gradle● settings.gradle● ./gradlew

36


Добываем инструменты

$ gradle wrapper --gradle-version 3.5

37

$ gradle wrapper --gradle-version 3.5

:wrapperBUILD SUCCESSFUL

Total time: 1.835 secs

38


$ ./gradlew init

39


$ ./gradlew init:wrapper:init

BUILD SUCCESSFUL


40


Добыли

$ lsbuild.gradlegradle/gradlewgradlew.batsettings.gradle

41


42

Добыли


43

Добыли


44

Добыли


45

Добыли

Добываем ресурсы

● Соберем./gradlew build

46


● Получилиls ./build/libs/project_name.jar

47



● Получилиls ./build/libs/project_name.jar

Где версия?48


Где моя версия, чувак?

$ cat build.gradle | grep version

49



Ничего!

50



Ничего!

$ echo "version = '1.0.1'" >> build.gradle

51



Ничего!

$ echo "version = '1.0.1'" >> build.gradle

$ ./gradlew clean build$ ls build/libs/

project_name-1.0.1.jar

52


● Указывать вручную./gradlew -Pversion=1.3.4-SNAPSHOT./gradlew -Pversion=1.3.4-Ы

53

● Брать из файлаversion = file("version.prop").text

54


Версия?

● Git/Metadataversion = new CustomVersion()

.loadFrom(file("version.prop"))

.appVersion()

55

56

- Версия хранится в файле в git

Версия?

57

- Версия хранится в файле в git- Синхронизировали версию - коммит

Версия?

- Версия хранится в файле в git- Синхронизировали версию - коммит- Осложняется поиск по нужной версии

58

Версия?

Будь как зерг

● Zerg Rush?

59

● Zerg Rush?● google.com: gradle problem_name solution

60


● Zerg Rush?● google.com: gradle problem_name solution● Copy/Pastе into build.gradle

61


● Zerg Rush?● google.com: gradle problem_name solution● Copy/Paste into build.gradle

62


● GrGitversion = GrGit.open(file("."))

.head()

.abbreviatedId

63


● GrGitversion = GrGit.open(file("."))

.head()

.abbreviatedId● Не закоммитил – нет новой версии

64


● Перезаписали существующую версию● Необходима защита от такого!

65

Проблемы

1: task release {2: doFirst {3: grgit.tag.add {4: name = version5: message = "Release of ${version}"6: }7: }8: }

Что делать с Git?

66

Порядок запуска

67

1. Task definition


68

1. Task definition

1: task release(type: Copy) {2: from(file('srcDir'))3: into(buildDir)4: }


69

1. Task definition

Task doFirstTask doFirst2. Task doFirst

1: task release(type: Copy) {2: from(file('srcDir'))3: into(buildDir)4: doFirst {//doing sth #1}5: doFirst {//doing sth #2}


70

1. Task definition


Task doFirstTask doFirst3. Task doLast

1: task release(type: Copy) {2: from(file('srcDir'))3: into(buildDir)4: doFirst {//doing sth #1}5: doFirst {//doing sth #2}7: doLast {//doing sth #3}8: doLast {//doing sth #4}9: }


71

1. Task definition



1: task release(type: Copy) {2: from(file('srcDir'))3: into(buildDir)4: doFirst {//doing sth #1}5: doFirst {//doing sth #2}7: doLast {//doing sth #3}8: doLast {//doing sth #4}9: }9: release.doLast {//do...#5}


72

1. Task definition



1: task release(type: Copy) {2: from(file('srcDir'))3: into(buildDir)4: doFirst {//doing sth #1}5: doFirst {//doing sth #2}7: doLast {//doing sth #3}8: doLast {//doing sth #4}9: }9: release.doLast {//do...#5}10:release << {//do...#6}

1: task preRelease {2: ...

Или с Gradle

73

1: task preRelease {2: doFirst {4: def br = file(".git/HEAD").text - "ref: refs/head/"

74

Или с Gradle

1: println "ref: refs/head/master" - "ref: refs/head/"

75

Groovy...

1: println "ref: refs/head/master" - "ref: refs/head/" > "master "

76

Groovy...

1: task preRelease {2: doFirst {4: def br = file(".git/HEAD").text - "ref: refs/head/"

77

Или с Gradle

1: task preRelease {2: doFirst {4: def br = file(".git/HEAD").text - "ref: refs/head/" 5: def cid = file(".git/refs/heads/$br").text

78

Или с Gradle

1: task preRelease {2: doFirst {4: def br = file(".git/HEAD").text - "ref: refs/head/" 5: def cid = file(".git/refs/heads/$br").text" 6: def tag = grgit.tag.list()7: .first()8: .getName()

79

Или с Gradle

1: task preRelease {2: doFirst {4: def br = file(".git/HEAD").text - "ref: refs/head/" 5: def cid = file(".git/refs/heads/$br").text" 6: def tag = grgit.tag.list()7: .first()8: .getName()9: version = tag + br && cid ? "-$br-$cid":"" 10:}11:tasks.release.dependsOn preRelease

80

Или с Gradle

Итогоv1.0.1-master-a6f5ac0677421f486bd273ba4016e51b7634afa9

81

v1.0.1-master-a6f5ac0677421f486bd273ba4016e51b7634afa9

● uncommitted

82

Итого


● uncommitted● release

83

Итого


● uncommitted● release● dependencies

84

Итого

Метаданныеjar {

manifest { attributes(

"Manifest-Version" : "1.0","Implementation-Version": version,

) }

}

85

jar { manifest {

attributes(["Manifest-Version" :"1.0", "Implementation-Version":version,] << System.getenv()

) }

}

86

Метаданные

Manifest-Version: 1.0Implementation-Title: ru.joker.demo#app;0.3.0-rc.2Module-Origin: ssh://git@git/joker/demo-app.gitBuild-Date: 2016-08-11_07:09:52Build-Id: LOCALImplementation-Version: 0.3.0-rc.2Build-Number: LOCALBuilt-By: tolkvChange: 18d2261Module-Source: /appBranch: masterSpring-Boot-Version: 1.3.6.RELEASEBuilt-Status: integrationGradle-Version: 2.13Build-Job: LOCALBuilt-OS: Mac OS XX-Compile-Target-JDK: 1.8Build-Host: tolkv-workStart-Class: ru.sense.user.UserApplicationX-Compile-Source-JDK: 1.8Created-By: 1.8.0_60-b27 (Oracle Corporation)Build-Java-Version: 1.8.0_60

Manifest.mf

87

Manifest-Version: 1.0Implementation-Title: ru.joker.demo#app;0.3.0-rc.2Module-Origin: ssh://git@git/joker/demo-app.gitBuild-Date: 2016-08-11_07:09:52Build-Id: LOCALImplementation-Version: 0.3.0-rc.2Build-Number: LOCALBuilt-By: tolkvChange: 18d2261Module-Source: /appBranch: masterSpring-Boot-Version: 1.3.6.RELEASEBuilt-Status: integrationGradle-Version: 2.13Build-Job: LOCALBuilt-OS: Mac OS XX-Compile-Target-JDK: 1.8Build-Host: tolkv-workStart-Class: ru.sense.user.UserApplicationX-Compile-Source-JDK: 1.8Created-By: 1.8.0_60-b27 (Oracle Corporation)Build-Java-Version: 1.8.0_60

Manifest.mf

88

Еще полезные ресурсы

89

● информация об окружении сборки +X LOC

● информация об окружении сборки +X LOC● автор +Y LOC

90


● информация об окружении сборки +X LOC● автор +Y LOC● git окружение в manifest +Z LOC● publish* +M LOC

91


● информация об окружении сборки +X LOC● автор +Y LOC● git окружение в manifest +Z LOC● publish* +M LOC

Все это в build.gradle92


93

Важную проблему решали?

● от 3х строчек

build.gradle

94

● от 3х строчек● до 2000

95

build.gradle

● от 3х строчек● до 2000● за 30 минут

96

build.gradle

● от 3х строчек● до 2000● за 30 минут● типичная история

97

build.gradle

Проблема №1

98

99

Нахуа?!

Проблема №2

100

Как повторить это все?

101

102

● в другой команде


103

● в другой команде● на другом проекте


Думай как зерг!

104

build.gradle:apply from: "http://someorg.com/version.gradle"

Copy apply подход

105

build.gradle:apply from: "http://someorg.com/version.gradle"apply from: "http://someorg.com/maven.gradle"

106


http://someorg.com/version.gradle



build.gradle:apply from: "http://someorg.com/version.gradle"apply from: "http://someorg.com/maven.gradle"apply from: "http://someorg.com/check.gradle"

107



http://someorg.com/maven.gradle

build.gradle:apply from: "http://someorg.com/version.gradle"apply from: "http://someorg.com/maven.gradle"apply from: "http://someorg.com/check.gradle"apply from: "http://someorg.com/findbugs.gradle"apply from: "http://someorg.com/verify.gradle"apply from: "http://someorg.com/publish.gradle"apply from: "http://someorg.com/awesome!.gradle"

108




http://someorg.com/check.gradle




http://someorg.com/awesome!.gradle

build.gradle:apply from: "http://someorg.com/version.gradle"apply from: "http://someorg.com/maven.gradle"apply from: "http://someorg.com/check.gradle"apply from: "http://someorg.com/findbugs.gradle"apply from: "http://someorg.com/verify.gradle"apply from: "http://someorg.com/publish.gradle"apply from: "http://someorg.com/awesome!.gradle"apply from: "http://someorg.com/v1/awesome!.gradle"

109








http://someorg.com/awesome!.gradle

Проблема актуальна● Статичные зависимости для Сборки

110

● Статичные зависимости для Сборки● Что если сломался или недоступен

http://someorg.com/awesome.gradle?

111

Проблема актуальна

http://ext.ru/awesome.gradle


● Статичные зависимости для Сборки● Что если сломался или недоступен

http://someorg.com/awesome.gradle?● Нужен принципиально новый подход

112

Проблема актуальна



Новый подходИмперативность vs декларативность

● Статус проекта

113

Императивность vs декларативность

● Статус проекта● Сложность проекта

114



● Статус проекта● Сложность проекта● Поддержка

115



● Статус проекта● Сложность проекта● Поддержка● Перспективы

116


Декларативность● Безопасно

117

● Безопасно● Легко поддерживаемо

118

Декларативность

● Безопасно● Легко поддерживаемо● Понятно

119

Декларативность

apply from: .../version.gradle"apply from: .../maven.gradle"apply from: .../check.gradle"apply from: .../findbugs.gradle"apply from: .../verfify.gradle"apply from: .../publish.gradle"apply from: .../awesome!.gradle"

Декларативный подход

apply plugin: "yourplugin"

120

build.gradle:apply plugin: "version.plugin"apply plugin: "maven.plugin"apply plugin: "check.plugin"apply plugin: "findbugs.plugin"apply plugin: "verfify.plugin"apply plugin: "publish.plugin"apply plugin: "awesome.plugin"

121


maven {...

}publish {

...}verify {

...}...

122


Настраиваем каждый плагин:● информация об окружении сборки +X LOC● автор +Y LOC● git окружение в manifest +Z LOC● publish* +M LOC

Все это в build.gradle

Опять на те же грабли

123

Композиция плагинов

124

Сила в композицииapply plugin: "your.plugin.all" //2.1.+

125

●class MyPlugin implements Plugin<Project> { void apply(Project project) { project.plugins.apply( ResolveProjectVersoinPlugin) }}

126

Сила в композиции

●class MyPlugin implements Plugin<Project> { void apply(Project project) { project.plugins.apply( ResolveProjectVersoinPlugin) project.plugins.apply( AddGitTagPlugin) }}

127


●class MyPlugin implements Plugin<Project> { void apply(Project project) { project.plugins.apply( ResolveProjectVersoinPlugin) project.plugins.apply( AddGitTagPlugin) project.plugins.apply( UserInfoPlugin) }}

128


●class MyPlugin implements Plugin<Project> { void apply(Project project) { project.plugins.apply( ResolveProjectVersoinPlugin) project.plugins.apply( AddGitTagPlugin) project.plugins.apply( UserInfoPlugin) project.plugins.apply( DependencyLockPlugin)

}}

129


●class MyPlugin implements Plugin<Project> { void apply(Project project) { project.plugins.apply( ResolveProjectVersoinPlugin) project.plugins.apply( AddGitTagPlugin) project.plugins.apply( UserInfoPlugin) project.plugins.apply( DependencyLockPlugin) project.tasks.withType(Test) { Test testTask -> testTask.minHeapSize = '32m' testTask.maxHeapSize = '256m' testTask.jvmArgs "-XX:MaxPermSize=512m" testTask.jacocoTestReport.executionData += files(...) testTask.testLogging.exceptionFormat = 'full' } }}

130


apply plugin: "nebula.nebula-release"

● управление Git● управление номером версии● контроль за состоянием

репозитория

131


$ ./gradlew snapshot / devSnapshot$ ./gradlew candidate$ ./gradlew final

Inferred project: ws, version: 0.18.0-dev.0.uncommitted+3791c32

Что получили

132

Inferred project: joker-demo-project, version: 0.18.0-dev.0.uncommitted+3791c32

133



Легко найти негодяя

134



Легко найти негодяя Если есть метаинформация

135


$ ./gradlew final* What went wrong:An exception occurred applying plugin request [id: 'nebula.nebula-release', version: '4.0.1']> Failed to apply plugin [id 'nebula.nebula-release'] > Final and candidate builds require all changes to be committed into Git.

136


$ git tagv0.8.3v0.9.0v0.9.1v0.10.0-rc.1v0.10.0-rc.2v0.10.0v0.14.0v0.15.0v0.16.0v0.17.0

137


$ ./gradlew final…BUILD SUCCESSFUL

$ git tag … v0.16.0v0.17.0v0.18.0 # <--- new version

138


$ gw final -Prelease.scope=patch…BUILD SUCCESSFUL

$ git tag … v0.16.0v0.17.0v0.18.0v0.18.1 # <--- new version

139


● commit all for release check

Что еще

140

● commit all for release check● push to origin check

141

Что еще

● commit all for release check● push to origin check● add tags

142

Что еще

● commit all for release check● push to origin check● add tags● resolve version from tags and env

143

Что еще

● commit all for release check● push to origin check● add tags● resolve version from tags● tag in CI● tag in local● tag push

144

Что еще

apply plugin: "nebula.maven-publish"

145



apply plugin: 'maven-publish'

publishing {

publications {

nebula(MavenPublication) {

}

}

}146



publishing {

publications {

nebula(MavenPublication) {

from components.web //or java

}

}

}147



pom.withXml { configurations.compile.resolvedConfiguration .firstLevelModuleDependencies.each { dep -> asNode().dependencies[0].dependency.find { it.artifactId[0].text() == dep.moduleName && it.groupId[0].text() == dep.moduleGroup }?.scope[0]?.value = 'compile' } }}

148


Доставляемif [ "$TRAVIS_PULL_REQUEST" != "false" ]; then

./gradlew build

149

if [ "$TRAVIS_PULL_REQUEST" != "false" ]; then

./gradlew build

elif [ "$TRAVIS_PULL_REQUEST" == "false" ] && [ "$TRAVIS_TAG" == "" ]; then

./gradlew -Prelease.travisci=true snapshot

150

Доставляем


./gradlew build



elif [ "$TRAVIS_PULL_REQUEST" == "false" ] && [ "$TRAVIS_TAG" != "" ]; then

case "$TRAVIS_TAG" in

*-rc\.*)

./gradlew -Prelease.travisci=true -Prelease.useLastTag=true candidate ;;

*)

./gradlew -Prelease.travisci=true -Prelease.useLastTag=true final

publishPlugins ;;

esac ... 151



./gradlew build



elif [ "$TRAVIS_PULL_REQUEST" == "false" ] && [ "$TRAVIS_TAG" != "" ]; then

case "$TRAVIS_TAG" in

*-rc\.*)

./gradlew -Prelease.travisci=true -Prelease.useLastTag=true candidate ;;

*)

./gradlew -Prelease.travisci=true -Prelease.useLastTag=true final

publishPlugins ;;

esac ... 152


Императивный подход● Классика Gradle

153

● Классика Gradle● Опасное ружье

154

Императивный подход

● Классика Gradle● Опасное ружье● Сложно контролировать

155

Императивный подход

Контроль● CheckStyle

156

● CheckStyle● PMD

157

Контроль

● CheckStyle● PMD● Codenarc

158

Контроль

159

Защита ног

160

Защита ног

● CheckStyle● PMD● Codenarc● Nebula Lint Plugin

161

Контроль

Gradle Linter

162

dependencies { compile 'org.slf4j:slf4j-api:1.7.21' compile group:'junit', name:'junit', version:'+'}

163

plugins { id 'nebula.lint' version '5.1.0'}

gradleLint.rules = ['all-dependency']


Gradle Linter

164

$ ./gradlew build…

this dependency is unused and can be removedwarning unused-dependency build.gradle:13compile 'org.slf4j:slf4j-api:1.7.21'

✖ build.gradle: 2 problems (0 errors, 2 warnings)

To apply fixes automatically, run fixGradleLint, review, and commit the changes.

Gradle Linter

165


this dependency is unused and can be removedwarning unused-dependency build.gradle:13compile 'org.slf4j:slf4j-api:1.7.21'



Gradle Linter

166

$ ./gradlew build fixGradleLint…

Corrected 2 lint problems

BUILD SUCCESSFUL


Gradle Linter

Сделать приятно всем?

167

168

Сделать приятно всем!

169


170


171

Кто нам поможет?$HOME_DIR/.gradle/init.gradle


172

$ cat ~/.gradle/init.gradle:

allprojects { apply plugin: GradleLintPlugin gradleLint.rules = [ 'all-dependency', 'dependency-parentheses', 'dependency-tuple']}


173



174


use the shortcut form of the dependencywarning dependency-tuple build.gradle:

compile group:'junit', name:'junit', version:'+'




175







176







177

dependencies { compile 'org.slf4j:slf4j-api:1.7.21' compile 'junit:junit:latest.release'}

:fixGradleLint

178

dependencies { compile 'org.slf4j:slf4j-api:1.7.21' compile 'junit:junit:latest.release'}

:fixGradleLint

version: 'latest.release'● Много зависимостей● У каждой своя версия● Придумали Bom

179

Альтернативы● Использовать всегда

последнюю версию● не все готовы● отнимает время в самый

неподходящий момент

180

Lock Dependencies● Создали проблему - решили проблему● Lock перед каждым релизом● Апдейт → Тесты → Update Lock

181

compile 'joker.org:demo-lib1: latest.release'...compile 'joker.org:demo-libN: latest.release'

$ ./gradlew generateLock saveLock$ ./gradlew test$ ./gradlew commitLock

182

Lock Dependencies

$ cat dependencies.lock{ "compile": { "com.google.guava:guava": { "locked": "14.0.1", "requested": "14.+" } }, "default": { "com.google.guava:guava": { "locked": "14.0.1", "requested": "14.+" } }, "runtime": { "com.google.guava:guava": { "locked": "14.0.1", ...

183

Lock Dependencies

Release больших кусков● Релиз менеджмент платформы● Много зависимостей● Инструмент для контроля

184

● Релиз менеджмент платформы● Много зависимостей● Инструмент для контроля (не для зергов)

185

Release больших кусков

Dependency Controlapply plugin: 'nebula.dependency-recommender'

dependencyRecommendations { mavenBom module: 'netflix:platform: latest.release' propertiesFile uri: ' http://yourorg/extlib-bundle.properties ', name: 'prop'}

dependencyRecommendations { map recommendations: [ 'commons-logging:commons-logging': '1.1']}

dependencies { compile 'commons-logging:commons-logging' // version 1.1 is selected}

186

http://yourorg/extlib-bundle.properties

dependencyRecommendations { mavenBom module: 'netflix:platform: latest.release' propertiesFile uri: ' http://yourorg/extlib-bundle.properties ', name: 'prop'}

dependencyRecommendations { map recommendations: [' commons-logging:commons-logging': '1.1']}

dependencies { compile 'commons-logging:commons-logging:1.0' // version 1.0 is selected}

187

Dependency Control

http://yourorg/extlib-bundle.properties

Сила в композиции●Plugin<Project> { void apply(Project project) { project.plugins.apply( GradleLintPlugin)

gradleLint.rules = ['dependency-parentheses' , 'dependency-tuple'

]

project.plugins.apply( JavadocJarPlugin) project.plugins.apply( SourceJarPlugin) project.plugins.apply( DependencyLockPlugin) project.tasks.withType(Test) { Test testTask -> testTask.testLogging.exceptionFormat = 'full' } }}

188

Итоги1. Zerg Rush - в нужный момент2. Императивный → Декларативный3. init.gradle + CI = ❤4. C Gradle можно и в enterprise

только осторожно189

190

Можно ли перестать быть зергом?

Ссылки

GrGithttps://github.com/ajoberstar/grgit

Nebula Release Pluginhttps://github.com/nebula-plugins/nebula-release-plugin

Nebula Lint Pluginhttps://github.com/nebula-plugins/gradle-lint-plugin

Nebula Dependency Lock Plugin https://github.com/nebula-plugins/gradle-dependency-lock-plugin

Nebula Dependency Recommender Plugin https://github.com/nebula-plugins/nebula-dependency-recommender-plugin

191

https://github.com/ajoberstar/grgit

https://github.com/ajoberstar/grgit

https://github.com/nebula-plugins/nebula-release-plugin

https://github.com/nebula-plugins/nebula-release-plugin

https://github.com/nebula-plugins/gradle-lint-plugin

https://github.com/nebula-plugins/gradle-lint-plugin

https://github.com/nebula-plugins/gradle-dependency-lock-plugin

https://github.com/nebula-plugins/gradle-dependency-lock-plugin

https://github.com/nebula-plugins/nebula-dependency-recommender-plugin

https://github.com/nebula-plugins/nebula-dependency-recommender-plugin

QA

192

Technology

Gradle in Enterprise, Is it possible?