Fix no-ocsp
[openssl.git] / Configurations / README.design
1 Design document for the unified scheme data
2 ===========================================
3
4 How are things connected?
5 -------------------------
6
7 The unified scheme takes all its data from the build.info files seen
8 throughout the source tree.  These files hold the minimum information
9 needed to build end product files from diverse sources.  See the
10 section on build.info files below.
11
12 From the information in build.info files, Configure builds up an
13 information database as a hash table called %unified_info, which is
14 stored in configdata.pm, found at the top of the build tree (which may
15 or may not be the same as the source tree).
16
17 Configurations/common.tmpl uses the data from %unified_info to
18 generate the rules for building end product files as well as
19 intermediary files with the help of a few functions found in the
20 build-file templates.  See the section on build-file templates further
21 down for more information.
22
23 build.info files
24 ----------------
25
26 As mentioned earlier, build.info files are meant to hold the minimum
27 information needed to build output files, and therefore only (with a
28 few possible exceptions [1]) have information about end products (such
29 as scripts, library files and programs) and source files (such as C
30 files, C header files, assembler files, etc).  Intermediate files such
31 as object files are rarely directly referred to in build.info files (and
32 when they are, it's always with the file name extension .o), they are
33 inferred by Configure.  By the same rule of minimalism, end product
34 file name extensions (such as .so, .a, .exe, etc) are never mentioned
35 in build.info.  Their file name extensions will be inferred by the
36 build-file templates, adapted for the platform they are meant for (see
37 sections on %unified_info and build-file templates further down).
38
39 The variables PROGRAMS, LIBS, ENGINES and SCRIPTS are used to declare
40 end products.
41
42 The variables SOURCE, DEPEND, INCLUDE and ORDINALS are indexed by a
43 produced file, and their values are the source used to produce that
44 particular produced file, extra dependencies, include directories
45 needed, and ordinal files (explained further below.
46
47 All their values in all the build.info throughout the source tree are
48 collected together and form a set of programs, libraries, engines and
49 scripts to be produced, source files, dependencies, etc etc etc.
50
51 Let's have a pretend example, a very limited contraption of OpenSSL,
52 composed of the program 'apps/openssl', the libraries 'libssl' and
53 'libcrypto', an engine 'engines/ossltest' and their sources and
54 dependencies.
55
56     # build.info
57     LIBS=libcrypto libssl
58     ORDINALS[libcrypto]=crypto
59     ORDINALS[libssl]=ssl
60     INCLUDE[libcrypto]=include
61     INCLUDE[libssl]=include
62     DEPEND[libssl]=libcrypto
63
64 This is the top directory build.info file, and it tells us that two
65 libraries are to be built, there are some ordinals to be used to
66 declare what symbols in those libraries are seen as public, the
67 include directory 'include/' shall be used throughout when building
68 anything that will end up in each library, and that the library
69 'libssl' depend on the library 'libcrypto' to function properly.
70
71     # apps/build.info
72     PROGRAMS=openssl
73     SOURCE[openssl]=openssl.c
74     INCLUDE[openssl]=.. ../include
75     DEPEND[openssl]=../libssl
76
77 This is the build.info file in 'apps/', one may notice that all file
78 paths mentioned are relative to the directory the build.info file is
79 located in.  This one tells us that there's a program to be built
80 called 'apps/openssl' (the file name extension will depend on the
81 platform and is therefore not mentioned in the build.info file).  It's
82 built from one source file, 'apps/openssl.c', and building it requires
83 the use of '.' and 'include' include directories (both are declared
84 from the point of view of the 'apps/' directory), and that the program
85 depends on the library 'libssl' to function properly.
86
87     # crypto/build.info
88     LIBS=../libcrypto
89     SOURCE[../libcrypto]=aes.c evp.c cversion.c
90     DEPEND[cversion.o]=buildinf.h
91     
92     GENERATE[buildinf.h]=../util/mkbuildinf.pl "$(CC) $(CFLAGS)" "$(PLATFORM)"
93     DEPEND[buildinf.h]=../Makefile
94
95 This is the build.info file in 'crypto', and it tells us a little more
96 about what's needed to produce 'libcrypto'.  LIBS is used again to
97 declare that 'libcrypto' is to be produced.  This declaration is
98 really unnecessary as it's already mentioned in the top build.info
99 file, but can make the info file easier to understand.  This is to
100 show that duplicate information isn't an issue.
101
102 This build.info file informs us that 'libcrypto' is built from a few
103 source files, 'crypto/aes.c', 'crypto/evp.c' and 'crypto/cversion.c'.
104 It also shows us that building the object file inferred from
105 'crypto/cversion.c' depends on 'crypto/buildinf.h'.  Finally, it 
106 also shows the possibility to include raw build-file statements in a
107 build.info file, in this case showing how 'buildinf.h' is built on
108 Unix-like operating systems.
109
110 Two things are worth an extra note:
111
112 'DEPEND[cversion.o]' mentions an object file.  DEPEND indexes is the
113 only location where it's valid to mention them
114
115 Lines in 'BEGINRAW'..'ENDRAW' sections must always mention files as
116 seen from the top directory, no exception.
117
118     # ssl/build.info
119     LIBS=../libssl
120     SOURCE[../libssl]=tls.c
121
122 This is the build.info file in 'ssl/', and it tells us that the
123 library 'libssl' is built from the source file 'ssl/tls.c'.
124
125     # engines/build.info
126     ENGINES=libossltest
127     SOURCE[libossltest]=e_ossltest.c
128     DEPEND[libossltest]=../libcrypto
129     INCLUDE[libossltest]=../include
130
131 This is the build.info file in 'engines/', telling us that an engine
132 called 'engines/libossltest' shall be built, that it's source is
133 'engines/e_ossltest.c' and that the include directory 'include/' may
134 be used when building anything that will be part of this engine.
135 Finally, the engine 'engines/libossltest' depends on the library
136 'libcrypto' to function properly.
137
138 When Configure digests these build.info files, the accumulated
139 information comes down to this:
140
141     LIBS=libcrypto libssl
142     ORDINALS[libcrypto]=crypto
143     SOURCE[libcrypto]=crypto/aes.c crypto/evp.c crypto/cversion.c
144     DEPEND[crypto/cversion.o]=crypto/buildinf.h
145     INCLUDE[libcrypto]=include
146     ORDINALS[libssl]=ssl
147     SOURCE[libssl]=ssl/tls.c
148     INCLUDE[libssl]=include
149     DEPEND[libssl]=libcrypto
150     
151     PROGRAMS=apps/openssl
152     SOURCE[apps/openssl]=apps/openssl.c
153     INCLUDE[apps/openssl]=. include
154     DEPEND[apps/openssl]=libssl
155
156     ENGINES=engines/libossltest
157     SOURCE[engines/libossltest]=engines/e_ossltest.c
158     DEPEND[engines/libossltest]=libcrypto
159     INCLUDE[engines/libossltest]=include
160     
161     GENERATE[crypto/buildinf.h]=util/mkbuildinf.pl "$(CC) $(CFLAGS)" "$(PLATFORM)"
162     DEPEND[crypto/buildinf.h]=Makefile
163
164
165 A few notes worth mentioning:
166
167 LIBS may be used to declare routine libraries only.
168
169 PROGRAMS may be used to declare programs only.
170
171 ENGINES may be used to declare engines only.
172
173 The indexes for SOURCE, INCLUDE and ORDINALS must only be end product
174 files, such as libraries, programs or engines.  The values of SOURCE
175 variables must only be source files (possibly generated)
176
177 DEPEND shows a relationship between different produced files, such
178 as a program depending on a library, or between an object file and
179 some extra source file.
180
181 When Configure processes the build.info files, it will take it as
182 truth without question, and will therefore perform very few checks.
183 If the build tree is separate from the source tree, it will assume
184 that all built files and up in the build directory and that all source
185 files are to be found in the source tree, if they can be found there.
186 Configure will assume that source files that can't be found in the
187 source tree (such as 'crypto/bildinf.h' in the example above) are
188 generated and will be found in the build tree.
189
190
191 The %unified_info database
192 --------------------------
193
194 The information in all the build.info get digested by Configure and
195 collected into the %unified_info database, divided into the following
196 indexes:
197
198   depends   => a hash table containing 'file' => [ 'dependency' ... ]
199                pairs.  These are directly inferred from the DEPEND
200                variables in build.info files.
201
202   engines   => a list of engines.  These are directly inferred from
203                the ENGINES variable in build.info files.
204
205   includes  => a hash table containing 'file' => [ 'include' ... ]
206                pairs.  These are directly inferred from the INCLUDE
207                variables in build.info files.
208
209   libraries => a list of libraries.  These are directly inferred from
210                the LIBS variable in build.info files.
211
212   ordinals  => a hash table containing 'file' => [ 'word', 'ordfile' ]
213                pairs.  'file' and 'word' are directly inferred from
214                the ORDINALS variables in build.info files, while the
215                file 'ofile' comes from internal knowledge in
216                Configure.
217
218   programs  => a list of programs.  These are directly inferred from
219                the PROGRAMS variable in build.info files.
220
221   rawlines  => a list of build-file lines.  These are a direct copy of
222                the BEGINRAW..ENDRAW lines in build.info files.  Note:
223                only the BEGINRAW..ENDRAW section for the current
224                platform are copied, the rest are ignored.
225
226   scripts   => a list of scripts.  There are directly inferred from
227                the SCRIPTS variable in build.info files.
228
229   sources   => a hash table containing 'file' => [ 'sourcefile' ... ]
230                pairs.  These are indirectly inferred from the SOURCE
231                variables in build.info files.  Object files are
232                mentioned in this hash table, with source files from
233                SOURCE variables, and AS source files for programs and
234                libraries.
235
236   shared_sources =>
237                a hash table just like 'sources', but only as source
238                files (object files) for building shared libraries.
239
240 As an example, here is how the build.info files example from the
241 section above would be digested into a %unified_info table:
242
243     our %unified_info = (
244         "depends" =>
245             {
246                 "apps/openssl" =>
247                     [
248                         "libssl",
249                     ],
250                 "crypto/cversion.o" =>
251                     [
252                         "crypto/buildinf.h",
253                     ],
254                 "engines/libossltest" =>
255                     [
256                         "libcrypto",
257                     ],
258                 "libssl" =>
259                     [
260                         "libcrypto",
261                     ],
262             },
263         "engines" =>
264             [
265                 "engines/libossltest",
266             ],
267         "includes" =>
268             {
269                 "apps/openssl" =>
270                     [
271                         ".",
272                         "include",
273                     ],
274                 "engines/libossltest" =>
275                     [
276                         "include"
277                     ],
278                 "libcrypto" =>
279                     [
280                         "include",
281                     ],
282                 "libssl" =>
283                     [
284                         "include",
285                     ],
286             }
287         "libraries" =>
288             [
289                 "libcrypto",
290                 "libssl",
291             ],
292         "ordinals" =>
293             {
294                 "libcrypto" =>
295                     [
296                         "crypto",
297                         "util/libcrypto.num",
298                     ],
299                 "libssl" =>
300                     [
301                         "ssl",
302                         "util/libssl.num",
303                     ],
304             },
305         "programs" =>
306             [
307                 "apps/openssl",
308             ],
309         "rawlines" =>
310             [
311                 "crypto/buildinf.h : Makefile",
312                 "       perl util/mkbuildinf.h \"\$(CC) \$(CFLAGS)\" \"\$(PLATFORM)\" \\"
313                 "           > crypto/buildinf.h"
314             ],
315         "sources" =>
316             {
317                 "apps/openssl" =>
318                     [
319                         "apps/openssl.o",
320                     ],
321                 "apps/openssl.o" =>
322                     [
323                         "apps/openssl.c",
324                     ],
325                 "crypto/aes.o" =>
326                     [
327                         "crypto/aes.c",
328                     ],
329                 "crypto/cversion.o" =>
330                     [
331                         "crypto/cversion.c",
332                     ],
333                 "crypto/evp.o" =>
334                     [
335                         "crypto/evp.c",
336                     ],
337                 "engines/e_ossltest.o" =>
338                     [
339                         "engines/e_ossltest.c",
340                     ],
341                 "engines/libossltest" =>
342                     [
343                         "engines/e_ossltest.o",
344                     ],
345                 "libcrypto" =>
346                     [
347                         "crypto/aes.c",
348                         "crypto/cversion.c",
349                         "crypto/evp.c",
350                     ],
351                 "libssl" =>
352                     [
353                         "ssl/tls.c",
354                     ],
355                 "ssl/tls.o" =>
356                     [
357                         "ssl/tls.c",
358                     ],
359             },
360     );
361
362 As can be seen, everything in %unified_info is fairly simple suggest
363 of information.  Still, it tells us that to build all programs, we
364 must build 'apps/openssl', and to build the latter, we will need to
365 build all its sources ('apps/openssl.o' in this case) and all the
366 other things it depends on (such as 'libssl').  All those dependencies
367 need to be built as well, using the same logic, so to build 'libssl',
368 we need to build 'ssl/tls.o' as well as 'libcrypto', and to build the
369 latter...
370
371
372 Build-file templates
373 --------------------
374
375 Build-file templates are essentially build-files (such as Makefile on
376 Unix) with perl code fragments mixed in.  Those perl code fragment
377 will generate all the configuration dependent data, including all the
378 rules needed to build end product files and intermediary files alike.
379 At a minimum, there must be a perl code fragment that defines a set of
380 functions that are used to generates specific build-file rules, to
381 build static libraries from object files, to build shared libraries
382 from static libraries, to programs from object files and libraries,
383 etc.
384
385     src2obj     - function that produces build file lines to build an
386                   object file from source files and associated data.
387
388                   It's called like this:
389
390                         src2obj(obj => "PATH/TO/objectfile",
391                                 srcs => [ "PATH/TO/sourcefile", ... ],
392                                 deps => [ "dep1", ... ],
393                                 incs => [ "INCL/PATH", ... ]
394                                 intent => one of "lib", "dso", "bin" );
395
396                   'obj' has the intended object file *without*
397                   extension, src2obj() is expected to add that.
398                   'srcs' has the list of source files to build the
399                   object file, with the first item being the source
400                   file that directly corresponds to the object file.
401                   'deps' is a list of explicit dependencies.  'incs'
402                   is a list of include file directories.  Finally,
403                   'intent' indicates what this object file is going
404                   to be used for.
405
406     obj2lib     - function that produces build file lines to build a
407                   static library file ("libfoo.a" in Unix terms) from
408                   object files.
409
410                   called like this:
411
412                         obj2lib(lib => "PATH/TO/libfile",
413                                 objs => [ "PATH/TO/objectfile", ... ]);
414
415                   'lib' has the intended library file name *without*
416                   extension, obj2lib is expected to add that.  'objs'
417                   has the list of object files (also *without*
418                   extension) to build this library.
419
420     libobj2shlib - function that produces build file lines to build a
421                   shareable object library file ("libfoo.so" in Unix
422                   terms) from the corresponding static library file
423                   or object files.
424
425                   called like this:
426
427                         libobj2shlib(shlib => "PATH/TO/shlibfile",
428                                      lib => "PATH/TO/libfile",
429                                      objs => [ "PATH/TO/objectfile", ... ],
430                                      deps => [ "PATH/TO/otherlibfile", ... ],
431                                      ordinals => [ "word", "/PATH/TO/ordfile" ]);
432
433                   'lib' has the intended library file name *without*
434                   extension, libobj2shlib is expected to add that.
435                   'shlib' has the corresponding shared library name
436                   *without* extension.  'deps' has the list of other
437                   libraries (also *without* extension) this library
438                   needs to be linked with.  'objs' has the list of
439                   object files (also *without* extension) to build
440                   this library.  'ordinals' MAY be present, and when
441                   it is, its value is an array where the word is
442                   "crypto" or "ssl" and the file is one of the ordinal
443                   files util/libcrypto.num or util/libssl.num in the
444                   source directory.
445
446                   This function has a choice; it can use the
447                   corresponding static library as input to make the
448                   shared library, or the list of object files.
449
450     obj2dynlib  - function that produces build file lines to build a
451                   dynamically loadable library file ("libfoo.so" on
452                   Unix) from object files.
453
454                   called like this:
455
456                         obj2dynlib(lib => "PATH/TO/libfile",
457                                    objs => [ "PATH/TO/objectfile", ... ],
458                                    deps => [ "PATH/TO/otherlibfile",
459                                    ... ]);
460
461                   This is almost the same as libobj2shlib, but the
462                   intent is to build a shareable library that can be
463                   loaded in runtime (a "plugin"...).  The differences
464                   are subtle, one of the most visible ones is that the
465                   resulting shareable library is produced from object
466                   files only.
467
468     obj2bin     - function that produces build file lines to build an
469                   executable file from object files.
470
471                   called like this:
472
473                         obj2bin(bin => "PATH/TO/binfile",
474                                 objs => [ "PATH/TO/objectfile", ... ],
475                                 deps => [ "PATH/TO/libfile", ... ]);
476
477                   'bin' has the intended executable file name
478                   *without* extension, obj2bin is expected to add
479                   that.  'objs' has the list of object files (also
480                   *without* extension) to build this library.  'deps'
481                   has the list of library files (also *without*
482                   extension) that the programs needs to be linked
483                   with.
484
485     in2script   - function that produces build file lines to build a
486                   script file from some input.
487
488                   called like this:
489
490                         in2script(script => "PATH/TO/scriptfile",
491                                   sources => [ "PATH/TO/infile", ... ]);
492
493                   'script' has the intended script file name.
494                   'sources' has the list of source files to build the
495                   resulting script from.
496
497 Along with the build-file templates is the driving engine
498 Configurations/common.tmpl, which looks through all the information in
499 %unified_info and generates all the rulesets to build libraries,
500 programs and all intermediate files, using the rule generating
501 functions defined in the build-file template.
502
503 As an example with the smaller build.info set we've seen as an
504 example, producing the rules to build 'libssl' would result in the
505 following calls:
506
507     # Note: libobj2shlib will only be called if shared libraries are
508     # to be produced.
509     # Note 2: libobj2shlib gets both the name of the static library
510     # and the names of all the object files that go into it.  It's up
511     # to the implementation to decide which to use as input.
512     libobj2shlib(shlib => "libssl",
513                  lib => "libssl",
514                  objs => [ "ssl/tls.o" ],
515                  deps => [ "libcrypto" ]
516                  ordinals => [ "ssl", "util/libssl.num" ]);
517
518     obj2lib(lib => "libssl"
519             objs => [ "ssl/tls.o" ]);
520
521     # Note 3: common.tmpl peals off the ".o" extension, as the
522     # platform at hand may have a different one.
523     src2obj(obj => "ssl/tls"
524             srcs => [ "ssl/tls.c" ],
525             deps => [ ],
526             incs => [ "include" ]);
527
528     src2dep(obj => "ssl/tls"
529             srcs => [ "ssl/tls.c" ],
530             incs => [ "include" ]);
531
532 The returned strings from all those calls are then concatenated
533 together and written to the resulting build-file.