Move padlock_asm_src file information to build.info files
[openssl.git] / Configurations / README
1 Intro
2 =====
3
4 This directory contains a few sets of files that are used for
5 configuration in diverse ways:
6
7     *.conf      Target platform configurations, please read
8                 'Configurations of OpenSSL target platforms' for more
9                 information.
10     *.tmpl      Build file templates, please read 'Build-file
11                 programming with the "unified" build system' as well
12                 as 'Build info files' for more information.
13     *.pm        Helper scripts / modules for the main `Configure`
14                 script.  See 'Configure helper scripts for more
15                 information.
16
17
18 Configurations of OpenSSL target platforms
19 ==========================================
20
21 Configuration targets are a collection of facts that we know about
22 different platforms and their capabilities.  We organise them in a
23 hash table, where each entry represent a specific target.
24
25 Note that configuration target names must be unique across all config
26 files.  The Configure script does check that a config file doesn't
27 have config targets that shadow config targets from other files.
28
29 In each table entry, the following keys are significant:
30
31         inherit_from    => Other targets to inherit values from.
32                            Explained further below. [1]
33         template        => Set to 1 if this isn't really a platform
34                            target.  Instead, this target is a template
35                            upon which other targets can be built.
36                            Explained further below.  [1]
37
38         sys_id          => System identity for systems where that
39                            is difficult to determine automatically.
40
41         enable          => Enable specific configuration features.
42                            This MUST be an array of words.
43         disable         => Disable specific configuration features.
44                            This MUST be an array of words.
45                            Note: if the same feature is both enabled
46                            and disabled, disable wins.
47
48         as              => The assembler command.  This is not always
49                            used (for example on Unix, where the C
50                            compiler is used instead).
51         asflags         => Default assembler command flags [4].
52         cpp             => The C preprocessor command, normally not
53                            given, as the build file defaults are
54                            usually good enough.
55         cppflags        => Default C preprocessor flags [4].
56         defines         => As an alternative, macro definitions may be
57                            given here instead of in `cppflags' [4].
58                            If given here, they MUST be as an array of
59                            the string such as "MACRO=value", or just
60                            "MACRO" for definitions without value.
61         includes        => As an alternative, inclusion directories
62                            may be given here instead of in `cppflags'
63                            [4].  If given here, the MUST be an array
64                            of strings, one directory specification
65                            each.
66         cc              => The C compiler command, usually one of "cc",
67                            "gcc" or "clang".  This command is normally
68                            also used to link object files and
69                            libraries into the final program.
70         cxx             => The C++ compiler command, usually one of
71                            "c++", "g++" or "clang++".  This command is
72                            also used when linking a program where at
73                            least one of the object file is made from
74                            C++ source.
75         cflags          => Defaults C compiler flags [4].
76         cxxflags        => Default  C++ compiler flags [4].  If unset,
77                            it gets the same value as cflags.
78
79         (linking is a complex thing, see [3] below)
80         ld              => Linker command, usually not defined
81                            (meaning the compiler command is used
82                            instead).
83                            (NOTE: this is here for future use, it's
84                            not implemented yet)
85         lflags          => Default flags used when linking apps,
86                            shared libraries or DSOs [4].
87         ex_libs         => Extra libraries that are needed when
88                            linking shared libraries, DSOs or programs.
89                            The value is also assigned to Libs.private
90                            in $(libdir)/pkgconfig/libcrypto.pc.
91
92         shared_cppflags => Extra C preprocessor flags used when
93                            processing C files for shared libraries.
94         shared_cflag    => Extra C compiler flags used when compiling
95                            for shared libraries, typically something
96                            like "-fPIC".
97         shared_ldflag   => Extra linking flags used when linking
98                            shared libraries.
99         module_cppflags
100         module_cflags
101         module_ldflags  => Has the same function as the corresponding
102                            `shared_' attributes, but for building DSOs.
103                            When unset, they get the same values as the
104                            corresponding `shared_' attributes.
105
106         ar              => The library archive command, the default is
107                            "ar".
108                            (NOTE: this is here for future use, it's
109                            not implemented yet)
110         arflags         => Flags to be used with the library archive
111                            command.  On Unix, this includes the
112                            command letter, 'r' by default.
113
114         ranlib          => The library archive indexing command, the
115                            default is 'ranlib' it it exists.
116
117         unistd          => An alternative header to the typical
118                            '<unistd.h>'.  This is very rarely needed.
119
120         shared_extension => File name extension used for shared
121                             libraries.
122         obj_extension   => File name extension used for object files.
123                            On unix, this defaults to ".o" (NOTE: this
124                            is here for future use, it's not
125                            implemented yet)
126         exe_extension   => File name extension used for executable
127                            files.  On unix, this defaults to "" (NOTE:
128                            this is here for future use, it's not
129                            implemented yet)
130         shlib_variant   => A "variant" identifier inserted between the base
131                            shared library name and the extension.  On "unixy"
132                            platforms (BSD, Linux, Solaris, MacOS/X, ...) this
133                            supports installation of custom OpenSSL libraries
134                            that don't conflict with other builds of OpenSSL
135                            installed on the system.  The variant identifier
136                            becomes part of the SONAME of the library and also
137                            any symbol versions (symbol versions are not used or
138                            needed with MacOS/X).  For example, on a system
139                            where a default build would normally create the SSL
140                            shared library as 'libssl.so -> libssl.so.1.1' with
141                            the value of the symlink as the SONAME, a target
142                            definition that sets 'shlib_variant => "-abc"' will
143                            create 'libssl.so -> libssl-abc.so.1.1', again with
144                            an SONAME equal to the value of the symlink.  The
145                            symbol versions associated with the variant library
146                            would then be 'OPENSSL_ABC_<version>' rather than
147                            the default 'OPENSSL_<version>'. The string inserted
148                            into symbol versions is obtained by mapping all
149                            letters in the "variant" identifier to upper case
150                            and all non-alphanumeric characters to '_'.
151
152         thread_scheme   => The type of threads is used on the
153                            configured platform.  Currently known
154                            values are "(unknown)", "pthreads",
155                            "uithreads" (a.k.a solaris threads) and
156                            "winthreads".  Except for "(unknown)", the
157                            actual value is currently ignored but may
158                            be used in the future.  See further notes
159                            below [2].
160         dso_scheme      => The type of dynamic shared objects to build
161                            for.  This mostly comes into play with
162                            modules, but can be used for other purposes
163                            as well.  Valid values are "DLFCN"
164                            (dlopen() et al), "DLFCN_NO_H" (for systems
165                            that use dlopen() et al but do not have
166                            fcntl.h), "DL" (shl_load() et al), "WIN32"
167                            and "VMS".
168         asm_arch        => The architecture to be used for compiling assembly
169                            source.  This acts as a selector in build.info files.
170         uplink_arch     => The architecture to be used for compiling uplink
171                            source.  This acts as a selector in build.info files.
172                            This is separate from asm_arch because it's compiled
173                            even when 'no-asm' is given, even though it contains
174                            assembler source.
175         perlasm_scheme  => The perlasm method used to create the
176                            assembler files used when compiling with
177                            assembler implementations.
178         shared_target   => The shared library building method used.
179                            This serves multiple purposes:
180                            - as index for targets found in shared_info.pl.
181                            - as linker script generation selector.
182                            To serve both purposes, the index for shared_info.pl
183                            should end with '-shared', and this suffix will be
184                            removed for use as a linker script generation
185                            selector.  Note that the latter is only used if
186                            'shared_defflag' is defined.
187         build_scheme    => The scheme used to build up a Makefile.
188                            In its simplest form, the value is a string
189                            with the name of the build scheme.
190                            The value may also take the form of a list
191                            of strings, if the build_scheme is to have
192                            some options.  In this case, the first
193                            string in the list is the name of the build
194                            scheme.
195                            Currently recognised build scheme is "unified".
196                            For the "unified" build scheme, this item
197                            *must* be an array with the first being the
198                            word "unified" and the second being a word
199                            to identify the platform family.
200
201         multilib        => On systems that support having multiple
202                            implementations of a library (typically a
203                            32-bit and a 64-bit variant), this is used
204                            to have the different variants in different
205                            directories.
206
207         bn_ops          => Building options (was just bignum options in
208                            the earlier history of this option, hence the
209                            name). This is a string of words that describe
210                            algorithms' implementation parameters that
211                            are optimal for the designated target platform,
212                            such as the type of integers used to build up
213                            the bignum, different ways to implement certain
214                            ciphers and so on. To fully comprehend the
215                            meaning, the best is to read the affected
216                            source.
217                            The valid words are:
218
219                            THIRTY_TWO_BIT       bignum limbs are 32 bits,
220                                                 this is default if no
221                                                 option is specified, it
222                                                 works on any supported
223                                                 system [unless "wider"
224                                                 limb size is implied in
225                                                 assembly code];
226                            BN_LLONG             bignum limbs are 32 bits,
227                                                 but 64-bit 'unsigned long
228                                                 long' is used internally
229                                                 in calculations;
230                            SIXTY_FOUR_BIT_LONG  bignum limbs are 64 bits
231                                                 and sizeof(long) is 8;
232                            SIXTY_FOUR_BIT       bignums limbs are 64 bits,
233                                                 but execution environment
234                                                 is ILP32;
235                            RC4_CHAR             RC4 key schedule is made
236                                                 up of 'unsigned char's;
237                            RC4_INT              RC4 key schedule is made
238                                                 up of 'unsigned int's;
239                            EXPORT_VAR_AS_FN     for shared libraries,
240                                                 export vars as
241                                                 accessor functions.
242
243
244 [1] as part of the target configuration, one can have a key called
245     'inherit_from' that indicate what other configurations to inherit
246     data from.  These are resolved recursively.
247
248     Inheritance works as a set of default values that can be overridden
249     by corresponding key values in the inheriting configuration.
250
251     Note 1: any configuration table can be used as a template.
252     Note 2: pure templates have the attribute 'template => 1' and
253             cannot be used as build targets.
254
255     If several configurations are given in the 'inherit_from' array,
256     the values of same attribute are concatenated with space
257     separation.  With this, it's possible to have several smaller
258     templates for different configuration aspects that can be combined
259     into a complete configuration.
260
261     instead of a scalar value or an array, a value can be a code block
262     of the form 'sub { /* your code here */ }'.  This code block will
263     be called with the list of inherited values for that key as
264     arguments.  In fact, the concatenation of strings is really done
265     by using 'sub { join(" ",@_) }' on the list of inherited values.
266
267     An example:
268
269         "foo" => {
270                 template => 1,
271                 haha => "ha ha",
272                 hoho => "ho",
273                 ignored => "This should not appear in the end result",
274         },
275         "bar" => {
276                 template => 1,
277                 haha => "ah",
278                 hoho => "haho",
279                 hehe => "hehe"
280         },
281         "laughter" => {
282                 inherit_from => [ "foo", "bar" ],
283                 hehe => sub { join(" ",(@_,"!!!")) },
284                 ignored => "",
285         }
286
287         The entry for "laughter" will become as follows after processing:
288
289         "laughter" => {
290                 haha => "ha ha ah",
291                 hoho => "ho haho",
292                 hehe => "hehe !!!",
293                 ignored => ""
294         }
295
296 [2] OpenSSL is built with threading capabilities unless the user
297     specifies 'no-threads'.  The value of the key 'thread_scheme' may
298     be "(unknown)", in which case the user MUST give some compilation
299     flags to Configure.
300
301 [3] OpenSSL has three types of things to link from object files or
302     static libraries:
303
304     - shared libraries; that would be libcrypto and libssl.
305     - shared objects (sometimes called dynamic libraries);  that would
306       be the modules.
307     - applications; those are apps/openssl and all the test apps.
308
309     Very roughly speaking, linking is done like this (words in braces
310     represent the configuration settings documented at the beginning
311     of this file):
312
313     shared libraries:
314         {ld} $(CFLAGS) {lflags} {shared_ldflag} -o libfoo.so \
315             foo/something.o foo/somethingelse.o {ex_libs}
316
317     shared objects:
318         {ld} $(CFLAGS) {lflags} {module_ldflags} -o libeng.so \
319             blah1.o blah2.o -lcrypto {ex_libs}
320
321     applications:
322         {ld} $(CFLAGS) {lflags} -o app \
323             app1.o utils.o -lssl -lcrypto {ex_libs}
324
325 [4] There are variants of these attribute, prefixed with `lib_',
326     `dso_' or `bin_'.  Those variants replace the unprefixed attribute
327     when building library, DSO or program modules specifically.
328
329 Historically, the target configurations came in form of a string with
330 values separated by colons.  This use is deprecated.  The string form
331 looked like this:
332
333    "target" => "{cc}:{cflags}:{unistd}:{thread_cflag}:{sys_id}:{lflags}:{bn_ops}:{cpuid_obj}:{bn_obj}:{ec_obj}:{des_obj}:{aes_obj}:{bf_obj}:{md5_obj}:{sha1_obj}:{cast_obj}:{rc4_obj}:{rmd160_obj}:{rc5_obj}:{wp_obj}:{cmll_obj}:{modes_obj}:{padlock_obj}:{perlasm_scheme}:{dso_scheme}:{shared_target}:{shared_cflag}:{shared_ldflag}:{shared_extension}:{ranlib}:{arflags}:{multilib}"
334
335
336 Build info files
337 ================
338
339 The build.info files that are spread over the source tree contain the
340 minimum information needed to build and distribute OpenSSL.  It uses a
341 simple and yet fairly powerful language to determine what needs to be
342 built, from what sources, and other relationships between files.
343
344 For every build.info file, all file references are relative to the
345 directory of the build.info file for source files, and the
346 corresponding build directory for built files if the build tree
347 differs from the source tree.
348
349 When processed, every line is processed with the perl module
350 Text::Template, using the delimiters "{-" and "-}".  The hashes
351 %config and %target are passed to the perl fragments, along with
352 $sourcedir and $builddir, which are the locations of the source
353 directory for the current build.info file and the corresponding build
354 directory, all relative to the top of the build tree.
355
356 'Configure' only knows inherently about the top build.info file.  For
357 any other directory that has one, further directories to look into
358 must be indicated like this:
359
360     SUBDIRS=something someelse
361
362 On to things to be built; they are declared by setting specific
363 variables:
364
365     PROGRAMS=foo bar
366     LIBS=libsomething
367     MODULES=libeng
368     SCRIPTS=myhack
369
370 Note that the files mentioned for PROGRAMS, LIBS and MODULES *must* be
371 without extensions.  The build file templates will figure them out.
372
373 For each thing to be built, it is then possible to say what sources
374 they are built from:
375
376     PROGRAMS=foo bar
377     SOURCE[foo]=foo.c common.c
378     SOURCE[bar]=bar.c extra.c common.c
379
380 It's also possible to tell some other dependencies:
381
382     DEPEND[foo]=libsomething
383     DEPEND[libbar]=libsomethingelse
384
385 (it could be argued that 'libsomething' and 'libsomethingelse' are
386 source as well.  However, the files given through SOURCE are expected
387 to be located in the source tree while files given through DEPEND are
388 expected to be located in the build tree)
389
390 It's also possible to depend on static libraries explicitly:
391
392     DEPEND[foo]=libsomething.a
393     DEPEND[libbar]=libsomethingelse.a
394
395 This should be rarely used, and care should be taken to make sure it's
396 only used when supported.  For example, native Windows build doesn't
397 support building static libraries and DLLs at the same time, so using
398 static libraries on Windows can only be done when configured
399 'no-shared'.
400
401 In some cases, it's desirable to include some source files in the
402 shared form of a library only:
403
404     SHARED_SOURCE[libfoo]=dllmain.c
405
406 For any file to be built, it's also possible to tell what extra
407 include paths the build of their source files should use:
408
409     INCLUDE[foo]=include
410
411 It's also possible to specify C macros that should be defined:
412
413     DEFINE[foo]=FOO BAR=1
414
415 In some cases, one might want to generate some source files from
416 others, that's done as follows:
417
418     GENERATE[foo.s]=asm/something.pl $(CFLAGS)
419     GENERATE[bar.s]=asm/bar.S
420
421 The value of each GENERATE line is a command line or part of it.
422 Configure places no rules on the command line, except that the first
423 item must be the generator file.  It is, however, entirely up to the
424 build file template to define exactly how those command lines should
425 be handled, how the output is captured and so on.
426
427 Sometimes, the generator file itself depends on other files, for
428 example if it is a perl script that depends on other perl modules.
429 This can be expressed using DEPEND like this:
430
431     DEPEND[asm/something.pl]=../perlasm/Foo.pm
432
433 There may also be cases where the exact file isn't easily specified,
434 but an inclusion directory still needs to be specified.  INCLUDE can
435 be used in that case:
436
437     INCLUDE[asm/something.pl]=../perlasm
438
439 NOTE: GENERATE lines are limited to one command only per GENERATE.
440
441 Finally, you can have some simple conditional use of the build.info
442 information, looking like this:
443
444     IF[1]
445      something
446     ELSIF[2]
447      something other
448     ELSE
449      something else
450     ENDIF
451
452 The expression in square brackets is interpreted as a string in perl,
453 and will be seen as true if perl thinks it is, otherwise false.  For
454 example, the above would have "something" used, since 1 is true.
455
456 Together with the use of Text::Template, this can be used as
457 conditions based on something in the passed variables, for example:
458
459     IF[{- $disabled{shared} -}]
460       LIBS=libcrypto
461       SOURCE[libcrypto]=...
462     ELSE
463       LIBS=libfoo
464       SOURCE[libfoo]=...
465     ENDIF
466
467
468 Build-file programming with the "unified" build system
469 ======================================================
470
471 "Build files" are called "Makefile" on Unix-like operating systems,
472 "descrip.mms" for MMS on VMS, "makefile" for nmake on Windows, etc.
473
474 To use the "unified" build system, the target configuration needs to
475 set the three items 'build_scheme', 'build_file' and 'build_command'.
476 In the rest of this section, we will assume that 'build_scheme' is set
477 to "unified" (see the configurations documentation above for the
478 details).
479
480 For any name given by 'build_file', the "unified" system expects a
481 template file in Configurations/ named like the build file, with
482 ".tmpl" appended, or in case of possible ambiguity, a combination of
483 the second 'build_scheme' list item and the 'build_file' name.  For
484 example, if 'build_file' is set to "Makefile", the template could be
485 Configurations/Makefile.tmpl or Configurations/unix-Makefile.tmpl.
486 In case both Configurations/unix-Makefile.tmpl and
487 Configurations/Makefile.tmpl are present, the former takes
488 precedence.
489
490 The build-file template is processed with the perl module
491 Text::Template, using "{-" and "-}" as delimiters that enclose the
492 perl code fragments that generate configuration-dependent content.
493 Those perl fragments have access to all the hash variables from
494 configdata.pem.
495
496 The build-file template is expected to define at least the following
497 perl functions in a perl code fragment enclosed with "{-" and "-}".
498 They are all expected to return a string with the lines they produce.
499
500     generatesrc - function that produces build file lines to generate
501                   a source file from some input.
502
503                   It's called like this:
504
505                         generatesrc(src => "PATH/TO/tobegenerated",
506                                     generator => [ "generatingfile", ... ]
507                                     generator_incs => [ "INCL/PATH", ... ]
508                                     generator_deps => [ "dep1", ... ]
509                                     generator => [ "generatingfile", ... ]
510                                     incs => [ "INCL/PATH", ... ],
511                                     deps => [ "dep1", ... ],
512                                     intent => one of "libs", "dso", "bin" );
513
514                   'src' has the name of the file to be generated.
515                   'generator' is the command or part of command to
516                   generate the file, of which the first item is
517                   expected to be the file to generate from.
518                   generatesrc() is expected to analyse and figure out
519                   exactly how to apply that file and how to capture
520                   the result.  'generator_incs' and 'generator_deps'
521                   are include directories and files that the generator
522                   file itself depends on.  'incs' and 'deps' are
523                   include directories and files that are used if $(CC)
524                   is used as an intermediary step when generating the
525                   end product (the file indicated by 'src').  'intent'
526                   indicates what the generated file is going to be
527                   used for.
528
529     src2obj     - function that produces build file lines to build an
530                   object file from source files and associated data.
531
532                   It's called like this:
533
534                         src2obj(obj => "PATH/TO/objectfile",
535                                 srcs => [ "PATH/TO/sourcefile", ... ],
536                                 deps => [ "dep1", ... ],
537                                 incs => [ "INCL/PATH", ... ]
538                                 intent => one of "lib", "dso", "bin" );
539
540                   'obj' has the intended object file with '.o'
541                   extension, src2obj() is expected to change it to
542                   something more suitable for the platform.
543                   'srcs' has the list of source files to build the
544                   object file, with the first item being the source
545                   file that directly corresponds to the object file.
546                   'deps' is a list of explicit dependencies.  'incs'
547                   is a list of include file directories.  Finally,
548                   'intent' indicates what this object file is going
549                   to be used for.
550
551     obj2lib     - function that produces build file lines to build a
552                   static library file ("libfoo.a" in Unix terms) from
553                   object files.
554
555                   called like this:
556
557                         obj2lib(lib => "PATH/TO/libfile",
558                                 objs => [ "PATH/TO/objectfile", ... ]);
559
560                   'lib' has the intended library file name *without*
561                   extension, obj2lib is expected to add that.  'objs'
562                   has the list of object files to build this library.
563
564     libobj2shlib - backward compatibility function that's used the
565                   same way as obj2shlib (described next), and was
566                   expected to build the shared library from the
567                   corresponding static library when that was suitable.
568                   NOTE: building a shared library from a static
569                   library is now DEPRECATED, as they no longer share
570                   object files.  Attempting to do this will fail.
571
572     obj2shlib   - function that produces build file lines to build a
573                   shareable object library file ("libfoo.so" in Unix
574                   terms) from the corresponding object files.
575
576                   called like this:
577
578                         obj2shlib(shlib => "PATH/TO/shlibfile",
579                                   lib => "PATH/TO/libfile",
580                                   objs => [ "PATH/TO/objectfile", ... ],
581                                   deps => [ "PATH/TO/otherlibfile", ... ]);
582
583                   'lib' has the base (static) library ffile name
584                   *without* extension.  This is useful in case
585                   supporting files are needed (such as import
586                   libraries on Windows).
587                   'shlib' has the corresponding shared library name
588                   *without* extension.  'deps' has the list of other
589                   libraries (also *without* extension) this library
590                   needs to be linked with.  'objs' has the list of
591                   object files to build this library.
592
593     obj2dso     - function that produces build file lines to build a
594                   dynamic shared object file from object files.
595
596                   called like this:
597
598                         obj2dso(lib => "PATH/TO/libfile",
599                                 objs => [ "PATH/TO/objectfile", ... ],
600                                 deps => [ "PATH/TO/otherlibfile",
601                                 ... ]);
602
603                   This is almost the same as obj2shlib, but the
604                   intent is to build a shareable library that can be
605                   loaded in runtime (a "plugin"...).
606
607     obj2bin     - function that produces build file lines to build an
608                   executable file from object files.
609
610                   called like this:
611
612                         obj2bin(bin => "PATH/TO/binfile",
613                                 objs => [ "PATH/TO/objectfile", ... ],
614                                 deps => [ "PATH/TO/libfile", ... ]);
615
616                   'bin' has the intended executable file name
617                   *without* extension, obj2bin is expected to add
618                   that.  'objs' has the list of object files to build
619                   this library.  'deps' has the list of library files
620                   (also *without* extension) that the programs needs
621                   to be linked with.
622
623     in2script   - function that produces build file lines to build a
624                   script file from some input.
625
626                   called like this:
627
628                         in2script(script => "PATH/TO/scriptfile",
629                                   sources => [ "PATH/TO/infile", ... ]);
630
631                   'script' has the intended script file name.
632                   'sources' has the list of source files to build the
633                   resulting script from.
634
635 In all cases, file file paths are relative to the build tree top, and
636 the build file actions run with the build tree top as current working
637 directory.
638
639 Make sure to end the section with these functions with a string that
640 you thing is appropriate for the resulting build file.  If nothing
641 else, end it like this:
642
643       "";       # Make sure no lingering values end up in the Makefile
644     -}
645
646
647 Configure helper scripts
648 ========================
649
650 Configure uses helper scripts in this directory:
651
652 Checker scripts
653 ---------------
654
655 These scripts are per platform family, to check the integrity of the
656 tools used for configuration and building.  The checker script used is
657 either {build_platform}-{build_file}-checker.pm or
658 {build_platform}-checker.pm, where {build_platform} is the second
659 'build_scheme' list element from the configuration target data, and
660 {build_file} is 'build_file' from the same target data.
661
662 If the check succeeds, the script is expected to end with a non-zero
663 expression.  If the check fails, the script can end with a zero, or
664 with a `die`.