Update provider-compatibility.yml
[openssl.git] / Configurations / README
1 Intro
2 =====
3
4 This directory contains a few sets of files that are used for
5 configuration in diverse ways:
6
7     *.conf      Target platform configurations, please read
8                 'Configurations of OpenSSL target platforms' for more
9                 information.
10     *.tmpl      Build file templates, please read 'Build-file
11                 programming with the "unified" build system' as well
12                 as 'Build info files' for more information.
13     *.pm        Helper scripts / modules for the main `Configure`
14                 script.  See 'Configure helper scripts for more
15                 information.
16
17
18 Configurations of OpenSSL target platforms
19 ==========================================
20
21 Configuration targets are a collection of facts that we know about
22 different platforms and their capabilities.  We organise them in a
23 hash table, where each entry represent a specific target.
24
25 Note that configuration target names must be unique across all config
26 files.  The Configure script does check that a config file doesn't
27 have config targets that shadow config targets from other files.
28
29 In each table entry, the following keys are significant:
30
31         inherit_from    => Other targets to inherit values from.
32                            Explained further below. [1]
33         template        => Set to 1 if this isn't really a platform
34                            target.  Instead, this target is a template
35                            upon which other targets can be built.
36                            Explained further below.  [1]
37
38         sys_id          => System identity for systems where that
39                            is difficult to determine automatically.
40
41         enable          => Enable specific configuration features.
42                            This MUST be an array of words.
43         disable         => Disable specific configuration features.
44                            This MUST be an array of words.
45                            Note: if the same feature is both enabled
46                            and disabled, disable wins.
47
48         as              => The assembler command.  This is not always
49                            used (for example on Unix, where the C
50                            compiler is used instead).
51         asflags         => Default assembler command flags [4].
52         cpp             => The C preprocessor command, normally not
53                            given, as the build file defaults are
54                            usually good enough.
55         cppflags        => Default C preprocessor flags [4].
56         defines         => As an alternative, macro definitions may be
57                            given here instead of in `cppflags' [4].
58                            If given here, they MUST be as an array of
59                            the string such as "MACRO=value", or just
60                            "MACRO" for definitions without value.
61         includes        => As an alternative, inclusion directories
62                            may be given here instead of in `cppflags'
63                            [4].  If given here, the MUST be an array
64                            of strings, one directory specification
65                            each.
66         cc              => The C compiler command, usually one of "cc",
67                            "gcc" or "clang".  This command is normally
68                            also used to link object files and
69                            libraries into the final program.
70         cxx             => The C++ compiler command, usually one of
71                            "c++", "g++" or "clang++".  This command is
72                            also used when linking a program where at
73                            least one of the object file is made from
74                            C++ source.
75         cflags          => Defaults C compiler flags [4].
76         cxxflags        => Default  C++ compiler flags [4].  If unset,
77                            it gets the same value as cflags.
78
79         (linking is a complex thing, see [3] below)
80         ld              => Linker command, usually not defined
81                            (meaning the compiler command is used
82                            instead).
83                            (NOTE: this is here for future use, it's
84                            not implemented yet)
85         lflags          => Default flags used when linking apps,
86                            shared libraries or DSOs [4].
87         ex_libs         => Extra libraries that are needed when
88                            linking shared libraries, DSOs or programs.
89                            The value is also assigned to Libs.private
90                            in $(libdir)/pkgconfig/libcrypto.pc.
91
92         shared_cppflags => Extra C preprocessor flags used when
93                            processing C files for shared libraries.
94         shared_cflag    => Extra C compiler flags used when compiling
95                            for shared libraries, typically something
96                            like "-fPIC".
97         shared_ldflag   => Extra linking flags used when linking
98                            shared libraries.
99         module_cppflags
100         module_cflags
101         module_ldflags  => Has the same function as the corresponding
102                            `shared_' attributes, but for building DSOs.
103                            When unset, they get the same values as the
104                            corresponding `shared_' attributes.
105
106         ar              => The library archive command, the default is
107                            "ar".
108                            (NOTE: this is here for future use, it's
109                            not implemented yet)
110         arflags         => Flags to be used with the library archive
111                            command.  On Unix, this includes the
112                            command letter, 'r' by default.
113
114         ranlib          => The library archive indexing command, the
115                            default is 'ranlib' it it exists.
116
117         unistd          => An alternative header to the typical
118                            '<unistd.h>'.  This is very rarely needed.
119
120         shared_extension => File name extension used for shared
121                             libraries.
122         obj_extension   => File name extension used for object files.
123                            On unix, this defaults to ".o" (NOTE: this
124                            is here for future use, it's not
125                            implemented yet)
126         exe_extension   => File name extension used for executable
127                            files.  On unix, this defaults to "" (NOTE:
128                            this is here for future use, it's not
129                            implemented yet)
130         shlib_variant   => A "variant" identifier inserted between the base
131                            shared library name and the extension.  On "unixy"
132                            platforms (BSD, Linux, Solaris, MacOS/X, ...) this
133                            supports installation of custom OpenSSL libraries
134                            that don't conflict with other builds of OpenSSL
135                            installed on the system.  The variant identifier
136                            becomes part of the SONAME of the library and also
137                            any symbol versions (symbol versions are not used or
138                            needed with MacOS/X).  For example, on a system
139                            where a default build would normally create the SSL
140                            shared library as 'libssl.so -> libssl.so.1.1' with
141                            the value of the symlink as the SONAME, a target
142                            definition that sets 'shlib_variant => "-abc"' will
143                            create 'libssl.so -> libssl-abc.so.1.1', again with
144                            an SONAME equal to the value of the symlink.  The
145                            symbol versions associated with the variant library
146                            would then be 'OPENSSL_ABC_<version>' rather than
147                            the default 'OPENSSL_<version>'. The string inserted
148                            into symbol versions is obtained by mapping all
149                            letters in the "variant" identifier to upper case
150                            and all non-alphanumeric characters to '_'.
151
152         thread_scheme   => The type of threads is used on the
153                            configured platform.  Currently known
154                            values are "(unknown)", "pthreads",
155                            "uithreads" (a.k.a solaris threads) and
156                            "winthreads".  Except for "(unknown)", the
157                            actual value is currently ignored but may
158                            be used in the future.  See further notes
159                            below [2].
160         dso_scheme      => The type of dynamic shared objects to build
161                            for.  This mostly comes into play with
162                            modules, but can be used for other purposes
163                            as well.  Valid values are "DLFCN"
164                            (dlopen() et al), "DLFCN_NO_H" (for systems
165                            that use dlopen() et al but do not have
166                            fcntl.h), "DL" (shl_load() et al), "WIN32"
167                            and "VMS".
168         asm_arch        => The architecture to be used for compiling assembly
169                            source.  This acts as a selector in build.info files.
170         uplink_arch     => The architecture to be used for compiling uplink
171                            source.  This acts as a selector in build.info files.
172                            This is separate from asm_arch because it's compiled
173                            even when 'no-asm' is given, even though it contains
174                            assembler source.
175         perlasm_scheme  => The perlasm method used to create the
176                            assembler files used when compiling with
177                            assembler implementations.
178         shared_target   => The shared library building method used.
179                            This serves multiple purposes:
180                            - as index for targets found in shared_info.pl.
181                            - as linker script generation selector.
182                            To serve both purposes, the index for shared_info.pl
183                            should end with '-shared', and this suffix will be
184                            removed for use as a linker script generation
185                            selector.  Note that the latter is only used if
186                            'shared_defflag' is defined.
187         build_scheme    => The scheme used to build up a Makefile.
188                            In its simplest form, the value is a string
189                            with the name of the build scheme.
190                            The value may also take the form of a list
191                            of strings, if the build_scheme is to have
192                            some options.  In this case, the first
193                            string in the list is the name of the build
194                            scheme.
195                            Currently recognised build scheme is "unified".
196                            For the "unified" build scheme, this item
197                            *must* be an array with the first being the
198                            word "unified" and the second being a word
199                            to identify the platform family.
200
201         multilib        => On systems that support having multiple
202                            implementations of a library (typically a
203                            32-bit and a 64-bit variant), this is used
204                            to have the different variants in different
205                            directories.
206
207         bn_ops          => Building options (was just bignum options in
208                            the earlier history of this option, hence the
209                            name). This is a string of words that describe
210                            algorithms' implementation parameters that
211                            are optimal for the designated target platform,
212                            such as the type of integers used to build up
213                            the bignum, different ways to implement certain
214                            ciphers and so on. To fully comprehend the
215                            meaning, the best is to read the affected
216                            source.
217                            The valid words are:
218
219                            THIRTY_TWO_BIT       bignum limbs are 32 bits,
220                                                 this is default if no
221                                                 option is specified, it
222                                                 works on any supported
223                                                 system [unless "wider"
224                                                 limb size is implied in
225                                                 assembly code];
226                            BN_LLONG             bignum limbs are 32 bits,
227                                                 but 64-bit 'unsigned long
228                                                 long' is used internally
229                                                 in calculations;
230                            SIXTY_FOUR_BIT_LONG  bignum limbs are 64 bits
231                                                 and sizeof(long) is 8;
232                            SIXTY_FOUR_BIT       bignums limbs are 64 bits,
233                                                 but execution environment
234                                                 is ILP32;
235                            RC4_CHAR             RC4 key schedule is made
236                                                 up of 'unsigned char's;
237                            RC4_INT              RC4 key schedule is made
238                                                 up of 'unsigned int's;
239
240
241 [1] as part of the target configuration, one can have a key called
242     'inherit_from' that indicate what other configurations to inherit
243     data from.  These are resolved recursively.
244
245     Inheritance works as a set of default values that can be overridden
246     by corresponding key values in the inheriting configuration.
247
248     Note 1: any configuration table can be used as a template.
249     Note 2: pure templates have the attribute 'template => 1' and
250             cannot be used as build targets.
251
252     If several configurations are given in the 'inherit_from' array,
253     the values of same attribute are concatenated with space
254     separation.  With this, it's possible to have several smaller
255     templates for different configuration aspects that can be combined
256     into a complete configuration.
257
258     instead of a scalar value or an array, a value can be a code block
259     of the form 'sub { /* your code here */ }'.  This code block will
260     be called with the list of inherited values for that key as
261     arguments.  In fact, the concatenation of strings is really done
262     by using 'sub { join(" ",@_) }' on the list of inherited values.
263
264     An example:
265
266         "foo" => {
267                 template => 1,
268                 haha => "ha ha",
269                 hoho => "ho",
270                 ignored => "This should not appear in the end result",
271         },
272         "bar" => {
273                 template => 1,
274                 haha => "ah",
275                 hoho => "haho",
276                 hehe => "hehe"
277         },
278         "laughter" => {
279                 inherit_from => [ "foo", "bar" ],
280                 hehe => sub { join(" ",(@_,"!!!")) },
281                 ignored => "",
282         }
283
284         The entry for "laughter" will become as follows after processing:
285
286         "laughter" => {
287                 haha => "ha ha ah",
288                 hoho => "ho haho",
289                 hehe => "hehe !!!",
290                 ignored => ""
291         }
292
293 [2] OpenSSL is built with threading capabilities unless the user
294     specifies 'no-threads'.  The value of the key 'thread_scheme' may
295     be "(unknown)", in which case the user MUST give some compilation
296     flags to Configure.
297
298 [3] OpenSSL has three types of things to link from object files or
299     static libraries:
300
301     - shared libraries; that would be libcrypto and libssl.
302     - shared objects (sometimes called dynamic libraries);  that would
303       be the modules.
304     - applications; those are apps/openssl and all the test apps.
305
306     Very roughly speaking, linking is done like this (words in braces
307     represent the configuration settings documented at the beginning
308     of this file):
309
310     shared libraries:
311         {ld} $(CFLAGS) {lflags} {shared_ldflag} -o libfoo.so \
312             foo/something.o foo/somethingelse.o {ex_libs}
313
314     shared objects:
315         {ld} $(CFLAGS) {lflags} {module_ldflags} -o libeng.so \
316             blah1.o blah2.o -lcrypto {ex_libs}
317
318     applications:
319         {ld} $(CFLAGS) {lflags} -o app \
320             app1.o utils.o -lssl -lcrypto {ex_libs}
321
322 [4] There are variants of these attribute, prefixed with `lib_',
323     `dso_' or `bin_'.  Those variants replace the unprefixed attribute
324     when building library, DSO or program modules specifically.
325
326 Historically, the target configurations came in form of a string with
327 values separated by colons.  This use is deprecated.  The string form
328 looked like this:
329
330    "target" => "{cc}:{cflags}:{unistd}:{thread_cflag}:{sys_id}:{lflags}:{bn_ops}:{cpuid_obj}:{bn_obj}:{ec_obj}:{des_obj}:{aes_obj}:{bf_obj}:{md5_obj}:{sha1_obj}:{cast_obj}:{rc4_obj}:{rmd160_obj}:{rc5_obj}:{wp_obj}:{cmll_obj}:{modes_obj}:{padlock_obj}:{perlasm_scheme}:{dso_scheme}:{shared_target}:{shared_cflag}:{shared_ldflag}:{shared_extension}:{ranlib}:{arflags}:{multilib}"
331
332
333 Build info files
334 ================
335
336 The build.info files that are spread over the source tree contain the
337 minimum information needed to build and distribute OpenSSL.  It uses a
338 simple and yet fairly powerful language to determine what needs to be
339 built, from what sources, and other relationships between files.
340
341 For every build.info file, all file references are relative to the
342 directory of the build.info file for source files, and the
343 corresponding build directory for built files if the build tree
344 differs from the source tree.
345
346 When processed, every line is processed with the perl module
347 Text::Template, using the delimiters "{-" and "-}".  The hashes
348 %config and %target are passed to the perl fragments, along with
349 $sourcedir and $builddir, which are the locations of the source
350 directory for the current build.info file and the corresponding build
351 directory, all relative to the top of the build tree.
352
353 'Configure' only knows inherently about the top build.info file.  For
354 any other directory that has one, further directories to look into
355 must be indicated like this:
356
357     SUBDIRS=something someelse
358
359 On to things to be built; they are declared by setting specific
360 variables:
361
362     PROGRAMS=foo bar
363     LIBS=libsomething
364     MODULES=libeng
365     SCRIPTS=myhack
366
367 Note that the files mentioned for PROGRAMS, LIBS and MODULES *must* be
368 without extensions.  The build file templates will figure them out.
369
370 For each thing to be built, it is then possible to say what sources
371 they are built from:
372
373     PROGRAMS=foo bar
374     SOURCE[foo]=foo.c common.c
375     SOURCE[bar]=bar.c extra.c common.c
376
377 It's also possible to tell some other dependencies:
378
379     DEPEND[foo]=libsomething
380     DEPEND[libbar]=libsomethingelse
381
382 (it could be argued that 'libsomething' and 'libsomethingelse' are
383 source as well.  However, the files given through SOURCE are expected
384 to be located in the source tree while files given through DEPEND are
385 expected to be located in the build tree)
386
387 It's also possible to depend on static libraries explicitly:
388
389     DEPEND[foo]=libsomething.a
390     DEPEND[libbar]=libsomethingelse.a
391
392 This should be rarely used, and care should be taken to make sure it's
393 only used when supported.  For example, native Windows build doesn't
394 support building static libraries and DLLs at the same time, so using
395 static libraries on Windows can only be done when configured
396 'no-shared'.
397
398 In some cases, it's desirable to include some source files in the
399 shared form of a library only:
400
401     SHARED_SOURCE[libfoo]=dllmain.c
402
403 For any file to be built, it's also possible to tell what extra
404 include paths the build of their source files should use:
405
406     INCLUDE[foo]=include
407
408 It's also possible to specify C macros that should be defined:
409
410     DEFINE[foo]=FOO BAR=1
411
412 In some cases, one might want to generate some source files from
413 others, that's done as follows:
414
415     GENERATE[foo.s]=asm/something.pl $(CFLAGS)
416     GENERATE[bar.s]=asm/bar.S
417
418 The value of each GENERATE line is a command line or part of it.
419 Configure places no rules on the command line, except that the first
420 item must be the generator file.  It is, however, entirely up to the
421 build file template to define exactly how those command lines should
422 be handled, how the output is captured and so on.
423
424 Sometimes, the generator file itself depends on other files, for
425 example if it is a perl script that depends on other perl modules.
426 This can be expressed using DEPEND like this:
427
428     DEPEND[asm/something.pl]=../perlasm/Foo.pm
429
430 There may also be cases where the exact file isn't easily specified,
431 but an inclusion directory still needs to be specified.  INCLUDE can
432 be used in that case:
433
434     INCLUDE[asm/something.pl]=../perlasm
435
436 NOTE: GENERATE lines are limited to one command only per GENERATE.
437
438 Finally, you can have some simple conditional use of the build.info
439 information, looking like this:
440
441     IF[1]
442      something
443     ELSIF[2]
444      something other
445     ELSE
446      something else
447     ENDIF
448
449 The expression in square brackets is interpreted as a string in perl,
450 and will be seen as true if perl thinks it is, otherwise false.  For
451 example, the above would have "something" used, since 1 is true.
452
453 Together with the use of Text::Template, this can be used as
454 conditions based on something in the passed variables, for example:
455
456     IF[{- $disabled{shared} -}]
457       LIBS=libcrypto
458       SOURCE[libcrypto]=...
459     ELSE
460       LIBS=libfoo
461       SOURCE[libfoo]=...
462     ENDIF
463
464
465 Build-file programming with the "unified" build system
466 ======================================================
467
468 "Build files" are called "Makefile" on Unix-like operating systems,
469 "descrip.mms" for MMS on VMS, "makefile" for nmake on Windows, etc.
470
471 To use the "unified" build system, the target configuration needs to
472 set the three items 'build_scheme', 'build_file' and 'build_command'.
473 In the rest of this section, we will assume that 'build_scheme' is set
474 to "unified" (see the configurations documentation above for the
475 details).
476
477 For any name given by 'build_file', the "unified" system expects a
478 template file in Configurations/ named like the build file, with
479 ".tmpl" appended, or in case of possible ambiguity, a combination of
480 the second 'build_scheme' list item and the 'build_file' name.  For
481 example, if 'build_file' is set to "Makefile", the template could be
482 Configurations/Makefile.tmpl or Configurations/unix-Makefile.tmpl.
483 In case both Configurations/unix-Makefile.tmpl and
484 Configurations/Makefile.tmpl are present, the former takes
485 precedence.
486
487 The build-file template is processed with the perl module
488 Text::Template, using "{-" and "-}" as delimiters that enclose the
489 perl code fragments that generate configuration-dependent content.
490 Those perl fragments have access to all the hash variables from
491 configdata.pem.
492
493 The build-file template is expected to define at least the following
494 perl functions in a perl code fragment enclosed with "{-" and "-}".
495 They are all expected to return a string with the lines they produce.
496
497     generatesrc - function that produces build file lines to generate
498                   a source file from some input.
499
500                   It's called like this:
501
502                         generatesrc(src => "PATH/TO/tobegenerated",
503                                     generator => [ "generatingfile", ... ]
504                                     generator_incs => [ "INCL/PATH", ... ]
505                                     generator_deps => [ "dep1", ... ]
506                                     generator => [ "generatingfile", ... ]
507                                     incs => [ "INCL/PATH", ... ],
508                                     deps => [ "dep1", ... ],
509                                     intent => one of "libs", "dso", "bin" );
510
511                   'src' has the name of the file to be generated.
512                   'generator' is the command or part of command to
513                   generate the file, of which the first item is
514                   expected to be the file to generate from.
515                   generatesrc() is expected to analyse and figure out
516                   exactly how to apply that file and how to capture
517                   the result.  'generator_incs' and 'generator_deps'
518                   are include directories and files that the generator
519                   file itself depends on.  'incs' and 'deps' are
520                   include directories and files that are used if $(CC)
521                   is used as an intermediary step when generating the
522                   end product (the file indicated by 'src').  'intent'
523                   indicates what the generated file is going to be
524                   used for.
525
526     src2obj     - function that produces build file lines to build an
527                   object file from source files and associated data.
528
529                   It's called like this:
530
531                         src2obj(obj => "PATH/TO/objectfile",
532                                 srcs => [ "PATH/TO/sourcefile", ... ],
533                                 deps => [ "dep1", ... ],
534                                 incs => [ "INCL/PATH", ... ]
535                                 intent => one of "lib", "dso", "bin" );
536
537                   'obj' has the intended object file with '.o'
538                   extension, src2obj() is expected to change it to
539                   something more suitable for the platform.
540                   'srcs' has the list of source files to build the
541                   object file, with the first item being the source
542                   file that directly corresponds to the object file.
543                   'deps' is a list of explicit dependencies.  'incs'
544                   is a list of include file directories.  Finally,
545                   'intent' indicates what this object file is going
546                   to be used for.
547
548     obj2lib     - function that produces build file lines to build a
549                   static library file ("libfoo.a" in Unix terms) from
550                   object files.
551
552                   called like this:
553
554                         obj2lib(lib => "PATH/TO/libfile",
555                                 objs => [ "PATH/TO/objectfile", ... ]);
556
557                   'lib' has the intended library file name *without*
558                   extension, obj2lib is expected to add that.  'objs'
559                   has the list of object files to build this library.
560
561     libobj2shlib - backward compatibility function that's used the
562                   same way as obj2shlib (described next), and was
563                   expected to build the shared library from the
564                   corresponding static library when that was suitable.
565                   NOTE: building a shared library from a static
566                   library is now DEPRECATED, as they no longer share
567                   object files.  Attempting to do this will fail.
568
569     obj2shlib   - function that produces build file lines to build a
570                   shareable object library file ("libfoo.so" in Unix
571                   terms) from the corresponding object files.
572
573                   called like this:
574
575                         obj2shlib(shlib => "PATH/TO/shlibfile",
576                                   lib => "PATH/TO/libfile",
577                                   objs => [ "PATH/TO/objectfile", ... ],
578                                   deps => [ "PATH/TO/otherlibfile", ... ]);
579
580                   'lib' has the base (static) library ffile name
581                   *without* extension.  This is useful in case
582                   supporting files are needed (such as import
583                   libraries on Windows).
584                   'shlib' has the corresponding shared library name
585                   *without* extension.  'deps' has the list of other
586                   libraries (also *without* extension) this library
587                   needs to be linked with.  'objs' has the list of
588                   object files to build this library.
589
590     obj2dso     - function that produces build file lines to build a
591                   dynamic shared object file from object files.
592
593                   called like this:
594
595                         obj2dso(lib => "PATH/TO/libfile",
596                                 objs => [ "PATH/TO/objectfile", ... ],
597                                 deps => [ "PATH/TO/otherlibfile",
598                                 ... ]);
599
600                   This is almost the same as obj2shlib, but the
601                   intent is to build a shareable library that can be
602                   loaded in runtime (a "plugin"...).
603
604     obj2bin     - function that produces build file lines to build an
605                   executable file from object files.
606
607                   called like this:
608
609                         obj2bin(bin => "PATH/TO/binfile",
610                                 objs => [ "PATH/TO/objectfile", ... ],
611                                 deps => [ "PATH/TO/libfile", ... ]);
612
613                   'bin' has the intended executable file name
614                   *without* extension, obj2bin is expected to add
615                   that.  'objs' has the list of object files to build
616                   this library.  'deps' has the list of library files
617                   (also *without* extension) that the programs needs
618                   to be linked with.
619
620     in2script   - function that produces build file lines to build a
621                   script file from some input.
622
623                   called like this:
624
625                         in2script(script => "PATH/TO/scriptfile",
626                                   sources => [ "PATH/TO/infile", ... ]);
627
628                   'script' has the intended script file name.
629                   'sources' has the list of source files to build the
630                   resulting script from.
631
632 In all cases, file file paths are relative to the build tree top, and
633 the build file actions run with the build tree top as current working
634 directory.
635
636 Make sure to end the section with these functions with a string that
637 you thing is appropriate for the resulting build file.  If nothing
638 else, end it like this:
639
640       "";       # Make sure no lingering values end up in the Makefile
641     -}
642
643
644 Configure helper scripts
645 ========================
646
647 Configure uses helper scripts in this directory:
648
649 Checker scripts
650 ---------------
651
652 These scripts are per platform family, to check the integrity of the
653 tools used for configuration and building.  The checker script used is
654 either {build_platform}-{build_file}-checker.pm or
655 {build_platform}-checker.pm, where {build_platform} is the second
656 'build_scheme' list element from the configuration target data, and
657 {build_file} is 'build_file' from the same target data.
658
659 If the check succeeds, the script is expected to end with a non-zero
660 expression.  If the check fails, the script can end with a zero, or
661 with a `die`.