RT4313: Fix build for !IMPLEMENTED code path in CRYPTO_secure_free()

Commit 05c7b1631 ("Implement the use of heap manipulator implementions")
added 'file' and 'line' arguments to CRYPTO_free() and friends, but neglected
to fix up the !IMPLEMENTED case within CRYPTO_secure_free(). Add the missing
arguments there too.

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Fixup secmemtest for the change of CRYPTO_free() and friends

Switching it to use OPENSSL_free() et al when appropriate.

Reviewed-by: Matt Caswell <matt@openssl.org>

Fix mismatched curly brace

Reviewed-by: Matt Caswell <matt@openssl.org>
Reviewed-by: Richard Levitte <levitte@openssl.org>

Update the documentation on heap allocators /  deallocators

Reviewed-by: Rich Salz <rsalz@openssl.org>

Implement the use of heap manipulator implementions

- Make use of the functions given through CRYPTO_set_mem_functions().
- CRYPTO_free(), CRYPTO_clear_free() and CRYPTO_secure_free() now receive
  __FILE__ and __LINE__.
- The API for CRYPTO_set_mem_functions() and CRYPTO_get_mem_functions()
  is slightly changed, the implementation for free() now takes a couple
  of extra arguments, taking __FILE__ and __LINE__.
- The CRYPTO_ memory functions will *always* receive __FILE__ and __LINE__
  from the corresponding OPENSSL_ macros, regardless of if crypto-mdebug
  has been enabled or not.  The reason is that if someone swaps out the
  malloc(), realloc() and free() implementations, we can't know if they
  will use them or not.

Reviewed-by: Rich Salz <rsalz@openssl.org>

md_rand: FAQ URL to use https and follow a redirect

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

OPENSSL_init_ssl.pod: fix minor typo
Reviewed-by: Matt Caswell <matt@openssl.org>
Reviewed-by: Richard Levitte <levitte@openssl.org>

On solaris, the variable name sun clashes, use s_un instead

For orthogonality, we change sin -> s_in and sin6 -> s_in6 as well.

Reviewed-by: Matt Caswell <matt@openssl.org>

Check for OPENSSL_USE_APPLINK in $config{cflags} as well

Macro definitions "should" be found in $config{defines}, but some
configs haven't transfered macro definitions from their 'cflags'
settings (which isn't mandatory anyway), so check both places.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Don't check for gcc or clang on VMS

This check is meaningless on VMS and only produce an error because the
underlying shell (DCL) doesn't understand sh syntax such as '2>&1'.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Lowercase configuration arguments on VMS

Depending on user preferences, Configure might get something like
--PREFIX=blah just as well as --prefix=blah, or "SHARED" just as well
as "shared".  On VMS, let's therefore lowercase at least the portion
of the argument before a possible equal sign.

For good measure, we lowercase the arguments to be checked in
config.com as well.  The original argument is sent on to Configure,
however.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Fix Solaris link_a and link_o

A long time ago, Solaris cc didn't seem to handle -Wl, linker options,
while gcc on Solaris required it.  Since then, Solaris cc has
developed to understand -Wl, options, and our little dance to figure
out how to pass linker options to the C compiler that's used isn't
needed any more.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Simplify tls1_set_ec_id.

Reviewed-by: Matt Caswell <matt@openssl.org>

Use nid_list table to lookup curve IDs.

Reviewed-by: Matt Caswell <matt@openssl.org>

Add explanation and warning to TLS id table.

Reviewed-by: Matt Caswell <matt@openssl.org>

Fix use of add() and add_before() in Configurations/*.conf

These two functions take a separator to concatenat the strings with as
first argument.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Prepare for 1.1.0-pre4-dev

Reviewed-by: Stephen Henson <steve@openssl.org>

Prepare for 1.1.0-pre3 release

Reviewed-by: Stephen Henson <steve@openssl.org>

Correct deprecation of OPENSSL_config

Reported in GH#684

Reviewed-by: Matt Caswell <matt@openssl.org>

Fix build-break

Combination of heartbeats and unit-tests.

Reviewed-by: Richard Levitte <levitte@openssl.org>

MANSUFFIX should be left empty

That variable isn't for us, it's for any user, distributor or package
builder that wants one after the section number.  "ssl" seems to be
popular...

Reviewed-by: Matt Caswell <matt@openssl.org>

Address comments.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Tests depend on everything.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Make the BIO_ADDR param optional.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Misc fixes in util/mk1mf.pl

mk1mf was wondering about the options no-heartbeats and
no-crypto-mdebug-backtrace, so we add option hooks them.  They only
need to become OPENSSL_NO_ macros in opensslconf.h, so nothing
additional needs to be done.

Also, add "-DOPENSSL_PIC" when shared libraries are produced.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Don't call cpuid in test; done as init.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Fixes to make no-deprecated work again

Reviewed-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Richard Levitte <levitte@openssl.org>

Configurations/00-base-templates.conf: typos in [chacha|poly1305]_asm_src.

Reviewed-by: Richard Levitte <levitte@openssl.org>

chacha/asm/chacha*: ensure that zero length is handled (without crash).

RT#4305

Reviewed-by: Rich Salz <rsalz@openssl.org>

chacha/asm/chacha-x86[_64].pl: fix typos and logical errors.

Thanks to: David Benjamin of Chromuim.

RT#4305

Reviewed-by: Rich Salz <rsalz@openssl.org>

make update

Reviewed-by: Andy Polyakov <appro@openssl.org>

Don't use libcrypto private headers with mkdef.pl

Three header files from crypto/include/internal were used by
util/mkdef.pl.  This should never be needed.  Some test program used
these, which made it a valid reason at the time to make the some
internal symbols public in the shared libraries, but that's not the
case any more.

However, to be able to link libssl.so, some symbols found in
include/internal headers still need to be made public.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Make sure to use unsigned char for is*() functions

On some platforms, the implementation is such that a signed char
triggers a warning when used with is*() functions.  On others, the
behavior is outright buggy when presented with a char that happens
to get promoted to a negative integer.

The safest thing is to cast the char that's used to an unsigned char.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Make the use of mdebug backtrace a separate option

To force it on anyone using --strict-warnings was the wrong move, as
this is an option best left to those who know what they're doing.

Use with care!

Reviewed-by: Andy Polyakov <appro@openssl.org>

Declare DllMain internally

DllMain is a symbol that needs to be global, but no one needs to know.
However, some compilers will warn if there isn't a declaration before
the function is defined.  Just add a declaration before the function
definition.

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Don't test heartbeats when there aren't any.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Make sure a socklen_t can compare with a sizeof() result

Most of the times, it seems that socklen_t is unsigned.
Unfortunately, this isn't always the case, and it doesn't compare with
a size_t without warning.

A cast resolves the issue.

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Have dofile.pl say where it was run, for real this time

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Have dofile.pl say where it was run

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Prefer IO::Socket::INET6 over IO::Socket::IP

While IO::Socket::IP is a core perl module (since Perl v5.19.8, or so
says corelist), IO::Socket::INET6 has been around longer, is said to
be more widely deployed, and most importantly, seems to have less bugs
hitting us.  We therefore prefer IO::Socket::INET6, and only fall back
to IO::Socket::IP if the former doesn't exist on the local system.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

crypto/poly1305: add floating-point reference implementation.

Reviewed-by: Rich Salz <rsalz@openssl.org>

RT4304: Look for plaintext HTTP

Reviewed-by: Richard Levitte <levitte@openssl.org>

GH675: make ssl3_ciphers static

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Richard Levitte <levitte@openssl.org>

Pass $(CC) to perlasm scripts via the environment

It seems that on some platforms, the perlasm scripts call the C
compiler for certain checks.  These scripts need the environment
variable CC to have the C compiler command.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Reformat warn variables for easier editing.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Don't build test programs by default, add convenience targets for unified build

Test programs are now only built when running "make test" or "make
build_tests".

Reviewed-by: Rich Salz <rsalz@openssl.org>

Have the same installation directories in unified as in unixmake

unix-Makefile.tmpl was lagging behind on this point.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Configurations: engage PPC ChaCha20 and Poly1305 modules.

Reviewed-by: Richard Levitte <levitte@openssl.org>

PPC assembly pack: add ChaCha20 and Poly1305 modules.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add SHARED_RCFLAGS in unified Makefile template

Also remove a spurious extra $(LDFLAGS)

Reviewed-by: Rich Salz <rsalz@openssl.org>

async_win.c: remove unused variable

Silencing this:
    crypto/async/arch/async_win.c: In function 'async_fibre_init_dispatcher':
    crypto/async/arch/async_win.c:112:12: warning: unused variable 'dispatcher' [-Wunused-variable]
         LPVOID dispatcher;
                ^

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Richard Levitte <levitte@openssl.org>

The unified build may delete installed manual files

The installation of man files and html files alike didn't properly
check that file names with different casing could be the same on
case-insensitive file systems.  This change fixes that.

Reviewed-by: Rich Salz <rsalz@openssl.org>

GH650: Minor tidying around the ocsp app

The ocsp utility is something of a jack-of-all-trades; most anything
related to the OCSP can be done with it.  In particular, the manual
page calls out that it can be used as either a client or a server
of the protocol, but there are also a few things that it can do
which do not quite fit into either role, such as encoding an OCSP
request but not sending it, printing out a text form of an OCSP
response (or request) from a file akin to the asn1parse utility,
or performing a lookup into the server-side revocation database
without actually sending a request or response.  All three of these
are documented as examples in the manual page, but the documentation
prior to this commit is somewhat misleading, in that when printing
the text form of an OCSP response, the code also attempts to
verify the response, displaying an error message and returning
failure if the response does not verify.  (It is possible that
the response would be able to verify with the given example, since
the default trust roots are used for that verification, but OCSP
responses frequently have alternate certification authorities
that would require passing -CAfile or -CApath for verification.)

Tidy up the documentation by passing -noverify for the case of
converting from binary to textual representation, and also
change a few instances of -respin to -reqin as appropriate, note
that the -url option provides the same functionality as the -host
and -path options, clarify that the example that saves an OCSP
response to a file will also perform verification on that response,
and fix a couple grammar nits in the manual page.

Also remove an always-true conditional for rdb != NULL -- there
are no codepaths in which it could be initialized at the time of
this check.

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Display the windres command

Reviewed-by: Rich Salz <rsalz@openssl.org>

GH643: Cleanup header analysis

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Free and zero DH/ECDH temporary key after use.

PR#4303

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Rethink the method to place user cflags last

The previous method had some unfortunate consequences with
--strict-warnings.  To counteract, revert part of the previous change
and move down the block of code that adds the user cflags and defines.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Make sure the OPENSSL_INIT flags are 32 bits and document the ssl range

Reviewed-by: Rich Salz <rsalz@openssl.org>

Remove 00-test_checkexes.t, as it has lost its relevance

In the early stages of creating the new test framework,
00-test_checkexes was a temporary check to ensure we had a recipe for
every test program in test/.  By now, this test has fulfilled its
purpose, and we've learned how to make recipes properly.  It's time
for this check to go away.

Reviewed-by: Rich Salz <rsalz@openssl.org>

In templates, output_on() must be used the same way as output_off()

Otherwise, there will be an unbalance.

Reviewed-by: Rich Salz <rsalz@openssl.org>

C64x+ assembly pack: add ChaCha20 and Poly1305 modules.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Configurations: engage ARM ChaCha20 and Poly1305 modules.

Reviewed-by: Richard Levitte <levitte@openssl.org>

ARM assembly pack: add ChaCha20 and Poly1305 modules.

Reviewed-by: Richard Levitte <levitte@openssl.org>

apps/speed.c: initialize c[D_GHASH][i].

RT#4230

Reviewed-by: Richard Levitte <levitte@openssl.org>

Defines OSSL_SSIZE_MAX

Removes SSIZE_MAX definition from bss_bio.c and changes that file to use
OSSL_SSIZE_MAX.

No need to account for OPENSSL_SYS_VXWORKS, since that never actually
gets defined anywhere. It must be a historical artifact.

Reviewed-by: Richard Levitte <levitte@openssl.org>
Reviewed-by: Ben Laurie <ben@openssl.org>

Fix some issues near recent chomp changes.

Reviewed-by: Richard Levitte <levitte@openssl.org>

fix warnings on 32 bit builds

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

We need the linked utils after a full build.

We really needs a better util/shlib_wrap.sh, but will have to do for now.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Unified build - fix make depend

There was a catch 22, where 'make depend' directly after configuring
in an otherwise pristine build tree would fail because buildinf.h
didn't exist yet.

This change has the depend building targets depend on the same other
targets as the object file building targets, so the generation of
buildinf.h and similar files would kick in during 'make depend'.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Move brace outside #ifdef

Reviewed-by: Rich Salz <rsalz@openssl.org>

evp/e_des[3].c: address compiler warnings, fix formatting.

RT#4210

Reviewed-by: Richard Levitte <levitte@openssl.org>

modes/ctr128.c: pay attention to ecount_buf alignment in CRYPTO_ctr128_encrypt.

It's never problem if CRYPTO_ctr128_encrypt is called from EVP, because
buffer in question is always aligned within EVP_CIPHER_CTX structure.

RT#4218

Reviewed-by: Richard Levitte <levitte@openssl.org>

Rename INSTALL_PREFIX to DESTDIR, remove option --install_prefix

INSTALL_PREFIX is a confusing name, as there's also --prefix.
Instead, tag along with the rest of the open source world and adopt
the Makefile variable DESTDIR to designate the desired staging
directory.

The Configure option --install_prefix is removed, the only way to
designate a staging directory is with the Makefile variable (this is
also implemented for VMS' descrip.mms et al).

Reviewed-by: Rich Salz <rsalz@openssl.org>

Update .gitignore.

Not all git versions understand **/Makefile, but all recognize that
filename without any path applies to all directories.

Reviewed-by: Richard Levitte <levitte@openssl.org>

.travis.yml: exclude gcc from MacOS X CI builds.

Contemporary Xcode gcc is a front-end to clang, so that explicit
gcc build is actually redundant on MacOS X.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Put user flags last for priority.

Reviewed-by: Richard Levitte <levitte@openssl.org>

ec/asm/ecp_nistz256-armv8.pl: fix test_ssl spurious errors.

RT#4237

Reviewed-by: Matt Caswell <matt@openssl.org>

Now that we have good verbosity, turn it on for Travis

It's nearly impossible to determine what goes wrong in the tests
running there without this.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Document the changes in "make test" behavior

Reviewed-by: Rich Salz <rsalz@openssl.org>

Let all TLSProxy based tests display debug text conditionally

If the environment variable HARNESS_ACTIVE isn't defined or
HARNESS_VERBOSE is defined, it's probable that lots of output is
desired.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Rethink logging of test recipes

The logging that was performed in OpenSSL::Test was initially set up
as a means not to let messages that test programs write to STDERR get
displayed when a test isn't running in verbose mode.  However, the way
it was implemented, it meant that those messages were never displayed,
and you had to look in a test log.  This also meant that output to
STDERR and output to STDOUT got broken apart, which isn't optimal.

So, we remove the whole test log file implementation, and instead,
we're sending STDERR to the null device unless one of these conditions
apply:

- the test recipe already redirects stderr.  Just let it.
- the environment variable HARNESS_ACTIVE is undefined, meaning the
  recipe is run directly as a perl script instead of being harnessed
  by Test::Harness
- the environment variable HARNESS_VERBOSE is set.

Getting a full log of the tests now becomes as simple as this:

    HARNESS_VERBOSE=yes make test 2>&1 | tee tests.log

Reviewed-by: Rich Salz <rsalz@openssl.org>

Better workaround for VMS getnameinfo() bug

The actual bug with current getnameinfo() on VMS is not that it puts
gibberish in the service buffer, but that it doesn't touch it at all.
The gibberish we dealt with before was simply stuff that happened to
be on the stack.

It's better to initialise the service buffer properly (with the empty
string) and check if it's still an empty string after the
getnameinfo() call, and fill it with the direct numerical translation
of the raw port if that's the case.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Adjust transfer::Text::Template.pm for alternate directory name

On VMS, periods in directory names weren't allowed.  To counter that,
unpackers such as VMSTAR convert periods in directory names to
underscores.  We need to count that in and add an alternative library
path for Text::Template.

Reviewed-by: Rich Salz <rsalz@openssl.org>

RT 3854: Update apps/req

Change the default keysize to 2048 bits, and the minimum to 512 bits.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Remove last chomps

In the previous commit to change all chomp to a more flexible regexp,
Configure was forgotten.  This completes the change.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Fix the enable-ssl-trace config option

The recent removal of static ECDH broke the enable-ssl-trace compilation.

Reviewed-by: Richard Levitte <levitte@openssl.org>

make generate

Reviewed-by: Rich Salz <rsalz@openssl.org>

Generate progs.h from a bunch of files instead of internal knowledge

apps/progs.pl counted on the caller to provide the exact command
files.  The unified build doesn't have that knowledge, and the easier
and more flexible thing to do is to feed it all the apps/*.c files and
let it figure out the command names by looking inside (looking for
/int ([a-z0-9][a-z0-9_]*)_main\(int argc,/).

Also, add it to the generate command, since it's a versioned file.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Typo: only return error if unrecognise bag type.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

State the minimum Perl version that our scripts will work with

Reviewed-by: Rich Salz <rsalz@openssl.org>

Perl's chop / chomp considered bad, use a regexp instead

Once upon a time, there was chop, which somply chopped off the last
character of $_ or a given variable, and it was used to take off the
EOL character (\n) of strings.

... but then, you had to check for the presence of such character.

So came chomp, the better chop which checks for \n before chopping it
off.  And this worked well, as long as Perl made internally sure that
all EOLs were converted to \n.

These days, though, there seems to be a mixture of perls, so lines
from files in the "wrong" environment might have \r\n as EOL, or just
\r (Mac OS, unless I'm misinformed).

So it's time we went for the more generic variant and use s|\R$||, the
better chomp which recognises all kinds of known EOLs and chops them
off.

A few chops were left alone, as they are use as surgical tools to
remove one last slash or one last comma.

NOTE: \R came with perl 5.10.0.  It means that from now on, our
scripts will fail with any older version.

Reviewed-by: Rich Salz <rsalz@openssl.org>

update ciphers manual page

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Remove static ECDH support.

Remove support for static ECDH ciphersuites. They require ECDH keys
in certificates and don't support forward secrecy.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

perlasm/x86_64-xlate.pl: pass pure constants verbatim.

RT#3885

Reviewed-by: Rich Salz <rsalz@openssl.org>

util/mk1mf.pl: use LINK_CMD instead of LINK variable.

Trouble is that LINK variable assignment in make-file interferes with
LINK environment variable, which can be used to modify Microsoft's
LINK.EXE behaviour.

RT#4289

Reviewed-by: Richard Levitte <levitte@openssl.org>

poly1305/asm/poly1305-x86_64.pl: MacOS X portability fix.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

poly1305/asm/poly1305-x86_64.pl: fix mingw64 build.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Add the generate mechanism from unixmake to unix-Makefile.tmpl

Reviewed-by: Rich Salz <rsalz@openssl.org>

Don't check self signed certificate signature security.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Fix MacOS/X build warnings

Commit 7823d792d0cad3b44ad5389a8d3381becefe7f44 added DEFINE_LHASH_OF
to a C source file.  DEFINE_LHASH_OF() and DEFINE_STACK_OF() must
be used only in header files to avoid clang warnings for unused
static-inline functions.

Reviewed-by: Rich Salz <rsalz@openssl.org>