Tighten up BN_with_flags usage and avoid a reachable assert
authorMatt Caswell <matt@openssl.org>
Tue, 24 Nov 2015 11:09:00 +0000 (11:09 +0000)
committerMatt Caswell <matt@openssl.org>
Thu, 26 Nov 2015 10:20:36 +0000 (10:20 +0000)
commitfd7d252060c427b2e567295845a61d824539443b
tree42197df9569504eb2512394e59bde093c18e94a0
parent6938c954b072c1ddddeb0ec9f6a151df0d2cd925
Tighten up BN_with_flags usage and avoid a reachable assert

The function rsa_ossl_mod_exp uses the function BN_with_flags to create a
temporary copy (local_r1) of a BIGNUM (r1) with modified flags. This
temporary copy shares some state with the original r1. If the state of r1
gets updated then local_r1's state will be stale. This was occurring in the
function so that when local_r1 was freed a call to bn_check_top was made
which failed an assert due to the stale state. To resolve this we must free
local_r1 immediately after we have finished using it and not wait until the
end of the function.

This problem prompted a review of all BN_with_flag usage within the
codebase. All other usage appears to be correct, although often not
obviously so. This commit refactors things to make it much clearer for
these other uses.

Reviewed-by: Emilia Käsper <emilia@openssl.org>
crypto/bn/bn_gcd.c
crypto/bn/bn_lib.c
crypto/dh/dh_key.c
crypto/dsa/dsa_key.c
crypto/rsa/rsa_crpt.c
crypto/rsa/rsa_gen.c
crypto/rsa/rsa_ossl.c