doc/crypto/lhash.pod

   1 =pod
   2
   3 =head1 NAME
   4
   5 lh_new, lh_free, lh_insert, lh_delete, lh_retrieve, lh_doall, lh_doall_arg, lh_error - dynamic hash table
   6
   7 =head1 SYNOPSIS
   8
   9  #include <openssl/lhash.h>
  10
  11  DECLARE_LHASH_OF(<type>);
  12
  13  LHASH *lh_<type>_new();
  14  void lh_<type>_free(LHASH_OF(<type> *table);
  15
  16  <type> *lh_<type>_insert(LHASH_OF(<type> *table, <type> *data);
  17  <type> *lh_<type>_delete(LHASH_OF(<type> *table, <type> *data);
  18  <type> *lh_retrieve(LHASH_OF<type> *table, <type> *data);
  19
  20  void lh_<type>_doall(LHASH_OF(<type> *table, LHASH_DOALL_FN_TYPE func);
  21  void lh_<type>_doall_arg(LHASH_OF(<type> *table, LHASH_DOALL_ARG_FN_TYPE func,
  22           <type2>, <type2> *arg);
  23
  24  int lh_<type>_error(LHASH_OF(<type> *table);
  25
  26  typedef int (*LHASH_COMP_FN_TYPE)(const void *, const void *);
  27  typedef unsigned long (*LHASH_HASH_FN_TYPE)(const void *);
  28  typedef void (*LHASH_DOALL_FN_TYPE)(const void *);
  29  typedef void (*LHASH_DOALL_ARG_FN_TYPE)(const void *, const void *);
  30
  31 =head1 DESCRIPTION
  32
  33 This library implements type-checked dynamic hash tables. The hash
  34 table entries can be arbitrary structures. Usually they consist of key
  35 and value fields.
  36
  37 lh_<type>_new() creates a new B<LHASH_OF(<type>> structure to store
  38 arbitrary data entries, and provides the 'hash' and 'compare'
  39 callbacks to be used in organising the table's entries.  The B<hash>
  40 callback takes a pointer to a table entry as its argument and returns
  41 an unsigned long hash value for its key field.  The hash value is
  42 normally truncated to a power of 2, so make sure that your hash
  43 function returns well mixed low order bits.  The B<compare> callback
  44 takes two arguments (pointers to two hash table entries), and returns
  45 0 if their keys are equal, non-zero otherwise.  If your hash table
  46 will contain items of some particular type and the B<hash> and
  47 B<compare> callbacks hash/compare these types, then the
  48 B<DECLARE_LHASH_HASH_FN> and B<IMPLEMENT_LHASH_COMP_FN> macros can be
  49 used to create callback wrappers of the prototypes required by
  50 lh_<type>_new().  These provide per-variable casts before calling the
  51 type-specific callbacks written by the application author.  These
  52 macros, as well as those used for the "doall" callbacks, are defined
  53 as;
  54
  55  #define DECLARE_LHASH_HASH_FN(name, o_type) \
  56          unsigned long name##_LHASH_HASH(const void *);
  57  #define IMPLEMENT_LHASH_HASH_FN(name, o_type) \
  58          unsigned long name##_LHASH_HASH(const void *arg) { \
  59                  const o_type *a = arg; \
  60                  return name##_hash(a); }
  61  #define LHASH_HASH_FN(name) name##_LHASH_HASH
  62
  63  #define DECLARE_LHASH_COMP_FN(name, o_type) \
  64          int name##_LHASH_COMP(const void *, const void *);
  65  #define IMPLEMENT_LHASH_COMP_FN(name, o_type) \
  66          int name##_LHASH_COMP(const void *arg1, const void *arg2) { \
  67                  const o_type *a = arg1;                    \
  68                  const o_type *b = arg2; \
  69                  return name##_cmp(a,b); }
  70  #define LHASH_COMP_FN(name) name##_LHASH_COMP
  71
  72  #define DECLARE_LHASH_DOALL_FN(name, o_type) \
  73          void name##_LHASH_DOALL(void *);
  74  #define IMPLEMENT_LHASH_DOALL_FN(name, o_type) \
  75          void name##_LHASH_DOALL(void *arg) { \
  76                  o_type *a = arg; \
  77                  name##_doall(a); }
  78  #define LHASH_DOALL_FN(name) name##_LHASH_DOALL
  79
  80  #define DECLARE_LHASH_DOALL_ARG_FN(name, o_type, a_type) \
  81          void name##_LHASH_DOALL_ARG(void *, void *);
  82  #define IMPLEMENT_LHASH_DOALL_ARG_FN(name, o_type, a_type) \
  83          void name##_LHASH_DOALL_ARG(void *arg1, void *arg2) { \
  84                  o_type *a = arg1; \
  85                  a_type *b = arg2; \
  86                  name##_doall_arg(a, b); }
  87  #define LHASH_DOALL_ARG_FN(name) name##_LHASH_DOALL_ARG
  88
  89  An example of a hash table storing (pointers to) structures of type 'STUFF'
  90  could be defined as follows;
  91
  92  /* Calculates the hash value of 'tohash' (implemented elsewhere) */
  93  unsigned long STUFF_hash(const STUFF *tohash);
  94  /* Orders 'arg1' and 'arg2' (implemented elsewhere) */
  95  int stuff_cmp(const STUFF *arg1, const STUFF *arg2);
  96  /* Create the type-safe wrapper functions for use in the LHASH internals */
  97  static IMPLEMENT_LHASH_HASH_FN(stuff, STUFF);
  98  static IMPLEMENT_LHASH_COMP_FN(stuff, STUFF);
  99  /* ... */
 100  int main(int argc, char *argv[]) {
 101          /* Create the new hash table using the hash/compare wrappers */
 102          LHASH_OF(STUFF) *hashtable = lh_STUFF_new(LHASH_HASH_FN(STUFF_hash),
 103                                    LHASH_COMP_FN(STUFF_cmp));
 104          /* ... */
 105  }
 106
 107 lh_<type>_free() frees the B<LHASH_OF(<type>> structure
 108 B<table>. Allocated hash table entries will not be freed; consider
 109 using lh_<type>_doall() to deallocate any remaining entries in the
 110 hash table (see below).
 111
 112 lh_<type>_insert() inserts the structure pointed to by B<data> into
 113 B<table>.  If there already is an entry with the same key, the old
 114 value is replaced. Note that lh_<type>_insert() stores pointers, the
 115 data are not copied.
 116
 117 lh_<type>_delete() deletes an entry from B<table>.
 118
 119 lh_<type>_retrieve() looks up an entry in B<table>. Normally, B<data>
 120 is a structure with the key field(s) set; the function will return a
 121 pointer to a fully populated structure.
 122
 123 lh_<type>_doall() will, for every entry in the hash table, call
 124 B<func> with the data item as its parameter.  For lh_<type>_doall()
 125 and lh_<type>_doall_arg(), function pointer casting should be avoided
 126 in the callbacks (see B<NOTE>) - instead use the declare/implement
 127 macros to create type-checked wrappers that cast variables prior to
 128 calling your type-specific callbacks.  An example of this is
 129 illustrated here where the callback is used to cleanup resources for
 130 items in the hash table prior to the hashtable itself being
 131 deallocated:
 132
 133  /* Cleans up resources belonging to 'a' (this is implemented elsewhere) */
 134  void STUFF_cleanup_doall(STUFF *a);
 135  /* Implement a prototype-compatible wrapper for "STUFF_cleanup" */
 136  IMPLEMENT_LHASH_DOALL_FN(STUFF_cleanup, STUFF)
 137          /* ... then later in the code ... */
 138  /* So to run "STUFF_cleanup" against all items in a hash table ... */
 139  lh_STUFF_doall(hashtable, LHASH_DOALL_FN(STUFF_cleanup));
 140  /* Then the hash table itself can be deallocated */
 141  lh_STUFF_free(hashtable);
 142
 143 When doing this, be careful if you delete entries from the hash table
 144 in your callbacks: the table may decrease in size, moving the item
 145 that you are currently on down lower in the hash table - this could
 146 cause some entries to be skipped during the iteration.  The second
 147 best solution to this problem is to set hash-E<gt>down_load=0 before
 148 you start (which will stop the hash table ever decreasing in size).
 149 The best solution is probably to avoid deleting items from the hash
 150 table inside a "doall" callback!
 151
 152 lh_<type>_doall_arg() is the same as lh_<type>_doall() except that
 153 B<func> will be called with B<arg> as the second argument and B<func>
 154 should be of type B<LHASH_DOALL_ARG_FN_TYPE> (a callback prototype
 155 that is passed both the table entry and an extra argument).  As with
 156 lh_doall(), you can instead choose to declare your callback with a
 157 prototype matching the types you are dealing with and use the
 158 declare/implement macros to create compatible wrappers that cast
 159 variables before calling your type-specific callbacks.  An example of
 160 this is demonstrated here (printing all hash table entries to a BIO
 161 that is provided by the caller):
 162
 163  /* Prints item 'a' to 'output_bio' (this is implemented elsewhere) */
 164  void STUFF_print_doall_arg(const STUFF *a, BIO *output_bio);
 165  /* Implement a prototype-compatible wrapper for "STUFF_print" */
 166  static IMPLEMENT_LHASH_DOALL_ARG_FN(STUFF, const STUFF, BIO)
 167          /* ... then later in the code ... */
 168  /* Print out the entire hashtable to a particular BIO */
 169  lh_STUFF_doall_arg(hashtable, LHASH_DOALL_ARG_FN(STUFF_print), BIO,
 170                     logging_bio);
 171
 172 lh_<type>_error() can be used to determine if an error occurred in the last
 173 operation. lh_<type>_error() is a macro.
 174
 175 =head1 RETURN VALUES
 176
 177 lh_<type>_new() returns B<NULL> on error, otherwise a pointer to the new
 178 B<LHASH> structure.
 179
 180 When a hash table entry is replaced, lh_<type>_insert() returns the value
 181 being replaced. B<NULL> is returned on normal operation and on error.
 182
 183 lh_<type>_delete() returns the entry being deleted.  B<NULL> is returned if
 184 there is no such value in the hash table.
 185
 186 lh_<type>_retrieve() returns the hash table entry if it has been found,
 187 B<NULL> otherwise.
 188
 189 lh_<type>_error() returns 1 if an error occurred in the last operation, 0
 190 otherwise.
 191
 192 lh_<type>_free(), lh_<type>_doall() and lh_<type>_doall_arg() return no values.
 193
 194 =head1 NOTE
 195
 196 The various LHASH macros and callback types exist to make it possible
 197 to write type-checked code without resorting to function-prototype
 198 casting - an evil that makes application code much harder to
 199 audit/verify and also opens the window of opportunity for stack
 200 corruption and other hard-to-find bugs.  It also, apparently, violates
 201 ANSI-C.
 202
 203 The LHASH code regards table entries as constant data.  As such, it
 204 internally represents lh_insert()'d items with a "const void *"
 205 pointer type.  This is why callbacks such as those used by lh_doall()
 206 and lh_doall_arg() declare their prototypes with "const", even for the
 207 parameters that pass back the table items' data pointers - for
 208 consistency, user-provided data is "const" at all times as far as the
 209 LHASH code is concerned.  However, as callers are themselves providing
 210 these pointers, they can choose whether they too should be treating
 211 all such parameters as constant.
 212
 213 As an example, a hash table may be maintained by code that, for
 214 reasons of encapsulation, has only "const" access to the data being
 215 indexed in the hash table (ie. it is returned as "const" from
 216 elsewhere in their code) - in this case the LHASH prototypes are
 217 appropriate as-is.  Conversely, if the caller is responsible for the
 218 life-time of the data in question, then they may well wish to make
 219 modifications to table item passed back in the lh_doall() or
 220 lh_doall_arg() callbacks (see the "STUFF_cleanup" example above).  If
 221 so, the caller can either cast the "const" away (if they're providing
 222 the raw callbacks themselves) or use the macros to declare/implement
 223 the wrapper functions without "const" types.
 224
 225 Callers that only have "const" access to data they're indexing in a
 226 table, yet declare callbacks without constant types (or cast the
 227 "const" away themselves), are therefore creating their own risks/bugs
 228 without being encouraged to do so by the API.  On a related note,
 229 those auditing code should pay special attention to any instances of
 230 DECLARE/IMPLEMENT_LHASH_DOALL_[ARG_]_FN macros that provide types
 231 without any "const" qualifiers.
 232
 233 =head1 BUGS
 234
 235 lh_<type>_insert() returns B<NULL> both for success and error.
 236
 237 =head1 INTERNALS
 238
 239 The following description is based on the SSLeay documentation:
 240
 241 The B<lhash> library implements a hash table described in the
 242 I<Communications of the ACM> in 1991.  What makes this hash table
 243 different is that as the table fills, the hash table is increased (or
 244 decreased) in size via OPENSSL_realloc().  When a 'resize' is done, instead of
 245 all hashes being redistributed over twice as many 'buckets', one
 246 bucket is split.  So when an 'expand' is done, there is only a minimal
 247 cost to redistribute some values.  Subsequent inserts will cause more
 248 single 'bucket' redistributions but there will never be a sudden large
 249 cost due to redistributing all the 'buckets'.
 250
 251 The state for a particular hash table is kept in the B<LHASH> structure.
 252 The decision to increase or decrease the hash table size is made
 253 depending on the 'load' of the hash table.  The load is the number of
 254 items in the hash table divided by the size of the hash table.  The
 255 default values are as follows.  If (hash->up_load E<lt> load) =E<gt>
 256 expand.  if (hash-E<gt>down_load E<gt> load) =E<gt> contract.  The
 257 B<up_load> has a default value of 1 and B<down_load> has a default value
 258 of 2.  These numbers can be modified by the application by just
 259 playing with the B<up_load> and B<down_load> variables.  The 'load' is
 260 kept in a form which is multiplied by 256.  So
 261 hash-E<gt>up_load=8*256; will cause a load of 8 to be set.
 262
 263 If you are interested in performance the field to watch is
 264 num_comp_calls.  The hash library keeps track of the 'hash' value for
 265 each item so when a lookup is done, the 'hashes' are compared, if
 266 there is a match, then a full compare is done, and
 267 hash-E<gt>num_comp_calls is incremented.  If num_comp_calls is not equal
 268 to num_delete plus num_retrieve it means that your hash function is
 269 generating hashes that are the same for different values.  It is
 270 probably worth changing your hash function if this is the case because
 271 even if your hash table has 10 items in a 'bucket', it can be searched
 272 with 10 B<unsigned long> compares and 10 linked list traverses.  This
 273 will be much less expensive that 10 calls to your compare function.
 274
 275 lh_strhash() is a demo string hashing function:
 276
 277  unsigned long lh_strhash(const char *c);
 278
 279 Since the B<LHASH> routines would normally be passed structures, this
 280 routine would not normally be passed to lh_<type>_new(), rather it would be
 281 used in the function passed to lh_<type>_new().
 282
 283 =head1 SEE ALSO
 284
 285 L<lh_stats(3)|lh_stats(3)>
 286
 287 =head1 HISTORY
 288
 289 The B<lhash> library is available in all versions of SSLeay and OpenSSL.
 290 lh_error() was added in SSLeay 0.9.1b.
 291
 292 This manpage is derived from the SSLeay documentation.
 293
 294 In OpenSSL 0.9.7, all lhash functions that were passed function pointers
 295 were changed for better type safety, and the function types LHASH_COMP_FN_TYPE,
 296 LHASH_HASH_FN_TYPE, LHASH_DOALL_FN_TYPE and LHASH_DOALL_ARG_FN_TYPE
 297 became available.
 298
 299 In OpenSSL 1.0.0, the lhash interface was revamped for even better
 300 type checking.
 301
 302 =cut