eec4d67f0c66f65eebe69c8c26212d7825545011
[openssl.git] / crypto / poly1305 / poly1305.c
1 /*
2  * Copyright 2015-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdlib.h>
11 #include <string.h>
12 #include <openssl/crypto.h>
13
14 #include "internal/poly1305.h"
15
16 typedef void (*poly1305_blocks_f) (void *ctx, const unsigned char *inp,
17                                    size_t len, unsigned int padbit);
18 typedef void (*poly1305_emit_f) (void *ctx, unsigned char mac[16],
19                                  const unsigned int nonce[4]);
20
21 struct poly1305_context {
22     double opaque[24];  /* large enough to hold internal state, declared
23                          * 'double' to ensure at least 64-bit invariant
24                          * alignment across all platforms and
25                          * configurations */
26     unsigned int nonce[4];
27     unsigned char data[POLY1305_BLOCK_SIZE];
28     size_t num;
29     struct {
30         poly1305_blocks_f blocks;
31         poly1305_emit_f emit;
32     } func;
33 };
34
35 size_t Poly1305_ctx_size ()
36 {
37     return sizeof(struct poly1305_context);
38 }
39
40 /* pick 32-bit unsigned integer in little endian order */
41 static unsigned int U8TOU32(const unsigned char *p)
42 {
43     return (((unsigned int)(p[0] & 0xff)) |
44             ((unsigned int)(p[1] & 0xff) << 8) |
45             ((unsigned int)(p[2] & 0xff) << 16) |
46             ((unsigned int)(p[3] & 0xff) << 24));
47 }
48
49 /*
50  * Implementations can be classified by amount of significant bits in
51  * words making up the multi-precision value, or in other words radix
52  * or base of numerical representation, e.g. base 2^64, base 2^32,
53  * base 2^26. Complementary characteristic is how wide is the result of
54  * multiplication of pair of digits, e.g. it would take 128 bits to
55  * accommodate multiplication result in base 2^64 case. These are used
56  * interchangeably. To describe implementation that is. But interface
57  * is designed to isolate this so that low-level primitives implemented
58  * in assembly can be self-contained/self-coherent.
59  */
60 #ifndef POLY1305_ASM
61 /*
62  * Even though there is __int128 reference implementation targeting
63  * 64-bit platforms provided below, it's not obvious that it's optimal
64  * choice for every one of them. Depending on instruction set overall
65  * amount of instructions can be comparable to one in __int64
66  * implementation. Amount of multiplication instructions would be lower,
67  * but not necessarily overall. And in out-of-order execution context,
68  * it is the latter that can be crucial...
69  *
70  * On related note. Poly1305 author, D. J. Bernstein, discusses and
71  * provides floating-point implementations of the algorithm in question.
72  * It made a lot of sense by the time of introduction, because most
73  * then-modern processors didn't have pipelined integer multiplier.
74  * [Not to mention that some had non-constant timing for integer
75  * multiplications.] Floating-point instructions on the other hand could
76  * be issued every cycle, which allowed to achieve better performance.
77  * Nowadays, with SIMD and/or out-or-order execution, shared or
78  * even emulated FPU, it's more complicated, and floating-point
79  * implementation is not necessarily optimal choice in every situation,
80  * rather contrary...
81  *
82  *                                              <appro@openssl.org>
83  */
84
85 typedef unsigned int u32;
86
87 /*
88  * poly1305_blocks processes a multiple of POLY1305_BLOCK_SIZE blocks
89  * of |inp| no longer than |len|. Behaviour for |len| not divisible by
90  * block size is unspecified in general case, even though in reference
91  * implementation the trailing chunk is simply ignored. Per algorithm
92  * specification, every input block, complete or last partial, is to be
93  * padded with a bit past most significant byte. The latter kind is then
94  * padded with zeros till block size. This last partial block padding
95  * is caller(*)'s responsibility, and because of this the last partial
96  * block is always processed with separate call with |len| set to
97  * POLY1305_BLOCK_SIZE and |padbit| to 0. In all other cases |padbit|
98  * should be set to 1 to perform implicit padding with 128th bit.
99  * poly1305_blocks does not actually check for this constraint though,
100  * it's caller(*)'s responsibility to comply.
101  *
102  * (*)  In the context "caller" is not application code, but higher
103  *      level Poly1305_* from this very module, so that quirks are
104  *      handled locally.
105  */
106 static void
107 poly1305_blocks(void *ctx, const unsigned char *inp, size_t len, u32 padbit);
108
109 /*
110  * Type-agnostic "rip-off" from constant_time_locl.h
111  */
112 # define CONSTANT_TIME_CARRY(a,b) ( \
113          (a ^ ((a ^ b) | ((a - b) ^ b))) >> (sizeof(a) * 8 - 1) \
114          )
115
116 # if !defined(PEDANTIC) && \
117      (defined(__SIZEOF_INT128__) && __SIZEOF_INT128__==16) && \
118      (defined(__SIZEOF_LONG__) && __SIZEOF_LONG__==8)
119
120 typedef unsigned long u64;
121 typedef unsigned __int128 u128;
122
123 typedef struct {
124     u64 h[3];
125     u64 r[2];
126 } poly1305_internal;
127
128 /* pick 32-bit unsigned integer in little endian order */
129 static u64 U8TOU64(const unsigned char *p)
130 {
131     return (((u64)(p[0] & 0xff)) |
132             ((u64)(p[1] & 0xff) << 8) |
133             ((u64)(p[2] & 0xff) << 16) |
134             ((u64)(p[3] & 0xff) << 24) |
135             ((u64)(p[4] & 0xff) << 32) |
136             ((u64)(p[5] & 0xff) << 40) |
137             ((u64)(p[6] & 0xff) << 48) |
138             ((u64)(p[7] & 0xff) << 56));
139 }
140
141 /* store a 32-bit unsigned integer in little endian */
142 static void U64TO8(unsigned char *p, u64 v)
143 {
144     p[0] = (unsigned char)((v) & 0xff);
145     p[1] = (unsigned char)((v >> 8) & 0xff);
146     p[2] = (unsigned char)((v >> 16) & 0xff);
147     p[3] = (unsigned char)((v >> 24) & 0xff);
148     p[4] = (unsigned char)((v >> 32) & 0xff);
149     p[5] = (unsigned char)((v >> 40) & 0xff);
150     p[6] = (unsigned char)((v >> 48) & 0xff);
151     p[7] = (unsigned char)((v >> 56) & 0xff);
152 }
153
154 static void poly1305_init(void *ctx, const unsigned char key[16])
155 {
156     poly1305_internal *st = (poly1305_internal *) ctx;
157
158     /* h = 0 */
159     st->h[0] = 0;
160     st->h[1] = 0;
161     st->h[2] = 0;
162
163     /* r &= 0xffffffc0ffffffc0ffffffc0fffffff */
164     st->r[0] = U8TOU64(&key[0]) & 0x0ffffffc0fffffff;
165     st->r[1] = U8TOU64(&key[8]) & 0x0ffffffc0ffffffc;
166 }
167
168 static void
169 poly1305_blocks(void *ctx, const unsigned char *inp, size_t len, u32 padbit)
170 {
171     poly1305_internal *st = (poly1305_internal *)ctx;
172     u64 r0, r1;
173     u64 s1;
174     u64 h0, h1, h2, c;
175     u128 d0, d1;
176
177     r0 = st->r[0];
178     r1 = st->r[1];
179
180     s1 = r1 + (r1 >> 2);
181
182     h0 = st->h[0];
183     h1 = st->h[1];
184     h2 = st->h[2];
185
186     while (len >= POLY1305_BLOCK_SIZE) {
187         /* h += m[i] */
188         h0 = (u64)(d0 = (u128)h0 + U8TOU64(inp + 0));
189         h1 = (u64)(d1 = (u128)h1 + (d0 >> 64) + U8TOU64(inp + 8));
190         /*
191          * padbit can be zero only when original len was
192          * POLY1306_BLOCK_SIZE, but we don't check
193          */
194         h2 += (u64)(d1 >> 64) + padbit;
195
196         /* h *= r "%" p, where "%" stands for "partial remainder" */
197         d0 = ((u128)h0 * r0) +
198              ((u128)h1 * s1);
199         d1 = ((u128)h0 * r1) +
200              ((u128)h1 * r0) +
201              (h2 * s1);
202         h2 = (h2 * r0);
203
204         /* last reduction step: */
205         /* a) h2:h0 = h2<<128 + d1<<64 + d0 */
206         h0 = (u64)d0;
207         h1 = (u64)(d1 += d0 >> 64);
208         h2 += (u64)(d1 >> 64);
209         /* b) (h2:h0 += (h2:h0>>130) * 5) %= 2^130 */
210         c = (h2 >> 2) + (h2 & ~3UL);
211         h2 &= 3;
212         h0 += c;
213         h1 += (c = CONSTANT_TIME_CARRY(h0,c));
214         h2 += CONSTANT_TIME_CARRY(h1,c);
215         /*
216          * Occasional overflows to 3rd bit of h2 are taken care of
217          * "naturally". If after this point we end up at the top of
218          * this loop, then the overflow bit will be accounted for
219          * in next iteration. If we end up in poly1305_emit, then
220          * comparison to modulus below will still count as "carry
221          * into 131st bit", so that properly reduced value will be
222          * picked in conditional move.
223          */
224
225         inp += POLY1305_BLOCK_SIZE;
226         len -= POLY1305_BLOCK_SIZE;
227     }
228
229     st->h[0] = h0;
230     st->h[1] = h1;
231     st->h[2] = h2;
232 }
233
234 static void poly1305_emit(void *ctx, unsigned char mac[16],
235                           const u32 nonce[4])
236 {
237     poly1305_internal *st = (poly1305_internal *) ctx;
238     u64 h0, h1, h2;
239     u64 g0, g1, g2;
240     u128 t;
241     u64 mask;
242
243     h0 = st->h[0];
244     h1 = st->h[1];
245     h2 = st->h[2];
246
247     /* compare to modulus by computing h + -p */
248     g0 = (u64)(t = (u128)h0 + 5);
249     g1 = (u64)(t = (u128)h1 + (t >> 64));
250     g2 = h2 + (u64)(t >> 64);
251
252     /* if there was carry into 131st bit, h1:h0 = g1:g0 */
253     mask = 0 - (g2 >> 2);
254     g0 &= mask;
255     g1 &= mask;
256     mask = ~mask;
257     h0 = (h0 & mask) | g0;
258     h1 = (h1 & mask) | g1;
259
260     /* mac = (h + nonce) % (2^128) */
261     h0 = (u64)(t = (u128)h0 + nonce[0] + ((u64)nonce[1]<<32));
262     h1 = (u64)(t = (u128)h1 + nonce[2] + ((u64)nonce[3]<<32) + (t >> 64));
263
264     U64TO8(mac + 0, h0);
265     U64TO8(mac + 8, h1);
266 }
267
268 # else
269
270 #  if defined(_WIN32) && !defined(__MINGW32__)
271 typedef unsigned __int64 u64;
272 #  elif defined(__arch64__)
273 typedef unsigned long u64;
274 #  else
275 typedef unsigned long long u64;
276 #  endif
277
278 typedef struct {
279     u32 h[5];
280     u32 r[4];
281 } poly1305_internal;
282
283 /* store a 32-bit unsigned integer in little endian */
284 static void U32TO8(unsigned char *p, unsigned int v)
285 {
286     p[0] = (unsigned char)((v) & 0xff);
287     p[1] = (unsigned char)((v >> 8) & 0xff);
288     p[2] = (unsigned char)((v >> 16) & 0xff);
289     p[3] = (unsigned char)((v >> 24) & 0xff);
290 }
291
292 static void poly1305_init(void *ctx, const unsigned char key[16])
293 {
294     poly1305_internal *st = (poly1305_internal *) ctx;
295
296     /* h = 0 */
297     st->h[0] = 0;
298     st->h[1] = 0;
299     st->h[2] = 0;
300     st->h[3] = 0;
301     st->h[4] = 0;
302
303     /* r &= 0xffffffc0ffffffc0ffffffc0fffffff */
304     st->r[0] = U8TOU32(&key[0]) & 0x0fffffff;
305     st->r[1] = U8TOU32(&key[4]) & 0x0ffffffc;
306     st->r[2] = U8TOU32(&key[8]) & 0x0ffffffc;
307     st->r[3] = U8TOU32(&key[12]) & 0x0ffffffc;
308 }
309
310 static void
311 poly1305_blocks(void *ctx, const unsigned char *inp, size_t len, u32 padbit)
312 {
313     poly1305_internal *st = (poly1305_internal *)ctx;
314     u32 r0, r1, r2, r3;
315     u32 s1, s2, s3;
316     u32 h0, h1, h2, h3, h4, c;
317     u64 d0, d1, d2, d3;
318
319     r0 = st->r[0];
320     r1 = st->r[1];
321     r2 = st->r[2];
322     r3 = st->r[3];
323
324     s1 = r1 + (r1 >> 2);
325     s2 = r2 + (r2 >> 2);
326     s3 = r3 + (r3 >> 2);
327
328     h0 = st->h[0];
329     h1 = st->h[1];
330     h2 = st->h[2];
331     h3 = st->h[3];
332     h4 = st->h[4];
333
334     while (len >= POLY1305_BLOCK_SIZE) {
335         /* h += m[i] */
336         h0 = (u32)(d0 = (u64)h0 + U8TOU32(inp + 0));
337         h1 = (u32)(d1 = (u64)h1 + (d0 >> 32) + U8TOU32(inp + 4));
338         h2 = (u32)(d2 = (u64)h2 + (d1 >> 32) + U8TOU32(inp + 8));
339         h3 = (u32)(d3 = (u64)h3 + (d2 >> 32) + U8TOU32(inp + 12));
340         h4 += (u32)(d3 >> 32) + padbit;
341
342         /* h *= r "%" p, where "%" stands for "partial remainder" */
343         d0 = ((u64)h0 * r0) +
344              ((u64)h1 * s3) +
345              ((u64)h2 * s2) +
346              ((u64)h3 * s1);
347         d1 = ((u64)h0 * r1) +
348              ((u64)h1 * r0) +
349              ((u64)h2 * s3) +
350              ((u64)h3 * s2) +
351              (h4 * s1);
352         d2 = ((u64)h0 * r2) +
353              ((u64)h1 * r1) +
354              ((u64)h2 * r0) +
355              ((u64)h3 * s3) +
356              (h4 * s2);
357         d3 = ((u64)h0 * r3) +
358              ((u64)h1 * r2) +
359              ((u64)h2 * r1) +
360              ((u64)h3 * r0) +
361              (h4 * s3);
362         h4 = (h4 * r0);
363
364         /* last reduction step: */
365         /* a) h4:h0 = h4<<128 + d3<<96 + d2<<64 + d1<<32 + d0 */
366         h0 = (u32)d0;
367         h1 = (u32)(d1 += d0 >> 32);
368         h2 = (u32)(d2 += d1 >> 32);
369         h3 = (u32)(d3 += d2 >> 32);
370         h4 += (u32)(d3 >> 32);
371         /* b) (h4:h0 += (h4:h0>>130) * 5) %= 2^130 */
372         c = (h4 >> 2) + (h4 & ~3U);
373         h4 &= 3;
374         h0 += c;
375         h1 += (c = CONSTANT_TIME_CARRY(h0,c));
376         h2 += (c = CONSTANT_TIME_CARRY(h1,c));
377         h3 += (c = CONSTANT_TIME_CARRY(h2,c));
378         h4 += CONSTANT_TIME_CARRY(h3,c);
379         /*
380          * Occasional overflows to 3rd bit of h4 are taken care of
381          * "naturally". If after this point we end up at the top of
382          * this loop, then the overflow bit will be accounted for
383          * in next iteration. If we end up in poly1305_emit, then
384          * comparison to modulus below will still count as "carry
385          * into 131st bit", so that properly reduced value will be
386          * picked in conditional move.
387          */
388
389         inp += POLY1305_BLOCK_SIZE;
390         len -= POLY1305_BLOCK_SIZE;
391     }
392
393     st->h[0] = h0;
394     st->h[1] = h1;
395     st->h[2] = h2;
396     st->h[3] = h3;
397     st->h[4] = h4;
398 }
399
400 static void poly1305_emit(void *ctx, unsigned char mac[16],
401                           const u32 nonce[4])
402 {
403     poly1305_internal *st = (poly1305_internal *) ctx;
404     u32 h0, h1, h2, h3, h4;
405     u32 g0, g1, g2, g3, g4;
406     u64 t;
407     u32 mask;
408
409     h0 = st->h[0];
410     h1 = st->h[1];
411     h2 = st->h[2];
412     h3 = st->h[3];
413     h4 = st->h[4];
414
415     /* compare to modulus by computing h + -p */
416     g0 = (u32)(t = (u64)h0 + 5);
417     g1 = (u32)(t = (u64)h1 + (t >> 32));
418     g2 = (u32)(t = (u64)h2 + (t >> 32));
419     g3 = (u32)(t = (u64)h3 + (t >> 32));
420     g4 = h4 + (u32)(t >> 32);
421
422     /* if there was carry into 131st bit, h3:h0 = g3:g0 */
423     mask = 0 - (g4 >> 2);
424     g0 &= mask;
425     g1 &= mask;
426     g2 &= mask;
427     g3 &= mask;
428     mask = ~mask;
429     h0 = (h0 & mask) | g0;
430     h1 = (h1 & mask) | g1;
431     h2 = (h2 & mask) | g2;
432     h3 = (h3 & mask) | g3;
433
434     /* mac = (h + nonce) % (2^128) */
435     h0 = (u32)(t = (u64)h0 + nonce[0]);
436     h1 = (u32)(t = (u64)h1 + (t >> 32) + nonce[1]);
437     h2 = (u32)(t = (u64)h2 + (t >> 32) + nonce[2]);
438     h3 = (u32)(t = (u64)h3 + (t >> 32) + nonce[3]);
439
440     U32TO8(mac + 0, h0);
441     U32TO8(mac + 4, h1);
442     U32TO8(mac + 8, h2);
443     U32TO8(mac + 12, h3);
444 }
445 # endif
446 #else
447 int poly1305_init(void *ctx, const unsigned char key[16], void *func);
448 void poly1305_blocks(void *ctx, const unsigned char *inp, size_t len,
449                      unsigned int padbit);
450 void poly1305_emit(void *ctx, unsigned char mac[16],
451                    const unsigned int nonce[4]);
452 #endif
453
454 void Poly1305_Init(POLY1305 *ctx, const unsigned char key[32])
455 {
456     ctx->nonce[0] = U8TOU32(&key[16]);
457     ctx->nonce[1] = U8TOU32(&key[20]);
458     ctx->nonce[2] = U8TOU32(&key[24]);
459     ctx->nonce[3] = U8TOU32(&key[28]);
460
461 #ifndef POLY1305_ASM
462     poly1305_init(ctx->opaque, key);
463 #else
464     /*
465      * Unlike reference poly1305_init assembly counterpart is expected
466      * to return a value: non-zero if it initializes ctx->func, and zero
467      * otherwise. Latter is to simplify assembly in cases when there no
468      * multiple code paths to switch between.
469      */
470     if (!poly1305_init(ctx->opaque, key, &ctx->func)) {
471         ctx->func.blocks = poly1305_blocks;
472         ctx->func.emit = poly1305_emit;
473     }
474 #endif
475
476     ctx->num = 0;
477
478 }
479
480 #ifdef POLY1305_ASM
481 /*
482  * This "eclipses" poly1305_blocks and poly1305_emit, but it's
483  * conscious choice imposed by -Wshadow compiler warnings.
484  */
485 # define poly1305_blocks (*poly1305_blocks_p)
486 # define poly1305_emit   (*poly1305_emit_p)
487 #endif
488
489 void Poly1305_Update(POLY1305 *ctx, const unsigned char *inp, size_t len)
490 {
491 #ifdef POLY1305_ASM
492     /*
493      * As documented, poly1305_blocks is never called with input
494      * longer than single block and padbit argument set to 0. This
495      * property is fluently used in assembly modules to optimize
496      * padbit handling on loop boundary.
497      */
498     poly1305_blocks_f poly1305_blocks_p = ctx->func.blocks;
499 #endif
500     size_t rem, num;
501
502     if ((num = ctx->num)) {
503         rem = POLY1305_BLOCK_SIZE - num;
504         if (len >= rem) {
505             memcpy(ctx->data + num, inp, rem);
506             poly1305_blocks(ctx->opaque, ctx->data, POLY1305_BLOCK_SIZE, 1);
507             inp += rem;
508             len -= rem;
509         } else {
510             /* Still not enough data to process a block. */
511             memcpy(ctx->data + num, inp, len);
512             ctx->num = num + len;
513             return;
514         }
515     }
516
517     rem = len % POLY1305_BLOCK_SIZE;
518     len -= rem;
519
520     if (len >= POLY1305_BLOCK_SIZE) {
521         poly1305_blocks(ctx->opaque, inp, len, 1);
522         inp += len;
523     }
524
525     if (rem)
526         memcpy(ctx->data, inp, rem);
527
528     ctx->num = rem;
529 }
530
531 void Poly1305_Final(POLY1305 *ctx, unsigned char mac[16])
532 {
533 #ifdef POLY1305_ASM
534     poly1305_blocks_f poly1305_blocks_p = ctx->func.blocks;
535     poly1305_emit_f poly1305_emit_p = ctx->func.emit;
536 #endif
537     size_t num;
538
539     if ((num = ctx->num)) {
540         ctx->data[num++] = 1;   /* pad bit */
541         while (num < POLY1305_BLOCK_SIZE)
542             ctx->data[num++] = 0;
543         poly1305_blocks(ctx->opaque, ctx->data, POLY1305_BLOCK_SIZE, 0);
544     }
545
546     poly1305_emit(ctx->opaque, mac, ctx->nonce);
547
548     /* zero out the state */
549     OPENSSL_cleanse(ctx, sizeof(*ctx));
550 }
551
552 #ifdef SELFTEST
553 #include <stdio.h>
554
555 struct poly1305_test {
556     const char *inputhex;
557     const char *keyhex;
558     const char *outhex;
559 };
560
561 static const struct poly1305_test poly1305_tests[] = {
562     /*
563      * RFC7539
564      */
565     {
566      "43727970746f6772617068696320466f72756d2052657365617263682047726f"
567      "7570",
568      "85d6be7857556d337f4452fe42d506a8""0103808afb0db2fd4abff6af4149f51b",
569      "a8061dc1305136c6c22b8baf0c0127a9"
570     },
571     /*
572      * test vectors from "The Poly1305-AES message-authentication code"
573      */
574     {
575      "f3f6",
576      "851fc40c3467ac0be05cc20404f3f700""580b3b0f9447bb1e69d095b5928b6dbc",
577      "f4c633c3044fc145f84f335cb81953de"
578     },
579     {
580      "",
581      "a0f3080000f46400d0c7e9076c834403""dd3fab2251f11ac759f0887129cc2ee7",
582      "dd3fab2251f11ac759f0887129cc2ee7"
583     },
584     {
585      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136",
586      "48443d0bb0d21109c89a100b5ce2c208""83149c69b561dd88298a1798b10716ef",
587      "0ee1c16bb73f0f4fd19881753c01cdbe"
588     },
589     {
590      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
591      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9",
592      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
593      "5154ad0d2cb26e01274fc51148491f1b"
594     },
595     /*
596      * self-generated vectors exercise "significant" lengths, such that
597      * are handled by different code paths
598      */
599     {
600      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
601      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af",
602      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
603      "812059a5da198637cac7c4a631bee466"
604     },
605     {
606      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
607      "990c62e48b8018b2c3e4a0fa3134cb67",
608      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
609      "5b88d7f6228b11e2e28579a5c0c1f761"
610     },
611     {
612      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
613      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
614      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136",
615      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
616      "bbb613b2b6d753ba07395b916aaece15"
617     },
618     {
619      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
620      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
621      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
622      "663cea190ffb83d89593f3f476b6bc24",
623      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
624      "c794d7057d1778c4bbee0a39b3d97342"
625     },
626     {
627      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
628      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
629      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
630      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136",
631      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
632      "ffbcb9b371423152d7fca5ad042fbaa9"
633     },
634     {
635      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
636      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
637      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
638      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136"
639      "812059a5da198637cac7c4a631bee466",
640      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
641      "069ed6b8ef0f207b3e243bb1019fe632"
642     },
643     {
644      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
645      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
646      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
647      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136"
648      "812059a5da198637cac7c4a631bee4665b88d7f6228b11e2e28579a5c0c1f761",
649      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
650      "cca339d9a45fa2368c2c68b3a4179133"
651     },
652     {
653      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
654      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
655      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
656      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136"
657      "812059a5da198637cac7c4a631bee4665b88d7f6228b11e2e28579a5c0c1f761"
658      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
659      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
660      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
661      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136",
662      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
663      "53f6e828a2f0fe0ee815bf0bd5841a34"
664     },
665     {
666      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
667      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
668      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
669      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136"
670      "812059a5da198637cac7c4a631bee4665b88d7f6228b11e2e28579a5c0c1f761"
671      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
672      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
673      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
674      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136"
675      "812059a5da198637cac7c4a631bee4665b88d7f6228b11e2e28579a5c0c1f761",
676      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
677      "b846d44e9bbd53cedffbfbb6b7fa4933"
678     },
679     /*
680      * 4th power of the key spills to 131th bit in SIMD key setup
681      */
682     {
683      "ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff"
684      "ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff"
685      "ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff"
686      "ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff"
687      "ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff"
688      "ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff"
689      "ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff"
690      "ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff",
691      "ad628107e8351d0f2c231a05dc4a4106""00000000000000000000000000000000",
692      "07145a4c02fe5fa32036de68fabe9066"
693     },
694     {
695     /*
696      * poly1305_ieee754.c failed this in final stage
697      */
698      "842364e156336c0998b933a6237726180d9e3fdcbde4cd5d17080fc3beb49614"
699      "d7122c037463ff104d73f19c12704628d417c4c54a3fe30d3c3d7714382d43b0"
700      "382a50a5dee54be844b076e8df88201a1cd43b90eb21643fa96f39b518aa8340"
701      "c942ff3c31baf7c9bdbf0f31ae3fa096bf8c63030609829fe72e179824890bc8"
702      "e08c315c1cce2a83144dbbff09f74e3efc770b54d0984a8f19b14719e6363564"
703      "1d6b1eedf63efbf080e1783d32445412114c20de0b837a0dfa33d6b82825fff4"
704      "4c9a70ea54ce47f07df698e6b03323b53079364a5fc3e9dd034392bdde86dccd"
705      "da94321c5e44060489336cb65bf3989c36f7282c2f5d2b882c171e74",
706      "95d5c005503e510d8cd0aa072c4a4d06""6eabc52d11653df47fbf63ab198bcc26",
707      "f248312e578d9d58f8b7bb4d19105431"
708     },
709     /*
710      * AVX2 in poly1305-x86.pl failed this with 176+32 split
711      */
712     {
713     "248ac31085b6c2adaaa38259a0d7192c5c35d1bb4ef39ad94c38d1c82479e2dd"
714     "2159a077024b0589bc8a20101b506f0a1ad0bbab76e83a83f1b94be6beae74e8"
715     "74cab692c5963a75436b776121ec9f62399a3e66b2d22707dae81933b6277f3c"
716     "8516bcbe26dbbd86f373103d7cf4cad1888c952118fbfbd0d7b4bedc4ae4936a"
717     "ff91157e7aa47c54442ea78d6ac251d324a0fbe49d89cc3521b66d16e9c66a37"
718     "09894e4eb0a4eedc4ae19468e66b81f2"
719     "71351b1d921ea551047abcc6b87a901fde7db79fa1818c11336dbc07244a40eb",
720     "000102030405060708090a0b0c0d0e0f""00000000000000000000000000000000",
721     "bc939bc5281480fa99c6d68c258ec42f"
722     },
723     /*
724      * test vectors from Google
725      */
726     {
727      "",
728      "c8afaac331ee372cd6082de134943b17""4710130e9f6fea8d72293850a667d86c",
729      "4710130e9f6fea8d72293850a667d86c",
730     },
731     {
732      "48656c6c6f20776f726c6421",
733      "746869732069732033322d6279746520""6b657920666f7220506f6c7931333035",
734      "a6f745008f81c916a20dcc74eef2b2f0"
735     },
736     {
737      "0000000000000000000000000000000000000000000000000000000000000000",
738      "746869732069732033322d6279746520""6b657920666f7220506f6c7931333035",
739      "49ec78090e481ec6c26b33b91ccc0307"
740     },
741     {
742      "89dab80b7717c1db5db437860a3f70218e93e1b8f461fb677f16f35f6f87e2a9"
743      "1c99bc3a47ace47640cc95c345be5ecca5a3523c35cc01893af0b64a62033427"
744      "0372ec12482d1b1e363561698a578b359803495bb4e2ef1930b17a5190b580f1"
745      "41300df30adbeca28f6427a8bc1a999fd51c554a017d095d8c3e3127daf9f595",
746      "2d773be37adb1e4d683bf0075e79c4ee""037918535a7f99ccb7040fb5f5f43aea",
747      "c85d15ed44c378d6b00e23064c7bcd51"
748     },
749     {
750      "000000000000000b1703030200000000"
751      "06db1f1f368d696a810a349c0c714c9a5e7850c2407d721acded95e018d7a852"
752      "66a6e1289cdb4aeb18da5ac8a2b0026d24a59ad485227f3eaedbb2e7e35e1c66"
753      "cd60f9abf716dcc9ac42682dd7dab287a7024c4eefc321cc0574e16793e37cec"
754      "03c5bda42b54c114a80b57af26416c7be742005e20855c73e21dc8e2edc9d435"
755      "cb6f6059280011c270b71570051c1c9b3052126620bc1e2730fa066c7a509d53"
756      "c60e5ae1b40aa6e39e49669228c90eecb4a50db32a50bc49e90b4f4b359a1dfd"
757      "11749cd3867fcf2fb7bb6cd4738f6a4ad6f7ca5058f7618845af9f020f6c3b96"
758      "7b8f4cd4a91e2813b507ae66f2d35c18284f7292186062e10fd5510d18775351"
759      "ef334e7634ab4743f5b68f49adcab384d3fd75f7390f4006ef2a295c8c7a076a"
760      "d54546cd25d2107fbe1436c840924aaebe5b370893cd63d1325b8616fc481088"
761      "6bc152c53221b6df373119393255ee72bcaa880174f1717f9184fa91646f17a2"
762      "4ac55d16bfddca9581a92eda479201f0edbf633600d6066d1ab36d5d2415d713"
763      "51bbcd608a25108d25641992c1f26c531cf9f90203bc4cc19f5927d834b0a471"
764      "16d3884bbb164b8ec883d1ac832e56b3918a98601a08d171881541d594db399c"
765      "6ae6151221745aec814c45b0b05b565436fd6f137aa10a0c0b643761dbd6f9a9"
766      "dcb99b1a6e690854ce0769cde39761d82fcdec15f0d92d7d8e94ade8eb83fbe0",
767      "99e5822dd4173c995e3dae0ddefb9774""3fde3b080134b39f76e9bf8d0e88d546",
768      "2637408fe13086ea73f971e3425e2820"
769     },
770     /*
771      * test vectors from Hanno Böck
772      */
773     {
774      "cccccccccccccccccccccccccccccccccccccccccccccccccc80cccccccccccc"
775      "cccccccccccccccccccccccccccccccccccccccccccccccccccccccccecccccc"
776      "ccccccccccccccccccccccccccccccc5cccccccccccccccccccccccccccccccc"
777      "cccccccccce3cccccccccccccccccccccccccccccccccccccccccccccccccccc"
778      "ccccccccaccccccccccccccccccccce6cccccccccc000000afcccccccccccccc"
779      "ccccfffffff50000000000000000000000000000000000000000000000000000"
780      "00ffffffe7000000000000000000000000000000000000000000000000000000"
781      "0000000000000000000000000000000000000000000000000000719205a8521d"
782      "fc",
783      "7f1b0264000000000000000000000000""0000000000000000cccccccccccccccc",
784      "8559b876eceed66eb37798c0457baff9"
785     },
786     {
787      "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa0000000000"
788      "00000000800264",
789      "e0001600000000000000000000000000""0000aaaaaaaaaaaaaaaaaaaaaaaaaaaa",
790      "00bd1258978e205444c9aaaa82006fed"
791     },
792     {
793      "02fc",
794      "0c0c0c0c0c0c0c0c0c0c0c0c0c0c0c0c""0c0c0c0c0c0c0c0c0c0c0c0c0c0c0c0c",
795      "06120c0c0c0c0c0c0c0c0c0c0c0c0c0c"
796     },
797     {
798      "7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b"
799      "7b7b7b7b7b7b7a7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b"
800      "7b7b5c7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b"
801      "7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b6e7b007b7b7b7b7b7b7b7b7b"
802      "7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7a7b7b7b7b7b7b7b7b7b7b7b7b"
803      "7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b5c7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b"
804      "7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b7b"
805      "7b6e7b001300000000b300000000000000000000000000000000000000000000"
806      "f20000000000000000000000000000000000002000efff000900000000000000"
807      "0000000000100000000009000000640000000000000000000000001300000000"
808      "b300000000000000000000000000000000000000000000f20000000000000000"
809      "000000000000000000002000efff00090000000000000000007a000010000000"
810      "000900000064000000000000000000000000000000000000000000000000fc",
811      "00ff0000000000000000000000000000""00000000001e00000000000000007b7b",
812      "33205bbf9e9f8f7212ab9e2ab9b7e4a5"
813     },
814     {
815      "7777777777777777777777777777777777777777777777777777777777777777"
816      "7777777777777777777777777777777777777777777777777777777777777777"
817      "777777777777777777777777ffffffe9e9acacacacacacacacacacac0000acac"
818      "ec0100acacac2caca2acacacacacacacacacacac64f2",
819      "0000007f0000007f0100002000000000""0000cf77777777777777777777777777",
820      "02ee7c8c546ddeb1a467e4c3981158b9"
821     },
822     /*
823      * test vectors from Andrew Moon
824      */
825     {   /* nacl */
826      "8e993b9f48681273c29650ba32fc76ce48332ea7164d96a4476fb8c531a1186a"
827      "c0dfc17c98dce87b4da7f011ec48c97271d2c20f9b928fe2270d6fb863d51738"
828      "b48eeee314a7cc8ab932164548e526ae90224368517acfeabd6bb3732bc0e9da"
829      "99832b61ca01b6de56244a9e88d5f9b37973f622a43d14a6599b1f654cb45a74"
830      "e355a5",
831      "eea6a7251c1e72916d11c2cb214d3c25""2539121d8e234e652d651fa4c8cff880",
832      "f3ffc7703f9400e52a7dfb4b3d3305d9"
833     },
834     {   /* wrap 2^130-5 */
835      "ffffffffffffffffffffffffffffffff",
836      "02000000000000000000000000000000""00000000000000000000000000000000",
837      "03000000000000000000000000000000"
838     },
839     {   /* wrap 2^128 */
840      "02000000000000000000000000000000",
841      "02000000000000000000000000000000""ffffffffffffffffffffffffffffffff",
842      "03000000000000000000000000000000"
843     },
844     {   /* limb carry */
845      "fffffffffffffffffffffffffffffffff0ffffffffffffffffffffffffffffff"
846      "11000000000000000000000000000000",
847      "01000000000000000000000000000000""00000000000000000000000000000000",
848      "05000000000000000000000000000000"
849     },
850     {   /* 2^130-5 */
851      "fffffffffffffffffffffffffffffffffbfefefefefefefefefefefefefefefe"
852      "01010101010101010101010101010101",
853      "01000000000000000000000000000000""00000000000000000000000000000000",
854      "00000000000000000000000000000000"
855     },
856     {   /* 2^130-6 */
857      "fdffffffffffffffffffffffffffffff",
858      "02000000000000000000000000000000""00000000000000000000000000000000",
859      "faffffffffffffffffffffffffffffff"
860     },
861     {   /* 5*H+L reduction intermediate */
862      "e33594d7505e43b900000000000000003394d7505e4379cd0100000000000000"
863      "0000000000000000000000000000000001000000000000000000000000000000",
864      "01000000000000000400000000000000""00000000000000000000000000000000",
865      "14000000000000005500000000000000"
866     },
867     {   /* 5*H+L reduction final */
868      "e33594d7505e43b900000000000000003394d7505e4379cd0100000000000000"
869      "00000000000000000000000000000000",
870      "01000000000000000400000000000000""00000000000000000000000000000000",
871      "13000000000000000000000000000000"
872     }
873 };
874
875 static unsigned char hex_digit(char h)
876 {
877     int i = OPENSSL_hexchar2int(h);
878
879     if (i < 0)
880         abort();
881     return i;
882 }
883
884 static void hex_decode(unsigned char *out, const char *hex)
885 {
886     size_t j = 0;
887
888     while (*hex != 0) {
889         unsigned char v = hex_digit(*hex++);
890         v <<= 4;
891         v |= hex_digit(*hex++);
892         out[j++] = v;
893     }
894 }
895
896 static void hexdump(unsigned char *a, size_t len)
897 {
898     size_t i;
899
900     for (i = 0; i < len; i++)
901         printf("%02x", a[i]);
902 }
903
904 int main()
905 {
906     static const unsigned num_tests =
907         sizeof(poly1305_tests) / sizeof(struct poly1305_test);
908     unsigned i;
909     unsigned char key[32], out[16], expected[16];
910     POLY1305 poly1305;
911
912     for (i = 0; i < num_tests; i++) {
913         const struct poly1305_test *test = &poly1305_tests[i];
914         unsigned char *in;
915         size_t inlen = strlen(test->inputhex);
916
917         if (strlen(test->keyhex) != sizeof(key) * 2 ||
918             strlen(test->outhex) != sizeof(out) * 2 || (inlen & 1) == 1)
919             return 1;
920
921         inlen /= 2;
922
923         hex_decode(key, test->keyhex);
924         hex_decode(expected, test->outhex);
925
926         in = malloc(inlen);
927
928         hex_decode(in, test->inputhex);
929
930         Poly1305_Init(&poly1305, key);
931         Poly1305_Update(&poly1305, in, inlen);
932         Poly1305_Final(&poly1305, out);
933
934         if (memcmp(out, expected, sizeof(expected)) != 0) {
935             printf("Poly1305 test #%d failed.\n", i);
936             printf("got:      ");
937             hexdump(out, sizeof(out));
938             printf("\nexpected: ");
939             hexdump(expected, sizeof(expected));
940             printf("\n");
941             return 1;
942         }
943
944         if (inlen > 16) {
945             Poly1305_Init(&poly1305, key);
946             Poly1305_Update(&poly1305, in, 1);
947             Poly1305_Update(&poly1305, in+1, inlen-1);
948             Poly1305_Final(&poly1305, out);
949
950             if (memcmp(out, expected, sizeof(expected)) != 0) {
951                 printf("Poly1305 test #%d/1+(N-1) failed.\n", i);
952                 printf("got:      ");
953                 hexdump(out, sizeof(out));
954                 printf("\nexpected: ");
955                 hexdump(expected, sizeof(expected));
956                 printf("\n");
957                 return 1;
958             }
959         }
960
961         if (inlen > 32) {
962             size_t half = inlen / 2;
963
964             Poly1305_Init(&poly1305, key);
965             Poly1305_Update(&poly1305, in, half);
966             Poly1305_Update(&poly1305, in+half, inlen-half);
967             Poly1305_Final(&poly1305, out);
968
969             if (memcmp(out, expected, sizeof(expected)) != 0) {
970                 printf("Poly1305 test #%d/2 failed.\n", i);
971                 printf("got:      ");
972                 hexdump(out, sizeof(out));
973                 printf("\nexpected: ");
974                 hexdump(expected, sizeof(expected));
975                 printf("\n");
976                 return 1;
977             }
978
979             for (half = 16; half < inlen; half += 16) {
980                 Poly1305_Init(&poly1305, key);
981                 Poly1305_Update(&poly1305, in, half);
982                 Poly1305_Update(&poly1305, in+half, inlen-half);
983                 Poly1305_Final(&poly1305, out);
984
985                 if (memcmp(out, expected, sizeof(expected)) != 0) {
986                     printf("Poly1305 test #%d/%d+%d failed.\n",
987                                            i, half, inlen-half);
988                     printf("got:      ");
989                     hexdump(out, sizeof(out));
990                     printf("\nexpected: ");
991                     hexdump(expected, sizeof(expected));
992                     printf("\n");
993                     return 1;
994                 }
995             }
996         }
997
998         free(in);
999     }
1000
1001     printf("PASS\n");
1002
1003 # ifdef OPENSSL_CPUID_OBJ
1004     {
1005         unsigned char buf[8192];
1006         unsigned long long stopwatch;
1007         unsigned long long OPENSSL_rdtsc();
1008
1009         memset (buf,0x55,sizeof(buf));
1010         memset (key,0xAA,sizeof(key));
1011
1012         Poly1305_Init(&poly1305, key);
1013
1014         for (i=0;i<100000;i++)
1015             Poly1305_Update(&poly1305,buf,sizeof(buf));
1016
1017         stopwatch = OPENSSL_rdtsc();
1018         for (i=0;i<10000;i++)
1019             Poly1305_Update(&poly1305,buf,sizeof(buf));
1020         stopwatch = OPENSSL_rdtsc() - stopwatch;
1021
1022         printf("%g\n",stopwatch/(double)(i*sizeof(buf)));
1023
1024         stopwatch = OPENSSL_rdtsc();
1025         for (i=0;i<10000;i++) {
1026             Poly1305_Init(&poly1305, key);
1027             Poly1305_Update(&poly1305,buf,16);
1028             Poly1305_Final(&poly1305,buf);
1029         }
1030         stopwatch = OPENSSL_rdtsc() - stopwatch;
1031
1032         printf("%g\n",stopwatch/(double)(i));
1033     }
1034 # endif
1035     return 0;
1036 }
1037 #endif