ghash-sparcv9.pl: fix Makefile rule and add performance data for T1.
[openssl.git] / crypto / modes / ctr128.c
1 /* ====================================================================
2  * Copyright (c) 2008 The OpenSSL Project.  All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  *
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer. 
10  *
11  * 2. Redistributions in binary form must reproduce the above copyright
12  *    notice, this list of conditions and the following disclaimer in
13  *    the documentation and/or other materials provided with the
14  *    distribution.
15  *
16  * 3. All advertising materials mentioning features or use of this
17  *    software must display the following acknowledgment:
18  *    "This product includes software developed by the OpenSSL Project
19  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
20  *
21  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
22  *    endorse or promote products derived from this software without
23  *    prior written permission. For written permission, please contact
24  *    openssl-core@openssl.org.
25  *
26  * 5. Products derived from this software may not be called "OpenSSL"
27  *    nor may "OpenSSL" appear in their names without prior written
28  *    permission of the OpenSSL Project.
29  *
30  * 6. Redistributions of any form whatsoever must retain the following
31  *    acknowledgment:
32  *    "This product includes software developed by the OpenSSL Project
33  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
34  *
35  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
36  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
37  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
38  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
39  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
40  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
41  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
42  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
43  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
44  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
45  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
46  * OF THE POSSIBILITY OF SUCH DAMAGE.
47  * ====================================================================
48  *
49  */
50
51 #include "modes_lcl.h"
52 #include <string.h>
53
54 #ifndef MODES_DEBUG
55 # ifndef NDEBUG
56 #  define NDEBUG
57 # endif
58 #endif
59 #include <assert.h>
60
61 /* NOTE: the IV/counter CTR mode is big-endian.  The code itself
62  * is endian-neutral. */
63
64 /* increment counter (128-bit int) by 1 */
65 static void ctr128_inc(unsigned char *counter) {
66         u32 n=16;
67         u8  c;
68
69         do {
70                 --n;
71                 c = counter[n];
72                 ++c;
73                 counter[n] = c;
74                 if (c) return;
75         } while (n);
76 }
77
78 #if !defined(OPENSSL_SMALL_FOOTPRINT)
79 static void ctr128_inc_aligned(unsigned char *counter) {
80         size_t *data,c,n;
81         const union { long one; char little; } is_endian = {1};
82
83         if (is_endian.little) {
84                 ctr128_inc(counter);
85                 return;
86         }
87
88         data = (size_t *)counter;
89         n = 16/sizeof(size_t);
90         do {
91                 --n;
92                 c = data[n];
93                 ++c;
94                 data[n] = c;
95                 if (c) return;
96         } while (n);
97 }
98 #endif
99
100 /* The input encrypted as though 128bit counter mode is being
101  * used.  The extra state information to record how much of the
102  * 128bit block we have used is contained in *num, and the
103  * encrypted counter is kept in ecount_buf.  Both *num and
104  * ecount_buf must be initialised with zeros before the first
105  * call to CRYPTO_ctr128_encrypt().
106  *
107  * This algorithm assumes that the counter is in the x lower bits
108  * of the IV (ivec), and that the application has full control over
109  * overflow and the rest of the IV.  This implementation takes NO
110  * responsability for checking that the counter doesn't overflow
111  * into the rest of the IV when incremented.
112  */
113 void CRYPTO_ctr128_encrypt(const unsigned char *in, unsigned char *out,
114                         size_t len, const void *key,
115                         unsigned char ivec[16], unsigned char ecount_buf[16],
116                         unsigned int *num, block128_f block)
117 {
118         unsigned int n;
119         size_t l=0;
120
121         assert(in && out && key && ecount_buf && num);
122         assert(*num < 16);
123
124         n = *num;
125
126 #if !defined(OPENSSL_SMALL_FOOTPRINT)
127         if (16%sizeof(size_t) == 0) do { /* always true actually */
128                 while (n && len) {
129                         *(out++) = *(in++) ^ ecount_buf[n];
130                         --len;
131                         n = (n+1) % 16;
132                 }
133
134 #if defined(STRICT_ALIGNMENT)
135                 if (((size_t)in|(size_t)out|(size_t)ivec)%sizeof(size_t) != 0)
136                         break;
137 #endif
138                 while (len>=16) {
139                         (*block)(ivec, ecount_buf, key);
140                         ctr128_inc_aligned(ivec);
141                         for (; n<16; n+=sizeof(size_t))
142                                 *(size_t *)(out+n) =
143                                 *(size_t *)(in+n) ^ *(size_t *)(ecount_buf+n);
144                         len -= 16;
145                         out += 16;
146                         in  += 16;
147                         n = 0;
148                 }
149                 if (len) {
150                         (*block)(ivec, ecount_buf, key);
151                         ctr128_inc_aligned(ivec);
152                         while (len--) {
153                                 out[n] = in[n] ^ ecount_buf[n];
154                                 ++n;
155                         }
156                 }
157                 *num = n;
158                 return;
159         } while(0);
160         /* the rest would be commonly eliminated by x86* compiler */
161 #endif
162         while (l<len) {
163                 if (n==0) {
164                         (*block)(ivec, ecount_buf, key);
165                         ctr128_inc(ivec);
166                 }
167                 out[l] = in[l] ^ ecount_buf[n];
168                 ++l;
169                 n = (n+1) % 16;
170         }
171
172         *num=n;
173 }
174
175 /* increment upper 96 bits of 128-bit counter by 1 */
176 static void ctr96_inc(unsigned char *counter) {
177         u32 n=12;
178         u8  c;
179
180         do {
181                 --n;
182                 c = counter[n];
183                 ++c;
184                 counter[n] = c;
185                 if (c) return;
186         } while (n);
187 }
188
189 void CRYPTO_ctr128_encrypt_ctr32(const unsigned char *in, unsigned char *out,
190                         size_t len, const void *key,
191                         unsigned char ivec[16], unsigned char ecount_buf[16],
192                         unsigned int *num, ctr128_f func)
193 {
194         unsigned int n,ctr32;
195
196         assert(in && out && key && ecount_buf && num);
197         assert(*num < 16);
198
199         n = *num;
200
201         while (n && len) {
202                 *(out++) = *(in++) ^ ecount_buf[n];
203                 --len;
204                 n = (n+1) % 16;
205         }
206
207         ctr32 = GETU32(ivec+12);
208         while (len>=16) {
209                 size_t blocks = len/16;
210                 /*
211                  * 1<<28 is just a not-so-small yet not-so-large number...
212                  * Below condition is practically never met, but it has to
213                  * be checked for code correctness.
214                  */
215                 if (sizeof(size_t)>sizeof(unsigned int) && blocks>(1U<<28))
216                         blocks = (1U<<28);
217                 /*
218                  * As (*func) operates on 32-bit counter, caller
219                  * has to handle overflow. 'if' below detects the
220                  * overflow, which is then handled by limiting the
221                  * amount of blocks to the exact overflow point...
222                  */
223                 ctr32 += (u32)blocks;
224                 if (ctr32 < blocks) {
225                         blocks -= ctr32;
226                         ctr32   = 0;
227                 }
228                 (*func)(in,out,blocks,key,ivec);
229                 /* (*ctr) does not update ivec, caller does: */
230                 PUTU32(ivec+12,ctr32);
231                 /* ... overflow was detected, propogate carry. */
232                 if (ctr32 == 0) ctr96_inc(ivec);
233                 blocks *= 16;
234                 len -= blocks;
235                 out += blocks;
236                 in  += blocks;
237         }
238         if (len) {
239                 memset(ecount_buf,0,16);
240                 (*func)(ecount_buf,ecount_buf,1,key,ivec);
241                 ++ctr32;
242                 PUTU32(ivec+12,ctr32);
243                 if (ctr32 == 0) ctr96_inc(ivec);
244                 while (len--) {
245                         out[n] = in[n] ^ ecount_buf[n];
246                         ++n;
247                 }
248         }
249
250         *num=n;
251 }