아래 코드는 int가 32비트인 C 환경에서 미정의 동작(undefined behavior, UB)을 일으킵니다.

int a = 50000;
int b = 50000;
long long result = a * b;

두 수를 곱한 값은 2,500,000,000으로 long long에 담을 수 있습니다. 하지만 a * b의 두 피연산자는 모두 int이므로 곱셈도 int로 계산합니다. 이 과정에서 int의 최댓값인 2,147,483,647을 넘습니다. 부호 있는 정수의 오버플로우는 미정의 동작이므로 특정한 값으로 순환하거나 프로그램이 종료된다고 보장할 수 없습니다. (그것이 미정의 행동이니까요.)

이 경우에는 곱셈 전에 피연산자를 long long으로 캐스팅하면 됩니다.

long long result = (long long)a * b; // 2500000000

C에서는 계산에 사용할 두 값의 타입을 먼저 맞춥니다. 두 값의 타입이 다르면 정해진 규칙에 따라 같은 타입으로 변환한 뒤 연산합니다.

위 코드에서는 (long long)a의 타입이 long long이고 b의 타입은 int입니다. 이 경우 b의 값도 long long으로 변환되어 두 값을 곱하므로, 결과의 타입도 long long이 됩니다. 변수 a와 b의 선언 타입은 그대로 int입니다.

반면 (long long)(a * b)는 int 곱셈의 결과를 나중에 변환하므로 문제를 해결하지 못합니다. 결과를 대입할 변수의 타입이 곱셈에 쓰이는 타입을 바꾸지는 않습니다.

malloc()을 위한 버퍼 공간을 할당할 때 위와 같이 계산했다면 재앙이 발생합니다. 어디서 터지는지 찾기 위해 밤을 새야하고 병풍이 세워지기도 하고 이곳 저곳에서 모두가 전화와서 이런게 문제 아니겠느냐 며 조언을 하기 시작합니다. 영원히 문제를 해결할 수 없게 됩니다…

예를 들어 체결 내역 조회 응답 전문에 체결 건수와 건별 종목 코드, 체결 가격, 체결 수량이 들어온다고 하겠습니다. 전문에서 체결 건수 n을 읽고 각 체결 내역을 파싱해 Execution 구조체 배열에 저장하려면, 파싱 결과를 담을 공간을 먼저 할당해야 합니다. 원소 하나의 크기 s는 sizeof(Execution)이므로 필요한 공간은 n * sizeof(Execution)바이트입니다.

sizeof의 결과 타입인 size_t는 부호 없는 정수 타입이며 최댓값은 SIZE_MAX입니다. 부호 없는 정수 연산이 표현 범위를 넘으면 값이 순환하는 래핑이 일어납니다. 이로 인해 필요한 크기보다 작은 값이 malloc()에 전달될 수 있습니다. 그 크기로 할당한 뒤 원래 체결 건수만큼 파싱 결과를 저장하면 버퍼 경계를 넘게 됩니다.

따라서 곱하기 전에 n > SIZE_MAX / s인지 확인합니다. n * s > SIZE_MAX로 검사하려 하면 검사식의 곱셈부터 래핑될 수 있습니다. 정수 나눗셈으로 먼저 비교하면 곱셈을 하지 않고도 범위를 확인할 수 있습니다.

#include <stdint.h>
#include <stdlib.h>

typedef struct {
    char symbol[16];
    int64_t price;
    int64_t quantity;
} Execution;

Execution *allocate_executions(size_t n)
{
    const size_t element_size = sizeof(Execution);

    if (n == 0 || n > SIZE_MAX / element_size) {
        return NULL;
    }

    return malloc(n * element_size);
}

여기서는 체결 건수가 0인 요청도 NULL로 처리했습니다. 크기 계산이 범위 안에 들어와도 실제 메모리 할당은 실패할 수 있습니다. 호출한 쪽에서 기존 malloc() 용례처럼 반환값을 확인해야 합니다.