Заказчик требует возврата стоимости поддонов от кирпича.

Вы пропускаете маленькую "пикантную" ситуацию. Вопрошающий  подтверждает, что заказчик привёз кирпич на поддонах, а они поднимают кирпич с поддонами на этажи. В смете указан кирпич и его стоимость. Но там нет поддонов. Поддоны, если это возвратный материал, могли быть оценены отдельно, что скорее-всего так и было. Кирпич могли бы привезти навалом, например, или пакетированный. Взяли кирпич, будьте любезны поставить поддоны на то место откуда взяли кирпич уложенный на поддоны. Что же тут такого сложного?. Типичное разгильдяйство работников подрядчика. На кой чёрт там они держат руководство участка? Сидеть в вагончике и чаи гонять? А ведь в сметных нормах предусмотрена уборка оставшихся материалов  после окончания производства работ. Или нет?...

Вы почти добрались до истины    "... до приобъектного склада объекта капитального строительства". Воот она граница ответственности где оказывается. Следовательно, заказчик исполнил свои обязательства??  
А вот "Мы не знаем как кирпич учтен в смете, если по ФССЦ (ТССЦ) то все расписано в техчасти к ФССЦ(ТССЦ)...." предстоит, возможно, рассказать в суде. Вероятно, он с удовольствием послушает мнение сторон.
А вот как гласит, например ст. 713 ГК РФ (не обращая внимания на иные нормы законов на тему имущественных отношений в разрезе "заказчик-подрядчик" вплоть до Уголовного Кодекса):

1. Подрядчик обязан использовать предоставленный заказчиком материал экономно и расчетливо, после окончания работы представить заказчику отчет об израсходовании материала, а также возвратить его остаток либо с согласия заказчика уменьшить цену работы с учетом стоимости остающегося у подрядчика неиспользованного материала.

2. Если результат работы не был достигнут либо достигнутый результат оказался с недостатками, которые делают его не пригодным для предусмотренного в договоре подряда использования, а при отсутствии в договоре соответствующего условия не пригодным для обычного использования, по причинам, вызванным недостатками предоставленного заказчиком материала, подрядчик вправе потребовать оплаты выполненной им работы.

3. Подрядчик может осуществить право, указанное в пункте 2 настоящей статьи, в случае, если докажет, что недостатки материала не могли быть обнаружены при надлежащей приемке подрядчиком этого материала.

Кстати, без строительно-технической экспертизы не обойтись. Как пример, вот выдержка (по одному делу с бородой  совсем свежему решению)  из Постановления кассационной инстанции Арбитражного суда Северо-Кавказского округа об отмене решений нижестоящих арбитражных судов и направлении дела в суд первой инстанции  для нового рассмотрения: "Суды сделали вывод об устранимости выявленных дефектов в отсутствие специальных познаний. Для правильного разрешения спора требовалось проведение судебной экспертизы, ввиду чего суды неправомерно отказали в ходатайстве .<......> о проведении экспертизы, а также необоснованно отказали в приостановлении производства по делу до разрешения спора по существу по делу <....>..." Судебные разборки по этому делу длятся уже более 3 лет. Ещё года три будут бодаться. Это о перспективах.

Несомненно, стороны допустили ряд ошибок, не следуя народной мудрости "Зад  свой надо подстраховывать...на всякий случай, а случаи бывают разные", полагаясь на "порядочность"  партнёра.