AWS LambdaでClojureを使いたかった

はじめまして。analysisチームの河野です。ここ2年ぐらい趣味でLispを勉強しています。 最近はClojureでwebサーバみたいなものを作ったりして遊んでいます。 業務ではTypeScriptとAWS Lambdaでサーバレスなアプリケーションを作っていますが AWS LambdaでもC…

AWS S3のオブジェクトの ETag を MD5ハッシュにしたい

S3にアップロードされたファイルの同一性をチェックしたりするために、ハッシュ値を使いたく、 いろいろ調べたのでまとめます。 先に結論 ETagがMD5になる ETagの値は、次の条件の場合 MD5ハッシュ が設定されます。 PUT、POST、またはCOPYで作成された、SSE…

Apache CarbonData を試す

今回はSparkからCarbonDataを作成して UPDATE と DELETE をしてみたいと思います。 CarbonDataの UPDATE と DELETE の動きは次のWikiにまとめられています。QuicStart を参考に試してみます。 Update and Delete Support 前準備 サンプルデータ作成 サンプル…

Apache CarbonData の紹介

こんにちは。コネクトムの児島です。 弊社では広告配信のログなどの分析のために Apache Spark などのOSSのビッグデータ分析基盤 を活用しています。 実運用では使っていませんが、列指向フォーマットの CarbonData を調査したので紹介します。 CarbonData …

Japan Container Days v18.04に行ってきました。

はじめまして! コネクトムの草ヶ谷と申します。 これから記事を書いていき、徐々に充実したブログにしていきたいと思っておりますので、どうぞよろしくお願い致します! で、1発目の記事が勉強会レポートでなにやら微妙な感じもしますが・・・。 4/19(木)…

<ご挨拶> コネクトムの開発者ブログを始めました! (^^)

こんにちは! 株式会社コネクトムで、エンジニアリング組織のマネージャーをしている土屋尾(ドヤオ)と申します。 (↓デブサミ2017を楽しむ私) コネクトムは、feel good という「気持ちのよいお買い物体験をつくる」というミッションを持って2014年にオプ…