Lambdaを使って S3 Select の結果をS3に保存する

こんにちは、コネクトムのコジマです。 コネクトムでは、一部のデータの前処理にS3 SELECTを使ってます。 そのなかで調べたことを少しまとめます。 S3 SELECT API について (2019-03時点で) 今のところ S3 Select 関連のAPIは SELECT Object Content だけで…

ReagentでLeafletを試す

こんにちは。analysisチームの河野です。 趣味的な記事が続いたので、今回は業務に関係したことを書きます。 弊社は位置情報を利用したWebサービスを提供しているので、地図ライブラリは避けては通れないものなのですが、私自身はこの分野にものすごく疎いの…

朝起きる技術

こんにちは。analysisチームの河野です。 皆さん、朝は得意でしょうか?私は子供の頃から苦手です。休みの日は14:00ぐらいまで寝たりしてます。 そんな感じで朝が苦手なので、遅刻をたまにしてしまいます。 目覚まし時計は大学生の頃に買ったのですが、強く…

AWS LambdaでClojureを使いたかった

はじめまして。analysisチームの河野です。ここ2年ぐらい趣味でLispを勉強しています。 最近はClojureでwebサーバみたいなものを作ったりして遊んでいます。 業務ではTypeScriptとAWS Lambdaでサーバレスなアプリケーションを作っていますが AWS LambdaでもC…

AWS S3のオブジェクトの ETag を MD5ハッシュにしたい

S3にアップロードされたファイルの同一性をチェックしたりするために、ハッシュ値を使いたく、 いろいろ調べたのでまとめます。 先に結論 ETagがMD5になる ETagの値は、次の条件の場合 MD5ハッシュ が設定されます。 PUT、POST、またはCOPYで作成された、SSE…

Apache CarbonData を試す

今回はSparkからCarbonDataを作成して UPDATE と DELETE をしてみたいと思います。 CarbonDataの UPDATE と DELETE の動きは次のWikiにまとめられています。QuicStart を参考に試してみます。 Update and Delete Support 前準備 サンプルデータ作成 サンプル…

Apache CarbonData の紹介

こんにちは。コネクトムの児島です。 弊社では広告配信のログなどの分析のために Apache Spark などのOSSのビッグデータ分析基盤 を活用しています。 実運用では使っていませんが、列指向フォーマットの CarbonData を調査したので紹介します。 CarbonData …

Japan Container Days v18.04に行ってきました。

はじめまして! コネクトムの草ヶ谷と申します。 これから記事を書いていき、徐々に充実したブログにしていきたいと思っておりますので、どうぞよろしくお願い致します! で、1発目の記事が勉強会レポートでなにやら微妙な感じもしますが・・・。 4/19(木)…

<ご挨拶> コネクトムの開発者ブログを始めました! (^^)

こんにちは! 株式会社コネクトムで、エンジニアリング組織のマネージャーをしている土屋尾(ドヤオ)と申します。 (↓デブサミ2017を楽しむ私) コネクトムは、feel good という「気持ちのよいお買い物体験をつくる」というミッションを持って2014年にオプ…