[2206.13475] Thermodynamics of Interpretation
@yoko_materialDX
#AI の #ブラックボックス問題 を #熱力学 の視点から解決する論文。
熱力学をヒントに、AI解釈の単純性をエンタルピー、不誠実さをエントロピーに見立て、解釈自由エネルギーという概念を導入。これを最小化し解釈の「平衡状態」を求める手法とのこと。
発想すごい系論文。
t.co/BrkFBvnuyb
[2206.13446] Pen and Paper Exercises in Machine Learning
@rasbt
"Pen & Paper Exercises in Machine Learning" -- probably the most interesting arXiv article I've seen in a while ☺️
📝 t.co/JQWhJadxzo
Love it when exercises come with solutions. 👌
(Textbooks with exercises but w/o solutions are truly evil 😆). t.co/bULUF1UclK
@variational_i
A collection of 🖊️ and 📜 problems on topics in unsupervised #MachineLearning by Michael Gutmann @InfAtEd Every problem comes with a typical Michael-style step-by-step, detailed solution. Highly recommended for students or anyone needing to brush up 🙂 t.co/rRuEMkXTBz
[2206.13517] ProGen2: Exploring the Boundaries of Protein Language Models
@KevinKaichuang
Investigating the effectiveness of protein language models with up to 6.4B parameters trained on a variety of sequence datasets.
@erik_nijkamp @jeffruffolo @EliWeinstein6 @nikhil_a @thisismadani
t.co/dIuHD2LXuz t.co/85bUCzscEY
データ分析初心者向けおすすめ本のご紹介 〜第3弾・データ集計力編〜｜Mercari Analytics Blog｜note
@syou6162
自分も同じ辺りをオススメすること多かった。レベル感もうちょい上げていいなら、達人に学ぶSQL徹底指南書とかも入れたい
t.co/avcvELX4l0
データ分析におけるデータ可視化の極意 - Qiita
@VlogleGuide
データ分析におけるデータ可視化の極意
t.co/mZ6FQXM90a #Qiita
最近Power BIを使うようになって、こちらの記事が「目的別ビジュアル（グラフ）の選び方」が参考になった
今までに見た目や感覚で選んでたけど、これベースにグラフを使い分けたいと思います♪
今どきのLinux事情 - Speaker Deck
@matsuu
わいわい。いいね。ちなみに~/.configはXDG_CONFIG_HOME環境変数で場所を変更できる。詳細はArchWikiのXDG Base Directoryを見てくれ。macOSのopenの代わりはxdg-openを用意するといいぞ。 / “今どきのLinux事情” t.co/3tJTuBbswg
@atsushieno
さすがにメイン環境がLinuxデスクトップなのでたいがい「せやな（知ってた）」ってなるけど古い知識で止まってるかも?って思う人向けによさそう。
オーディオ界隈は古い前提知識で作られてるのが割とあってそれなりに頭を抱えるよね…あとDAWとかコンテナ化できないし… t.co/TtsAolwvDh
@kawashin1
デスクトップLinux の話！
UNIX の思い出に Solaris が出てこない世界線なんだなーと、ついつい思ってしまったりも。
t.co/N3qEsIgHUw
Data Science and AI for Neuroscience Summer School | Che...
@SaberaTalukder
Your @CaltechN summer of learning🏝️🧠🤓
July 5-8:
✦comp. basics
✦dynamical time series
✦high dimensional data
✦autoencoders & ML
July 11-15:
✦single cell seq
✦BYO data
✦deep learning & LFADS
✦generative modeling & MYOW
✦RNNs & dynamical systems
t.co/KAvFjfhZQk
[2206.15474] Forecasting Future World Events with Neural Networks
@DanHendrycks
Can we use ML models to predict future world events?
We create the Autocast forecasting benchmark to measure their prescience. ML models don't yet beat humans/prediction markets, but they are starting to have traction.
Paper: t.co/aAC3XZxxhl
Code: t.co/7dbNPDzWN6 t.co/VkgEALsThq
@PavelDAtanasov
"We test language models on our forecasting task and find that performance is far below a human expert baseline. However, performance improves with increased model size and incorporation of relevant information from the news corpus."
t.co/nIfl4MVIHZ t.co/nuPPXBcSu0
@OwainEvans_UK
IntervalQA includes diverse numerical questions from existing QA datasets:
SQuAD, 80K Hours Calibration, Eighth Grade Arithmetic (Cobbe et al), TriviaQA (Joshi et al), Jeopardy, MATH, and MMLU.
Paper: t.co/01i9cIaxJX
Github: t.co/KpraBSo6ol
Learning Iterative Reasoning through Energy Minimization
@du_yilun
(1/6)
How can we learn to iteratively reason about the problems in the world? In our #ICML2022 paper, we introduce an approach towards iterative reasoning based off energy minimization :
Website: t.co/bnQTESGufy
w/ @ShuangL13799063 Josh Tenenbaum @IMordatch t.co/u42x0sVOMQ
LINEにデータサイエンティストとして新卒入社して3ヶ月、楽しいと感じる理由を書き出してみる - kuri8iveにいきてこ。
@mochikoAsTech
> 入社してしばらくは全職種の新卒で研修がありました。まずこれが楽しかったです。
> 「書き方講座、伝え方研修、実践的でめっちゃよかった。定期的に見返すなどして身につけたいことがいっぱい。」
めっちゃよかったって言ってもらえてうれしいー。
t.co/hNNG1BEe0H
Accelerated Computing for NLP on AWS - Speaker Deck
@icoxfog417
AWSとオープンソースとの関わりと、SageMakerでHuggingFaceを最大50%高速化する方法を解説した資料を公開しました(GPT-2が特に早くなる)。特定ドメイン文書(特許など)の言語モデルを作ろうとされている方はぜひ。言語処理学会でご紹介した資料です(@shokout さんの力作)！
t.co/BEb7YFvlk9 t.co/8dzjnGAua4
再エネやEVの批判者が使う“古いデータ”が日本をおかしくする | 日経クロステック（xTECH）
@ichimiyar
丁寧にデータを挙げているから議論しやすいけど、瞬間発電量(W)の危機を積算発電量(Wh)は足りてると誤魔化す論は見過ごせない。
「太陽光発電の夜間の不稼働は問題ない」論も、現状の20%以上の供給力が夕方以降消失する大問題に触れていない。 t.co/XpLewYDFsB
@AndTesla18650
この手の話は数字が並びまくるから難しくなってくるけど、EV推しの一番の理由は、EVが運転して気持ちいい＆楽しいから！
維持費も安いしね〜
環境にも優しいはずだし、昨今の電気不足がEVのせいだとも思わない。
充電する時間は大事だね😀
t.co/oERaYj7tpl
GitHub - facebookresearch/torchdim: Named tensors with first-class dimensio...
@s_scardapane
If you like einsum (or use vmap a lot), you should probably take a look at torchdim by @Zachary_DeVito & team:
An intriguing take on named tensors by using dynamically bound objects to represent the dimensions.
Some examples below. 🙃 1/n
t.co/DMLgF0TdXt
[2206.07048] A smile is all you need: Predicting limiting activity coeffici...
@KwhRd100
必要なのはSMILESだけです：自然言語処理を使用したSMILESからの限界活量係数の予測 SMILESコードからTransformerで制限活量係数を予測するSPTの提案。少ない実験データ(20,870)でも合成データ(1,000万)と組合せることにより、高精度(平均予測誤差の半減)を実現。実装あり。t.co/x6i1UK76zY
Benchopt: Benchmark repository for optimization — benchopt 1.2.1.dev41 docu...
@tomamoral
📢NEW PAPER ALERT📢
Benchopt: Reproducible, efficient and collaborative optimization benchmarks 🎉
t.co/1kIHfvteLt
If you ever felt the pain of doing a large scale benchmark, benchopt is here for you!! 😎
t.co/Gkf91NQ4V0
🧶1/6
Tabular Playground Series - Jul 2022 | Kaggle
@WalterReade
The July Tabular Playground competition at @kaggle is our first ever unsupervised clustering challenge. It uses the Adjusted Rand Index for the leaderboard score. It should be a fun change of pace!
t.co/jdLalVSX09 t.co/3QsNfrAT9U
Reproducibility workshop
@random_walker
There’s a reproducibility crisis brewing in almost every scientific field that has adopted machine learning. On July 28, we’re hosting an online workshop featuring a slate of expert speakers to help you diagnose and fix these problems in your own research: t.co/zexYmhkttp t.co/rq3qby3F8C
@Gillesvdwiele
On the 28th of July, I am giving a talk on an online workshop by @Princeton regarding reproducibility in ML. I am very grateful to the organisers for giving me this opportunity and looking very much forward!
Make sure to register 👉 t.co/c6jbhtYtnl t.co/wkTDrqaQzm
dalle-mini/dalle-mega · Hugging Face
@julien_c
BTW.... dalle-mega from @borisdayma is now openly accessible on @huggingface
⚡️ To download it (10GB): git clone t.co/m8ivn0CPiH t.co/EEddY81Jz7
GitHub - smartnews-smri/house-of-councillors: 参議院の公式ウェブサイトから会派、議員、議案、質問主意書の...
@makita_naoki
このデータ供養の御苦労に、敬意。
t.co/B3oanSkcTf
"検索や再利用のため以下の変更を加えています。"
- 和暦を西暦に変換し表記をYYYY-MM-DDに統一
- 全角の英数字を半角に統一
- 氏名などに使われるスペースの重複を圧縮 t.co/gOioVEPn7t
[2206.14858] Solving Quantitative Reasoning Problems with Language Models
@dmdohan
Teaching Minerva🦉 math & science has been a ton of fun.
What else were we supposed to do after realizing all the LaTeX on arXiv is available?
Check out the sample explorer: t.co/pFiMr337S8
paper: t.co/EHe3SSbxFB t.co/1BHXUy1Bea
@ethansdyer
@amirzait Great question! In t.co/RBS70Y20Ww we began to study memorization. We indeed looked at acc on modified questions, checked for MATH in the training data, and compared acc when removing answers similar to MATH. But this is an important direction for more follow up!
[2206.13623] Learning Controllable 3D Level Generators
@jzh_000
So happy to introduce our recent paper “Learning Controllable 3D Level Generators,” w/ @Smearle_RH, @Bumblebor, and @togelius.Since the game is the best simulation of real life, how about pushing our research about PCG to 3D!
t.co/1zWBCKUVId t.co/hwiQVrrHux
AI made these stunning images. Here's why experts are worried - CNNOpen Men...
@rachelmetz
AI systems can make incredible images, but it's not all corgis in houses made of sushi. t.co/5gMzJtmh8y
Introduction to MLOps - Speaker Deck
@K_Ryuichirou
MLSE 2022 夏合宿3日目の基調講演の資料です。MLOps の成り立ちと、近況を幅広くまとめました。MLOps について機械学習パイプライン以外の取り組みを知りたい方におすすめです。 Introduction to MLOps t.co/GOgLEORug0
@kazunori_279
DevOpsのふりかえりに始まり、SREのコンセプトとの関連まで検討されていて網羅的。パイプライン構築はMLOpsが扱う課題の一部分に過ぎない。 t.co/KoHqkdIkxn
The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks ...
@hardmaru
@togelius @NeurIPSConf Here’s an example of the rebuttal for “The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning”.
I think after the initial reviews, it would have been rejected. But after the rebuttals, it became a spotlight.
t.co/HStT3xheCU
Unsupervised Anomalous Sound Detection for Machine Condition Monitoring App...
@ibuki_ai
詳細はテクニカルレポートにあるので、ぜひ、読んでみてください！
t.co/hxf6c3ZfnM
[2206.04817] The Slingshot Mechanism: An Empirical Study of Adaptive Optimi...
@awnihannun
These explanations may be in the right direction but are likely not the whole story.
The "Slingshot mechanism" is a very recent, compelling explanation for Grokking (t.co/2oDcpVh6n3)
GitHub - gotutiyan/GEC-Info-ja: 文法誤り訂正に関する日本語文献を収集・分類するためのリポジトリ
@gotutiyan_kapi
日本語で書かれた文法誤り訂正の文献に特化したGEC-Info-jaも作りました．とりあえず100件くらい載っています．
t.co/tyUCALJDZC
Numpyroで主成分分析を実装してみる - ぱぐみの部屋
@pagumi_bayesian
ブログ更新しました。5月に出版された『Pythonではじめるベイズ機械学習』を参考に、Numpyroを使った確率的主成分分析(PPCA)の実装方法を解説しています。
t.co/98JobJIVfK
[2206.03364] KPGT: Knowledge-Guided Pre-training of Graph Transformer for M...
@KwhRd100
KPGT：分子特性予測のためのグラフトランスフォーマーの知識に基づく事前トレーニング 分子グラフをLine Graph Transformerにより構造情報モデル化した後、知識誘導型事前学習により大規模なラベルなし分子グラフから構造的＆意味的情報を得るKPGTの提案。GROVERより高性能。t.co/swPSuZJXiy
L-DOD @ RSS 2022
@shahdhruv_
I had a great time at #RSS2022 this week, incredibly grateful to the organizers for putting up such a wholesome show @RoboticsSciSys!
Presented ViKiNG, which was a Best Systems Paper Finalist! t.co/SdH79tHeI4
#LDoD workshop: talks and panel on YT t.co/8IGoar4TCs t.co/dA2zd5kYDE
Transformer Encoder and Decoder Models
@labmlai
Implementation of Transformer with side-by-side notes
📝 Multi-head attention: t.co/UVn96sfApP
📝 Positional encoding: t.co/4QExkoavLs
📝 Encoder/Decoder: t.co/v0hUEkHnYF
👇 t.co/5Rt2jCxkck
RETRO Is Blazingly Fast | Mitchell A. Gordon
@MitchellAGordon
"RETRO is so fast and cheap, in fact, that I cannot fathom why anyone would choose to do language modeling without retrieval."
New blog post benchmarking RETRO's database!
t.co/t6iYFbeZy8
Kubricで機械学習用の合成データを作成する
@Spri_ta
Kubric を試してみたのでまとめました。
t.co/Eg6OTF4gWW
3Dモデル自作のあたりは長くなりそうだったのでまた後日...
Moving Beyond Mimicry in Artificial Intelligence - Nautilus | Science Conne...
@raphaelmilliere
Are large pre-trained models nothing more than stochastic parrots? Is scaling them all we need to bridge the gap between humans and machines? In this new opinion piece for @NautilusMag, I argue that the answer lies somewhere in between. 1/14
t.co/wdO6F8Q7fe
@erocdrahs
“Sufficiently advanced mimicry is virtually indistinguishable from intelligent behavior—and therein lies the difficulty. “ t.co/lwROJhqn38
【渡辺明名人】将棋AIによる序盤研究とは？名人による将棋AI活用法【水匠/dlshogi】 - YouTube
@DenryuSen
【本日7/3(日)20:00ライブ配信開始】
電竜戦チャンネルにて、渡辺名人に将棋AIを使った研究についてお話いただきます。
現在配信に向けて準備です。渡辺名人によるライブ配信は貴重かと思われますので、是非リアルタイム視聴もご検討ください。
配信枠：
t.co/inPuqBx4yq t.co/wT8s8Pbyih
@tayayan_ts
配信をご覧いただきありがとうございました！2勝1敗で勝ち越しでした！
本日20:00から始まる渡辺名人の配信、私が配信担当となりますので、是非ご覧くださいね！
t.co/JDiKlUhJWI t.co/RBqTAiZVO5 t.co/Y7Ig5oep4J
Pythonで因果推論~シャープな回帰不連続デザイン~
@s1ok69oo
シャープな回帰不連続デザイン（Sharp RDD）についてまとめました。EC事業や広告事業の施策にも応用しやすい分析手法なので、ぜひ読んでいただけたら幸いです。
Pythonで因果推論~シャープな回帰不連続デザイン~ t.co/eIuBLpYEl3
Dive into XGBoost - Speaker Deck
@Maxwell_110
講義資料を作成するにあたり，教科書は「Kaggleで勝つ本」なので，それがベースになるんだけど，結構前に作成した XGBoost の資料も参考になる・・・
人は忘れる生き物なので，まとめてた昔の自分に感謝
Dive into XGBoost t.co/rHp4ZIh7WA